Wie wir den Interviewprozess in DS / Sudo Null IT News aufgebaut haben

Hallo alle! Ich bin Zheka Nikitin, Head of AI beim Medtech-Startup Celsus.

Heute möchte ich erzählen Ihnen, wie unser Bewerbungsprozess abläuft, warum bestimmte Entscheidungen getroffen wurden, welche Schwächen geblieben sind und wie wir damit umgehen.

Es ist unmöglich, durch den Tag zu gehen, ohne auf das Thema zu stoßen, wie man Interviews richtig führt. Kürzlich drin Teamleiter TG-Chat es gab eine lange Auseinandersetzung zum Thema “Livecoding – unnötiger Stress und Mist oder ein wichtiger Schritt beim Testen von Kompetenzen”. Ich habe es vor ein paar Wochen auf Twitter gelesen. Meinungdass alle Sozialdienste standardmäßig scheiße sind. Und letzte Woche haben wir mit Kollegen einen Amazon-Beitrag über die „ideale Einstellung“ diskutiert.

Diese Auseinandersetzungen sind meist sehr unterhaltsam, aber oft scheinen ihre Teilnehmer zu vergessen, dass es eigentlich viele verschiedene Unternehmen auf der Welt gibt, die nach verschiedenen Menschen suchen, um unterschiedliche Probleme zu lösen und unterschiedliche Ziele zu erreichen. Daher sind diese Streitigkeiten gut für virale Tweets oder Posts in TG-Kanälen, aber eher nutzlos außerhalb des Kontexts eines bestimmten Unternehmens.

Deshalb möchte ich gleich eine Einführung geben. Die für die Offenlegung des Themas wichtigen Merkmale unseres Unternehmens lassen sich wie folgt beschreiben:

  • Startup, aber nicht mehr in der Geburtsphase. Es hat sich eine gewisse Arbeits- und Kommunikationskultur entwickelt, es gibt mehr als 20 Leute in der ML-Abteilung.

  • Genug forschungsintensive Aktivität. Die Anzahl der DL-Aufgaben, die mit der Generierung und Umsetzung von Hypothesen verbunden sind, ist überdurchschnittlich hoch.

  • Gleichzeitig ist dies kein Forschungslabor: 5 medizinische KI-Systeme sind in Produktion, sie müssen gewartet, überwacht und aktualisiert werden.

  • Es gibt keine Möglichkeit, verrückte Angebote zu machen, die viel höher sind als der Markt.

  • Die Leute gehen selten. Manchmal tauchen neue Projekte auf – aber im Allgemeinen besteht keine Notwendigkeit für Masseneinstellungen, sondern es wird gezielt eingestellt.

Unten ist eine ausführliche, lang gelesene Beschreibung des Einstellungsprozesses für Interessierte, daher beginne ich mit einer Liste von Grundprinzipien – für diejenigen, die sich nicht trauen, weiter zu klettern.

  • Bewusstsein. Jedes Detail im Einstellungsprozess sollte seine eigene klare Bedeutung haben. Wir lieben Experimente, aber bei deren Auswertung gehen wir nüchtern vor: Ein neues Element soll einen Mehrwert bringen. Wenn es für uns nicht einfacher geworden ist, Kandidaten in „Angebot/Nicht-Angebot“-Körbe zu trennen, dann ist dies ein schlechtes „Merkmal“ in unserem Klassifikator, und es muss verworfen werden.

  • Null Blödsinn. Die Einstellung ist eine Entscheidung nicht nur von unserer Seite, sondern auch von Seiten des Kandidaten. Daher sollte es kein Mist sein, mit ihnen zu kommunizieren: Eine Person muss über alle Informationen verfügen, die erforderlich sind, um eine fundierte Entscheidung zu treffen. Wenn wir eine Person in ein Projekt mit einem ziemlich schwerwiegenden Erbe in Bezug auf die Dateninfrastruktur aufnehmen, sprechen wir direkt darüber. Wir haben viel Schimpfworte in der Arbeitskommunikation – damit dies nicht zu einer unangenehmen Überraschung wird, warnen wir Sie vorab. Gleiches gilt für Fragen zur Sozialversicherung: 99 % der Fragen sind realen Arbeitsaufgaben und -situationen entnommen. So testen wir relevante Fähigkeiten besser und lassen gleichzeitig den Kandidaten verstehen, was er hier tun wird.

  • Ausleben. Wir tun alles, um den Umgang mit dem Kandidaten sowohl für ihn als auch für uns angenehm zu gestalten. Wir folgen dem Gesprächsfluss: Wenn eine Person anfängt, nervös oder verwirrt zu werden, bringen wir die Sozialversicherung vorsichtig wieder in einen ruhigen, angenehmen Kanal. Geben Sie unbedingt ein ausführliches Feedback zu den Ergebnissen der Sozialversicherung und fragen Sie separat nach einem Feedback zur Sozialversicherung: Was hat Ihnen gefallen, was könnte besser gemacht werden? Es ist sehr selten, dass wir mit dem Gefühl aus der Sozialversicherung kommen, dass wir unsere Zeit verschwendet haben – und den Rückmeldungen nach zu urteilen, empfinden unsere Kandidaten das genauso.

Erster Kontakt

Als es in einem Startup 5 Gründer gab, hat natürlich der Head of AI aus der damals leeren Abteilung alle ML-Spezialisten angeschrieben – weil sonst niemand da war. Jetzt hat das Unternehmen mehr als 60 Mitarbeiter, ein Drittel davon arbeitet in der ML-Abteilung, und eine Personalabteilung ist entstanden. Aber ich ziehe es immer noch vor, Kandidaten persönlich anzuschreiben. Es gibt verschiedene Gründe:

  1. Der erste Kontakt, die Reaktion einer Person, der Kommunikationsstil gibt bereits viel Aufschluss über das Zusammentreffen von Vibes, Zielen und Motivation.

  2. Personaler schreiben in der Regel trockener und förmlicher (manchmal kann es angepasst werden), und ich fange sofort an, so zu kritzeln, wie wir normalerweise kommunizieren: mit Witz und ohne einen Tropfen Formalismus. Manchen Kandidaten gefällt das vielleicht nicht, aber dann werden wir uns höchstwahrscheinlich in Fragen der Unternehmenskultur nicht einigen. Ich verstehe, dass ich für diesen Punkt auf Kritik stoße und die Augenbrauen hochziehe: Sie sagen, das ist Arbeit, kein Freundeskreis oder eine Farce. Aber wir haben uns einmal so entschieden – und haben es bisher nicht bereut. Nicht selten schätzen die Kandidaten, die wir mögen, diese Direktheit und im Gegenteil das Unternehmen.

  3. Es ist möglich, dem Kandidaten sofort und ohne Zwischenhändler Fragen zu stellen und Fragen zum Unternehmen zu beantworten

  4. Dafür nehme ich mir gerne Zeit, denn kluge, lustige, kreative Leute für angemessenes Geld einzustellen, ist (derzeit) eine meiner Hauptaufgaben als Leiterin der ML-Abteilung

Normalerweise laden wir sofort eine Person zu einem Vorstellungsgespräch ein, wenn der Lebenslauf von Interesse ist. Irgendwann haben wir uns entschieden, ein Experiment mit einem solchen durchzuführen Google-Formularan Kandidaten verschickt.

Die Idee war, die Interviewer zu entlasten, indem ein zusätzlicher Filter hinzugefügt und einige grundlegende Informationen über alle Kandidaten gesammelt wurden. Es ging nicht wirklich los, der Arbeitsaufwand schien nur zuzunehmen: Ich musste diese Fragebögen lesen, aber die Qualität der Entscheidungen stieg nicht. Während die Praxis ausgesetzt wurde.

Um den Status der Sozialversicherung zu verfolgen, verwenden wir Trello mit Spalten wie diesen:

Vorstandssäulen mieten

Wer will in die letzte Spalte?

Es gibt auch Kanäle in Mattermost – #hr und #hr_discussion. In #hr gibt es nur diejenigen, die direkt am Einstellungsprozess beteiligt sind – Teamleiter und Interviewpartner. Dies ist der Eingangskanal für alle Lebensläufe, sie werden direkt dort in den Threads diskutiert und über Einladungen zur Sozialversicherung entschieden. #hr_discussion ist offen für alle, dort werden diverse Fragen rund um die Einstellung besprochen, Tests zur Verifizierung abgeworfen, Threads zur Vorbereitung auf die Sozialversicherung erstellt (Fragen an den Kandidaten, Handouts, Zoom-Link, Auswahl der Interviewpartner, Kommunikation untereinander während des Interviews).

Sozialversicherung

Sie können lange über soziale Sicherheit und ihre Entwicklungsgeschichte sprechen, ich werde mich auf eine Liste von Grundprinzipien beschränken.

1) Die Struktur der Sozialversicherung:

  • Soziale Sicherheit beginnt mit einem Bekannten, bereits in dieser Phase versuchen wir, eine angenehme Umgebung zu schaffen, zu lächeln und zu scherzen. Das ist meist einfach, besonders wenn der Kandidat Kontakt aufnimmt, denn wir sind gerne sauer.

  • Dann erzählen wir von uns, kurz unsere Geschichte, wir konzentrieren uns darauf, warum es für uns cool ist, bei uns zu arbeiten. Bereits in dieser Phase hat der Kandidat die Möglichkeit, Fragen zum Unternehmen und zu den Produkten zu stellen – was Ihnen erlaubt, die soziale Absicherung aus einer Reihe von Monologen in ein professionelles Gespräch zu verwandeln und wirkt zudem entspannend auf den Kandidaten sich an die Kommunikation und die Atmosphäre sozialer Sicherheit gewöhnen.

  • Wir bitten den Kandidaten, über sich selbst zu erzählen, über seine ML-Erfahrung. Auch dieser Schritt findet eher im Dialogformat statt. Wir stellen viele Fragen, wir fangen an, uns mit den technischen Aspekten der Arbeit zu befassen, wir finden heraus, was für eine Person interessant ist.

  • Technischer Bereich. Mehr dazu weiter unten.

  • Kurz zu den Arbeitsbedingungen. Grafiken, Betriebsmodi, Waffen, Leistungsbewertungen, das war’s.

  • Kandidatenfragen.

2) Nehmen wir eine Gruppe. Ich stoße oft auf die Meinung, dass die Gruppensozialversicherung Stress für den Kandidaten ist, die Verantwortung verschmiert und so weiter. Ja, jede soziale Sicherheit ist Stress, aber wenn sie in Form eines lebhaften, angenehmen Gesprächs aufgebaut ist, scheinen mehrere Gesprächspartner im Gegenteil den Grad der Hitze zu senken. Von unserer Seite sind es 2-3 Personen: Ich führe ein Kennenlerngespräch, „verkaufe“ das Unternehmen, beginne ein Gespräch über eine Person, hier sind bereits Fachexperten eingebunden, die wir aus einem Pool von 4-5 auswählen Personen. Vorteile:

  • es wird eine vollständigere Meinung über eine Person gebildet;

  • wenn der Kandidat Schwierigkeiten hat, die Frage zu verstehen, können die Partner den Moment immer richtig einschätzen und die Frage neu formulieren;

  • Um die Atmosphäre zu entschärfen, kann man untereinander ein wenig scherzen.

Der Hauptnachteil ist, dass wir mehr Zeit aufwenden. Gleichzeitig wird unserer Meinung nach die Wahrscheinlichkeit eines Fehlers stark reduziert, sodass die endgültigen Kosten für die Einstellung im Gegenteil reduziert werden.

3) Einzige Ausnahme vom bisherigen Grundsatz ist das Screening von Junioren. Diese Praxis tauchte kürzlich auf, führte sie ein, nachdem sie mehrmals mit völlig erfolglosen Kandidaten konfrontiert worden war. Stattdessen werden die Junioren jetzt von einem einzigen Techniker interviewt und beginnen das Interview mit einer Reihe einfacher Screening-Fragen. Bleiben die Antworten erfolglos, gehen wir nicht weiter in die Tiefe. Auf ein Screening hat HR verzichtet, um flexibel auf Antworten reagieren zu können, Leitfragen zu stellen oder diese je nach Erfahrung des Kandidaten zu verändern.

4) Punktekarten. Jedes Treffen sollte ein Artefakt hervorbringen – und die soziale Sicherheit ist da keine Ausnahme. Nach den Ergebnissen der Sozialversicherung füllt jeder seiner Teilnehmer eine Karte aus, in der:

  • hakt eine Reihe subjektiver Eindrücke ab (energiegeladen, enthusiastisch ML, geeignet im Geiste und so weiter);

  • bewertet jede Phase des technischen Teils (schlecht/normal/gut);

  • beschreibt seine Eindrücke in freier Form;

  • füllt die Spalte für Empfehlungen an Kandidaten aus und schreibt eine allgemeine Empfehlung für das Angebot für Skala.

5) Keine Live-Codierung. Wir haben keine Live-Codierung und es gibt nicht einmal wirklich Python-Fragen. Dies ist wahrscheinlich die umstrittenste Entscheidung: Ihre Richtigkeit wird immer noch von Zeit zu Zeit diskutiert.

Die Hauptmotivation war, dass wir nicht das Gefühl hatten, wertvolle Informationen zu erhalten. Wenn jemand Erfahrung in der Entwicklung hat, weiß er höchstwahrscheinlich, wie man Code schreibt. Wenn eine Person ein reiner ML-Spezialist ist, ist ihr Code höchstwahrscheinlich höchstens mittelmäßig. Wie gesagt, wir haben wirklich viel Deep Learning, Grids, Anpassungen, Aufgaben zur Verbesserung der Metriken, also nehmen wir unter sonst gleichen Bedingungen oft gute ML-Leute. Andererseits sind wir jetzt endlich zu einem vollwertigen Data-Engineering-Team gereift, und die Anforderungen dort sind ganz andere.

6) Fragen nur zur realen Arbeit. Alle unsere technischen Fragen beziehen sich auf unsere tägliche Arbeit. Keine abstrakten theoretischen Fragen, keine mathematischen Beweise, keine Probleme im „Schreibe-Adams-Formel“-Stil. Stattdessen gibt es Fragen zum Verständnis der Essenz der Arbeit aller Komponenten der Grids, der Auswahl geeigneter Metriken, häufiger Fallstricke in Trainingsgrids und den Merkmalen von Trainingsnetzwerken auf nicht standardmäßigen Datensätzen.

7) Fragen zum ML-Design. Ein separater Abschnitt enthält Fragen zum Design des ML-Systems. Wir lieben sie sehr und haben sie in folgender Form: Wir nehmen eine Situation aus unserer Erfahrung, schneiden unnötige Details ab, um sie nicht zu verkomplizieren, und formulieren das Problem. Es gibt diese und jene Daten, diese und jene Beschränkungen des Markup-Budgets, diese und jene geschäftliche Aufgabe. Was und wie werden wir unterrichten? Für meinen Geschmack persönlich einer der informativsten Abschnitte, und er eignet sich sowohl für Junioren als auch für Senioren, die Eintauchtiefe variiert.

8) Empfehlungen. Wir denken, dass es wichtig ist, zu empfehlen, wie eine Person aufsteigen kann, um ihre Chancen zu verbessern, in eine Position wie die unsere zu gelangen. In der Scorecard gibt es eine eigene Spalte, in der Interviewteilnehmer ihre Empfehlungen mit Links zu Kursen, Büchern, Artikeln und Videos hinterlassen können – und die Person, die mit dem Kandidaten kommuniziert hat, stellt daraus einen einzigen Text zusammen.

9) Testen. Wir haben die ganze Zeit Tests gemacht, und sie, so scheint es mir, waren sogar interessant. Wir könnten fragen:

  • Implementieren Sie einige interessante, aber nicht sehr beliebte Artikel.

  • Vergleichen Sie verschiedene Möglichkeiten zur Lösung eines nicht standardmäßigen Problems (z. B. ordinale Regression);

  • eine populäre Architektur geschickt für eine ungewöhnliche Aufgabe anpassen;

Es hat Spaß gemacht, solche Testpapiere zu prüfen – vor allem, wenn der Kandidat abgenutzt war und alles cool gestaltete. Und sie gaben sogar einige Informationen über die Fähigkeit einer Person, nicht standardmäßige Aufgaben zu lösen, ohne ein bestimmtes Niveau an Codequalität und Repository-Design zu unterschreiten. Der Kandidat hingegen sammelte Erfahrungen bei der Lösung eines interessanten Problems und konnte dieses Repository dann nach eigenem Ermessen nutzen.

Leider ist der Trend auf dem Markt so, dass das Vorhandensein eines Tests jetzt ein erheblicher Nachteil im Wettbewerb mit anderen Unternehmen sein wird. Aus diesem Grund haben wir die Testversionen zunächst vereinfacht und dann festgestellt, dass sie nicht mehr aussagekräftig sind – und sie vollständig aufgegeben. Stattdessen bitten wir Sie meistens, zumindest etwas Code abzuwerfen.

Neben dem technischen Interview haben wir auch einen kleinen Verhaltensteil, in dem wir versuchen, die Motivation einer Person zu verstehen und ihre Übereinstimmung mit verschiedenen Teams zu bestimmen. Aber dazu ein andermal mehr.

Genießen Sie Ihre soziale Sicherheit – egal ob Sie der Interviewer oder der Interviewte sind!

Wenn Sie mehr über die Organisation von ML-Entwicklungsprozessen erfahren möchten, abonnieren Sie unsere Telegrammkanal Varim ML

Similar Posts

Leave a Reply

Your email address will not be published.