Wie war Data Science Meet Up #2 / Sudo Null IT News

Am 11. August veranstalteten wir das Data Science Meet Up #2. Auf der Agenda des Treffens steht die Arbeit mit Daten aus Kreditprodukten, thematisch geht es um Cyberpunk. Dies war das zweite DS-Treffen, aber das erste thematische. Für diejenigen, die nicht teilnehmen konnten, werden wir Ihnen ein wenig darüber erzählen, wie das Treffen gelaufen ist, und die Zusammenfassungen der Berichte und Links zu den Aufzeichnungen teilen, wenn Sie sich einige Reden vollständig und nicht in unserer verkürzten Form ansehen möchten. Unterm Strich: Fotos, Berichte von Junioren, von denen man glaubt, dass sie keine Junioren sind, und harsche Rückmeldungen der Teilnehmer.

Dieses Jahr haben wir unser größtes Meetup abgehalten – 180 Gäste kamen in unser IT-Büro und 200 Zuschauer kamen zur Live-Übertragung auf YouTube. Vielleicht wegen der Mailingliste, Ankündigungen im Telegram-Kanal oder auf Habré, oder sie kamen aufgrund von Empfehlungen. Immerhin hat der Teamleiter, wie wir erfahren haben, jemanden zum Treffen geschickt :).

Vielleicht hat das Thema Cyberfuturismus die Teilnehmer angezogen. Nicht gerade Cyberpunk, aber nah dran: Neon-Deko…

…und Dämmerung in der Halle…

…eine futuristische Fotozone…

… ein elektronisches DJ-Set oder ein Kostümwettbewerb, für den wir Geschenke gemacht haben.

Oder vielleicht ist es in den Berichten? Cyberpunk Der Cyberfuturismus, den wir anstrebten, scheint von der Entwicklung der Hochtechnologie geprägt zu sein, die fast überall ist? Und wie könnte man die Entwicklung der Technologie besser widerspiegeln als Data Science?

Hier sprechen wir von Technik. Wenn wir die Essenz der Meetup-Berichte kurz und bedingt beschreiben, dann erhalten wir ungefähr Folgendes: „Zuerst haben wir einen Kunden geworben, dann haben wir ihm ein Kreditprodukt angeboten, aber die Bedingungen haben sich geändert. Was machen wir damit und wie verarbeiten wir die Daten richtig?

Berichte

Es gab vier Berichte:

  • Entwicklung des Kundenstamms: LTV-Modellierung und zukünftige Umsatzprognose.

  • Uplift-Modellierung bei der Preisgestaltung von Kreditprodukten.

  • Perfekte Codeberechnung.

  • Verteilungsverzerrung im Kreditbewertungsproblem des neuronalen Netzwerks überwinden.

Wir entwickeln einen Kundenstamm und modellieren den LTV

Sergey Korolev, Middle Data Scientist der Advanced Analytics-Abteilung, erzählte, wie die Abteilung in allen Phasen mit einem Kunden zusammenarbeitet: Anziehung (juristische Person), Entwicklung (Steigerung des Potenzials mithilfe von Produkten) und Bindung (für diejenigen, die dazu neigen, zu gehen). ), und in jeder Phase ist es wichtig zu verstehen, wie viel Sie für die Arbeit mit einem Kunden ausgeben können. Und dafür ist es interessant zu wissen, welchen Wert der Kunde für das Unternehmen hat. Hier kommt der LTV ins Spiel – „Customer Lifetime Value“.

Es gibt viele Möglichkeiten, den LTV zu berechnen, aber zuerst müssen Sie 2 Komponenten „berechnen“: Lebensdauer und durchschnittlicher Kundenwert. Die Lebensdauer wurde von dem Moment an gezählt, an dem das RSC geöffnet wurde. Kunden, die gegen 115-FZ verstoßen, wurden aus der Datenbank ausgeschlossen.

Unter dem Wert haben wir uns entschieden, das Betriebseinkommen und den Betriebsgewinn des Kunden zu berücksichtigen.

Aber Sie müssen sich für eines entscheiden – nach zwei Metriken wird die Vorhersage viel komplizierter. Wir haben uns für das Betriebsergebnis entschieden. Wieso den?

Als Ergebnis sah die endgültige Aussage des Problems so aus.

Was ist passiert? Die Gesamtgenauigkeit der zurückgestellten Stichprobe betrug 76 % (Makro), die Genauigkeit der Bestimmung der Betriebsertragsgruppe 82 % und der potenzielle Effekt 500 Millionen Rubel pro Jahr und + 10 % für die Bindung wichtiger Kunden.

Nach dem Bericht – ein Standard-Fragenblock.

  • Inwieweit kann das vorgeschlagene Modell von einem lebendigen Unternehmen umgesetzt werden? Wurde die Kennzahl „Beeinflussungsfähigkeit“ berücksichtigt?

  • Haben Sie versucht, die Zeitreihen zu glätten?

  • Gab es einen Plan, die „High Income“-Klasse zu erkunden?

  • Warum wurde das absolute Betriebsergebnis betrachtet und nicht im Zusammenhang mit Produkten?

  • Wie konnten Sie das Modell anhand realer Daten evaluieren?

Aber nicht alle Fragen waren klärend. Der “strenge Kommentator” sah in der Präsentation nichts Interessantes: “Eine primitive und nutzlose Aufgabe.” Wir hören jede Meinung 🙂 Die Frage des Teilnehmers war übrigens auch folgende: „Ist es möglich, die Effektivität der Arbeit bei der Alfa-Bank an Ihrer Arbeit zu messen?“

Für die zwei besten Fragen für jeden Bericht haben wir später Geschenke gemacht.

Siehe Bericht und Antworten auf Fragen bei der Aufnahme.

Inferience von denen, die abgelehnt wurden: ein neuronaler Netzwerkansatz für die Kreditwürdigkeitsprüfung

Kommen wir zum Kredit-Scoring. Es mag den Anschein haben, dass das Kredit-Scoring in Banken eine klassische und seit langem untersuchte Aufgabe ist. Wie die Praxis zeigt, werden jedoch viele Modelle auf Daten trainiert, die nicht ganz (und manchmal vollständig) nicht mit Daten in der realen Welt übereinstimmen. Alexey Firstov, Junior Data Scientist bei der Alfa-Bank, sprach über die Nuancen bei der Bildung einer Stichprobe für das Training.

Die Aufgabe des Bonitäts-Scorings ist klassisch – es gilt festzustellen, ob der Kunde in Zahlungsverzug gerät oder sonst mehr als 90 Tage in Verzug ist. Für die Lösung verwenden wir fortlaufende Bankdaten, wie z. B. Transaktionen.

Aber hier gibt es eine Verzerrung – den Unterschied zwischen den Daten für das Training und den Daten, auf die das Modell angewendet wird. Wir wählen zwei globale Verzerrungsquellen aus:

  • Zeitversatz – tritt aufgrund der Tatsache auf, dass die Tatsache des Ausfalls ein Jahr nach Ausgabe des Darlehens festgestellt wird. Wie entscheiden? Finden Sie Proxys – kurze Verzögerungen.

  • Input-Bias – tritt aufgrund der Tatsache auf, dass sich das Verhalten von Clients in der Trainingsstichprobe von denen unterscheidet, auf die es angewendet wird. Dies ist ein Merkmal des Standardansatzes für die Vergabe von Krediten – diejenigen abzulehnen, die anfällig für Zahlungsausfälle sind. Es stellt sich heraus, dass beim Trainieren des Modells nur „gute“ Clients verwendet werden und es nichts gibt, wofür das Modell trainiert werden könnte?

Wie entscheiden? Wenden Sie den Reject Inference-Ansatz an. Es liegt in der Tatsache, dass wir auf diejenigen „schlussfolgern“ können, die einst geleugnet wurden. Auf dieses Beispiel kann auf zwei Arten zugegriffen werden:

Die Challenger-Stichprobe unterscheidet sich erheblich von der inländischen SERP-Stichprobe.

Am Ende gab es 3 Proben: Intern, Extern und Herausforderer. Was tun mit ihnen?

  • Nichts: Wir lernen alle zusammen.

  • Wir unterrichten auf den ersten beiden, wir beenden das Training auf dem Herausforderer.

  • Wir lernen alles zusammen mit dem individuellen Gewicht jeder Probe.

Später im Bericht erzählte Alexey, wie die dritte Option gewählt wurde, wie die Gewichtungen der Segmente ausgewählt wurden (Konsens einholen), die Initialisierung durchgeführt wurde, der Trainingsprozess dreimal durchgeführt wurde, wie die Ergebnisse unabhängiger Modelle kombiniert wurden, und was schief gelaufen ist.

Die durchschnittliche Bewertung von Alexeys Bericht von den Meetup-Teilnehmern beträgt 5 Punkte, selbst die Dämmerung in der Halle störte nicht. Aber es gab einige Zwischenfälle – bei einer der Fragen funktionierte das Mikrofon plötzlich nicht mehr.

Habe ein neues MikrofonHabe ein neues Mikrofon

Aber sie brachten schnell einen neuen. Und es gab zwei Fragen von diesem Teilnehmer: „Warum nehmen Sie alle in den Challenger auf und nicht diejenigen, denen Sie kein Darlehen geben würden? Bist du sicher, dass du ein Junior bist?”

Siehe vollständigen Bericht bei der Aufnahme.

Wir suchen besonders sensible Menschen, die Uplift-Modellierung anwenden

Es gibt 2 Kreditprodukte: TopUp und Relend.

  • TopUp – wenn Sie den Kunden behalten und neue Konditionen abholen müssen, weil sich die alten geändert haben, zum Beispiel hat die Zentralbank den Kurs geändert.

  • Relend – das gleiche, aber zum Beispiel für externe Kunden, damit sich der Kunde bei uns refinanziert.

Die Herausforderung besteht darin, besonders veränderungsempfindliche Kunden zu finden. Wozu? Um nicht zu verlieren. Gleichzeitig finden Sie treue Kunden, die auf solche Änderungen nicht reagieren. Darüber sprach Maxim Komatovsky, Junior Data Scientist bei der Alfa-Bank.

Zunächst segmentieren wir unseren Kundenstamm. Es gibt viele Möglichkeiten, und eine davon ist subjektiv.

Grüne Quadrate sind die Kunden, die wir suchen.Grüne Quadrate sind die Kunden, die wir suchen.

Dann nehmen wir das Up-Lift-Modell, bereiten Experimente vor und führen sie durch.

„Man muss das Experiment von Anfang bis Ende verfolgen. Es kann vorkommen, dass Sie 2 Tage früher mit dem Anrufen der Kontrollgruppe begonnen haben und das Experiment eine Woche später endete und in der Kontrollgruppe ein positiver Effekt der Zielrate höher ist. Dann denkst du eine Woche lang nach, was das Problem ist.

Maxim Komatovsky, Autor des Berichts

Außerdem im Bericht:

  • Spezifische Metriken für Uplift.

  • Sortieren Sie die Ergebnisse, berechnen Sie die topK% und den Unterschied in der Antwortrate.

  • Die Ergebnisse eines der Experimente.

Siehe vollständigen Bericht bei der Aufnahme.

Über “Heizer” und “Kohlereinigung”

„Wenn maschinelles Lernen die DS-Engine ist, dann sind Daten die Kohle. Jetzt reden wir über Heizer”

So geht es Maxim Statsenko – Team Lead/Senior DWH Developer bei Yandex.

Maxim ist BigData TeamLead im Yandex Big Data Preparation and Processing Service. Der Dienst bereitet Such- und Werbedaten auf. Diese Daten fließen nicht nur in maschinelle Lernmodelle ein und wählen Werbung und Suchergebnisse aus, sondern gelangen auch an Analysten und interne Überwachungsdienste.

Der Dienst funktioniert fast seit der Gründung von Yandex. Aber vor 2 Jahren hat sich etwas geändert – basierend auf den Daten, die der Dienst aufbereitet, begannen Kunden, Cashback von dem Geld zu erhalten, das für Werbung ausgegeben wurde. Das Problem ist, dass Analysten gegenüber Fehlern loyal sind – es macht keinen großen Unterschied, ob es 1.000.001 Personen oder 1.000.006 in einem bestimmten Publikum gibt, und für Wirtschaftsprüfer, die FAS und die Steuerbehörde, die alle zusammen Finanzberichte überwachen, gibt es einen sehr großen Unterschied Unterschied.

Anfangs war das analytische Data Warehouse nicht auf eine solche Genauigkeit ausgelegt, aber als das Cashback-Projekt und die Finanzberichte erschienen, mussten wir Fehler beseitigen und verhindern.

Maxim sprach über mehrere Methoden, die der Dienst verwendet. Eine davon ist die Datenüberwachung. Zum Beispiel, wenn wir die aktuelle Woche mit der letzten vergleichen. Aber sie stimmen nicht vollständig überein, Sie müssen ein Fenster auswählen. Die Leute fahren in den Urlaub, das Fenster wird breiter und Sie hören auf, große Käfer zu fangen.

Hier hilft der Abgleich oder die Kreuzvalidierung: Wir überprüfen die Invariante auf allen Verarbeitungsstufen und vergleichen einen Indikator aus verschiedenen Quellen.

Dann sprach Maxim über andere Methoden und überprüfte den Code, der Daten, Skripte, Tests erstellt …

…Code-Review, Vergleich mit Prognose, Hauptkomponentenanalyse und FA…

…und die Lösung des „Turmbaus zu Babel“-Problem

Wichtiger Hinweis. Die Verwendung aller Methoden ist ziemlich teuer, aber es gibt einen Vorteil darin, dass sie nicht alle auf einmal verwendet werden können.

Siehe vollständigen Bericht bei der Aufnahme.

Schlussfolgerungen

Im Allgemeinen haben wir versucht, uns gut vorzubereiten: Wir haben den Saal dekoriert, das Licht abgeholt, Pizza und Limonade für einen Snack vorbereitet …

… haben ein Programm mit aufeinander abgestimmten Berichten und einem zeitlichen Ablauf vorbereitet, damit die Teilnehmer keine Zeit haben, sehr müde zu werden, und gleichzeitig die Kraft haben, Fragen zu stellen. Und damit sie am Ende die Kraft haben, aktiv zu werden. Wenn Sie an unserem Treffen teilgenommen haben, schreiben Sie über Ihre Eindrücke. Hat es funktioniert? Wir werden dankbar sein und die Wünsche bei den folgenden Veranstaltungen berücksichtigen.

Nützliche Links

Aufzeichnungen von Berichten und Referentenpräsentationen. Stellen Sie Fragen in den Kommentaren im VKwenn du es nicht live geschafft hast.

– Sieh es dir selbst an im Fotobericht von der Veranstaltung (und auf der Landung), Hören einer Auswahl energiegeladener Techno von der mitap.

– Teilen Sie uns Ihre Meinung zum Meetup mit in der Umfrage: loben, wenn es etwas dafür gibt, Verbesserungsvorschläge für das nächste Treffen.

– Etwas abonnieren Telegramm Alfa Digital Jobs: Hier erzählen wir über alle unsere Aktivitäten

Similar Posts

Leave a Reply

Your email address will not be published.