„Und das alles wegen der Verlorenen!“ oder wie CROC DPC sich für neuronale Netze interessierte

Hey Habr! Mein Name ist Denis und ich beschäftige mich mit der Integration von Rechenzentrumssystemen und der Abrechnung von Kundengeräten. Heute möchte ich Ihnen erzählen, wie wir die Ausstellung von Ausweisen an unsere Rechenzentren mithilfe neuronaler Netze automatisiert haben. Ich werde Ihnen ein wenig über das System selbst erzählen, woraus es besteht und wie es funktioniert, sowie welche Vorteile unsere Kunden erhalten haben.

Zunächst ein kleiner Hintergrund, warum es für uns wichtig war, dieses Problem zu lösen.

Gegeben:

  • 3 Rechenzentren für insgesamt 1000 Rackplätze

  • Alle sind fast vollständig besetzt, die Arbeit an Kundenwünschen läuft an 365 Tagen im Jahr auf Hochtouren.

  • Eine Vielzahl unterschiedlicher Anwendungen, davon ca. 30 % Anwendungen für den Besuch des Rechenzentrums durch den Kunden.

  • Alle Anfragen werden vom diensthabenden Rechenzentrumsingenieur per Post bearbeitet, und jede Anfrage dauert 10-15 Minuten.

Da anfangs alle Arbeiten mit Kundenwünschen per Post erledigt wurden und die diensthabenden Ingenieure stark belastet waren, kam es zu „Losts“ (Anm im Rechenzentrum, die durch menschliches Versagen verloren gegangen sind / weggefallen sind usw.). So konnten beispielsweise Anträge auf Ausweise für das Rechenzentrum verloren gehen, was einen negativen Eindruck hinterließ. Die Kunden warteten am Eingang des Gebäudes, während der diensthabende Ingenieur ihren Antrag fand und einen Ausweis bestellte, den die letzte Schicht „übersehen“ hatte. Wir dachten, was wäre, wenn wir diesen Prozess automatisieren?

Neuronka, uns zu helfen

Aus diesem Grund haben wir uns entschieden, ein neuronales Netzwerk zu entwickeln, das von der Bearbeitung der Anfrage bis zur Bestellung des Passes alles selbst erledigt. Wir wollten also unsererseits den Faktor Mensch eliminieren und die „nützliche“ Arbeitszeit unserer Ingenieure erhöhen (und das sind übrigens 10-15% der Arbeitszeit der Schicht, also ca. 2-2,5 Stunden a Tag).

Während der Entwicklung waren wir mit verschiedenen Schwierigkeiten und Problemen konfrontiert, die von der Suche nach einem Auftragnehmer bis zur Umschulung des Systems vor seiner Veröffentlichung reichten. Letzteres hat die Einführung des Produkts um einige Monate verschoben. Aber es stellte sich heraus, dass alles Kleinigkeiten waren.

Und jetzt fangen wir an, das System neu zu trainieren, sammeln Briefe für das vergangene Jahr mit Bitten, das Datenzentrum zu besuchen (2,5 – 3 Tausend Briefe, mit denen uns unsere tapferen Krieger von HelpDesk geholfen haben, die Toten durch göttliche Intervention wiederbeleben und dunkle Nekromantie), stehen wir wie zuvor vor einer neuen Herausforderung – INVESTITIONEN!

Die Kunden begannen, Vorlagenformulare in verschiedenen Formaten (Word, PDF, Excel, Bilder) zu verwenden, was zweifellos den Betrieb des Systems beeinträchtigte, das derzeit nur mit Text arbeiten kann.

Wir geben ehrlich zu, dass wir das neue Problem noch nicht gelöst haben (während wir versuchen, das neuronale Netz bei der Arbeit mit Text auf das Niveau eines Gottes zu bringen), aber wir verpflichten uns, nicht auf halbem Weg stehen zu bleiben und die Sache zu Ende zu bringen!

Möchten Sie wissen, woraus das System besteht?

Gehen wir weiter!

So sieht die Registrierung aller Anfragen aus, ID – ein Link zum Formular mit den Daten des Kunden, der E-Mail des Autors, der Uhrzeit, dem Status und der Entscheidung darüber (ein Pass wird bestellt oder nicht).

Das System selbst besteht aus folgenden Komponenten:

  1. Postverarbeitungsmodul

  2. Webinterface für den Datenzugriff

  3. Klassifikator

  4. Datenextraktionsdienste:

  • NER-Modell zum Extrahieren von Pass-Anwendungsdaten

  • NER-Modell zum Extrahieren von Signaturdaten in einem Brief

  • NER-Modell für morphologisches Text-Markup

Das Mailverarbeitungsmodul ist eine Anwendung, die auf dem Django-Framework basiert. Und es gibt einige Merkmale seiner Arbeit:

  1. Das Nachrichtenverarbeitungsmodul soll einmal pro Minute ausgeführt werden,

  2. Empfängt E-Mails von einem Firmen-Mailserver,

  3. Verarbeitet den Inhalt des Briefes durch Aufrufen der Klassifikator- und Datenextraktionsdienste

  4. Generiert einen Passantrag im JSON-Format

  5. Sendet einen Passantrag an unser Passbestellsystem

Die Webschnittstelle für den Datenzugriff ist eine Django-Anwendung, die entwickelt wurde, um:

  1. Repräsentatives Datenmanagement

  2. Organisationsdatenverwaltung

  3. Pass-Anwendungen anzeigen

PS Organisation – Unternehmen des Kunden; Vertreter – Vertreter der Organisation; Autor – die Person/Mailingliste, von deren Adresse der Einspruch eingegangen ist.

Der Klassifikator ist eine Webanwendung, die auf dem Deeppavlov-Framework basiert und ein auf neuronalen Netzwerken basierendes maschinelles Lernmodell verwendet, um E-Mails als Weiterleitungsanforderungen zu klassifizieren, die auf einem lokalen Netzwerkschnittstellenport ausgeführt werden.

Beispiel für eine Anfrage an den Klassifizierer:

curl -d ‘{“x”:[“Добрый день! Закажите мне пропуск на 28 января. С уважением, Сергей”]}’ -H “Inhaltstyp: Anwendung/json” -X POST http://localhost:5002/model

Beispiel für eine Classifier-Antwort:

[[“1”]]

wobei 1 bedeutet, dass es sich bei dem Schreiben um einen Passierschein handelt, und 0, dass dies nicht der Fall ist.

NER-Modelle sind wie der Klassifikator Webanwendungen, die auf dem Deeppavlov-Framework basieren. Mit ihrer Hilfe versteht das System, wer uns kontaktiert hat, ob der Verfasser der Anfrage berechtigt ist, an welchem ​​Datum, für wen (einschließlich eines Autos) und wo Pässe zu bestellen sind.

Bewerbungsprozess

Wenn eine Anfrage per Mail eingeht, lernt das System mithilfe von NER-Modellen alle Daten aus dem Brief und erstellt ein Objekt im Admin-Panel (Django). Als nächstes versucht das System, einen Vertreter per E-Mail zu finden, aber wenn es keinen solchen Benutzer gibt, nimmt das System die E-Mail-Domäne und sucht damit nach der Organisation.

Nachdem wir herausgefunden haben, wer uns kontaktiert, wo und für wen Ausweise benötigt werden, erstellt das System ein Seitenformular zum Ausfüllen von Informationen über Besucher.

Formularbeispiel:

Sendet dann eine Anfrage zur Bestätigung an berechtigte Personen dieser Organisation.

Von den Minuspunkten kann angemerkt werden, dass dieses System derzeit eine separate Datenbank mit Kundendaten benötigt, weil. unser “nachschlagewerk” hat noch nicht das referenzstadium erreicht. Aber bis Mitte oder Ende des Sommers planen wir bereits die Integration des neuronalen Netzes, was seine Wartung erheblich vereinfachen wird, denn Jetzt werden alle Kontakte und Berechtigungen manuell geändert.

Das System bewältigt seine Aufgabe perfekt und registriert alle Anfragen, aber noch hat nicht jeder gelernt, damit umzugehen.

Nutzen für den Kunden

Für einen Kunden, der E-Mail als Hauptkommunikationsmittel mit unserem Rechenzentrum verwendet, besteht der Vorteil darin, schnell einen Pass ohne die Beteiligung von DI zu bestellen. diese. nur Ihr Kupfer- oder Glasfaserkabel beeinflusst die Geschwindigkeit des Pass-Prozesses).

Wenn Sie uns im Rechenzentrum für eine Tour besuchen möchten, können Sie uns auf dem Portal anschreiben, unser neuronales Netzwerk wird sich mit Ihnen in Verbindung setzen und Ihnen einen Pass ausstellen!*

*Wenn Sie bereits Kunde unseres Rechenzentrums sind

Similar Posts

Leave a Reply

Your email address will not be published. Required fields are marked *