Wie wir ein einziges elektronisches Archiv der Dokumente der MOEX Group basierend auf Open Source / Sudo Null IT News erstellt haben

Grüße! Mein Name ist Vladimir Surovtsev, ich bin verantwortlich für die Entwicklung des externen Kundendienstes an der Moskauer Börse. Unsere Abteilung hat erstellt und entwickelt:

  • Websites der Internetdarstellung, die wichtigste von ihnen ist https://www.moex.com;

  • Privatkonten von Firmenkunden https://cabinet.moex.com;

  • Bildungsplattform, mit deren Hilfe die Moskauer Austauschschule gegründet wurde – https://school.moex.com;

  • digitale Erlebnisplattform (DXP);

  • Low-Code-Plattform zum Erstellen von Benutzeroberflächen;

  • digitale Asset-Management-Plattform (ECM / DAM), auf deren Grundlage wir ein elektronisches Dokumentenarchiv erstellt haben – wir werden heute darüber sprechen.

Vor dem Aufkommen eines einheitlichen elektronischen Dokumentenarchivs entwickelte das Unternehmen lokale Speicher in verschiedenen technologischen Lösungen mit unterschiedlichen Abhängigkeiten von internen und externen Ressourcen. Dieser Ansatz war überall weit verbreitet: Mit der Entwicklung von Systemen, die mit Dokumenten arbeiten, erschien neben ihnen (oder sogar in ihnen) zwangsläufig ein Ort zum Speichern von Binärdateien. Ganz zu schweigen davon, dass alle Attribute nach Dokumenten nur in dem System verfügbar waren, das als erstes damit gearbeitet hat. Darüber hinaus konnten verschiedene Abteilungen dieselben Dokumente von Kunden anfordern und verarbeiten, was nicht nur zur Verschlechterung der Mitarbeiter-, sondern auch der Kundenerfahrung beitrug. Es war klar, je länger wir damit leben, desto mehr Schulden häufen wir an, die es zu bewältigen gilt. Und was am wichtigsten ist, diese Schulden können sich weiter anhäufen, bis wir bereit sind, auf die Kundenerfahrung einzugehen. Am Ende stellte sich die negative Auswirkung auf das Kundenerlebnis als ein Punkt heraus, an dem etwas getan werden musste.

Wir standen vor der Aufgabe, alle Dokumente der Unternehmen der Gruppe an einem Ort zusammenzubringen, um schnell auf eine Einheit des digitalen Abbilds des Dokuments zugreifen zu können. Nun, einmal zu einer Einheit, es ist klar, dass es notwendig ist, den Schmerz mit verstreuten Duplikaten zu beseitigen, die von denselben Firmenkunden an verschiedenen Stellen in der Gruppe angefordert werden. Stellen Sie außerdem eine End-to-End-Suche, Änderungshistorie, Verschachtelung, Zugriffs- und Speicherebenen und natürlich eine erweiterbare Attributzusammensetzung bereit.

Es scheint, dass das alles ist, aber nein: Das Unternehmen gibt es schon lange, es wurden umfangreiche digitale Erfahrungen gesammelt, die Menge an digitalen Assets, Bilder vorhandener Dokumente, Software für verschiedene Abteilungen, die sie verarbeiten, neue Arten von Dokumenten zur Übersetzung in elektronische Form anstehen.

Und diese ganze Geschichte kommt zu mir in dem Format: Würdest du dir das ansehen? Übrigens, wenn du bereit bist, brauchen wir in 2 Monaten auf der Archcom ein tragfähiges Konzept.

Ich hätte gar nicht gedacht, dass die Antwort anders ausfallen könnte. Eine unfassbare, furchtbar ambitionierte Aufgabe mit kurzer Deadline – natürlich fertig 😊

Also, wie wir ein elektronisches Archiv von Dokumenten in der Firma Moscow Exchange erstellt haben.

Suche nach Entscheidungen

Der entscheidende Erfolgsfaktor war die Unterstützung durch das Team: Es gab die gleichen Enthusiasten, und ein paar Wochen reichten aus, um klar zu verstehen, wie es sein sollte.

TraumteamTraumteam

Zunächst einmal haben wir selbst den Markt für solche Lösungen durchforstet. In dieser Phase haben wir uns mit einer solchen Softwareklasse wie Enterprise Content Management (ECM), Corporate Content Management Systemen, vertraut gemacht. Wir haben uns die Lösungen sowohl des russischen als auch des ausländischen Marktes angesehen. Wir haben festgestellt, dass es viele proprietäre Lösungen und eine sehr kleine Anzahl offener Lösungen gibt.

Darüber hinaus nutzten die meisten russischen Anbieter ausländische offene Software Alfresco in ihren Systemen. Ja, ja, Menschen aus diesem Unternehmen haben einen großen Beitrag zur Entwicklung von Unternehmenssystemen auf der ganzen Welt geleistet. Abgesehen davon, dass auf der Grundlage ihrer Lösungen der Löwenanteil der russischen Unternehmen im EDI-Sektor auftauchte, verfügt fast jedes Unternehmen über eine Plattform zur Automatisierung von Geschäftsprozessen (BPM) Camunda, eine Abspaltung des BPM-Activiti-Systems, das sich noch in der Entwicklung befindet im Freien.

Na gut, hör auf, Alfresco zu loben – zumal wir ihre Entscheidung nicht zugrunde gelegt haben 😊. Natürlich haben wir die Alfresco ECM Community-Version kompiliert, installiert und getestet, aber dennoch ist dies eher eine Promo als eine echte Lösung für ein Unternehmen. Für unsere Zwecke benötigten wir Alfresco ECM Enterprise auf Abonnementbasis, bei der horizontale Skalierung unterstützt wurde. Und wir begannen, uns die direkten Konkurrenten von Alfresco anzusehen – Hyland, Nuxeo.

Nuxeo bot auch eine Open-Source-Lösung auf dem Markt an, während sich die Community- und Enterprise-Versionen als identisch herausstellten.Der einzige Unterschied besteht darin, dass sich im Enterprise-Abonnement herausstellte, dass die neue Version 3 Monate schneller war und auch möglich wurde die Low-Code-Plattform Nuxeo Studio zu verwenden.

Als wir gleichzeitig Alfresco ECM Community und Nuxeo ECM Community unter Last getestet haben, stellte sich heraus, dass die Lösung von Nuxeo viel stabiler und schneller war. Der einzige Nachteil von Nuxeo ist, dass es niemanden gibt, mit dem man sprechen kann 😊. Es gibt keine Anbieter und Inhalte für diese Plattform in Russland. Aber trotzdem überwogen die Pluspunkte deutlich,

Zwei großartige ECM-Lösungen von HYLANDZwei großartige ECM-Lösungen von HYLAND

Also haben wir das Konzept gezeichnet, es dem Arch Committee präsentiert und…

Konzeptdiagramm von ECM im UnternehmenKonzeptdiagramm von ECM im Unternehmen

Sie haben uns geglaubt! Mit Vorsicht, mit Einschränkungen, aber geglaubt! Wir haben vereinbart, dass wir diese Software mit primärer Unterstützung des Herstellers selbst verwenden, einen Prototyp entwickeln und parallel verhandeln können, um ein Enterprise-Abonnement zu erhalten.

Prototyping und MVP

Für den Prototypen mussten wir Software so schnell und kostengünstig wie möglich in der IT-Landschaft mit minimalen Serverressourcen bereitstellen. Wir haben eine leichte, kompakte ECM-Architektur mit Redis genommen:

Kompakte ECM Nuxeo-ArchitekturKompakte ECM Nuxeo-Architektur

Denken Sie daran, dass diese Architektur nur für Prototypen und MVPs geeignet ist, hier erhalten Sie keinen Nachrichtenverlauf im System und Sie verlieren aktuelle Streams bei Abstürzen aufgrund von RAM-Beschränkungen.

Sobald wir einen funktionierenden Prototyp hatten, begannen wir damit, interne Kunden und Dokumentenanbieter damit zu verbinden, um ein Minimum Viable Product zu erreichen. Und als sie erfolgreich waren, erhielten sie Interesse an diesem Service von anderen Abteilungen.

Für die vollständige Implementierung (vom Prototyp bis zum MVP-Ergebnis) haben wir etwa drei Monate gebraucht, während dieser ganzen Zeit haben wir regelmäßig mit Nuxeo ECM-Herstellern verhandelt, um ein Enterprise-Abonnement zu erhalten (und es entwickelt sich sehr individuell). Gleichzeitig stellten wir allmählich fest, dass wir darauf verzichten konnten (wir gingen sofort damit um, Images in der Infrastruktur des Unternehmens aus Quellcodes zusammenzusetzen, die uns in den aktuellen Realitäten in die Hände spielten).

Infolgedessen wurde Nuxeo Teil der Hyland-Holding, Alfresco auch, und die Dienstleistungen von Hyland können in unserer Region überhaupt nicht mehr erbracht werden. Und zu diesem Zeitpunkt haben wir bereits mit der Installation einer verteilten ECM-Architektur für das angestrebte Unified Electronic Archive 😊😊😊 begonnen

Wir stehen an einem Scheideweg: Das Projekt in der aktuellen Konfiguration weiterführen oder aus dem Weg räumen und von vorne beginnen? Zuerst wurden wir emotional, aber alle Ängste verschwanden, sobald wir uns die Frage stellten: was verlieren wir und/oder was fehlt uns?

Was verlieren wir?

Nichts. Die Apache 2.0-Lizenz gibt uns die Freiheit, sie so zu verwenden, wie wir sie brauchen.

Das Überprüfen und Zusammenstellen von Quellcodes innerhalb des Unternehmens garantiert die Sicherheit und dass die kompilierte Software funktioniert, solange interne Unterstützung vorhanden ist.

Was fehlt uns?

1. Support durch Abonnement des Herstellers für 2 Jahre.

Ja, es wird schwieriger, die Expertise in einem Unternehmen zu steigern, aber immer noch möglich – vor allem wenn man bedenkt, dass wir während der Arbeit mit Prototyp und MVP bereits damit begonnen haben, die Wissensbasis zu füllen. Es reicht aus, den Befehl minimal zu erweitern, um das Füllen zu beschleunigen. Ja, es gibt eine Verzögerung beim Zugriff auf die neue Version (die Version, die mit einem Enterprise-Abonnement erscheint, wird erst nach 3 Monaten in der Community verfügbar). Für uns kann dies nur aus Sicherheitsgesichtspunkten von Bedeutung sein, aber da wir regelmäßig Penetrationstests bestehen und wir immer ein Team haben, um identifizierte Schwachstellen zu beseitigen, ist die Update-Verzögerung nicht kritisch.

2. Zugriff auf die Low-Code-Plattform Nuxeo Studio. Ja, wir verlieren eine bequeme Drag-and-Drop-Oberfläche zur Bereicherung von ECM-Geschäftsfunktionen, aber die grundlegenden Szenarien und Einstellungen für die Arbeit mit Geschäftsanforderungen wurden bereits in Form von konfigurierbaren Dateien in das Unternehmens-Repository aufgenommen. So können wir eine Beschreibung hinzufügen und über den Ingenieur konfigurieren.

Nachdem wir zeitnah eine RFI durchgeführt hatten, wodurch wir keine neuen interessanten Angebote auf dem Markt fanden, und die Preise aktueller proprietärer russischer Lösungen überraschten uns mit unserer schnellen Reaktion auf den Ausstieg von Hyland (Alfresco) aus dem russischen Markt entschieden wir uns , das elektronische Archiv mit ECM Nuxeo bis zur Zielgröße weiterzuentwickeln .

Unzerstörbares elektronisches Einzelarchiv

Um ein unzerstörbares einziges elektronisches Archiv für die Bedürfnisse aller Abteilungen des Unternehmens bereitzustellen, haben wir eine verteilte Architektur mit Kafka und ZooKeeper zugrunde gelegt:

Verteilte Nuxeo ECM-ArchitekturVerteilte Nuxeo ECM-Architektur

Und wir haben den letzten Satz erweiterbarer Funktionen:

  • konfigurierbare Metadaten;

  • Verschachtelung von Dokumenten und ihren Bildern, Ordnern, Objekttypen;

  • Versionierung von allem und jedem;

  • Integration mit aktueller Unternehmenssoftware:

  • Bedienerschnittstellen;

  • Kryptosysteme;

  • Authentifizierungsdienste für Unternehmen;

  • aktuelle EDI-Systeme;

  • Scanstation;

  • Protokollierung und Prüfung gemäß IS-Anforderungen;

  • Datenspeicherung in verschiedenen Netzsegmenten;

  • End-to-End-Suche.

Bis Mai dieses Jahres haben wir allerlei Tests durchgeführt, die Migration aller MVPs abgeschlossen und internen Fachabteilungen eine zielgerichtete Lösung als Service angeboten – nehmen Sie sie und nutzen Sie sie ohne zusätzliche Investitionen. Beliebige Volumina, Supportstufen und Weiterentwicklungen sind bereits in der Wartung des Systems enthalten.

Einige Statistiken

Jetzt werden im Elektronischen Archiv mit dieser Konfiguration etwa 10.000 Dokumente pro Tag verarbeitet, die Spitzenlast betrug 88.000 Dokumente. Insgesamt speichert das Archiv etwa 7 Millionen Dokumente aus verschiedenen Abteilungen, und das sind nur 0,5 Terabyte. Für die nächsten sechs Monate haben wir bereits Aufträge zur Übertragung von 3,5 TB Dokumenten aus Legacy-Lösungen. Das heißt, am Ende des Jahres erreichen wir 50 Millionen Dokumente, und das ist erst der Anfang für die gesamte Unternehmensgruppe.

In diesem Fall wird jedes Systemereignis im ELK protokolliert und an die Sicherheitsinfoabteilung übermittelt. Es mag Ihnen fantastisch erscheinen, aber während des Betriebsjahres wurde kein einziger Vorfall im System registriert.

Die wichtigste Schlussfolgerung aus 1,5 Jahren Implementierung eines einzigen elektronischen Unternehmensarchivs: Open-Source-Produkte haben möglicherweise einen großen Wert, aber um sie zu nutzen, müssen Sie die Zeit des Teams in die Forschung investieren, ihre Ergebnisse verteidigen und an den Erfolg glauben.

Und über Pläne

Eigentlich fängt alles gerade erst an 😊

Wir haben Pläne:

  1. Eigener Low-Code-Konfigurator (ähnlich Nuxeo Studio).

  2. Produktansatz zur Schnittstellenentwicklung.

  3. Automatisierung des Prozesses der Erkennung und Überprüfung der Signatur von Dokumenten.

  4. Enge Integration mit der DXP-Plattform und der DevOps-Plattform.

  5. Transformation des elektronischen Dokumentenarchivs in eine Corporate Digital Asset Management-Plattform.

Wir werden Sie auf jeden Fall über neue Ergebnisse informieren und beantworten jetzt gerne Ihre Fragen.

Und wenn Ihr Unternehmen Interesse an einer solchen Lösung hat (oder vielleicht bereits hat), sind wir bereit, unsere Erfahrungen ausführlicher zu teilen. Wir warten auf Sie in den Kommentaren oder in einem persönlichen 🙂

Similar Posts

Leave a Reply

Your email address will not be published.