wie man es auswertet / Sudo Null IT News

Woher wissen Sie, ob das Training so funktioniert hat, wie es sollte? Danach ändern Mitarbeiter ihr Verhalten? Amortisieren sich die Kosten im nächsten Quartal? Oder ist es nahtlos in das Entwicklungssystem integriert und die Mitarbeiter haben keine Probleme, das erworbene Wissen anzuwenden?

Gemeinsam mit dem zur red_mad_robot Unternehmensgruppe gehörenden Bildungszentrum Verno verstehen wir die Methoden zur Bewertung von Bildungsergebnissen und gemeinsamen Schwierigkeiten.

Integrierter Ansatz von Donald Kirkpatrick

Die älteste und am häufigsten zitierte Technik stammt aus den 1950er Jahren, was eigentlich keine Technik ist. Kirkpatrick bietet kein spezielles Bewertungstool an. Er Höhepunkte vier Ebenen von Bildungsergebnissen, die mit qualitativen und quantitativen Methoden analysiert werden können. Angeboten wird eine Evaluation von Seiten der Studierenden, Ausbildungsveranstalter sowie Kunden, sofern der Anbieter an der Umsetzung beteiligt ist.

1. Schülerreaktion

Bewertet werden können: pädagogische Gestaltung und Inhalte, die Arbeit der Lehrenden (Experten, Referenten, Moderatoren).

Evaluationsmethoden: Direkte Befragungen, Beobachtungen und Messungen, z. B. Anwesenheit, Aktivität im Unterricht, Volumen der erledigten Aufgaben, Erreichen des Finales, Zufriedenheit und Bereitschaft, das Training an Kollegen weiterzuempfehlen (Indizes NPS und CSI).

Die erste Ebene ist die oberflächlichste. Es zeigt, ob den Studenten das Programm und die Organisation der Ausbildung gefallen, ob das Studium interessant ist, ob alles sinnvoll und bequem ist. Es ist praktisch, dass Sie auf diese Weise lästige Fehler erkennen und schnell beheben können. Aber es gibt auch widersprüchliche Meinungen. Der Leiter des Kurses kann gleichzeitig als zu abstrus und nicht tief genug bezeichnet werden. Der eine mag Webinare, der andere will keine Zeit damit verbringen, der dritte hat zu viel Text usw.

2. Lernen

Was kann bewertet werden: wie die Schüler den Stoff verstanden haben, ob sie ihn gut gelernt haben, ob sie sich sicher darin bewegen.

Bewertungsmethoden: Tests, Einzel- und Gruppenaufgaben, offene Fragen und Diskussionen, analytische Notizen.

Quiz und Umfragen ermöglichen es Ihnen, einen “Schnappschuss” eines Schülers oder einer Gruppe zu machen. Aber diese Methode ist nicht zuverlässig: Die Ergebnisse werden anders ausfallen, wenn die Schüler sich schlecht auf den Test konzentrieren, weil sie müde oder in Eile sind. Aber durch das Lösen von Problemen und Diskussionen wird klar, ob sie bereit sind, Wissen, Fähigkeiten und Werkzeuge in ihrer Arbeit anzuwenden. Außerdem kann man anhand der Ergebnisse erkennen, ob die Aufgaben geeignet sind und ob genügend Zeit für die Entwicklung und Entwicklung des Materials gegeben wird.

3. Verhaltensänderung

Was kann beurteilt werden: ob die Bildungsziele erreicht werden, ob die Mitarbeiter nach Abschluss der Schulung wie geplant handeln.

Evaluationsmethoden: Beobachtung und Kontrolle der Durchführung von Arbeitsaufgaben, Interviews, Zertifizierung (Assessment) oder Selbsteinschätzung.

Beobachtungen und Messungen auf diesem Niveau machen Sinn, wenn sie in der Dynamik durchgeführt werden, sonst gibt es keine Vergleichbarkeit der Lernergebnisse. Auf welchem ​​Niveau beherrschten die Schüler die Fähigkeiten zuvor und wie beherrschen sie sie jetzt? Welche Indikatoren zeigten dies damals und heute an?

Um Antworten zu erhalten, müssen wir, noch bevor wir mit der Gestaltung von Bildung beginnen, festlegen, welche Kompetenzen wir lehren, sie in Leistungsstufen zerlegen und jeder Verhaltensindikatoren zuweisen – das heißt, eine Checkliste von Fällen, die eine Person bewältigen kann.

Als nächstes einigen Sie sich auf das Niveau, auf das wir die Studenten in das Programm pumpen und was wir in der nächsten Entwicklungszone sehen möchten – nach 3-6 Monaten Arbeitspraxis. Zeitaufwändig, aber danach wird sicher klar sein, ob es geklappt hat oder nicht.

4. Geschäftsergebnis

Was kann bewertet werden: Ist das Team schneller geworden, um bestimmte Aufgaben zu bewältigen? Hat sich die Zahl der Personen mit bestimmten Fähigkeiten auf einem bestimmten Niveau erhöht? Hat sich die Qualität der Produktion verbessert, ist die Zahl der Fehler gesunken? Hat das Unternehmen mehr Arbeit geleistet? Gibt es weitere Projekte und Kunden? Wurde die Mitarbeiterfluktuation reduziert? Hat sich die Mobilität im Unternehmen verbessert?

Bewertungsmethoden: Beobachtungen und Berechnungen auf Ebene der Abteilungen und des gesamten Unternehmens in Dynamik (Kompetenzmatrizen, Finanz- und Personalanalyse), Kundenbewertungen.

Damit sich das System entwickeln kann, ist es notwendig, eine Ergebnisstruktur von oben nach unten aufzubauen – von übergeordneten Zielen bis hin zu gewünschten Kompetenzen und deren Indikatoren. Sie sollten einen Haufen bekommen: Unternehmensziele → Einheitsziele → Lernziele. Dies ist eine Landkarte, der zuerst der Anbieter folgt und die dann von denjenigen entwickelt wird, die die Ausbildung im Unternehmen unterstützen – dem Personaldienst, der Bildungsdirektion und den Abteilungsleitern.

In der Zukunft wurde das Kirkpatrick-Modell mehr als einmal verändert und verfeinert: zum Beispiel CIPP-Modell (Kontext, Einführung, Prozess, Produkt) oder Modell CIRO (Kontext, Einleitung, Reaktion, Ergebnis). Die Autoren dieser Ansätze raten dazu, sorgfältig miteinander zu korrelieren:

  • Unternehmensstrategie und Mitarbeiterschulungsbedarf,

  • Entwicklungspläne und verfügbare Ressourcen,

  • Lernergebnisse und Ziele.

Methode zur Berechnung der Kapitalrendite

Es fügt dem klassischen Kirkpatrick-Modell eine weitere Ebene hinzu. Sein Autor, der Ökonom Jack J. Phillips vorgeschlagen Bewerten Sie den Bildungseffekt, indem Sie den ROI-Koeffizienten (Return on Investment) berechnen, dh das Verhältnis zwischen Bildungsinvestition und späterem Nutzen.

Die Kosten umfassen die Kosten für die Organisation und Herstellung eines Bildungsprodukts sowie die Kosten für die Ablenkung von Mitarbeitern während des Studiums.

Alles scheint transparent: Je höher der Unternehmensgewinn (und damit der ROI), desto effektiver war das Training. Aber es gibt eine Einschränkung: Um zu sehen, wie sich das Training auf das finanzielle Ergebnis ausgewirkt hat, müssen Sie es von anderen Faktoren isolieren.

Ein einfaches Beispiel: Wir haben Managern einen Monat lang beigebracht, mit Kundenbedürfnissen umzugehen und auf Einwände zu reagieren. Wir haben den vierteljährlichen ROI gemessen, er war höher als die vorherigen. Die Schulung fand am Ende des Jahres statt, und vor den Feiertagen steigen die Umsätze normalerweise. Und das damalige Management erhöhte einfach das Budget für Marketing. Wo ist der Effekt von Training und wo der Effekt von Saisonalität und Verkaufsförderung, ist schwer auszumachen.

Das bemerkte Anfang der 1990er Jahre auch der Psychologe und Lernspezialist Robert O. Brinkerhoff. Seiner Meinung nach gibt es keine autonome Wirkung des Lernens. Dies ist nur einer der Faktoren im Zusammenhang mit anderen: Reife der Arbeitsprozesse, gute Kommunikation, Führungsstil usw. Die Ergebnisse des Trainings werden nicht hoch sein, wenn es andere Probleme im System gibt.

Um herauszufinden, was den Bildungseffekt beeinflusst, Brinkerhoff bietet an positive Beispielmethode. Es ist notwendig, Mitarbeiter zu interviewen und in zwei Fokusgruppen aufzuteilen – die erfolgreichsten und die am wenigsten erfolgreichen Studenten. Die Studierenden selbst beurteilen den Nutzen der Ausbildung, indem sie die Fragen beantworten: „Inwieweit hat die Ausbildung Ihre Herangehensweise an das Geschäft verändert?“, „Inwieweit wenden Sie neue Kenntnisse/Fähigkeiten in Ihrer Arbeit an?“. Dann werden die Mitarbeiter jeder Gruppe gebeten, genauer zu antworten:

  • Inwieweit hilft Ihnen das Training, Ihre Arbeitsleistung zu verbessern?

  • Was im Unternehmen hilft (würde) Ihnen helfen, erfolgreich zu studieren und gute Ergebnisse zu zeigen? Was soll unterstützt und gestärkt werden?

  • Was muss geändert (verbessert) werden, damit Sie bessere Ergebnisse erzielen?

Jetzt können Sie die Erfahrungen erfolgreicher Studenten studieren und versuchen, sie für alle Mitarbeiter zu skalieren. Erfahrungen von weniger erfolgreichen Studierenden weisen auf Mängel hin (z. B. fehlendes zeitnahes Feedback oder schwache Betreuung durch die Betreuer), die behoben werden können.

Welche Schlüsse lassen sich ziehen:

  1. Eine Möglichkeit, den Bildungsunterschied „war-geworden“ schnell zu beurteilen, wurde noch nicht erfunden, und es ist unwahrscheinlich, dass er jemals erscheinen wird.

  2. Es ist auch unwahrscheinlich, dass Lernen sichtbare Veränderungen bewirken kann, wenn Prozesse nicht parallel bearbeitet werden und die Kommunikation nicht hergestellt und gestärkt wird.

  3. Die Organisation der Ausbildung (Programm, Materialien, Formate, Arbeit der Referenten) und die Tiefe der Beherrschung des Stoffes lassen sich am einfachsten einschätzen – mit Hilfe von Befragungen, Beobachtungen und Diagnostik.

  4. Um tiefere Veränderungen (Entwicklung von Mitarbeitern und Abteilungen, Verbesserung der Finanzergebnisse) zu analysieren, sollten Schulungen in das Managementsystem eingebaut, ein einheitliches System zur Bewertung von Kompetenzen verwendet und Beobachtungen und Berechnungen in der Dynamik durchgeführt werden.

Weitere Informationen zur Organisation von Schulungen und Teamarbeit finden Sie unter im Telegrammkanal “Stören Sie nicht in die Arbeit der Menschen”.

Um eine Probeberatung zum Upgrade Ihrer IT-Teams zu erhalten, schreiben Sie an Pascha Buntman von Verno.

Similar Posts

Leave a Reply

Your email address will not be published.