Eine Geschichte darüber, wie wir ein Pilotprojekt zur Zertifizierung von Testern gestartet haben – Teil 1

Hey Habr!

Ich melde mich wieder – und nach meinen Geschichten über den Qualitätserhalt beim Testen mit der Ankunft eines Anfängers und endlosen Regressionstests, beschreibt dieser Artikel ein Pilotprojekt zur Bewertung eines Testers nach seinem aktuellen Wissensstand.

Vorworte oder Reflexionen darüber, wie viele Tester in der IT tätig sind

Spoiler: sehr viel. Alle belegen Kurse, um in die Welt des Testens einzusteigen, aber das Testen des Wissens neuer Spezialisten endet zum Zeitpunkt der bestandenen Prüfungen in den Kursen und weiter während des Interviews. Was kommt als nächstes? Wird sich der Tester in 1 Jahr an den Stoff erinnern, den er während der Ausbildung gelernt hat? Und nach 3 Jahren?

Wenn das Unternehmen keine Mitarbeiterzertifizierungsmaßnahmen anwendet und / oder der Mitarbeiter das erworbene Wissen nicht in der Arbeit anwendet, kann das Gedächtnis des Testers sehr stark versagen. Darüber hinaus kann es auch die Qualität der Tests beeinflussen (“und weiter wie ein Schneeball …”). In diesem Fall kann das Problem nicht nur in negativer Richtung auftreten, in der der Tester den gesamten Studiengang vergessen hat, sondern auch in positiver Richtung – der Spezialist hat seine Fähigkeiten und Kenntnisse im Testen verbessert und die Manager haben ihren Untergebenen unterschätzt (Und wie lange hält ein unterbewerteter Mitarbeiter im Unternehmen? Aber es setzt den Arbeitgeber moralisch unter Druck).

Daher muss dieses Problem gelöst werden.

In einem Pilotprojekt, das ich mit organisiert habe
Linienmanager, führte die Zertifizierung von Testern in der Anfangsphase durch
(Erfahrung bis zu 1 Jahr), da noch Tester eines höheren Niveaus zu bewerten sind
früh und gleichzeitig schwieriger.

Arbeitsbeginn

Der erste Schritt in der Arbeit am Zertifizierungsprojekt war die Erstellung eines Plans:

  • welches Wissen wir testen wollen;

  • in welchem ​​​​Wissensbereich ist eine Überprüfung erforderlich;

  • welche Instrumente verwendet werden sollten, um die Wissens- und Kompetenzebene zu überprüfen;

  • welche Akkreditierungsteilnehmer erforderlich sind;

  • Wertungsrechner usw.

All dies ist notwendig, um nicht nur Hard-, sondern auch Soft Skills sicherzustellen. Darauf aufbauend wurde im nächsten Schritt der Wissensstand des Testers eingeschätzt.

Definition eines Wissenssatzes eines Testers der 1. Kategorie

In Anbetracht der Tatsache, dass Ingenieure in unserem Unternehmen in Kategorien eingeteilt werden, mussten wir zu Beginn einer Karriere die erforderlichen Kenntnisse und Fähigkeiten eines Testers bestimmen.

Natürlich ist es unmöglich, von einem Tester, der bis zu 1 Jahr in diesem Bereich arbeitet, ein breites Spektrum an Fähigkeiten zu verlangen. Die Anforderungen müssen also vereinfacht werden.

Die Mindestfähigkeiten für einen Tester der 1. Stufe:

  1. Tests zusammenstellen und Tests mit vorgefertigten Tests durchführen;

  2. Testergebnisse gemäß dem festgelegten Testplan für das Projekt aufzeichnen;

  3. Registrieren Sie während des Tests entdeckte Vorfälle;

  4. Erstellung und Bereitstellung eines Berichts über die Testergebnisse (Anzahl der bestandenen/nicht bestandenen Tests);

  5. im Team arbeiten können;

  6. Kenntnisse über die Grundlagen des Testens haben;

  7. Verstehen, was der Lebenszyklus nicht nur aus Softwareentwicklung (SDLC), Testlebenszyklus (STLC) sowie der Teilnahme an diesen Prozessen besteht;

  8. Mit Testwerkzeugen (TestRail, Zephyr, Test Management etc.) arbeiten können;

  9. Möglichkeiten haben, Entwicklungsfähigkeiten zu demonstrieren:

a.Trace-Anforderungen;

b. Selbstschreibende Tests basierend auf Anforderungen und Erfahrungen;

c. Schreiben von Tests unter Verwendung von Testdesigntechniken;

d. Durchführung manueller API-Tests;

e. Schreiben einfacher SQL-Abfragen;

f. Kommunikationsfähigkeiten, um Ratschläge zu verschiedenen Fragen im Zusammenhang mit der zu testenden Software zu erhalten.

Fazit: Sie müssen einen Plan erstellen, in dessen Bereichen die Bewertung des Wissensschnitts durchgeführt wird

Beurteilungsplan für die aktuelle Klasse

Themenbereiche für die Bewertung:

  1. Grundkenntnisse des Testens;

  2. Basiswissen über das Projekt, an dem der Tester beteiligt ist:

a. Geschäftsentwicklung;

  1. Testen:

a. Vorgefertigte Tests durchführen und verstehen;

b. Spezialisierung (nach Art der Prüfung);

  1. Testmanagement;

  2. Fehlerbericht;

  3. Berichterstattung.

Daher sollte für diese Bereiche eine Prüfliste erstellt werden. In unserem Fall war es:

  • Durchführung einer mündlichen Prüfung;

  • Durchführung einer Expertenbefragung (Mitglieder des Testteams);

  • Bewertung des eingereichten Materials (Testfälle, Fehlerberichte, Berichte usw.).

Schema der mündlichen Wissensprüfung

Zuvor war geplant, einen Test mit mehreren Antwortmöglichkeiten zu erstellen, aber diese Idee hat den Test des Betreuers nicht erfolgreich bestanden, da die bewerteten Tester die Antworten problemlos an andere Tester melden werden, außerdem wird die richtige Option auf die “gegoogelt”. Internet. Daher wurde beschlossen, Fragen mündlich zu stellen, und die Antworten werden bereits anhand der Wahrscheinlichkeit bewertet, zur richtigen Antwort zu gelangen. Die Wertung läuft dann wie folgt ab.

Zum Beispiel haben wir insgesamt 20 Fragen mit 4 abgestuften Antworten, wobei die höchste Punktzahl für die genaueste und vollständigste Antwort auf eine Frage 5 ist (100/20 = 5). Außerdem werden diese 5 Punkte durch 4 geteilt, um die Differenz zu bestimmen, um die die höchste Punktzahl reduziert werden sollte (5/4 = 1,25), dann minus (5 – 1,25 = 3,75), dann minus (3,75 – 1,25 = 2,5) und wieder minus (2,5 = 1,25 = 1,25), wo das Ergebnis ist:

5 – die höchste Punktzahl für eine vollständige und richtige Antwort;

3,75 – niedrigere Punktzahl, weil die Antwort des Testers wichtige Definitionen verfehlte;

2,5 – die Punktzahl wird aufgrund einer eher schlechten Antwort eines Testers auf die Frage unterschätzt;

1,25 – Punktzahl für die schlechteste Antwort.

Hier findet sich die Mindestschwelle, bei der die Summe der niedrigsten Punktzahlen 25 (1,25 * 20 = 25). Oder Sie können die Mindestschwelle selbst festlegen.

Als Ergebnis können Sie hier die Wahrscheinlichkeit bestimmen, die Antwort zu treffen, da Sie keine 0 Punkte setzen können, wenn die Antwort des Testers nicht genau mit der richtigen Antwort übereinstimmt. Denn der Tester hat immerhin etwas geantwortet, auch wenn es verschmiert war, aber die Schlüsselwörter sind in seiner Antwort vorhanden.

Expertenbefragung

Bisher schrieben Experten ihre Einschätzung in eigens dafür vorgesehenen Feldern auf dem unternehmensinternen Portal. Zudem wirkte das Assessment oft sehr dürftig, da der Experte alle Eigenschaften (Soft Skills, Hard Skills) aufschreiben musste, die er beim Mitarbeiter sah. (und versuchen Sie, sich das ganze Jahr daran zu erinnern)

Ich erinnere mich, dass es mir einmal bei einem Anruf einer der Experten gesagt hat: “Es hat zwei Wochenenden gedauert, um die Partitur zu schreiben.”

In einer solchen Situation wurde beschlossen, eine Reihe von Fragen zu den Interessengebieten für die Qualitäten des Testers zu erstellen und dann eine Expertenbefragung für den Aufruf durchzuführen. Die Themen der Fragen sind die gleichen wie im Block „Bewertungsplan für die aktuelle Note“.

Diese Art der Bewertung erleichtert nicht nur dem Experten selbst die Arbeit, sondern auch dem Manager, der die Zertifizierung abschließt, weil er eine vollständigere Beschreibung der Qualitäten des Testers erhält. Der bewertende Teilnehmer (Experte) wird von den Testern selbst bestimmt und im nächsten Schritt werden Besprechungen von maximal 30 Minuten anberaumt.

Die Punktevergabe ist ähnlich, aber an manchen Stellen geht die Abstufung nicht „runter“, sondern „rauf“, z. B. haben wir 20 Fragen, 5 Punkte ist die Mindestpunktzahl, es gibt jeweils 3 Antwortmöglichkeiten in der Frage: 5 / 3 = 1,67wo 5 + 1,67 = 6,67Des Weiteren 6,67 + 1,67 = 8,34 – es stellt sich also heraus, dass 8,34 Punkte die höchste Punktzahl sind.

Eine solche Abstufung lässt sich der Frage „Wie führt ein Tester Tests durch?“.

Welche Methode wird beispielsweise beim Testen einer Softwareanwendung verwendet: “Black Box”, “Gray Box” oder “White Box”? Standardmäßig kann man von einem Level-1-Tester die „Black Box“ verlangen, aber die „Grey Box“ ist bereits eine Steigerung der Fähigkeiten, und 3,33 Punkte können nicht in die Bewertung einfließen, wenn 5 die höchste Punktzahl ist (5 – 1,67 = 3,33).

Bewertung des eingereichten Materials

Von bewerteten Testern angefordertes Material – Testfälle, Fehlerberichte, PDPs, vierteljährliche PDP-Fortschritts- und Zielberichte und optional Checklisten und andere Tests unter Verwendung von Testdesigntechniken.

In diesem Teil des Validierungspilotprojekts lief nicht alles reibungslos – die Tester schickten keine Berichte über die geleistete Arbeit und die erreichten PDP-Ziele, einige schickten überhaupt keine PDP. Daher entschied man sich, auf die Auswertung von Testfällen und Fehlerberichten zu setzen.

Kriterien, die Testfall- und Fehlerberichtsobjekte erfüllen müssen:

  1. Der Titel ist der wichtige Teil. Daher sollte es die zu testende Funktionalität, den Speicherort, Variablen oder Attribute (falls vorhanden) angeben. Die Überschrift selbst sollte eine logische Form, Kürze und Vollständigkeit haben. Dies geschieht in der Reihenfolge (im Fall eines Fehlerberichts), damit der Entwickler keine Zeit damit verschwendet, den Fehlerbericht zu verstehen, sondern anhand des Titels sofort verstehen kann, was das Problem ist, in welcher Funktionalität, wo genau und unter welchen Bedingungen und / oder Attribute auftritt, und nur um den Ort des Fehlers zu klären, ging in die Beschreibung des Berichts.

  2. Referenzen ist ein optionales Attribut, das Links, den Namen der Umgebung, die Softwareversion usw. enthält.

  3. Vorbedingung – dieses Kriterium ist ergänzend, und daher werden hier vorbereitende Maßnahmen angegeben, die zu Testschritten führen, es ist auch notwendig, den Ort anzugeben, möglicherweise Beispiele (falls verwendet). Die Voraussetzung sollte logisch und strukturiert sein.

  4. Schritte – eine detailliertere Beschreibung des Tests oder Fehlers, in der Sie die getestete Funktionalität, den Speicherort, Beispiele für Variablen oder Namen von Objekten angeben müssen, die beim Testen verwendet werden (“ein wichtiger Teil der Schritte“). Wie der Titel sollten die Schritte logisch und strukturiert sein und der Abfolge von Aktionen einer einzelnen Funktion folgen, ohne andere Tests zu beeinträchtigen.

  5. Erwartetes Ergebnis – muss den Anforderungen, TOR und anderen Dokumenten entsprechen, die Analysten nach der Kommunikation mit dem Kunden bereitstellen. Das erwartete Ergebnis hat einen lokalisierten Charakter und wird in seiner endgültigen Form beschrieben.

  6. Tatsächliche Ergebnis (Wird in Fehlerberichten, aber nicht in Testfällen verwendet) – hier wird eine Abweichung vom gewünschten Ergebnis angezeigt, oder mit anderen Worten, ein “Fehler”. Der Ort ist bereits im erwarteten Ergebnis angegeben, aber wenn die Orte des empfangenen Ergebnisses und des erwarteten Ergebnisses unterschiedlich sind, sollten Sie angeben (obwohl es keinen Unterschied geben sollte.). Und das letzte Kriterium – das tatsächliche Ergebnis wird in der endgültigen Form angezeigt.

  7. Anhänge – verschiedene Screenshots, Protokolle, INI-Einstellungen, Dateien zum Herunterladen und andere Anwendungen je nach Software.

  8. Nachbedingung – wie die Vorbedingung ist sie nicht obligatorisch, sollte aber verwendet werden, wenn es notwendig ist, die in die Datenbank eingegebenen Daten zu löschen, damit der Testfall ein funktionierendes Aussehen hat.

  9. Kommentar – das letzte, ergänzende Kriterium, das verschiedene Klarstellungen und/oder (bei Testfällen und/oder Fehlerberichten) Empfehlungen zur Behebung des Fehlers enthält.

Die Zählung solcher Materialien wird wie folgt durchgeführt: 100 wird durch die Anzahl der Komponenten in den Kriterien geteilt (wenn der Titel beispielsweise 5 Komponenten hat, sind die Schritte ähnlich wie bei 5 Kriterien 100/10).

Vergessen Sie nicht, dass der bewertete Level-1-Tester nicht immer einen 100 % perfekten Testfall oder Fehlerbericht schreibt, sodass in diesem Fall die Punktzahl unterschätzt wird:

  1. Punkt / 1,5 – für eine mehr oder weniger gute Beschreibung;

  2. Punkt / 2 – für eine schlechte Beschreibung;

  3. Punktzahl / 3 – sehr schlechte Beschreibung;

  4. Punktzahl / Punktzahl – Die Komponente des Kriteriums wird nicht angegeben, obwohl sie bereitgestellt wird (z. B. hat der Tester nicht angegeben, wo er den Fehler gefunden hat).

Header

Damit wurde der erste Teil des Pilotprojekts zur Zertifizierung eines Testers auf aktuellem Wissensstand durchgeführt.

Und ich werde sagen, dass die Tester selbst die Zertifizierung mochten. Obwohl es für sie stressig war, sahen die Mitarbeiter, wo sie Wissenslücken hatten, und irgendwo kam ihnen eine Idee, um die Testqualität ihres Projekts zu verbessern. Und ich werde mehr sagen: Nicht nur Tester, sondern auch Analysten sahen einen anderen Workflow-Ansatz, der die Qualität des Softwareprodukts selbst verbessert.

Ich behaupte nicht, dass Sie in diesem Zertifizierungsprojekt viele Kommentare finden, aber das Programm ist ein Pilotprogramm, das weiter optimiert wird.

Vielen Dank, dass Sie den ersten Teil des Artikels gelesen haben. Der zweite Teil widmet sich dem Wissen eines Ingenieurs, um die Note zu verbessern.

Similar Posts

Leave a Reply

Your email address will not be published.