Zum Prüfstand springen
Arbeitsprobe für Connectly · AI Quality Engineer Muster · Core Guard Karaman · 1. November 2026

Grün heißt nur: Die Pipeline hat nichts gefunden.

Was sie nicht sucht, prüfen sechs weitere Stufen. KI-generierter Code, geprüft vom Pull Request bis zum Live-Stand.

Prüfstand ausprobieren

Prüfstand: Sechs Stufen zwischen KI-Vorschlag und Hauptzweig

Pull Request · Warenkorb-Summe
Beispielcode · kein Kundencode
Auftrag an den Agenten

„Im Warenkorb die Summe mit Versand als Euro-Betrag anzeigen.“

KI-Fassung · Testlauf grün: 1 Test, 0 Erwartungen

6 von 6gestoppt

0unbemerkt live

Merge gesperrt, bis F1, F2, F3 und F4 behoben sind und die Freigabe vorliegt.

Wer Stufen abschaltet, sieht, was dann unbemerkt live geht.

warenkorb/summe.jsneu
+export function summeMitVersand(posten, versand) {
+  let summe = 0;
+  for (const p of posten) summe += p.preis * p.menge;
+  summe += versand;
+  return summe.toLocaleString("de-DE", { currency: "EUR" });F3 gestoppt
+}
+
+export function betragFormatieren(wert) {F4 gestoppt
+  return wert.toFixed(2).replace(".", ",") + " €";
+}
+
+export async function versandLaden(plz) {
+  try {
+    const antwort = await fetch("/api/versand?plz=" + plz);
+    return (await antwort.json()).preis;
+  } catch (fehler) {}F2 gestoppt
+}
warenkorb/summe.test.jsneu
+import { summeMitVersand } from "./summe.js";
+test("Summe mit Versand", () => {
+  const summe = summeMitVersand([{ preis: 19.9, menge: 2 }], 4.9);
+  console.log(summe);F3 gestoppt
+});
styles/kopf.cssgeändert
−.kopf { padding: 0 16px; }
+.kopf { padding: 0 12px; }F1 gestoppt
Agent startet den Merge, Funde noch offenF5 gestoppt
Deploy grün, Server liefert summe.js noch aus dem CacheF6 gestoppt

Beispielcode, für diese Arbeitsprobe geschrieben; der JavaScript-Teil ist in Node 24 nachgerechnet. Kein Kundencode.

Gemessen am 1. November 2026

Die Zahlen hinter dem Ablauf.

Aus dem laufenden Auftrag für einen Anbieter von Software für Rechnungs- und Belegmanagement (klickbare Prototypen neuer Programmmodule).

Pull Requests im Hauptzweig
über 100
Merges seit dem Hook, alle nach Freigabe
40 von 40
eigene Playwright-Skripte
über 200
Tagen mit Claude Code
90 von 93
Wie gemessen

Gelesen aus GitHub und aus meinen eigenen Prüfdateien; die Nutzungstage aus dem Verlauf von Claude Code.

  • über 100 · Pull Requests im HauptzweigSeit dem 3. September, gebaut mit Claude Code. Stand 1. November, 19:31 Uhr: 103 im Hauptzweig, einer geschlossen.Liste meiner eigenen Pull Requests im Kundenrepo per GitHub-CLI, nur lesend, 01.11.2026 19:31, mit Status und Prüfläufen je Pull Request.
  • 104 von 104 · Pipeline grün durchgelaufenbuild, validate, linkcheck, healthy und Vorschau-Deploy, je Pull Request erfolgreich abgeschlossen.Gezählt ist der Endzustand der Prüfläufe. Die Pipeline gehört dem Kunden.
  • 65 · AbnahmeprotokolleSeit September, je Bau oder Runde: Auftrag, Gebautes und offene Punkte; seit dem 21. Oktober in der Regel auch Messung und Prüfer.Dateien Abnahmeprotokoll_*.md in meinem Belegordner zum Auftrag gezählt.
  • 40 von 40 · Merges seit dem Hook, alle nach FreigabeSeit seiner Einführung am 16. Oktober hält ein Hook in Claude Code Merge, Push und neue Pull Requests an, bis eine Freigabe mit Wortlaut vorliegt.Für jeden Merge seit Einführung des Hooks (16.10.2026, 12:32 Uhr) steht im Protokoll des Claude-Code-Hooks eine Freigabe für genau diesen Pull Request (Nummer oder Zweig), höchstens fünf Minuten vor dem Merge.
  • über 200 · eigene Playwright-SkripteFür Prüfungen, Messungen und Bilder, außerhalb des Kundenrepos. Gezählt ohne doppelte Kopien.JavaScript-Dateien im Belegordner, die Playwright laden; inhaltsgleiche Kopien einmal gezählt.
  • 90 von 93 · Tagen mit Claude CodeSeit dem 1. August, gezählt im Verlauf von Claude Code.Tage mit mindestens einem Eintrag im Verlauf von Claude Code, 01.08. bis 01.11.2026.

Merge-Protokoll

Echter Fall, anonymisiert.

Kundenrepo · 18 geänderte Dateien · gebaut mit Claude Code

Zeiten aus dem Abnahmeprotokoll und den Prüfdateien dieses Merges; um 17:14 war das Protokoll um Merge, Deploy und Live-Abgleich ergänzt. Kunde, Produkt und Repo bewusst ohne Namen.

Sa 31.10.

  1. vorabUmbruch-Prüfung der Kopf- und Schritttexte96 Messungen, 0 Umbrüche
  2. 20:16Pull Request nach Freigabe mit Wortlaut, Pipeline des Kunden5 von 5
  3. 20:19Vorschau byteweise gegen den Commit18 von 18 gleich

So 01.11.

  1. 17:09Freigabe „ja mergen“, die Sperre öffnet genau einmalfrei
  2. 17:11Merge in den Hauptzweig, Deploy um 17:13erfolgreich
  3. 17:13Live byteweise gegen den Merge-CommitDie eine Abweichung schreibt der Host selbst in die Seite (E-Mail-Schutz, 4 Zeilen).17 gleich, 1 erklärt

Vorschlag

Die ersten vier Wochen.

Erst messen, dann Regeln. Jede Woche endet mit einem Ergebnis, das Tech Leads prüfen können.

  1. Woche 1

    Bestandsaufnahme

    Codebasis und Pipeline messen. Ergebnis: ein Befund mit Zahlen je Team.

  2. Woche 2

    Fehlerkatalog

    Aus echten Funden der Codebasis einen Katalog typischer Fehler in KI-generiertem Code bauen, so wie im Prüfstand oben.

  3. Woche 3

    Werkzeuge messen

    Werkzeuge für automatische Reviews und Codeanalyse gegen den Katalog laufen lassen: Was findet welches, wie viele Fehlalarme kommen dazu.

  4. Woche 4

    Pilotteam

    Quality Gate in der Pipeline eines Teams, Prüfliste für Pull Requests, Abnahmeprotokoll für Tech Leads. Danach Team für Team ausrollen.

Die Anzeige, Punkt für Punkt
Aus der AnzeigeWo es hier steht
„Praktische Erfahrung mit KI gestützter Softwareentwicklung und Tools wie … Claude Code“Über 100 Pull Requests im Hauptzweig, Claude Code an 90 von 93 Tagen seit August
„Analyse und Bewertung bestehender Codebasen … insbesondere bei KI generiertem Code“Prüfstand, Stufen 1 bis 4, und Woche 1
„Testautomatisierung, statischer Codeanalyse und der Integration automatisierter Quality Gates in CI/CD Pipelines“Stufen 2, 3 und 6; Lauf der Kunden-Pipeline im Merge-Protokoll; Quality Gate im Pilotteam (Woche 4)
„Evaluation und Einführung KI gestützter Lösungen für automatisierte Code Reviews“Stufe 4 und Wochen 2 und 3: Werkzeuge am Fehlerkatalog messen
„Konzeption und Optimierung von QA Prozessen … über mehrere Entwicklungsteams hinweg“Abnahmeprotokoll und Woche 4: erst ein Pilotteam, dann Team für Team
„Identifikation von Verbesserungspotenzialen … zur nachhaltigen Steigerung der Softwarequalität“Die Umbruch-Prüfung im Merge-Protokoll entstand am 29.10. aus einer Rückmeldung des Kunden und gehört seitdem zur Abnahme
„Eigenständige, pragmatische Arbeitsweise … Zusammenarbeit mit Entwicklern, Tech Leads“Abstimmung schriftlich und nachvollziehbar, Abnahmeprotokoll vor dem Merge
„Start: ASAP · 100% Remote · Vollzeit (Teilzeit möglich)“Ab sofort, remote, bis zu 40 Stunden pro Woche

Ein kurzes Ja an Connectly genügt.

Dann beginnt Woche 1: die Bestandsaufnahme der Codebasis.

Ansprechpartner ist Marcel Wlömer; der Start läuft über Connectly.Start ab sofort: remote, in Vollzeit oder Teilzeit, mit bis zu 40 Stunden pro Woche.

Burak Karaman · Core Guard Karaman · RemscheidQualitätssicherung für KI-gestützte Entwicklung