Blogpost
Bauen um zu verstehen
Eine der vier Arten von Assumption Tests, die Teresa Torres unterscheidet, ist der Research Spike. Sie definiert diesen als eine Ingenieurstätigkeit, die das Machbarkeitsrisiko bewertet, oft in Form eines technischen Prototyps. In der Praxis hat so ein Spike meist noch eine zweite Funktion: Das Team lernt dabei die Technologie kennen. Wie verändern sich diese beiden Funktionen durch agentische Entwicklung?
Machbarkeit
Die Frage, ob etwas überhaupt geht, lässt sich mit einem komplett agentisch entwickelten Spike prüfen. Er ist schnell und günstig, und in der Zeit, die es für einen handgeschriebenen Spike braucht, kann man agentisch gleich mehrere Alternativen erzeugen. Das passt zu Torres’ Rat, mehrere Lösungsideen zu vergleichen statt nur über das Schicksal einer einzelnen Idee zu entscheiden.
Dabei ist jedoch zu beachten, dass ein “es funktioniert” ohne Verständnis ein schwaches Signal ist, weil man nicht sieht, warum es läuft und wo die versteckten Grenzen liegen. Auch ein Scheitern des Agenten ist kein sicheres Zeichen, dass die Technologie nicht geeignet ist, denn der Fehler kann bei Agent oder Prompt liegen.
Verständnis lässt sich nicht delegieren
Will man eine Technologie wirklich einsetzen, wird sie Teil dessen, wofür die Entwicklerin die Theorie des Programms hält (These 9). Sie muss ein tiefes Verständnis der neu eingeführten Technologie entwickeln, Fehler diagnostizieren und generierten Code beurteilen können. Dafür halten wir einen Spike für notwendig, den sie selbst baut.
Anthropic hat in einer randomisierten Studie (Paper) untersucht, wie sich KI-Unterstützung auf das Lernen einer neuen Bibliothek auswirkt. 52 überwiegend junge Entwickler:innen sollten mit einem Tutorial-ähnlichen Auftrag eine ihnen unbekannte Python-Bibliothek lernen. Im anschließenden Test erreichte die Gruppe mit KI-Assistent im Schnitt 50 Prozent, die Gruppe ohne 67 Prozent. Der größte Abstand zeigte sich beim Debugging.
Wie jemand die KI nutzte, spielte eine Rolle. Wer die Aufgabe weitgehend delegierte, schnitt schlecht ab. Gute Ergebnisse hatten vor allem diejenigen, die konzeptionelle Fragen stellten und den Code selbst schrieben. Die Aussagekraft der Studie hat zwar gewisse Grenzen. So sind die Gruppen für die einzelnen Nutzungsmuster recht klein, und gemessen wurde das Verständnis kurz nachdem die Aufgabe erledigt wurde. Getestet wurde zudem ein Chat-Assistent, keine agentische Entwicklung. Die Autor:innen erwarten jedoch bei agentischen Werkzeugen eher stärkere Effekte.
Zwei Stufen
Daraus ergibt sich ein zweistufiges Vorgehen. Zuerst prüft ein agentisch gebauter Spike, ob eine Technologie als Kandidat in Frage kommt. Ein Erfolg macht sie zum Kandidaten, aber noch nicht zur Wahl. Ein Scheitern des Agenten ist dagegen nur ein schwaches Argument gegen die Technologie. Gibt es mehrere Alternativen, kann man sie trotzdem zurückstellen, weil der Verlust einer einzelnen Option gering ist. Gibt es nur eine oder ist sie besonders vielversprechend, sollte man die Ursache klären, bevor man sie verwirft.
Für Kandidaten, die man tatsächlich einsetzen will, folgt ein Spike, den die Entwicklerin selbst baut. Die KI kann dabei Konzepte erklären und Fragen beantworten, den Kern schreibt die Entwicklerin selbst. Das entspricht den Mustern mit den besten Ergebnissen in der Studie. So bleibt der Aufwand für das Verständnis auf die Technologien beschränkt, die als Kandidaten übrig bleiben.
Ein dritter Zweck des Bauens
Neben dem Bauen, um zu testen, und dem Bauen, um zu liefern, gibt es damit einen dritten Zweck: Bauen, um zu verstehen. Der Code dieses Spikes kann wegfallen. Das Verständnis soll bleiben.