Blogpost
Bauen, um zu lernen, und Bauen, um zu liefern
In These 3 beschäftigen wir uns mit dem Einwand, dass man dadurch, dass Bauen billig geworden ist, einfach alle Ideen umsetzen und in Produktion lernen kann, ob diese taugen. Bestimmte Annahmen, etwa zu Usability oder Machbarkeit, lassen sich durch agentisches Bauen tatsächlich deutlich günstiger testen als bisher. Ob das Gebaute aber auch in Produktion landen und erst dort getestet werden sollte, ist eine ganz andere Frage.
Teresa Torres unterscheidet in Continuous Discovery Habits klar zwischen Assumption Tests und Experimenten. Assumption Tests dienen dazu, in der Discovery einzelne Annahmen zu prüfen und helfen einerseits dabei, die Lösungsidee zu verbessern und andererseits zwischen mehreren Ideen zu entscheiden. Experimente, etwa A/B-Tests, messen, ob etwas, das ausgeliefert wurde, die angestrebte Wirkung erzielt und brauchen dafür entsprechend viel Traffic. Torres begründet die Trennung folgendermaßen: Erstens will man nicht erst alles bauen und dann zu erfahren, dass es das Falsche war. Zweitens weiß man, wenn man eine ganze Idee testet anstatt einer einzelnen, kleinen Annahme, nicht, warum diese scheitert. Scheitert ein einzelner Assumption Test, ist ziemlich klar, was sich ändern muss.
Das erste Argument hat sich durch agentische Entwicklung auf den ersten Blick überholt: Wenn Bauen wenig kostet, ist es nicht schlimm, etwas Falsches gebaut zu haben. Das zweite Argument gilt weiterhin: Ein ausgeliefertes Feature ist ein Test der gesamten Idee. Wird das Feature kaum genutzt, kommen dafür mehrere Ursachen in Frage, etwa fehlender Bedarf, schlechte Auffindbarkeit, Usability-Probleme oder ein eingeübter Workaround. Dass das Bauen billig war, hilft nicht der Ursache auf die Spur zu kommen.
Billiges Bauen kann aber auch dort helfen, wo eine einzelne Annahme getestet wird. Torres zählt Prototype Tests und Research Spikes zu den vier Arten von Assumption Tests. Mit Coding Agents lassen sich Usability- und Machbarkeitsannahmen prüfen, für die früher der Aufwand zu hoch war. Ein solches Artefakt hat eine Aufgabe: eine Frage beantworten. Danach wird es verworfen. Es braucht keine Produktionsqualität und läuft nicht dort, wo Nutzer:innen ihre Arbeit erledigen.
Bauen, um zu liefern, ist eine gänzlich andere Tätigkeit. Das Ergebnis soll bleiben und muss in Zukunft gewartet werden. Gemessen wird danach die Wirkung, im Sinne eines Experiments.
Es mag verlockend sein die Grenzen zu verwischen. Ein agentisch gebauter Prototyp sieht schnell aus wie ein Produkt, und Wegwerfen kostet oft Überwindung. Behält man ihn, wird aus dem Test ungeplant Delivery ohne Harness. Das erhöht die Wartungslast und erzeugt technische Schulden. Dagegen hilft Disziplin vor dem Bauen: Welche Annahme wird geprüft, was würde ein Ergebnis bedeuten, und wer löscht den Prototyp danach? Torres rät ohnehin dazu, die Erfolgskriterien vor dem Test festzulegen.
Auch der Ort des Tests zählt. Prototype Tests mit Menschen, die wissen, dass sie etwas ausprobieren, greifen nicht in die Oberfläche der Produktivnutzer:innen ein. Dasselbe gilt natürlich auch für andere Arten von Assumption Tests, etwa Data Mining auf vorhandenen Daten. Wer dagegen laufend Ideen in Produktion ausspielt, verbraucht Erwartungskonformität: Nutzer:innen bauen mentale Modelle durch wiederholte Nutzung auf, und jede Änderung setzt Teile davon zurück. Mehr dazu in “Faster Is Not Better”. Eine Ausnahme sind kurze Fake-Door-Tests, die man selten und befristet einsetzen sollte.