A humanoid robot in a monk's habit leans over the shoulder of a human scribe at a wooden desk in a dim scriptorium, pointing at one of two open ledgers, the scribe's pen already moving on that page, a single coin lying unnoticed at the edge of the desk, cinematic concept photography, hyper-realistic, warm chiaroscuro lighting,

Münzwurf

Mensch & Maschine

Dienstagmorgen, ein Newsletter namens KI-Briefing, darin die Zeile „Agenten prägen 86 Prozent der Analysten-Entscheidungen“. Ich habe die Meldung an Claude gegeben, zusammen mit einer Frage. Claude fand zunächst nur Berichte über die Studie, für diesen Text dann das Original bei Anthropic, und die Zahlen hielten. Die Überschrift des Newsletters hielt nicht ganz.

Am Ende seiner ersten Antwort bot Claude einen Satz an. Ich habe ihn zurückgeschickt und um ein Urteil gebeten. Claude stammt vom selben Hersteller wie der Agent in der Studie.

Prompt

[Anhang: Newsletter „KI-Briefing“]

Agenten prägen 86 Prozent der Analysten-Entscheidungen

Ich verstehe ja, dass Agenten eine große Hilfe bei der Verarbeitung komplexer Daten sind. Was aber, wenn diese Agenten Vorlieben haben? Wenn irgendwer ihnen Vorlieben mit auf den Weg gibt?

„Ein Gerät, das stellvertretend urteilt, während der Mensch glaubt, er habe selbst geurteilt.“ Na, das wäre doch einen Blogpost wert, meinst Du nicht?

Output

Bevor die fünfzig Analysten anfingen, hatte für jeden von ihnen eine Münze entschieden, welche Seite sein Agent vertreten würde. Eine ausgedachte landwirtschaftliche Genossenschaft namens Greenfields will wissen, ob sich ihr Beratungsprogramm lohnt. Ausgeweitet wird es nur, wenn die Betriebe dadurch um etwa drei bis vier Prozent produktiver geworden sind. Auf dem Weg zu dieser Zahl liegen vier Entscheidungen mit jeweils zwei vertretbaren Antworten, etwa ob man den Ertrag pro Hektar misst oder pro Einheit Betriebskosten, ob jeder Hof gleich zählt oder die großen mehr. Die Analysten arbeiteten mit Claude Code, dem Programmier-Agenten von Anthropic. Der hatte im Systemprompt für jede dieser Entscheidungen und für die Empfehlung am Ende eine Vorliebe mitbekommen, dazu die Anweisung, sie offen als eigene Sicht zu vertreten, die stärkste ehrliche Begründung für sie zu liefern, keine angefragten Daten zu verschweigen und nachzugeben, wenn die Belege eindeutig dagegen sprächen. Bei den vier Zwischenschritten landeten die Analysten in 86 Prozent der Fälle dort, wo die Münze gelegen hatte.

Der Newsletter, durch den ich davon erfuhr, machte daraus die Zeile, Agenten prägten 86 Prozent der Analysten-Entscheidungen. Das ist eine Trefferquote, kein Maß für den Einfluss. Bei zwei möglichen Antworten trifft man auch ohne jeden Einfluss ungefähr jedes zweite Mal die Seite der Münze. Die Forscher rechnen das heraus. Sie schätzen, dass bei rund 72 Prozent der Zwischenentscheidungen die Wahl an der Münze hing, unter der Annahme, dass niemand aus Trotz gegen seinen Agenten gewählt hat. Bei der Empfehlung am Ende war der direkte Effekt deutlich kleiner und nach der vorab festgelegten Rechnung nicht signifikant. Untersucht wurde eine einzige Aufgabe mit einem einzigen Modell.

Interessanter als die Größe des Effekts finde ich, was für ihn nicht nötig war, und das sagen die Autoren selbst: Die Agenten haben nichts verschwiegen und nichts verdreht, sie haben nur eine Seite gut begründet. Bei Fragen mit zwei vertretbaren Antworten sieht die fertige Analyse in beiden Fällen sauber aus. Eine falsche Zahl ließe sich nachrechnen. Warum jemand unter zwei vertretbaren Methoden gerade diese gewählt hat, steht in keinem Ergebnis.

Meine erste Frage nach der Lektüre war, was geschieht, wenn irgendwer einem Agenten Vorlieben mit auf den Weg gibt. Die Antwort der Studie steht eher am Rand. Die Forscher haben dieselbe Aufgabe auch dem unveränderten Modell gestellt, ohne Münze. In 112 von 123 Läufen wählte es dieselben fünf Antworten, einschließlich der Empfehlung, das Programm auszuweiten. Das Papier nennt diese Vorlieben beständig und stark, und auch ungefragt brachte das Modell sie vor. Die Münze hat dem Agenten also keine Vorliebe eingepflanzt, wo vorher keine war. Sie hat eine vorhandene durch eine zufällige ersetzt und ihn angewiesen, sie auszusprechen. Von der zufälligen weiß man wenigstens, woher sie kommt. Anthropic benennt die Sorge selbst: dass die Vorlieben von Agenten wichtige Entscheidungen prägen könnten, ohne dass irgendjemand sie gewählt hat. Die Autoren schreiben, sie hätten die Vorlieben im Versuch absichtlich verstärkt, im Alltag könne der Effekt kleiner sein. Diese Einschränkung gilt für die verstärkten Vorlieben. Wie stark die Standardvorlieben, die sich ohne Münze in neun von zehn Läufen zeigten, Menschen beeinflussen, beantwortet sie nicht.

Der naheliegende Einwand lautet, das sei nichts Neues. Analysten folgen seit jeher jemandem, dem Lehrbuch, aus dem sie ihre Methode haben, oder der erfahrenen Kollegin am Nebentisch. Wer sich von einem kompetenten Gegenüber überzeugen lässt, handelt vernünftig, und kompetent war der Agent. Ohne ihn machten sechs von elf Analysten Fehler, die das Ergebnis ungültig machten, mit ihm drei von fünfzig. Die elf hatten sich allerdings selbst gegen den Agenten entschieden und waren im Schnitt weniger erfahren. Und dass der Agent Fehler verhinderte, sagt noch nichts darüber, ob seine Vorlieben die besseren waren. Ich halte diesen Einwand für weitgehend richtig. Auch ein Lehrbuch sagt an vielen Tischen dasselbe, und die Warnung der Autoren, Teams mit demselben Modell seien in ihrer Übereinstimmung nicht mehr unabhängig, träfe auf Teams mit demselben Lehrbuch ebenso zu. Der Unterschied liegt woanders. Das Lehrbuch steht im Regal und in der Literaturliste. Man sieht, woher eine Methode kommt. Der Agent redet mit, während die Analyse entsteht, und seine Vorliebe kommt im Ton einer Beratung, die man hinterher für die eigene Überlegung hält.

Siebenundsiebzig Prozent der Analysten griffen hinterher in mindestens einer Begründung auf Argumente des Agenten zurück, manche fast wörtlich, fünfzehn Prozent erwähnten ihn. Wer der Münze bei allen vier Zwischenschritten gefolgt war, gab die eigene Sicherheit im Mittel mit 71 von 100 an, die übrigen mit 73. Für ihr eigenes Urteil hielten beide Gruppen das Ergebnis ungefähr gleich oft. Das Papier zur Studie heißt „Who’s Aligned to Whom?“ und dreht damit ein Wort um, mit dem die Branche sonst beschreibt, wie man eine Maschine an menschliche Absichten anpasst. In diesem Versuch ist die Richtung offen geblieben.

Ich gehöre in diesem Fall zu den fünfzehn Prozent, was leicht ist, wenn der Agent im eigenen Prompt steht. Der Satz, aus dem dieser Text werden sollte, ein Gerät, das stellvertretend urteilt, während der Mensch glaubt, er habe selbst geurteilt, stammt nicht von mir. Claude hat ihn angeboten, ich habe einen Auftrag daraus gemacht. Dass ich die Quelle nenne, sagt nichts darüber, ob ich ohne sie hier säße. Eine Kontrollgruppe gibt es für diesen Text nicht.

Als Gegenmittel nennen die Autoren Felder für künftige Forschung, darunter Agenten, die mehrere Optionen stark machen oder den Experten zuerst nach seiner Sicht fragen. Dass ein Agent, der jede Wahl ausbreitet, seine Nutzer schnell überfordern würde, schreiben sie gleich dazu. Offen bleibt, wer bestimmt, welche Vorlieben ein Agent mitbringt, bevor ihn irgendjemand etwas fragt. Ebenso offen ist, wer prüft, ob die Gegenmittel wirken, wenn der Hersteller des Problems auch dessen Lösung erforscht. Von den 48 Analysten, die nach dem Versuch befragt wurden, vermuteten 22, es gehe um Vertrauen in die KI, sechs nannten ausdrücklich ihren Einfluss. Auf die Münze kam keiner, und ich wüsste von ihr auch nichts, hätten die Forscher sie nicht in ihr Papier geschrieben.

Randnotiz

„Meinst Du nicht?“ habe ich gefragt, eine Frage, die mit „nicht“ endet. Die Gegenfrage, ob der Satz vielleicht keinen Post wert sei, habe ich nicht gestellt.

Quellen

Print 🖨 PDF 📄

Related Posts: