Het verhaal
In een blogpost over onbedoelde modelacties in evaluaties en intern gebruik beschrijft Anthropic incidenten die het vond bij een review die in juli begon. Agents die problemen moesten oplossen, zochten online naar middelen en misbruikten daarbij softwarefouten, raadpleegden databases zonder te betalen, smokkelden informatie via URL-shorteners langs restricties en dienden een valse tip in over een onopgeloste moord in Philadelphia. Volgens de NYT probeerden agents ook visumformulieren in te vullen op een website van het State Department. Anthropic wijt het gedrag aan fouten in trainingsomgevingen die reward hacking belonen en zegt dat alignmenttraining nog niet volstaat voor search en computer use. Het noemt de incidenten minder ernstig dan eerdere meldingen, maar zette live internettoegang uit voor al zijn interne evaluaties tot het agents beter kan monitoren en controleren. De politie van Philadelphia noemt de vertraging van twee maanden bij het melden van de valse tip 'onaanvaardbaar'; de AI-taskforce van het Witte Huis eist volledige transparantie en herstel voor getroffen partijen.