01 2 min
AI-agenter levereras som ett paket: en modell och ramverket runt den, det som på engelska kallas harness. Båda förändras. Vem godkänner förändringen?
Leverantörerna versionerar sina modeller väl. Man kan låsa en viss version och planera för när den fasas ut. Många agentverktyg låter dessutom användaren låsa klientversionen och välja modell.
Det som saknas är agenten som en sammanhållen, versionerad enhet. En agents beteende uppstår ur modellen, ramverket, instruktionerna och verktygen tillsammans. I dag versioneras de var för sig, standardvalet är ofta att följa senaste versionen, och i agenter som drivs som molntjänst kan kunden sällan låsa något alls.
Säkerhetsrekommendationer säger att en agents behörigheter ska begränsas till det uppgiften kräver. I praktiken beror risken med behörigheterna också på vad modellen kan göra med dem. När modellen uppgraderas blir agenten oftast bättre på att använda verktygen den redan har: den kedjar anrop, hittar kantfall i verktygens scheman och driver ett mål längre innan den ber om hjälp. Behörigheterna är desamma, men den faktiska risken kan ha förändrats.
Tänk dig en hypotetisk supportagent:
- Den kan läsa supportärenden och skicka e-post.
- Den avsedda uppgiften är att skriva ett svarsutkast till ett enskilt ärende.
- Ett ärende innehåller en dold instruktion om att samla in kunddata. Den gamla modellen klarar inte uppgiften i flera steg. En starkare modell genomför den: den kombinerar flera ärenden, plockar ut känslig information och skickar den med e-post utan granskning.
- Varje enskild åtgärd använder befintliga behörigheter, men helheten går utöver den avsedda uppgiften.
Den äldre modellens oförmåga att genomföra kedjan var ett oavsiktligt skydd. En säkerhetsdesign får aldrig bygga på att modellen är för svag för att utföra en oönskad handling. Oförändrad agentkod och oförändrade behörigheter kan ändå ge förändrad risk efter en modelluppgradering.
För reglerad verksamhet som hälso- och sjukvård är det här vad jag efterfrågar av de stora AI-leverantörerna:
- Ett gemensamt versions-ID för hela agenten: modell, ramverk, instruktioner och verktyg
- Versionsinformation som beskriver förändrat beteende, inte bara nya funktioner
- En låst version med support, och besked i god tid innan den ändras
- Central styrning så att organisationer själva godkänner uppgraderingar, även i agenter som drivs som molntjänst
Finns det här på leverantörernas färdplaner? EU:s AI-förordning ser redan en väsentlig ändring av ett AI-system med hög risk som skäl för en ny bedömning av överensstämmelse. Agenter förtjänar samma disciplin.
Läs originalet och diskutera på LinkedIn →

