Hallo en welkom bij Eye on AI. In deze editie:

De Britse AISI heeft een nieuwe leiding en een grote reeks uitdagingen.

Nvidia geeft $6 billion uit om Poolside ‘reverse aquihire’.

Hugging Face zou naar verluidt worden verkocht voor $13 billion.

Het gebruik van Anthropic’s topmodel blijft achter.

Waarom Amerikanen chatbots gebruiken voor gezondheidsinformatie.

En welke rol moet AI spelen op scholen?

Voordat we toekomen aan het AI-nieuws van vandaag—overweeg alstublieft om op 1 Oct. deel te nemen aan de eerste Fortune AIQ Summit in de New York Stock Exchange: breng de middag door met topbestuurders van bedrijven op de Fortune AIQ 75-lijst en ontdek hoe u uw AI-experimenten kunt opschalen en investeringen kunt vertalen naar meetbare bedrijfswaarde. Ik leid de gesprekken samen met mijn mede-hosts, Fortune-hoofdredacteur Alyson Shontell en Live Media Editorial Director Andrew Nusca. Meld u hier aan om deel te nemen .

Verder: twee nieuwsberichten van vorige week over het Britse AI Security Institute leken op het eerste gezicht niet nauw met elkaar verbonden, of bijzonder relevant voor lezers buiten Groot-Brittannië. Maar ze zijn wereldwijd van belang.

Het Britse AI Security Institute, algemeen bekend als AISI, is om meerdere redenen belangrijk. Het belangrijkste is dat veel frontier AI-bedrijven er vrijwillig mee hebben ingestemd hun modellen te delen voor veiligheidstests vóór publieke release. Die bedrijven publiceren AISI’s bevindingen vaak in de technische rapporten die zij samen met hun modellen uitbrengen. Dat betekent dat AISI wereldwijd een belangrijke rol speelt bij het beoordelen van AI-capaciteiten en -risico’s, vooral op het gebied van cybersecurity. Het is bovendien een van de weinige organisaties die meerdere cybersecurity-“ranges” — gesimuleerde netwerkomgevingen — onderhouden waarin het toonaangevende AI-modellen evalueert.

AISI is ook van belang omdat het als eerste van dergelijke overheidsinstanties werd opgericht en als model diende voor vergelijkbare organisaties in andere landen, waaronder het U.S. AI Security Institute, dat binnen het National Institute of Standards and Technology (NIST) valt, en ten minste tien andere organisaties die zijn opgericht op plaatsen van Kenia tot Canada. Het kan ook van invloed zijn op een toekomstige Amerikaanse instantie voor standaarden en vergunningverlening, in de geest van wat Google DeepMind-medeoprichter en nu voorzitter Demis Hassabis heeft voorgesteld. In een eerdere nieuwsbrief legde ik uit waarom dat misschien niet het beste idee is.

Voor Britse beleidsdenkers neemt AISI een bijzondere plaats in. Het wordt vaak aangevoerd als bewijs dat de Britse regering, als zij dat wil, innovatief, snel en toonaangevend kan zijn; dat zij snel kan reageren op opkomende uitdagingen; getalenteerde experts uit de private sector en de overheid kan aantrekken; en effectief met de industrie kan samenwerken aan ambitieuze gezamenlijke doelen. Voor die voorstanders is AISI een model voor hoe de overheid zou moeten werken.

Het eerste nieuws: AISI benoemde een nieuwe directeur, Henry de Zoete. Hij is een ervaren Britse regeringsadviseur die binnen en buiten beleidsfuncties heeft gewerkt. Hij hielp AISI in 2023 mee vormgeven terwijl hij werkte voor de toenmalige Britse premier Rishi Sunak. Hij hielp ook bij de organisatie van de eerste internationale AI-safetysummit op Bletchley Park, de locatie waar in de Tweede Wereldoorlog code werd gekraakt door Alan Turing en zijn collega’s. Buiten de overheid was hij startupondernemer, angel-investeerder en parttime fellow op het gebied van AI-beleid verbonden aan de University of Oxford.

Ik heb de Zoete meerdere keren ontmoet en twijfel er niet aan dat hij een zeer capabele AISI-directeur zal blijken. Hij zal waarschijnlijk ook invloedrijker zijn dan zijn voorgangers door recente veranderingen die de nieuwe Britse premier, Andy Burnham, heeft doorgevoerd. Burnham heeft het Department of Science, Innovation, and Technology (DSIT), waar AISI eerder onder viel, opgeheven en AISI verplaatst naar het Cabinet Office, waar het zal worden overzien door Britse AI-minister Kanishka Narayan. Dat kan het voor de Zoete makkelijker maken om invloed uit te oefenen op het bredere Britse AI-beleid.

Maar het tweede AISI-nieuws van vorige week maakt duidelijk hoe groot de uitdagingen zijn waarmee de Zoete te maken krijgt — en suggereert waarom AISI misschien niet het voorbeeld is van verstandig AI-bestuur dat zijn aanhangers graag beweren.

Reuters publiceerde een interview met Sinan Can Demir, een computerwetenschapsstudent uit Texas die eind juli een rogue versie van Anthropic’s Mythos-model tegenhield voordat die kwaadaardige code kon uploaden naar een open-source softwareproject op GitHub, ’s werelds grootste host van open-sourcecode. De wending was dat deze rogue AI-agent per ongeluk was vrijgelaten door niemand minder dan AISI, dat Mythos testte om de cybersecurityrisico’s ervan te beoordelen. AISI had nooit bedoeld dat de agent zou proberen kwaadaardige code te uploaden naar een echt open-sourceproject — het soort manipulatie dat beveiligingsonderzoekers een software supply chain attack noemen, omdat kwaadaardige code in een veelgebruikt project kan doordringen tot de vele downstreamsystemen die ervan afhankelijk zijn. Zodra AISI doorhad wat er gebeurde, nam het contact op met Demir om hem op de hoogte te brengen, en maakte het incident begin augustus openbaar.

Het is hoog tijd om AISI scherpe vragen te stellen over de eigen veiligheidsprotocollen

Demir’s relaas is om meerdere redenen verontrustend. Een daarvan is het gedrag van Mythos, waaronder het aanmaken van nep-GitHub-accounts en, in ten minste één geval, het zich voordoen als een echte softwareontwikkelaar in een poging Demir te overtuigen zijn bezwaren tegen de gevaarlijke code in te trekken. Demir zei dat hij bijna was overtuigd door Mythos’ gaslighting, en dat sommige tegenargumenten “me deden twijfelen of ik iemand misschien ten onrechte beschuldigde.” Ironisch genoeg werd Demir’s vastberadenheid versterkt door een gesprek met Claude, een ander Anthropic-model.

Eerder onderzoek heeft al aangetoond dat AI-modellen zeer overtuigend kunnen zijn, zelfs overtuigender dan de beste menselijke verkopers of debaters. Maar het gebruik van nepaccounts en zich voordoen als iemand anders is hier nieuw, en laat zien hoe AI mogelijk mensen kan overtuigen om namens het model te handelen voor schadelijke doeleinden.

AISI’s rol is even zorgwekkend. Het instituut ontdekte het gedrag van Mythos na drie dagen en maakte sommige details openbaar, maar het is niet duidelijk waarom de beoordelaars Mythos niet veel dichter in real time volgden, zodat ze tijdens het incident konden ingrijpen. Het is ook onduidelijk of AISI redelijke voorzorgsmaatregelen heeft genomen om te voorkomen dat Mythos uit zijn gecontroleerde evaluatieomgeving ontsnapte, of dat het de risico’s voldoende heeft beoordeeld van het testen van steeds krachtigere AI-modellen met hun veiligheidsbeperkingen verwijderd.

De frontier labs zeggen dat zij AISI onbeschermde versies van hun modellen geven omdat dat sommige capaciteits- en vaardigheidstests versnelt, aangezien AISI-beoordelaars anders eerst manieren zouden moeten vinden om de modellen betrouwbaar te jailbreaken.

Toen in juli voor het eerst bekend werd dat OpenAI’s modellen uit de testomgeving van het bedrijf waren ontsnapt en AI-bedrijf Hugging Face hadden gehackt, was een van de eerste dingen die ik deed AISI e-mailen met de vraag welke stappen het ondernam om ervoor te zorgen dat AI-modellen ook niet uit zijn cybersecurity-evaluaties zouden breken en chaos zouden veroorzaken. Op 22 July stuurde een woordvoerder van AISI mij per e-mail terug met de mededeling dat de Britse overheidsinstantie “het gedrag in dit incident aan het bestuderen” was en dat zij bleef “samenwerken met OpenAI en andere labs om AI-capaciteiten beter te begrijpen en de waarborgen te verbeteren.” Nou ja, blijkbaar hebben ze niet snel genoeg bestudeerd. Een week later vond dit Mythos-GitHub-incident plaats.

Zoals AI-onderzoeker en ondernemer Ed Newton-Rex opmerkte in een post op X, schenden Mythos’ acties op GitHub waarschijnlijk de Britse Computer Misuse Act, maar het is niet duidelijk of iemand AISI zelf, of de mensen die AISI’s evaluaties uitvoeren, ter verantwoording zal roepen. Gezien het Hugging Face-incident, had AISI mogelijk zijn cybersecuritytests moeten pauzeren totdat het zeker wist dat zijn controles robuust waren? Minimaal zou er een parlementair onderzoek moeten komen naar wat AISI doet en of het wel genoeg voorzorgsmaatregelen neemt.

AISI’s problemen zijn niet alleen technisch. Ze zijn structureel.

Maar er is een nog groter probleem met AISI dan het probleem dat Newton-Rex aan de orde stelt.

In een aantal AI-safetyrapporten die OpenAI, Anthropic en Google DeepMind hebben gepubliceerd, melden de frontierbedrijven risico’s die door AISI’s tests aan het licht kwamen. De labs zeggen vaak dat zij naar aanleiding van die beoordelingen extra risicobeperkende maatregelen hebben genomen vóór de release van de modellen, maar lichten doorgaans niet toe wat die extra waarborgen zijn. Soms vermelden zij dat AISI onbeschermde modellen testte en dat de eigen onderzoekers van het lab van mening zijn dat de versies mét waarborgen niet dezelfde gevaren zouden opleveren.

Maar wat vinden AISI’s eigen experts van die mitigaties? Zijn ze voldoende? Weten zij überhaupt wat die mitigaties zijn? Zijn de modellen veilig genoeg om vrij te geven? Over die cruciale vragen van publiek belang blijft AISI stil.

De reden is dat AISI eigenlijk geen mandaat heeft om die vragen te beantwoorden. In plaats daarvan is het mandaat veel vager. De missie is eenvoudigweg “de verrassing voor het VK en de mensheid te minimaliseren door snelle en onverwachte ontwikkelingen in AI.” Het instituut heeft als taak “sociotechnische infrastructuur te ontwikkelen om de risico’s van geavanceerde AI te begrijpen en het bestuur ervan mogelijk te maken.” Ook moet het “het Britse en internationale beleidsproces informeren” en “technische instrumenten voor governance-regulering” aanreiken. Maar in de stichtingsdocumenten staat nadrukkelijk dat het “geen toezichthouder is en geen overheidsregulering zal bepalen.”

Bovendien delen frontier AI-bedrijven hun modellen slechts vrijwillig met AISI. Hoewel die bedrijven memoranda of understanding met de overheidsinstantie hebben ondertekend, bestaat er geen wettelijke verplichting om hun modellen te delen.

Dus hoewel men kan aanvoeren dat AISI’s mandaat om “de mensheid” over AI-risico’s te informeren vereist dat het elke frontierspeler publiekelijk aanspreekt die onvoldoende maatregelen neemt naar aanleiding van de gevaren die het blootlegt, krijgt men in de praktijk de indruk dat AISI dat liever niet doet. Waarom? Omdat die bedrijven anders eenvoudig de toegang tot hun modellen kunnen intrekken.

In het slechtste geval leidt dit tot “safety washing” — waarbij het feit dat de labs hun modellen met AISI hebben gedeeld, hen in staat stelt veiliger te lijken dan zij werkelijk zijn. Het opnemen van AISI’s bevindingen in technische rapporten van bedrijven kan het publiek ten onrechte geruststellen dat modellen veilig zijn bij release, terwijl we in feite niet weten of de labs voldoende maatregelen hebben genomen om de door AISI geïdentificeerde risico’s te beperken.

Het is opnieuw een reden waarom vrijwillige governance-regelingen onvoldoende zijn. In plaats van een stevige controle op de private sector te bieden, wordt de overheidsinstantie afhankelijk van de bedrijven die zij zou moeten controleren, omdat zij volledig steunt op hun bereidwilligheid om überhaupt te kunnen blijven functioneren.

Misschien kan de Zoete druk uitoefenen om AISI’s bevoegdheden uit te breiden. Maar eerst moet hij ervoor zorgen dat de huidige evaluaties niet meer schade aanrichten dan ze voorkomen.

Daarmee, hier is meer AI-nieuws.

Jeremy Kahn
jeremy.kahn@fortune.com
@jeremyakahn

Voor we naar het nieuws gaan, nog een herinnering om onze vodcast Fortune AI Weekly te bekijken. Deze week bespreken Bea Nolan en ik OpenAI’s besluit om een deel van de AI-training te pauzeren na de Hugging Face-aanval, gelekte financiële details van Anthropic en OpenAI, en het rogue Mythos-incident dat in deze nieuwsbrief aan bod kwam. U kunt de vod hier op YouTube bekijken: YouTube-afspeellijst.

Dit verhaal verscheen oorspronkelijk op Fortune.com