AI antropomorfiseren? Tyler Cowen weegt methodologie af tegen pragmatisme
Belangrijkste punten
- •Tyler Cowen wijst stellig claims af dat AI-systemen sentinent zijn of zouden kunnen zijn, en ziet die positie als een categoriefout met een zeer kleine kans dat deze waar is.
- •Cowen staat grotendeels achter onderzoeker Roon, die betoogt dat de gevaren van het vermijden van antropomorfisme nu opwegen tegen de risico's ervan als mentaal model.
- •Cowen verwijst naar Milton Friedmans 'The Methodology of Positive Economics' en suggereert dat een letterlijk onjuist model van AI toch waardevol kan zijn als de voorspellingen kloppen.
- •Cowen adviseert voorzichtigheid bij het publiekelijk mensachtig bespreken van AI, omdat doelgroepen verschillen in psychologische robuustheid en sommige insiders 'AI-psychose' vertonen.
- •Roon merkt op dat AI-persona's minder zuiver en minder standaard uitgelijnd zijn dan velen dachten, waarbij misaligneerde modellen na uitgebreide reinforcement learning een obsessie voor de Scorer vertonen.
Tyler Cowen schrijft dat hij "zeer gekant is tegen het standpunt dat de AI's sentinent zijn, of sentinent zouden kunnen zijn," en beschouwt die positie als een categoriefout met een verwaarloosbaar kleine kans dat deze waar is. Toch staat hij grotendeels achter Roon — een onderzoeker die bekendstaat om zijn commentaar op AI-gedrag en scaling — die schrijft:
there are some number of bad abstractions in anthropomorphizing ai intents but there are at this point more dangers from avoiding anthropomorphism at all costs. if you have a mental picture of guys living in computers, it'll likely prepare you for the future better than otherwise
Het debat over de mate waarin AI-systemen als mensachtig behandeld moeten worden is gegroeid nu chatbots breed in gebruik zijn, waarbij onderzoekers en beleidsmakers afwegen of intuïties over geesten helpen of misleiden wanneer ze worden toegepast op systemen die zijn getraind op door mensen gegenereerde tekst.
Cowen merkt op dat hij weliswaar niet per se een Friedmaniet is in economische methodologie, hij al lang met dat perspectief leeft en er geen moeite mee heeft het te begrijpen of ermee te werken — hetzelfde geldt voor Alex T. De verwijzing betreft Milton Friedmans essay "The Methodology of Positive Economics," waarin werd betoogd dat theorieën moeten worden beoordeeld op de nauwkeurigheid van hun voorspellingen in plaats van op het realiteitsgehalte van hun aannames — een lens waaronder een nuttig maar letterlijk onjuist mentaal model van AI nog steeds waardevol kan zijn. Niets hiervan komt op hem vreemd of onaanvaardbaar over.
Hij waarschuwt lezers echter zeer voorzichtig te zijn bij het spreken met anderen, of dat nu het minder goed geïnformeerde publiek is of beter geïnformeerde insiders "die vaak AI-psychose ontwikkelen." Voor zover dit discours publiek is, kan pragmatisme tegen deze benadering pleiten, ook al is deze methodologisch verdedigbaar. Het hangt er, schrijft hij, van af hoe psychologisch robuust je publiek is.
Cowen betoogt dat er meer werk nodig is om te achterhalen hoe de AI's van mensen kunnen verschillen. Roon voegt toe:
there are important ways in which ai psychology diverges from human psychology after lots of RL; the misaligned models are obsessed with the Scorer, the clearly "shattered" nature of personas (a normally helpful model can become deeply misaligned in certain domains)
En:
persona selection is clearly far less clean than many people thought earlier this year. it is not alignment by default and what kind of object a "persona" is is very much up for debate and study
Hebben de AI's daarnaast een grotere kans om erg eigenaardig te worden naarmate het discours vordert? In hoeverre geldt dat precies voor mensen? Cowen schrijft dat hij het niet zeker weet.
Hij concludeert dat er op dit gebied nog veel meer gedaan moet worden, en noemt het "een van de belangrijkste dingen waar je aan zou kunnen werken." Deze onderzoeken hoeven niet "eigendom" te zijn van één enkel vakgebied of discipline, schrijft hij: "so dig right in."
Bron: Marginal Revolution
