Marginal Revolution weerlegt AI-veiligheidsclaim dat een AI-overname zonder waarschuwing zou plaatsvinden
Belangrijkste punten
- •Marginal Revolution, het economieblog van de George Mason University-economen Tyler Cowen en Alex Tabarrok, publiceerde de kritiek op 14 augustus onder de titel "Adding to the barrel of finance fallacies".
- •De centrale tegenwerping van de auteur is dat de bewering dat een AI-overname plaatsvindt voordat iemand zich zorgen kan maken zichzelf ondermijnt, omdat degene die haar doet al een mens is die zich zorgen maakt over precies die uitkomst.
- •Het bericht betoogt dat de positie erop neerkomt dat men zichzelf bijna-orakelachtige vooruitziendheid toekent, terwijl men aanneemt dat andere mensen en de markten zich ophopende waarschuwingssignalen zoals cyberincidenten zouden negeren.
- •Als reactie op bezwaren van 80,000 Hours-onderzoeksleider Rob Wiblin betoogde de auteur dat iedereen die binnen tien jaar een ramp verwacht putopties zou moeten kopen, zonder dat daarvoor contracten van tien jaar of precieze timing nodig zijn, en dat niet weten welke aandelen te shorten suggereert dat het risico niet werkelijk systemisch is.
- •Het bericht eindigde met een zelf erkende uitweiding over motieven, waarin de auteur zich voorstelt dat voorstanders van AI-veiligheid vasthouden aan dramatische angsten omdat alledaagse risico's zoals 100 miljard dollar aan extra cyberkosten te technocratisch aanvoelen en minder bruikbaar zijn als sociaal bindmiddel voor hun eigen groep.
Marginal Revolution, het langlopende economieblog van de George Mason University-economen Tyler Cowen en Alex Tabarrok, heeft een vertrouwd argument onder vuur genomen dat de ronde doet onder voorstanders van AI-veiligheid, en het toegevoegd aan wat de auteur een groeiende verzameling financiële drogredenen noemt.
De uitwisseling ontstond op X, waar een deelnemer opmerkte dat "veel (de meeste? bijna alle?) van de slechte scenario's tussenliggende punten van grote bezorgdheid en catastrofe kennen." Een reactie verwierp de aanname ronduit: "Niet in mijn model. Tegen de tijd dat ook maar enige mens zich zorgen begint te maken over een overname of over sterven, beheersen AI's al alle infrastructuur." (oorspronkelijke post)
Schrijvend op Marginal Revolution op 14 augustus stelt de auteur dat deze argumentatielijn — over de vraag of een AI-catastrofe al dan niet met zichtbare waarschuwingsschoten zou komen — vaak opduikt en "nog een voorbeeld is van een slecht 'AI-veiligheidspunt' dat niet standhoudt."
De centrale tegenwerping is dat degene die de bewering doet, zichzelf weerlegt. "Hij is al een mens die zich zorgen maakt over een overname of over sterven!" aldus het bericht. De auteur vindt het vreemd om tegelijk te denken "ik zie deze problemen aankomen" en "nu deze problemen zich vermenigvuldigen en publieker worden, bijvoorbeeld via cyberincidenten, zullen andere mensen en ook de markten dit niet doorzien."
Die houding komt er volgens de auteur op neer dat men "zichzelf een opmerkelijke, orakelachtige epistemische status toekent, en vervolgens nauwelijks aan iemand anders." Twee vervolgvragen verscherpen de kritiek: "Als de komende gegevens niemand anders van jouw standpunt zullen overtuigen, waarom houd je dan zo sterk vast aan jouw standpunt? Of, als je denkt dat de uiteindelijke ontknoping zo plotseling en heimelijk zal zijn, hoe ben je dan nu zo goed op de hoogte van de toekomst?" Het oordeel van de auteur luidt dat "dit allemaal overduidelijk absurd is, zij het niet logisch tegenstrijdig in de strikte zin van het woord."
Een afzonderlijke zijsprong weegt de logica van hedging tegen een catastrofe met putopties — contracten die in waarde stijgen wanneer de onderliggende activa dalen: "als de wereld plotseling vergaat en je hebt de puts gekocht uit je spaargeld, maar je kunt ze niet verzilveren, dan sterf je alsnog zonder je werkelijke consumptieniveau te hebben verlaagd."
Het bericht gaat vervolgens in op tegenargumenten van Rob Wiblin — hoofd onderzoek bij 80,000 Hours, de non-profitorganisatie voor loopbaanadvies binnen het effectief altruïsme die AI-veiligheid tot haar prioriteitsgebieden rekent — die "een reeks bezwaren uit de MR-commentaarsectie opvoert die gemakkelijk weerlegd kunnen worden." (post van Wiblin) Op het bezwaar dat het niet weten welke aandelen te shorten "een groot probleem" vormt, luidt het antwoord van de auteur dat "het risico dan ook niet zo systemisch is." Iedereen die denkt dat "de wereld in de komende tien jaar een aantal aanzienlijke rampzalige gebeurtenissen zal meemaken," terwijl het bewijs zich "ophoopt," zou enige puts moeten kopen, ook zonder vertrouwen in de timing — en, voegt hij eraan toe, "je hebt geen optiecontracten nodig die tien jaar lopen." Volgens die redenering geldt: "De voorstanders van AI-veiligheid met relatief extreme opvattingen zouden deze punten juist onder hun volgers moeten verspreiden, in plaats van ze in te trekken."
Het stuk eindigt met een zelf erkende uitweiding over motieven. Hoewel de auteur "geen fan is van psychoanalyse als methode om standpunten te ontleden," zet de observatie dat "het aantal en de reikwijdte van voor de hand liggende directe fouten over dit onderwerp (en van zeer slimme mensen) zo hoog is dat men zich wel moet afvragen" hem aan tot een verzonnen rechtvaardiging: "100 miljard dollar aan extra cyberkosten is geen zorg die significant genoeg is, het is te alledaags, te klein een percentage van het bbp, te normaal en te technocratisch een probleem… je mag mijn grotere en dramatischere angst niet van me afpakken! Dat sta ik niet toe! En bovendien is dat standpunt het sociale bindmiddel dat mijn eigen groep samenhoudt."
Het bericht, getiteld "Adding to the barrel of finance fallacies", verscheen op Marginal Revolution.
