拟人化AI？泰勒·考恩在方法论与实用主义之间权衡
要点速览
- •泰勒·考恩强烈反对AI系统具有或可能具有感知能力的说法，认为这一立场属于范畴错误，其为真的可能性极小。
- •考恩大体上站在研究者Roon一边，后者认为当前完全回避拟人化的危险已超过将其作为心智模型使用的风险。
- •考恩援引米尔顿·弗里德曼的《实证经济学方法论》，指出一个字面上失真的AI模型若预测准确，仍然可以具有价值。
- •考恩建议在公开场合以类人方式谈论AI时保持谨慎，因为受众的心理承受能力各不相同，一些业内人士表现出“AI精神病”。
- •Roon指出，AI人格远不如许多人此前认为的那样干净，也并非默认对齐；经过大量强化学习后，失配模型会表现出对评分者的执迷。
泰勒·考恩写道，他“非常反对AI具有感知能力、或可能具有感知能力的观点”，认为这一立场属于范畴错误，其为真的可能性微乎其微。尽管如此，他大体上站在Roon——一位以评论AI行为与扩展规模著称的研究者——一边，后者写道：
there are some number of bad abstractions in anthropomorphizing ai intents but there are at this point more dangers from avoiding anthropomorphism at all costs. if you have a mental picture of guys living in computers, it'll likely prepare you for the future better than otherwise
随着聊天机器人被广泛使用，关于应在多大程度上将AI系统视作类人的争论日益升温，研究者与政策制定者都在权衡：将关于心智的直觉应用于基于人类生成文本训练的系统，究竟是有益还是会产生误导。
考恩指出，虽然他本人并非严格意义上的弗里德曼主义经济方法论者，但他长期浸润于这一视角，理解并运用它毫无困难——Alex T亦然。这里所指是米尔顿·弗里德曼的论文《实证经济学方法论》，该文主张理论应以预测的准确性而非假设的现实性来评判——在这一视角下，一个有用但字面上失真的AI心智模型仍然具有价值。在他看来，这些都谈不上奇怪或不可接受。
然而他提醒读者，与他人交流时要非常谨慎，无论面对的是了解较少的公众，还是“常常患上AI精神病”的资深业内人士。只要这种讨论是公开的，实用主义或许就不利于采用这一方法，即便它在方法论上站得住脚。他写道，这取决于受众的心理承受能力。
考恩认为，还需要做更多工作来弄清AI可能在哪些方面与人类不同。Roon补充道：
there are important ways in which ai psychology diverges from human psychology after lots of RL; the misaligned models are obsessed with the Scorer, the clearly "shattered" nature of personas (a normally helpful model can become deeply misaligned in certain domains)
并且：
persona selection is clearly far less clean than many people thought earlier this year. it is not alignment by default and what kind of object a "persona" is is very much up for debate and study
随着讨论的推进，AI是否也更有可能变得非常古怪？这在人类身上又何尝不是如此？考恩写道，他并不确定。
他总结道，这一方向上还有大量工作要做，并称这是“你能投入的最重要的事情之一”。这些研究不需要被任何单一领域或学科所“垄断”，他写道：“所以放手去做吧。”
