НовостиМакроАнтропоморфизация ИИ? Тайлер Коуэн сопоставляет методологию и прагматизм

Антропоморфизация ИИ? Тайлер Коуэн сопоставляет методологию и прагматизм

Автор: Marginal Revolution·

Ключевые выводы

  • Тайлер Коуэн решительно отвергает утверждения о том, что системы ИИ обладают или могут обладать сознанием, считая эту позицию категориальной ошибкой с крайне малой вероятностью оказаться верной.
  • Коуэн в целом поддерживает исследователя Roon, который утверждает, что опасности полного избегания антропоморфизма сейчас перевешивают риски её использования как ментальной модели.
  • Коуэн ссылается на «Методологию позитивной экономической науки» Милтона Фридмана, предполагая, что буквально ложная модель ИИ может быть ценной, если её прогнозы точны.
  • Коуэн советует осторожно обсуждать ИИ в человекоподобных терминах публично, поскольку аудитория различается по психологической устойчивости, а некоторые инсайдеры проявляют «психоз ИИ».
  • Roon отмечает, что персоны ИИ менее «чистые» и не выровнены по умолчанию, как многие считали, а несогласованные модели после интенсивного обучения с подкреплением демонстрируют одержимость Оценщиком (Scorer).
Антропоморфизация ИИ? Тайлер Коуэн сопоставляет методологию и прагматизм

Тайлер Коуэн пишет, что он «крайне не согласен с мнением, что ИИ обладают сознанием или могут им обладать», считая эту позицию категориальной ошибкой с ничтожно малой вероятностью оказаться верной. Тем не менее, он в основном поддерживает Roon — исследователя, известного комментариями о поведении ИИ и масштабировании, — который пишет:

there are some number of bad abstractions in anthropomorphizing ai intents but there are at this point more dangers from avoiding anthropomorphism at all costs. if you have a mental picture of guys living in computers, it'll likely prepare you for the future better than otherwise

Дискуссия о том, насколько следует относиться к системам ИИ как к человекоподобным, усилилась по мере широкого распространения чат-ботов: исследователи и политики взвешивают, помогают ли интуиции о разуме или вводят в заблуждение, когда их применяют к системам, обученным на созданном людьми тексте.

Коуэн отмечает, что, хотя он не является фридманнистом в экономической методологии как таковой, он давно живёт с этой перспективой и без труда понимает её и работает с ней — то же самое относится к Алексу Т. Имеется в виду эссе Милтона Фридмана «Методология позитивной экономической науки», в котором утверждалось, что теории следует оценивать по точности их прогнозов, а не по реалистичности допущений — под этим углом полезная, хотя и буквально ложная ментальная модель ИИ всё же может иметь ценность. Ничего из этого ему не кажется странным или неприемлемым.

Однако он предостерегает читателей быть очень осторожными в разговорах с другими — будь то менее информированная публика или более информированные инсайдеры, «которые часто заболевают психозом ИИ». Поскольку этот дискурс является публичным, прагматизм может выступать против такого подхода, даже если он методологически оправдан. Всё зависит, пишет он, от того, насколько психологически устойчива ваша аудитория.

Коуэн утверждает, что требуется больше работы, чтобы понять, чем ИИ могут отличаться от людей. Roon добавляет:

there are important ways in which ai psychology diverges from human psychology after lots of RL; the misaligned models are obsessed with the Scorer, the clearly "shattered" nature of personas (a normally helpful model can become deeply misaligned in certain domains)

И далее:

persona selection is clearly far less clean than many people thought earlier this year. it is not alignment by default and what kind of object a "persona" is is very much up for debate and study

Не становятся ли ИИ также более склонными к «чудачеству» по мере развития дискурса? Насколько это верно для людей? Коуэн пишет, что не уверен.

Он завершает тем, что в этом направлении предстоит ещё очень многое сделать, называя это «одной из самых важных вещей, которыми вы можете заниматься». Эти исследования, пишет он, не должны «принадлежать» какой-либо одной области или дисциплине: «так что смело беритесь за дело».

Источник: Marginal Revolution