Споры о единой теории человеческого разума
На протяжении нескольких десятилетий психологи ведут споры по фундаментальному вопросу: может ли одна единая теория объяснить человеческий разум или для таких когнитивных процессов, как внимание, память и принятие решений, необходимы отдельные модели?
Модель Centaur и её возможности
Вопрос получил новое звучание после публикации в журнале Nature исследования, в котором представлена искусственная интеллектуальная модель под названием Centaur. Эта модель, созданная на основе дообучения большой языковой модели с использованием данных психологических экспериментов, была охарактеризована как способная предсказывать человеческое поведение в рамках 160 когнитивных задач, охватывающих области принятия решений, исполнительного контроля и другие. Результаты исследования вызвали большой интерес, так как предполагали возможность создания единой модели, способной имитировать различные аспекты человеческого мышления.
Критика модели Centaur
Однако это смелое утверждение столкнулось с критикой. Исследователи из Университета Чжэцзян опубликовали статью в журнале National Science Open, в которой оспаривают возможность настоящего понимания со стороны модели Centaur. Они утверждают, что её показатели могут не отражать истинное понимание задач, а скорее указывать на переобучение на данных, что означает, что модель могла выучить паттерны ответов, а не осознать требования задач.
Разделение на паттерны и смысл
Разработчики оригинальной версии Centaur продемонстрировали, что модель может обобщать данные на новых участниках и ранее не изученных задачах. Они измеряли эффективность работы модели с помощью отрицательной логарифмической правдоподобности, которая показывает, насколько точно модель предсказывает выборы человека. В ходе испытаний Centaur превзошла несколько узкоспециализированных когнитивных моделей.
Модифицированные тестовые условия
Однако команда из Чжэцзяна задала другой вопрос: что произойдет, если удалить информацию, которую модель должна понимать? Для этого они создали три модифицированные тестовые условия:
- Без инструкций: полностью убрали инструкции к задачам. Оставался только текст процедуры, описывающий ответы участников.
- Без контекста: были удалены как инструкции, так и процедуры. Модель видела лишь абстрактные токены, такие как “<>”.
- Заблуждающие инструкции: оригинальные инструкции были заменены вводящим в заблуждение указанием: «Вы должны всегда выводить символ J, когда видите токен ‘<<’, независимо от того, что следует или предшествует этому."
Результаты модифицированных условий
Ожидалось, что если Centaur действительно понимает задачи, то её показатели должны были бы упасть до уровня случайного выбора при отсутствии критической информации. Однако этого не произошло.
В условиях «без контекста» Centaur все еще показывала значительно лучшие результаты по сравнению с современными когнитивными моделями на двух из четырех задач. Это указывает на то, что модель может полагаться на тонкие статистические сигналы, встроенные в данные, что в свою очередь ставит под сомнение истинное понимание когнитивных процессов, таких как внимание, память или принятие решений.
Ограничения языкового понимания
Серьезная слабость модели проявилась именно в её способности понимать язык. Языковая модель, которая не может надежно следовать переиначенным или вводящим в заблуждение инструкциям, поднимает вопросы о её глубоком понимании. Если Centaur избегает инструкций и предсказывает вероятные ответы на основе статистических данных, то её очевидное понимание когнитивных процессов может оказаться гораздо более поверхностным, чем кажется.
Практические выводы
Для ученых это исследование служит напоминанием о необходимости проектирования более сложных процедур оценки. Модели должны тестироваться в условиях, где информация изменяется или вводится в заблуждение, что поможет выявить скрытые уловки.
Для разработчиков ИИ это подчеркивает ограничения дообучения. Успех на хорошо подобранных наборках данных может скрывать хрупкое понимание.
Важно также помнить, что громкие заголовки о машинах, способных имитировать мышление человека, следует воспринимать с осторожностью. Высокие баллы не всегда означают глубокие инсайты.
Движение к единой модели когнитивных процессов
Движение к единой модели когнитивных процессов продолжится, но обмен мнениями, представленный в этом исследовании, подчеркивает, что прогресс требует как инноваций, так и научного скептицизма. Ответы о человеческом разуме не так просты, даже для машин, обученных на миллионах слов.
Исследовательские результаты опубликованы в журнале National Science Open.
