В сентябре прошлого года OpenAI опубликовала статью

Авторами статьи были Adam Tauman Kalai, Edwin Zhang и Ofir Nachum из OpenAI, а также Santosh Vempala из Georgia Tech
Они создали математическую модель, ключевым открытием которой было это неравенство:
Ошибка генерации ≥ 2 × Ошибка суждения
Предположим, что ИИ имеет 1% вероятность ошибиться при оценке "1+1 равно сколько". Тогда при генерировании ответа вероятность ошибки составит как минимум 2%
Почему происходит увеличение? Потому что одна ошибка суждения порождает несколько ошибок генерации. Например, если ИИ判断1+1=3, он одновременно совершает две ошибки: говорит, что 1+1=3 правильно, и что 1+1=2 неправильно. Одна ошибка суждения — минимум две ошибки генерации
Если вы ответите "я не знаю", получите 0 баллов. Если вы угадаете наугад, даже с вероятностью 10% правильного ответа, ожидаемый балл — 0,1. Рациональный выбор? Угадать. Так что ИИ не "научился лгать". ИИ被принужден угадывать тренировочной системой
Я занимаюсь автоматизацией ИИ уже полгода. Вся моя система контента — от сбора данных до написания текстов, до подбора изображений — работает на ИИ
Изменила ли эта статья мой подход? Если честно, основные убеждения не изменились
Я всегда знал, что ИИ ошибается, и в системе каждый этап имеет ручную проверку. Но одно стало яснее: галлюцинации — это не ошибка, а особенность
Поэтому правильный подход — не ждать, пока ИИ станет совершенным, а предположить в рабочем процессе, что ИИ обязательно допустит ошибку, и спроектировать механизмы подстраховки.
Мой подход:
1. Все данные, сгенерированные ИИ, должны иметь исходную ссылку для перекрестной проверки
2. Конкретные числа в написанном контенте должны быть подтверждены человеком перед публикацией
3. Не давать ИИ "судить", только "организовывать" — оценка — это моя задача