По данным AP, эксперты, проведя интервью с инженерами-программистами, разработчиками и исследователями, заявили, что часть текста, сгенерированного искусственным интеллектом, не является реальностью и называется «галлюцинациями». Характерно, что среди них есть расистские высказывания, грубая лексика и даже вымышленные методы лечения.

Высокий уровень «иллюзий» в текстах, созданных ИИ

Эксперты особенно обеспокоены тем, что Whisper широко используется во многих отраслях по всему миру для перевода и расшифровки интервью, генерации текста в популярных потребительских технологиях и создания субтитров для видео.

Еще большую тревогу вызывает тот факт, что многие медицинские центры используют Whisper для передачи консультаций между врачами и пациентами, хотя OpenAI предупреждает, что этот инструмент не следует использовать в зонах «высокого риска».

Точный масштаб проблемы определить сложно, но исследователи и инженеры говорят, что в своей работе они регулярно сталкиваются с «галлюцинациями» Whisper.

Исследователь из Мичиганского университета сообщил, что обнаружил «галлюцинации» в восьми из десяти протестированных им аудиоконверсий. Инженер-компьютерщик обнаружил «галлюцинации» примерно в половине преобразований более 100 часов аудиозаписей, которые он проанализировал. Другой разработчик сообщил, что обнаружил «галлюцинации» почти во всех 26 000 записей, созданных им с помощью Whisper.

Проблема сохраняется даже при использовании коротких, четко записанных аудиофрагментов. Недавнее исследование компьютерных ученых обнаружило 187 «иллюзий» в более чем 13 000 изученных ими чистых аудиоклипов. По словам исследователей, эта тенденция может привести к десяткам тысяч ложных транскрипций в миллионах записей.

По словам Алондры Нельсон, которая до прошлого года возглавляла Управление по науке и технологиям Белого дома в администрации Байдена, такие ошибки могут иметь «очень серьезные последствия», особенно в больничных условиях.

«Никто не хочет получить неправильный диагноз», — подчеркнул Нельсон, ныне профессор Института перспективных исследований в Принстоне, штат Нью-Джерси. «Необходим более высокий стандарт».

Whisper также используется для создания субтитров для глухих и слабослышащих людей — группы населения, которая особенно подвержена риску неправильного перевода. Это связано с тем, что глухие и слабослышащие люди не имеют возможности распознать сфабрикованные отрывки, «скрытые во всем остальном тексте», говорит Кристиан Фоглер, глухой и директор Программы доступности технологий в Университете Галлодета.

OpenAI призван решить проблему

Распространенность таких «галлюцинаций» побудила экспертов, сторонников и бывших сотрудников OpenAI призвать федеральное правительство рассмотреть вопрос о регулировании ИИ. По крайней мере, OpenAI необходимо устранить эту ошибку.

«Эта проблема разрешима, если компания готова поставить ее в приоритет», — сказал Уильям Сондерс, инженер-исследователь из Сан-Франциско, покинувший OpenAI в феврале из-за опасений по поводу направления развития компании.

«Это станет проблемой, если вы выпустите его и люди станут слишком уверены в его возможностях, а затем интегрируете его во все эти другие системы». Представитель OpenAI заявил, что компания постоянно ищет способы уменьшения «иллюзий» и высоко ценит выводы исследователей, добавив, что OpenAI учитывает обратную связь при обновлении моделей.

В то время как большинство разработчиков предполагают, что движки для преобразования текста в речь могут допускать опечатки или другие ошибки, инженеры и исследователи утверждают, что никогда не видели движка для преобразования текста в речь на базе искусственного интеллекта, который бы «галлюцинировал» так часто, как Whisper.

Нобелевская премия по физике 2024 года: Основатели ИИ

В этом году Нобелевская премия по физике была присуждена двум ученым, Джону Дж. Хопфилду и Джеффри Э. Хинтону, за «фундаментальные открытия и изобретения, которые привели к развитию машинного обучения с использованием искусственных нейронных сетей».