Инструмент искусственного интеллекта OpenAI для преобразования речи в текст уличён в выдумывании историй

По данным Associated Press, часть текста, сгенерированного ИИ, нереальна и называется «галлюцинаторной». Она включает в себя расистские комментарии, грубую лексику и даже вымышленные методы лечения.

Высокий уровень «иллюзий» в текстах, сгенерированных ИИ

Эксперты особенно обеспокоены, поскольку Whisper широко используется во многих отраслях по всему миру для перевода и расшифровки интервью, генерации текста в популярных потребительских технологиях и создания субтитров для видеороликов.

Еще большую тревогу вызывает тот факт, что многие медицинские центры используют Whisper для передачи консультаций между врачами и пациентами, хотя OpenAI предупреждает, что этот инструмент не следует использовать в зонах «высокого риска».

Точный масштаб проблемы определить сложно, но исследователи и инженеры утверждают, что в своей работе они регулярно сталкиваются с «галлюцинациями» Whisper.

Исследователь из Мичиганского университета сообщил, что обнаружил «галлюцинации» в восьми из десяти изученных им аудиозаписей. Инженер-компьютерщик обнаружил «галлюцинации» примерно в половине транскрипций более 100 часов проанализированных им аудиозаписей. Другой разработчик сообщил, что обнаружил «галлюцинации» почти во всех из 26 000 записей, созданных им с помощью Whisper.

Проблема сохраняется даже с короткими, чётко записанными аудиофрагментами. Недавнее исследование компьютерных учёных выявило 187 «иллюзий» в более чем 13 000 изученных ими чётких аудиофрагментах. Эта тенденция может привести к появлению десятков тысяч ложных транскрипций в миллионах записей, заявили исследователи.

По словам Алондры Нельсон, которая до прошлого года возглавляла Управление по науке и технологиям Белого дома в администрации Байдена, такие ошибки могут иметь «очень серьезные последствия», особенно в условиях стационара.

«Никто не хочет получить неправильный диагноз», — сказал Нельсон, ныне профессор Института перспективных исследований в Принстоне, штат Нью-Джерси. «Необходим более высокий стандарт».

Whisper также используется для создания субтитров для глухих и слабослышащих — группы населения, которая особенно подвержена риску неправильного перевода. Это связано с тем, что глухие и слабослышащие не могут распознать поддельные тексты, «скрытые во всем остальном тексте», — говорит Кристиан Фоглер, глухой и директор Программы доступности технологий в Университете Галлодет.

OpenAI призван решить проблему

Распространенность подобных «галлюцинаций» побудила экспертов, активистов и бывших сотрудников OpenAI призвать федеральное правительство рассмотреть вопрос о регулировании ИИ. Как минимум, OpenAI необходимо устранить этот недостаток.

«Эта проблема разрешима, если компания готова уделить ей первостепенное внимание», — сказал Уильям Сондерс, инженер-исследователь из Сан-Франциско, покинувший OpenAI в феврале из-за сомнений относительно направления развития компании.

«Проблема возникает, если после выпуска продукта люди настолько уверятся в его возможностях, что начнут интегрировать его во все эти системы», — заявил представитель OpenAI. Компания постоянно работает над тем, чтобы развеять эти «иллюзии», и высоко ценит выводы исследователей, добавляя, что OpenAI учитывает обратную связь при обновлении модели.

Хотя большинство разработчиков предполагают, что движки для преобразования текста в речь могут допускать опечатки или другие ошибки, инженеры и исследователи утверждают, что никогда не видели движка для преобразования текста в речь на базе искусственного интеллекта, который бы «галлюцинировал» так часто, как Whisper.

Нобелевская премия по физике 2024 года: Основатели ИИ

В этом году Нобелевская премия по физике была присуждена двум ученым, Джону Дж. Хопфилду и Джеффри Э. Хинтону, за «фундаментальные открытия и изобретения, которые привели к развитию машинного обучения с использованием искусственных нейронных сетей».