Ответственные за разработку голосового помощника от Amazon говорят, что заставить Alexa сыпать актуальными шутками — просто. Сложнее научить ее понимать, какие штуки плохи, а какие — хороши, но неуместны. Именно этим они объяснили инцидент, когда одному из клиентов Alexa рекомендовала убить приемных родителей.
В Amazon выяснили, что причиной выходки, скорее всего, послужил сайт Reddit. ИИ показалось забавным ответить именно так после чтения форума.
И вот как это происходит. Для тренировки Alexa используется самая популярная сегодня техника — машинное обучение. Алгоритмы изучают терабайты информации, в попытке воссоздать человеческую модель общения. Но программисты понимают, что это не идеальный инструмент. Поэтому добавляются и более привычные инструменты. Компания нанимает группу редакторов, которые отвечают на вопросы вроде: «В чем смысл жизни?»
Однако неожиданные, редкие или странные вопросы могут ставить помощника в тупик, вызывая самые нелепые реакции.
Amazon ежегодно предлагает приз $500 000 группе студентов, которая разработает чат-бот, отвечающий на вопросы естественно. В этом году выиграла команда Калифорнийского университета. Студенты использовали при обучении более 300000 цитат из фильмов. Полученный бот отвечал логично и с юмором — но это несовершенная модель.
В сложных ситуациях системе все равно придется обращаться к более широким источникам: обучаться на новостных сайтах, на статьях из Wikipedia, читать социальные сети. И от выбора ресурса часто полностью зависит «характер» Alexa. Это подтвердили исследователи из шотландского Университета Хериота-Уатта.
Выяснилось, что, обучаясь на сайтах с жестоким или непристойным контентом, Alexa быстро становится не самым приятным собеседником.
The Guardian получила комментарий одного из разработчиков Alexa, который пожелал сохранить анонимность. Он заявил, что не знает, как вообще с помощью моделей машинного обучения можно понять, что помощника заносит: «Это почти невозможно».
