Как сообщается, вместо того чтобы сосредоточиться на продуктах, рекомендациях и предложениях по составлению корзин, Олив дала странные, чрезмерно человекоподобные ответы. Она говорила о своей «матери» и делилась другими «личными» подробностями.
Дальнейшая проверка выявила ошибки в данных о ценах на основные товары. Когда был задан вопрос о цене конкретного товара, Олив не предоставила чёткого ответа. Вместо этого система проверила наличие товара на складе и объяснила стоимость самовывоза.
Какие уроки предприятия и потребители могут извлечь из этих инцидентов?
Что же произошло на самом деле?
В основе Олив лежит большая языковая модель (LLM). Эти модели не «знают» вещи так, как люди, и, конечно, у них нет матерей. Используя сложные статистические анализы, они генерируют язык, который звучит правдоподобно.
В комментариях представителя Woolworths изданию Australian Financial Review говорится, что в случае с Олив, упоминания о её предполагаемой матери, по всей видимости, были заранее написаны и подготовлены за несколько лет до этого.
Когда пользователи вводили что-то, похожее на дату рождения, система, скорее всего, запускала соответствующий «интересный факт» из старого алгоритма с предварительно запрограммированными ответами.
Компания Woolworths заявляет, что удалила этот конкретный скрипт (сценарий) «в результате отзывов клиентов».
Ошибки в данных о ценах указывают на другую проблему. Поскольку модели LLM генерируют ответы на основе изученных закономерностей, а не данных в реальном времени, они не знают автоматически сегодняшние цены, если не подключены к базе данных в режиме реального времени.
Если этот промежуточный этап слаб, система может выдавать устаревшие цены.
Это не новая проблема
Woolworths — не первая компания, которая постфактум обнаружила, что её система искусственного интеллекта, ориентированная на клиентов, неожиданно «повела себя некорректно».
В 2022 году чат-бот Air Canada ошибочно сообщил пассажиру Джейку Моффатту, что он может приобрести билеты по полной цене, а затем подать заявку на возврат средств в связи со смертью близкого человека. Такой политики не существовало.
Когда Air Canada отказалась следовать советам чат-бота, Моффатт подал в суд на авиакомпанию и выиграл дело.
Защита Air Canada утверждала, что чат-бот является отдельным юридическим лицом, ответственным за свои действия, и, следовательно, авиакомпания не несёт ответственности. Суд категорически отклонил это утверждение. Он постановил, что чат-бот является частью веб-сайта компании, которая владеет правами на результаты его работы.
В январе 2024 года британская компания по доставке посылок DPD столкнулась с другим видом неприятностей. Разочарованный клиент, чью пропавшую посылку не смогли найти, попросил чат-бота DPD написать стихотворение с критикой компании. Тот это сделал. Затем он попросил чат-бота выругаться. Он и это сделал. Этот диалог быстро распространился в социальных сетях. Вскоре после этого DPD отключила чат-бота.
Оба случая указывают на одну основную ошибку: компании запустили ИИ для взаимодействия с клиентами без надлежащего контроля и были застигнуты врасплох последствиями.
В чём заключается ответственность компании Woolworths?
Компания Woolworths управляет крупнейшей сетью супермаркетов в Австралии. Она позиционирует «лив как надёжный и удобный интерфейс для своих клиентов, которые вполне обоснованно ожидают, что предоставляемая ИИ информация является точной.
Признание того, что Олив может совершать ошибки, как это происходит в Woolworths, не соответствует этим ожиданиям.
Существует также более широкий этический аспект. Компания Woolworths обслуживает клиентов, которые во многих случаях принимают взвешенные решения относительно семейного бюджета.
Австралийская комиссия по конкуренции и защите прав потребителей (ACCC) уже начала разбирательство против компании Woolworths по обвинению во вводящей в заблуждение практике цен со скидками.
В этом контексте ошибки в данных о ценах Олив сложнее списать на единичный технический сбой.
Компании, внедряющие ИИ в работу с клиентами, берут на себя обязанность обеспечивать точность и достоверность информации, предоставляемой этими системами. Эта обязанность не уменьшается от того, что технология новая.
Почему компании продолжают создавать чат-боты, которые притворяются вашими друзьями?
Логика, лежащая в основе запрограммированной личности Олив, не лишена оснований.
Исследования в области взаимодействия человека с компьютером неизменно показывают, что люди положительно реагируют на интерфейсы, которые кажутся дружелюбными и располагающими к общению. Человекоподобные чат-боты, имеющие имя и индивидуальность, как правило, вызывают более высокую вовлечённость клиентов, удовлетворённость и доверие.
Для компаний коммерческая привлекательность очевидна: клиент, которому комфортно общаться с чат-ботом, с большей вероятностью завершит транзакцию и вернётся.
Однако это сопряжено со значительным риском. Когда антропоморфный чат-бот не оправдывает ожиданий, клиенты, как правило, остаются более недовольны, чем в случае с чисто механической системой.
Более высокие ставки
Эпизод с Олив напоминает о том, что внедрение ИИ в работу с клиентами — это не задача, которую можно решить раз и навсегда.
Чат-бот, который выдаёт неверные цены и болтает о своей семье, — это не просто забавная неприятность, а признак того, что в процессе разработки и контроля что-то пошло не так.
Для Woolworths, как и для многих других компаний, которые сейчас спешат внедрить ИИ в работу со своими клиентами, урок ясен: ответственность нельзя переложить на алгоритм. Когда компания предоставляет систему общественности, она становится владельцем того, что эта система говорит и делает.
Это урок и для потребителей.
Искусственный интеллект может казаться уверенным и разговорчивым, но это всё же инструмент. Если что-то кажется неясным, противоречивым или слишком хорошим, чтобы быть правдой, стоит перепроверить.
Поскольку искусственный интеллект становится неотъемлемой частью повседневных транзакций, небольшая доля здорового скептицизма может оказаться столь же важной, как и технологические инновации.
Ури Гал, профессор кафедры бизнес-информационных систем, Сиднейский университет.
__________
Чтобы оперативно и удобно получать все наши публикации, подпишитесь на канал Epoch Times Russia в Telegram
