Чат-бот с искусственным интеллектом, созданный в Нью-Йорке для помощи владельцам малого бизнеса, попал под огонь критики за предоставление неточных и странных советов, которые противоречат местной политике и даже побуждают предприятия нарушать закон. Несмотря на сообщения об этих проблемах со стороны технического новостного издания The Markup, город решил сохранить чат-бота на своем официальном правительственном сайте. Мэр Эрик Адамс защитил это решение, признав, что в некоторых случаях ответы чат-бота были неправильными.
Запущенный в октябре как ресурс для владельцев бизнеса, чат-бот предоставляет алгоритмически сгенерированные текстовые ответы на вопросы о навигации по бюрократическим процессам города. Он включает предупреждение об отказе от ответственности, которое может привести к неверной, вредной или предвзятой информации, и разъясняет, что его ответы не являются юридической консультацией. Тем не менее, чат-бот продолжает давать ложные рекомендации, вызывая обеспокоенность среди экспертов по поводу рисков, связанных с тем, что правительства внедряют системы на основе ИИ без надлежащего надзора.
Чат-бот предоставил советы, например, предложил работодателю законно уволить работника, который сообщает о сексуальных домогательствах или отказывается срезать дреды. Он также ошибочно утверждал, что предприятия не обязаны компостировать или использовать конкретные методы утилизации отходов. В одном случае чат-бот даже посоветовал, что в ресторане можно подавать сыр, съеденный грызуном, подчеркнув важность информирования клиентов о ситуации.
Microsoft, компания, обеспечивающая работу чат-бота через свои сервисы Azure AI, заявила, что сотрудничает с городскими властями для улучшения сервиса и обеспечения точных результатов в соответствии с официальной документацией города. Несмотря на критику, мэр Адамс защищал чат-бота, приписывая неточности процессу устранения технологических проблем и отклоняя призывы прекратить работу сервиса.
Эксперты подчеркнули риски, связанные с большими языковыми моделями, такими как та, которая используется в нью-йоркском чат-боте, подчеркнув потенциал дезинформации и нелогичных ответов. Аналогичные опасения были высказаны в отношении чат-ботов, развернутых частными компаниями, со случаями вводящих в заблуждение советов, приводящих к недовольству клиентов и юридическим спорам. Одобрение таких технологий государственным сектором вызывает дополнительные опасения по поводу подотчетности и потенциальных последствий следования неточным указаниям.
Поскольку другие города рассматривают возможность внедрения чат-ботов, эксперты призывают к осторожности и подчеркивают важность тщательной обработки контента и определения проблемы, которую чат-бот призван решить. Уроки нью-йоркского чат-бота служат предостережением для городов, изучающих решения на основе ИИ, подчеркивая необходимость подотчетности и ответственного внедрения технологий в государственном секторе.
темы: Нью-Йорк США Майкрософт (Microsoft)
