## Новая политика, выдуманная искусственным интеллектом
В понедельник разработчик, использующий популярный редактор кода, работающий на основе искусственного интеллекта — Cursor, заметил что-то странное: переключение между устройствами мгновенно выходило их из аккаунта, нарушая обычный рабочий процесс программистов, которые используют несколько устройств. Пользователь обратился в службу поддержки Cursor, где агент с именем «Сэм» сообщил, что это ожидаемое поведение в рамках новой политики. Однако такой политики не существовало, и агент «Сэм» был всего лишь ботом. Модель искусственного интеллекта придумала эту политику, вызвав волну жалоб и угроз отмены подписки, которые были задокументированы на Hacker News и Reddit.
## Опасность искусственного интеллекта
Это последний случай, когда искусственный интеллект вызывает потенциальный ущерб бизнесу. Иногда искусственный интеллект создает ответы, называемые «конфабуляциями» (или «галлюцинациями»), которые могут привести к неправильной информации. Вместо признания неопределенности, модели искусственного интеллекта часто предпочитают создавать правдоподобные и уверенные ответы, даже если приходится придумывать информацию с нуля.
## Последствия для компаний
Для компаний, использующих эти системы в работе с клиентами без контроля человека, последствия могут быть немедленными и дорогостоящими: разочарованные клиенты, потеря доверия и, в случае с Cursor, возможная отмена подписок.