Совещание. Один из руководителей говорит: «Нейросеть прочитала договор и решила, что рисков нет». Все кивают. А я застрял на слове «решила». Нейросеть ничего не читала и ничего не решала. Она посчитала, какие слова чаще всего следуют за словами вроде «договор», «риски», «отсутствуют». Но в нашем языке для неё уже придумали глаголы из человеческого разряда: думает, понимает, ошибается, фантазирует. От этих глаголов начинаются почти все разочарования в ИИ. Давайте выгоним их из головы и честно разберёмся, чем ИИ не является.
Это не интеллект
Под капотом у любой большой языковой модели — одно и то же занятие: предсказать, какое слово вероятнее всего пойдёт следующим. Миллиарды раз на строку. Из этого занятия выросло умение, которое поражает даже меня, хоть я и смотрю на эти системы профессионально с 2017 года: модель рассуждает блестяще. Она объяснит, почему небо голубое, построит цепочку логических шагов, приведёт примеры. Она объяснит с тем же блеском и то, почему голубое небо вредно для экономики, — если вежливо попросить.
Понимания за этим блеском нет. Есть статистика, которая снаружи почти неотличима от понимания. Проверить просто: переспросите модель, уверена ли она. Она с готовностью извинится и перепишет ответ на противоположный — с тем же изяществом, с теми же примерами. Спросите ещё раз — согласится и с ним. Дважды два попросите объяснить так, чтобы получилось пять, — получите красивую лекцию о пятом измерении. Инженеры называют эти системы стохастическими попугаями — попугаями, потому что слова чужие, стохастическими, потому что выбор слова каждый раз немного лотерея. Слово обидное, но точное, и оно помогает: перестаёшь ждать от инструмента того, чего в нём не заложено.
Если хочется копнуть глубже — статья, которая ввела этот термин, лежит в открытом доступе: On the Dangers of Stochastic Parrots.
Не искусственный и не настоящий
Название «искусственный интеллект» появилось на конференции в Дартмуте в 1956 году — и с тех пор делает двойную работу. Слово «искусственный» обещает: вот, смотрите, сделанный человеком разум. Но внутри нет никакого разума, искусственного или настоящего — есть математика. Так что «искусственный» — неправда. А «не настоящий» — тоже неправда, в своём роде: тексты, которые выдаёт модель, настоящие, живые, местами хорошие. Только смысл в них не настоящий — не чей-то, ни её, ни ваш.
Это не существо и не фокус. Это машина. Я люблю сравнивать её с паровой машиной: та превращала труд рук в труд пара, эта превращает часы работы с текстом в минуты. Ничего мистического. Ничего человеческого. Пользы — немеряно — и совершенно другие правила обращения, чем с коллегой.
Полезный, но ненадёжный
Обе половины важны, и порядок важен. Полезный: черновики, резюме, варианты, переводы, первые наброски там, где раньше стояла белая страница. Это реально снимает часы работы — я вижу это в каждом проекте. Ненадёжный: факты, цифры, ссылки, цитаты — всё это модель выдаёт с одинаково ровным голосом и с одинаковой степенью самоуверенности в том и другом случае. Красивое и верное звучат точно так же, как красивое и выдуманное.
Отсюда главный вывод, который я ношу во все внедрения: надёжность — не свойство модели. Это свойство процесса вокруг неё. Миксер отлично взбивает тесто, но рецепт он не выбирает и не отвечает за соль. Модель отлично пишет, но факт она не проверяет — проверяем мы. Подробно про то, как контроль деградирует в резиновую печать, когда этого не понимают, я писал в статье про риски личных ИИ-помощников.
И он никуда не уйдёт
Оставалась бы надежда подождать, пока мода пройдёт. Не пройдёт. Мы уже проходили это с электричеством, с интернетом, с электронной почтой: каждая такая машина сначала пугала, потом запрещалась, потом стала фоном жизни — у тех, кто научился ей пользоваться. Запретить нейросети в офисе сегодня — как запретить таблички в бухгалтерии в девяностые: запрет существует, таблички — тоже.
Значит, остаётся единственный взрослый путь — научиться сосуществовать. Как с автомобилем: он не злой и не добрый, но в неумелых руках опасен, а в умелых добавляет человеку силы на порядки. Учиться водить машину для слов — значит три вещи: понять её границы (эта статья — первый шаг), выстроить проверку результата и обучить людей рядом. Десять самых частых ошибок при этом обучении я разобрал в другой статье — про ошибки сотрудников с ИИ. И если хотите короткий путь — приходите, разберём ваш случай вместе: от первого шага до рабочего контура.
Коротко
ИИ — не разум и не фокус. Это машина для слов: чудесная и беспечная. Чудесную часть она делает сама. За бдительность отвечаем мы.
Что почитать
- On the Dangers of Stochastic Parrots — работа, которая ввела термин «стохастические попугаи» (на английском).
- NBER, «The Cybernetic Teammate» — честные измерения: где ИИ реально усиливает людей.
- Подборка бесплатных курсов по ИИ на Stepik — если решили, что пора учиться сосуществовать.