Перепроверяйте ответы ИИ — и просите модель перепроверить себя
25 выпусков за 12 месяцев · всего 41 · впервые в мае 2024
Модель может уверенно ошибиться, подстроиться или ответить иначе, чем вчера. Поэтому почти на каждый важный ответ я говорю «перепроверь себя» — и система часто сама находит ошибку.
В серьёзных вопросах — здоровье, деньги, договоры — прямо пропишите в запросе контрольную сверку и попросите заново изучить базу. Решение и ответственность всё равно остаются на вас.
Правило без срока. Правило без срока: модели по-прежнему тихо меняют без объявлений, и одна и та же система может отвечать по-разному день ото дня.
С чего начать
На каждый важный ответ пишите «перепроверь себя», а в вопросах здоровья и денег просите ссылки на источники.
Для договоров, отчётов и расчётов сделайте правилом контрольную сверку: модель проверяет себя, решение принимает человек.
Не требуйте от ИИ идеала: к нему слишком много придирок из-за мелких ошибок, а сильный эффект люди не замечают.
«И вот, мне кажется, в прошлый раз мы тоже это обсуждали о том, что очень много придирок есть к искусственному интеллекту, очень много, когда там, помните, раньше все там: галлюцинации что-то говорили, какое-то слово неправильно вывело или, там, букву какую-то пропустило. Э, а не на том, где люди, э, видят сверхсильный эффект от искусственного интеллекта.»
Когда я это говорил
Цитаты
«Для меня тоже был всегда вопрос, почему я лично каждый раз на каждый ответ системы говорю перепроверь себя, ты правильно сказал или нет. Часто система проверяет, говорит: "Ой, я ошибся", дает данные.»
«То есть, по сути, я мог принять неправильное, ложное решение. Поэтому некоторые, конечно, вещи вы должны понимать, что их надо перепроверять. Ну, так же, как пере-перепроверять, когда вам какой-то другой человек что-то говорит, да.»
«…ты же ей можешь в промпте вставить и сказать, что ты после расчета должна сделать контрольную сверку, проверить и потом после контрольной сверки еще раз перепроверить с учетом вот этих массивов, и оно тебя в конце, в документе или в ответе может тебе контрольные сверки дать.»
«Я всем настоятельно рекомендую, кто серьезные вещи делает, недавно своему, там, одному партнеру говорю: "Слушай, ты проверяешь вот эти юридические документы, ты обязательно в чате напиши, проверь мне еще раз, изучи мне еще раз базу, да". И вы должны к этому очень сильно привыкнуть.»