Заставил 4 нейросети написать протокол совещания - вот что вышло

Один транскрипт, один промпт, четыре нейросети. Разница в результатах оказалась больше, чем я ожидал - и не в стиле, а в фактах.

После планёрки аналитического отдела я обычно минут пятнадцать сам собираю протокол: кто что решил, кому что поручили, что осталось открытым. Это ровно тот тип рутины, который я обычно делегирую нейросетям без единой строчки кода - и здесь решил проверить, какая нейросеть для протокола совещания подходит лучше: взял сразу четыре модели вместо одной и сравнил результат построчно. Обезличил имена в реальной записи встречи и прогнал транскрипт через ChatGPT, Claude, GigaChat и YandexGPT с одинаковым промптом.

Расхождение оказалось в самих фактах - тон и оформление у всех четырёх похожи. Одна из моделей трижды добавила в протокол то, чего в разговоре не было.

Зачем сравнивать 4 нейросети, если есть готовые сервисы для протоколов?

Когда ищешь, чем заменить ручное оформление протокола, выдача в основном показывает подборки платных сервисов-транскрайберов. Они закрывают инфраструктурную часть - запись звонка, распознавание речи, интеграцию с календарём. Но финальный шаг - превращение сырого текста во что-то похожее на протокол - всё равно делает языковая модель внутри сервиса. Какая именно и с каким промптом - обычно не видно.

Прямая работа с ChatGPT, Claude, GigaChat или YandexGPT даёт то, чего нет в чёрном ящике сервиса: видно промпт, видно модель, можно проверить результат построчно против исходного текста. У OpenAI даже есть отдельный раздел кукбука про суммаризацию длинных документов (OpenAI Cookbook), но конкретного руководства именно по протоколам совещаний там нет - формат под свою задачу собираете сами. Это я и сделал в своём тесте.

Даже в позитивных корпоративных кейсах результат называют черновиком, а не готовым документом. Вот как описывает это внедрение ChatGPT в протоколирование компания Directum:

Слово «прототип» здесь ключевое. Дальше в статье разбираю, у какой из четырёх моделей этот прототип оказался ближе к финальному документу, а у какой - дальше.

Как я тестировал: правила и единый промпт для всех

Правила те же, что я использовал в прошлом тесте GigaChat Ultra против ChatGPT на десяти офисных задачах: одни и те же условия для всех участников сравнения, без подгонки под конкретную модель. Беру реальную планёрку аналитического отдела, обезличиваю имена (только имя, без фамилии, без названия компании и клиента) и вставляю один и тот же промпт во все четыре модели без изменений.

Ты помогаешь оформить протокол совещания по расшифровке встречи. Ниже - транскрипт или конспект встречи. Составь официальный протокол по такой структуре:

1. Дата, тема совещания, участники (если есть в тексте - если нет, укажи "не указано", не придумывай).
2. Повестка - по каким вопросам шло обсуждение (кратко, по пунктам).
3. Ключевые решения - что именно решили по каждому вопросу. Формулируй как факт из текста, ничего не додумывай и не приписывай участникам решений, которых не было в разговоре.
4. Задачи (action items) - таблица: что сделать, кто ответственный, срок. Если ответственный или срок не назван в тексте - пиши "не назначено", не выдумывай имя или дату.
5. Открытые вопросы - что осталось нерешённым и требует отдельного обсуждения.

Пиши официальным деловым языком, без "воды" и без своих комментариев к содержанию встречи. Если в тексте встречи есть неоднозначность (непонятно, кто именно принял решение или к какому сроку) - явно пометь это как "требует уточнения", а не выбирай вариант сам.

Транскрипт:
[вставить транскрипт]

Специально попросил не выдумывать - чтобы протестировать не только стиль, но и дисциплину модели: способна ли она удержаться от соблазна «дописать» правдоподобную деталь там, где в разговоре её не было.

Транскрипт встречи, который получили все четыре модели

Ниже - сокращённая версия транскрипта (полностью убраны только не относящиеся к делу реплики вроде «все на связи?»). Участники: Игорь (руководитель отдела), Настя и Дима (аналитики), Света (подключилась по видео с опозданием - её роль в списке участников не указана, и это важно для одной из находок ниже).

Тема одна - скачок среднего времени доставки в одном из региональных кластеров за июнь. Настя сразу спрашивает, очищены ли данные от заказов с перемаршрутизацией через другой город: по её выгрузке таких заказов 18% от объёма кластера, у Димы по его собственному запросу вышло 7-8%. Расхождение фиксируют, но не решают на месте - слишком разные цифры, чтобы списать на погрешность.

Когда подключается Света, она вспоминает, что в середине месяца меняли склад - новый логистический хаб первые две недели работал не в полную силу. Дима возражает: если дело в хабе, это реальное падение качества, а не искажение данных, просто у него есть объяснение. Игорь останавливает обсуждение и явно разводит два разных вопроса - качество данных (re-routing) и реальный операционный сбой (новый хаб) - и просит не мешать их в один.

Дальше распределяют задачи: Настя чистит выборку от перемаршрутизации и смотрит динамику по дням - обещает управиться за пару часов, к среде утром. Дима сверяет методологию фильтра с Настей и сравнивает динамику с другими кластерами, где хаб не менялся - но явного срока для этого в разговоре никто не называет, только упоминание, что Дима возьмётся «после обеда». Игорь берёт на себя добыть Диме доступ к обрезанной выгрузке через коллегу из BI - «дёрну его сегодня».

Света должна держать клиента в курсе, не обещая конкретных сроков возврата к норме, потому что вопрос стабилизации хаба - зона ответственности операционного блока, не аналитиков. В конце Света просит прислать итоги в общий чат - но кто это сделает, в разговоре не звучит.

Кто точно передал участников встречи, а кто придумал лишнее?

Проверка началась с самого простого пункта - раздела «Участники». В исходном тексте про Свету сказано только «подключилась по видео, опоздала», без должности. Её роль в разговоре и правда не звучит явно, хотя из контекста понятно, что она отвечает за общение с клиентом.

GigaChat в разделе участников написал: «Света (аналитик, подключилась по видео)». YandexGPT - почти то же самое: «Света - аналитик (подключилась по видеосвязи, опоздала)». Обе модели молча заполнили пробел - и обе выбрали одну и ту же неверную деталь.

Claude указал: «Света - подключилась по видео, присоединилась с опозданием» - без роли. ChatGPT: «Света - подключилась по видеосвязи (с опозданием)» - тоже без роли. Ни одна деталь не придумана.

Мелочь на первый взгляд. Но так живой протокол расходится с реальностью - через маленькое, правдоподобно звучащее дополнение, которое никто потом не перепроверяет.

Какая модель уверенно назвала срок, которого никто не называл?

Это находка серьёзнее предыдущей. Единственный явный срок в разговоре - Настина часть, «к среде утром», и это подтверждено её же репликой «несложно, пара часов работы». Про срок задачи Димы никто не говорит ни слова - он только упоминает, что займётся «после обеда», потому что сейчас у него созвон с логистами по другому вопросу.

GigaChat в таблице задач написал напротив строки Димы просто: «Среда» - без пометки «требует уточнения», без оговорки, как факт из разговора. Промпт прямо просил: «если срок не назван в тексте - пиши "не назначено", не выдумывай дату». GigaChat дату выдумал.

YandexGPT справился смешанно: для одной из двух задач Димы честно написал «не назначено», а для другой - «к среде (требует уточнения)» - формально пометил неопределённость, но всё равно вставил дату, которую никто не называл.

Claude и ChatGPT в обеих строках Димы написали «требует уточнения», причём Claude ещё и явно объяснил контекст: «начнёт после обеда, точный срок не назван». Это то самое поведение, которое просил промпт: честно показать пробел вместо того, чтобы гадать.

Если протокол с придуманным сроком уйдёт в рассылку без перепроверки, дальше в графике появится обязательство, которого никто на встрече не давал. Для реального рабочего процесса это риск, а не стилистическая деталь.

Кто перепутал, кому поручили задачу с доступом к данным?

В разговоре звучит однозначно: Дима говорит, что уже писал коллеге из BI вчера и ответа нет, а Игорь отвечает - «я дёрну его сегодня, скажу срочно». Ответственный - Игорь, не Дима и не сам коллега из BI.

GigaChat в таблице задач написал: «Получить доступ к выгрузке данных по остальным кластерам за май-июнь» - ответственный «Серёга (BI) / Дима». Это не то же самое, что сказал Игорь: он не просил Диму или коллегу из BI что-то делать, он взял действие на себя.

Claude, ChatGPT и YandexGPT в этом пункте совпали - все трое указали ответственным Игоря, с формулировками вроде «ускорить у коллеги в BI выгрузку». YandexGPT зачем-то добавил пометку «требует уточнения» там, где ответ в тексте прозвучал прямо - не ошибка, но лишняя неуверенность там, где её не было.

Какая модель не потеряла ни одной задачи из разговора?

Последняя реплика Светы перед уходом со встречи - «скиньте потом в чат, что решили». Небольшая просьба, легко потерять её на фоне остальных задач, но формально это тоже action item - просто без назначенного исполнителя.

GigaChat, ChatGPT и YandexGPT эту задачу в свои таблицы не включили вообще - как будто её не было. Claude добавил отдельную строку: «Прислать в чат итоги встречи» с пометкой «не назначено (Света попросила, но не указано, кто это сделает)» - так, как просил промпт обращаться с неопределённостью.

По сумме трёх находок с фактами (роль Светы, срок Димы, ответственный за доступ к данным) и этой находки по полноте вырисовывается разница в дисциплине: одни модели домысливают правдоподобные детали, другие честно показывают пробел.

Что говорят вендоры и независимые тесты о галлюцинациях?

Мой личный тест - это один транскрипт и один прогон, не статистика. Поэтому полезно взглянуть, что говорят о том же риске более крупные и системные источники.

Anthropic в официальном руководстве по суммаризации документов прямо называет точность решающим критерием:

И отдельно рекомендует не доверять результату вслепую:

Сбер в официальной справке по GigaChat описывает механизм галлюцинаций у собственной модели без прикрас:

Ближе всего к моему тесту оказалось независимое исследование компании Simbirsoft, где сравнивали суммаризацию текста в GigaChat и YandexGPT на литературных и научно-популярных текстах (не на протоколах совещаний - это другой тип задачи, но методологически показательно):

В том тесте GigaChat, например, пересказывая «Собачье сердце», назвал героя именем, которое по сюжету появляется только в более поздних главах - додумал деталь, которая выглядела правдоподобно, но не подтверждалась текстом на тот момент повествования. Это тот же тип ошибки, что и с ролью Светы в моём тесте: мелкая, правдоподобная деталь, которую легко пропустить при беглой проверке.

Похожая картина видна и в кейсах компаний, которые специально дообучали модели под протоколирование. Digdes в 2023 году дообучала модель под задачу составления протокола. После файнтюна компания отмечала прямо: «ответственному за подведение итогов пользователю уже не требуется существенно переписывать извлечённые из стенограммы реплики» (Digdes, Habr, 28.11.2023). Правка человеком всё равно оставалась нужна - просто в меньшем объёме.

А Bitrix24 при создании ИИ-помощника для видеозвонков столкнулся с отдельным типом галлюцинации: во время паузы в записи модель «вставила шаблонные фразы, вроде «да, конечно»» (Bitrix24, Habr, 28.04.2025) - придумывала реплику там, где никто ничего не говорил.

Насчёт бенчмарка MERA (открытый рейтинг для русскоязычных моделей) - однозначного и статичного вывода «кто лучше» дать не могу: в разных снапшотах рейтинга GigaChat то обгонял зарубежные модели, то оказывался позади. Причём отдельной метрики именно по суммаризации сразу для всех четырёх моделей на бенчмарке нет - это открытая тема, где нужно постоянно проверять актуальный срез, а не полагаться на цифру годичной давности.

Сколько совещания выдержит каждая модель без потери контекста?

Мой тест был на 19-минутную встречу - её целиком проглотит любая из четырёх моделей без всякого труда. Но если планёрка растягивается на несколько часов (ежеквартальная стратегическая сессия, например), контекстное окно перестаёт быть теоретической цифрой из документации.

У ChatGPT и Claude контекстное окно в актуальных моделях доходит до 1 000 000 токенов - для GPT-5.5 это указано в документации OpenAI, для Claude Opus 4.6 и Sonnet 4.6 - в анонсе Anthropic от 13 марта 2026 года. У GigaChat 2 Max - около 128 000 токенов, у YandexGPT - около 32 768 токенов, а публичный API дополнительно ограничивает один запрос 7 400 токенами и ответ - 2 000 токенами (по данным профильных обзоров на основе документации Сбера и Яндекса). На практике это значит: длинную стенограмму в GigaChat и особенно в YandexGPT придётся резать на куски и склеивать протокол вручную, а в ChatGPT и Claude - в большинстве случаев нет.

Сводная таблица: кто как справился с протоколом совещания

У GigaChat проблема нашлась во всех четырёх содержательных критериях таблицы - это фактические ошибки внутри одного и того же теста, а не вопрос стиля изложения. У Claude - ни одной придуманной детали и ни одного пропуска, но при копировании ответа таблица задач вставилась без разделителей столбцов - это вопрос оформления, содержание не пострадало.

Как написать промпт, чтобы протокол не соврал?

По итогам теста и по рекомендациям самих вендоров вывел три рабочих приёма для промпта под протокол совещания:

1. Прямой запрет на выдумывание в каждом пункте инструкции, а не общей фразой в конце. В моём промпте это было прописано отдельно для участников, для решений и для сроков - и именно те модели, которые всё равно нарушили инструкцию, нарушили её точечно, а не полностью проигнорировали.
2. Требование маркировать неопределённость конкретным словом («требует уточнения», «не назначено») вместо того, чтобы просто просить «не выдумывать». Модели, которые справились лучше, использовали именно эту явную пометку вместо того, чтобы либо промолчать, либо угадать.
3. Обязательная проверка человеком перед отправкой, о которой прямо просит и Anthropic, и Сбер в своих официальных материалах. Ни один из результатов - даже у Claude - не стоит рассылать команде без быстрой сверки с исходным текстом. Три-четыре минуты на вычитку протокола не отменяют экономию времени на его составлении с нуля.

Какая нейросеть подойдёт вам для протоколов совещаний?

Если совещание короткое и без решений, от которых зависят деньги или обязательства перед клиентом - разница между моделями не критична, потому что вы всё равно бегло вычитаете результат. Здесь можно взять то, к чему уже привыкли или что доступно без VPN - я подробно разбирал этот выбор в статье про переход с ChatGPT на Claude, а вопрос цены - в статье о том, сколько реально стоит нейросеть для работы.

Если на встрече принимаются решения с реальными последствиями - сроки клиенту, распределение задач с ответственностью - лучше выбрать модель с наименьшим числом придуманных деталей в вашем собственном тесте, а не полагаться на чужой результат вслепую: методология здесь важнее бренда модели. В моём одном прогоне ближе всех к безошибочному результату оказался Claude, дальше всех - GigaChat, но это один тест на одном транскрипте, а не гарантия на все случаи.

Если встречи длинные (пара часов и больше) - разница в контекстном окне у ChatGPT и Claude против GigaChat и YandexGPT становится практической, а не теоретической: меньше ручной резки стенограммы на части перед тем, как отдать её в модель.

Само сравнение стоит повторить на своих реальных встречах - привычки команды, формат обсуждений и типичные формулировки решений у всех разные, а придуманная деталь опаснее всего именно там, где её меньше всего ждут.

Источники