Как построить своего real-time-ассистента для важных бесед

Звук приходит двумя дорожками и расшифровывается в облаке в реальном времени. Модель анализирует разговор «тиками»: каждые N секунд или когда я нажимаю пэд.

Стек: Python и FastAPI, всё локально на ноутбуке с Windows. Внешние сервисы только два: Soniox (расшифровка) и Anthropic (анализ). Есть и офлайн-режим: загружаешь запись и план и получаешь таймлайн, где участки по плану зелёные, а отклонения красные.

Управление живёт на обычной музыкальной пэд-консоли HXW / Avatar EMP16: 16 пэдов, чувствительных к силе удара, в сетке 4×4, 4 бесконечные ручки, 4 фейдера, OLED-экран, USB или Bluetooth (характеристики). Можно ударить по пэду или сдвинуть фейдер, не отводя взгляда от собеседника и без шума клавиатуры: ради этого он и нужен.

Пэды: четыре слоя разметки, по ряду на слой. Что я почувствовал; как вёл себя собеседник; что, по-моему, почувствовал он; что происходит со встречей. Каждое нажатие ложится меткой на таймлайн ровно в этот момент. Пэд «Анализ сейчас» запускает внеочередной анализ.

Ручки и фейдеры: параметры обработки. Ручками выбираю дискретное: модель, режим пресета, лимит расходов. Фейдеры плавно меняют четыре значения, о них в следующем разделе. Анализатор читает их на каждом тике, поэтому поворот действует со следующего анализа, а не со следующей встречи.

Два практических момента

• Привязка обучением. Каждый экземпляр присылает свои MIDI-номера, и заранее их не узнать. Выбираешь роль на экране, крутишь нужную ручку, и привязка сохраняется. Пэды калибруются так же, первым нажатием.
• Контроллер работает в отдельном процессе. Если он отвалится или упадёт, пропадут метки, а не запись встречи (об этом в разделе «На что обратить внимание»). Система работает и без контроллера: те же пэды и ручки есть на экране, но тогда приходится смотреть в монитор.

Главная находка: стоимость встречи определяет то, как часто модель анализирует, а не размер окна диалога. Это против интуиции: кажется, что дорого «отправлять много текста». Но текст дешёвый, а каждый лишний вызов модели тянет за собой системный промпт, ответ и накладные расходы.

Что я меняю на лету

Порядок влияния подтвердили замеры на реальных встречах. Стоимость часа дана для ориентира: важны не сами числа, а разброс между крайними положениями ручки.

На панели управление стоит в этом порядке, по силе влияния. В разговоре это работает так: начинается важный кусок, поднимаю темп; начинается светская болтовня, опускаю. Текстовое поле для этого бесполезно, а фейдер это тот же жест, что и метка пэдом. Когда двигаешь управление, прогноз на экране обновляется сразу: цену решения видно до того, как его примешь.

Режимы-пресеты

Пресет выставляет всё управление сразу, дальше его можно двигать руками.

Три неочевидные вещи, которые показали замеры

1. Лимит ответа это главный кран. Модель пишет «сколько разрешили», а не «сколько нужно»: на длинной встрече большинство анализов упираются в лимит, и ответ становится самой дорогой строкой счёта. Снижайте лимит, пока анализы не станут беднее, и проверяйте это, прогоняя одну и ту же запись на двух настройках.
2. Память делает каждый следующий анализ дороже. Факты и открытые вопросы накапливаются, и к концу встречи один тик стоит в несколько раз больше, чем в начале. Подрезайте её окном последних фактов, а не выключателем: именно память делает анализ умнее.
3. Русский текст стоит примерно втрое дороже английского: он хуже делится на токены. Поэтому прикидки на салфетке всегда выходят оптимистичнее счёта.

Управление здесь не нужно, но эти числа пришлось подбирать на живых встречах.

Правило замеров: не судите о стоимости по прогонам короче 15 минут. На коротком тесте заметная часть счёта уходит на запись кеша промпта, который не успевает окупиться, и стоимость часа выходит вдвое выше.

Главное правило: отказ одной части не должен стоить встречи. Контроллер, вторая дорожка, анализ, связь с базой: отказать может любое из этого, но запись должна дойти до конца.

• Тихий отказ хуже громкого. Худшие поломки выглядят на экране как нормальная работа. Система должна отличать «подождите» (сервис перегружен) от «идите чините» (кончился баланс, неверный ключ) и говорить об этом громко.
• Контроллер работает в отдельном процессе, который умирает вместе с сервером. MIDI-драйверы на Windows могут уронить весь процесс так, что это не перехватить. И MIDI-вход может держать только один процесс: забытый старый слушатель заберёт контроллер себе. Если устройство «не видно», сначала проверьте кабель.
• Собеседник приходит на выход, а не в микрофон. Захватывайте выход любого устройства, включая Bluetooth-гарнитуры, и держите две дорожки раздельно.
• Дорожка может умереть посреди встречи. Собеседник переходит из звонка в комнату, и вся речь начинает приписываться вам. Нет свежего звука на дорожке, нет и суждения о роли.
• Не смешивайте две разметки спикеров по словам. Сервис расшифровки режет строки, а физика дорожки один раз решает, какой голос ваш. Подстановка по токенам рвёт монологи в клочья.
• Ответ модели это данные, а не гарантия. Иногда она возвращает список строкой. Приводите всё внешнее к ожидаемым типам на границе, иначе ассистент замолчит до конца встречи.
• Давайте модели память, а не хвост расшифровки. Без накопленных фактов и вопросов она переспрашивает то, что уже сказано. Память плюс только новый кусок диалога: и дешевле, и умнее.
• Ничего периодического рядом с записью. Опрос устройств по таймеру это дорога к падению. Проверяйте только по поводу, с растущей паузой.
• Стоимость это часть интерфейса. Счётчик трат и прогноз всегда на экране. Если какая-то строка расходов не учтена, «дорого или нет» решается по неверному числу.
• Показывайте, что уходит в модель. Диагностическая панель («этот тик, на этих словах, дал такой ответ и стоил столько») позволяет заметить поломку во время встречи, а не после.
• Экран это функция потока событий. Тогда повтор встречи получается даром и никогда не расходится с тем, что вы видели вживую.
• Не выдумывайте числа и людей. Если база недоступна, встреча пишется под временным именем и связывается потом. Неоднозначного участника выбирает человек, а не система.

Самый большой разрыв между ожиданием и реальностью там, где ломается качество и откуда берётся стоимость.

Минимальный набор: ноутбук с Windows, Python 3.11 или новее, API-ключи сервиса распознавания речи и языковой модели, любой MIDI-контроллер с пэдами и фейдерами (сначала можно без него).

1. Начните офлайн. Запись звонка и план, потом расшифровка, потом разбор «где мы шли по плану, а где ушли в сторону». Так видно, нужна ли вам помощь вообще, прежде чем связываться с реальным временем.
2. Захватывайте две дорожки раздельно. Микрофон это вы, выход компьютера это собеседник. Не сводите в моно: иначе заставите модель угадывать то, что физически известно наверняка.
3. Добавьте живой анализ с памятью. На каждом тике: план, накопленные факты и только новый кусок диалога; ответ строго по схеме. Проверяйте типы ответа на границе: модель иногда возвращает не то.
4. Держите параметры в состоянии сессии, а не в файле настроек. Темп, глубина, окно, память и модель читаются на каждом тике. Сразу добавьте панель стоимости: сколько потрачено, цена тика, прогноз на час. Без неё ручки крутятся вслепую.
5. Подключите MIDI-контроллер в отдельном процессе. Пэды это метки, фейдеры это параметры, привязка обучением. Процесс контроллера должен умирать вместе с сервером.
6. Записывайте поток событий, а не только текст. Тогда любую встречу можно пересмотреть ровно так, как её видел ведущий, и прогнать одну и ту же запись на двух настройках управления.
7. Свяжите с памятью о людях, но некритично. У меня это CoFlow: обращения только в начале и в конце, и если база недоступна, встреча всё равно идёт и пишется локально.

И главное: записывайте других людей только с их согласия.

Если вам это правда интересно, я могу поделиться исходниками: дам версию, с которой вы начнёте собирать своё. Напишите, для каких встреч хотите такой ассистент.

Попросить исходники

Я Pavel Mihutski, RND.energy, Валенсия. 20 лет строю и перестраиваю бизнесы, а сейчас исследую, как люди принимают решения. Анализирую коммуникацию и строю ERP- и CRM-системы с 2010 года. Artorix и CoFlow это текущие версии инструментов, которые я строил и перестраивал много раз. 9 отраслей, больше 130 проектов.

Для меня Artorix не продукт, а рабочий инструмент. Я использую его на интервью и переговорах внутри Founder Sprint: десять рабочих дней с фаундером вокруг одного главного вопроса. Где теряются деньги, почему всё держится на нём, что сломается, когда компания вырастет. По реальным данным компании, включая разговоры с командой и записи звонков, я собираю честную картину того, что происходит на самом деле, и куда идти дальше. На выходе обоснованный ответ, план действий с ответственными и способ проверить результат.

Если вам нужен такой ассистент, но строить его самому не хочется, настроить его под ваши встречи можно отдельной платной работой.

Как устроен Founder Sprint. Первый разговор на 20 минут: через rnd.energy, LinkedIn или Telegram.

© Pavel Mihutski · RND.energy. Гайд для личного использования: он описывает подход и выводы, а не исходный код. Перепечатка, передача третьим лицам и коммерческое использование только с письменного согласия автора. Исходники не лежат в открытом доступе: версией я делюсь лично, по запросу.