Локальный ИИ-ассистент для зумов: почему без облака не обойтись и что всё-таки утекает

В пятой части цикла про локального ассистента для видеозвонков автор честно признаёт: обещание «ничего не уходит в облако» продержалось ровно день. Уже на второй день проекта выяснилось, что большая модель за одно чтение стенограммы находит то, что локальная не замечает и за десять. Так в архитектуре появилось облако — и теперь у автора пять тумблеров, каждый из которых что-то отправляет наружу.

В тексте подробно разобрано, что именно уходит с машины при каждом из пяти переключателей и в каком объёме. Отдельно автор объясняет, почему среди моделей остался Opus, и делится неожиданным наблюдением: каждая третья ревизия промпта не доезжала до продакшена не из-за размера, а из-за усилия, которое нужно было приложить. Граница между локальным и облачным, по его словам, сегодня проходит совсем не там, где кажется.