Внутри ИИ-ассистента BILLmanager: LLM, SSE через POST и инкрементальный Markdown

Денис из ISPsystem опубликовал подробный разбор того, как команда встраивала ИИ-ассистента в BILLmanager. В статье — внутренняя кухня: архитектура ИИ-консультанта, обоснование ключевых решений и разбор граблей, на которые наступили по ходу разработки.

Особое внимание автор уделил выбору LLM, организации стриминга через SSE поверх POST и инкрементальной отрисовке Markdown. В материале много кода и практических деталей, так что он будет полезен тем, кто встраивает чат-ботов в свои продукты.

Это не просто обзорный пост, а честный инженерный рассказ: что пошло не так, как искали обходные пути и почему в итоге остановились именно на таких решениях.