Инструменты
Долговременная память для ИИ-ассистента: как превратить Telegram в базу знаний без наивного RAG
Большие языковые модели не имеют памяти: контекстное окно вмещает десятки-сотни тысяч токенов, но за его пределами диалог забывается. Для ассистента, который должен помнить дела, людей и договорённости месяцами, это критическое ограничение. Автор делает ассистента, читающего переписку в Telegram и отвечающего на вопросы вроде «какой бюджет на поездку в Турцию?» или «что я обещал Ане?».
Казалось бы, решение очевидно: залить все сообщения в векторную базу, делать top-k поиск и подкладывать чанки в промпт. Но автор попробовал этот наивный RAG и быстро от него отказался. В статье он рассказывает, почему такой подход ломается на переписке, и описывает альтернативную архитектуру, которую построил вместо него.
Источник: habr.com