Философский RAG своими руками: почему облачные ИИ не справились с текстами Джейн Робертс

Облачные ИИ-модели оказались бесполезны для анализа философских трудов Джейн Робертс: они либо галлюцинируют общие факты, либо упираются в границы своих датасетов. Тогда автор решил собрать собственный RAG на строго структурированной базе — с нуля, с сырых сканов, очистки артефактов распознавания и перевода в XML.

Текущий репозиторий включает сырые скрипты обработки, предсобранный индекс ChromaDB и пайплайн на базе Qwen2.5 + LM Studio. В процессе возникли три ключевые проблемы: как грамотно организовать хранение в Chroma, как сохранять контекст диалога без раздувания токен-бюджета, и стоит ли подключать reranker (cross-encoder) для философских текстов.

Автор выложил код в статусе исследовательского лога и ждёт технического аудита от тех, кто глубже работает с векторными базами и архитектурой чат-ботов.