llm_markup: Spark-пайплайн для массовой LLM-разметки от Lamoda Tech

Инженеры Lamoda Tech разработали llm_markup — Spark-приложение для массовой обработки данных через LLM API. Инструмент интегрируется в существующий Airflow-контур: источник данных, промпт, формат ответа, лимиты и целевая таблица задаются конфигурацией.

llm_markup автоматически батчит запросы, распределяет их, контролирует нагрузку на API, валидирует ответы и сопоставляет результат с исходными строками. В статье на Habr автор Дима Иванов разбирает архитектуру на примерах оценки качества поиска и классификации негативных отзывов.