Как дообучить Qwen3 вызывать инструменты: полный пайплайн на LoRA и XYZ-Aquila-SFT

В туториале разобран end-to-end пайплайн дообучения LLM для вызова инструментов. Используются датасет XYZ-Aquila-SFT, библиотеки Hugging Face Transformers, PEFT и PyTorch. Модель — Qwen3-0.6B, обучение ведётся через LoRA с маскированием loss только на ответах ассистента.

Основные этапы: стриминг и инспекция датасета, парсинг multi-turn траекторий, извлечение структурированных вызовов инструментов, конвертация схем между форматами, подготовка кастомного Dataset и коллатора, fine-tuning с LoRA (ранг 16) на 30 шагов, и финальная оценка точности предсказания tool-call до и после обучения. Все результаты и преобразованный датасет экспортируются для дальнейших экспериментов.