Как micro F1 обманывает: разбор проблем мультилейбл-классификатора для модерации Discord

Автор обучил мультилейбл-классификатор для модерации Discord-сообщества и получил micro F1 = 0.9358 — цифра, с которой обычно закрывают задачу. Но анализ precision и recall по каждому классу показал: recall на TOXIC всего ~0.78, а для редких меток test split практически не содержит положительных примеров.

В статье на реальных цифрах и кодом объясняется, почему агрегированная метрика скрывает проблемы. Рассматривается расчёт весов через pos_weight при сильном дисбалансе, выбор checkpoint по macro F1 вместо training loss, и где принцип «чем проще — тем лучше» перестаёт работать в классификаторах.