Anthropic выпустила датасет для оценки AI-дизайна белков: 1440 минипротеинов и реальные лабораторные тесты

Anthropic выложила на Hugging Face датасет claude-protein-binder-design — 1440 AI-спроектированных минипротеинов-связывателей, протестированных против 16 мишеней. Уникальность набора в том, что для каждого дизайна есть не только in silico-предсказания, но и реальные результаты из двух независимых лабораторий (Adaptyv и Twist). Это позволяет проверить, насколько хорошо современные структуристы предсказывают успешные связыватели.

В туториале авторы показывают, как загрузить данные, оценить согласованность между лабораториями и понять, как ранжирование дизайнов переводится в практический бюджет тестирования. Также они обучают target-aware классификатор на основе HistGradientBoosting, чтобы проверить, можно ли по комбинации предсказаний надёжно предсказать экспериментальный успех. Метрики — ROC-AUC, average precision, Cohen’s kappa.

Датасет включает 1440 строк, из которых 1138 имеют оценку хотя бы от одной лаборатории. Подтверждённых связывателей — около 21% (базовая частота). Код полностью воспроизводим и доступен для скачивания. Это полезный бенчмарк для всех, кто занимается AI-дизайном белков и хочет понять разрыв между симуляцией и реальным экспериментом.