Google Gemini-SQL2 набрал 80% точности в переводе вопросов в SQL — новый рекорд

Исследовательская группа Google объявила о запуске Gemini-SQL2 — системы, которая переводит вопросы на естественном языке в готовые к выполнению SQL-запросы. Решение построено на модели Gemini 3.1 Pro и показало 80,04% точности выполнения (execution accuracy) на лидерборде BIRD в категории «одиночная модель». Это выше, чем у предыдущего рекордсмена Gemini-SQL (около 77,2%) и других конкурентов, включая Q-SQL от AWS (76,5%), Databricks RLVR 32B (75,7%) и GPT-5.5-xhigh от OpenAI (72,5%).

BIRD — отраслевой стандарт для оценки Text-to-SQL. Он включает 12 751 пару «вопрос-SQL» по 95 базам данных из 37 профессиональных доменов (общий объём 33,4 ГБ). В отличие от старых бенчмарков, BIRD использует «грязные» данные и требует внешних знаний. Метрика execution accuracy проверяет, что сгенерированный SQL не только выглядит правильно, но и выполняется, возвращая верные результаты. Для сравнения: точность человека на BIRD — 92,96%, так что разрыв пока составляет 12,92 процентных пункта.

Google не уточняет, в какие продукты попадёт Gemini-SQL2, но намекает на интеграцию с BigQuery Studio, AlloyDB AI и Cloud SQL Studio, где уже есть SQL-генерация на базе Gemini. Среди возможных применений — self-service аналитика (например, запрос выручки по регионам с учётом оттока клиентов), помощь в написании трансформаций BigQuery и встраивание функций «спроси свои данные» в SaaS-продукты. Впрочем, при точности 80% каждый пятый запрос может быть неверным, так что человеческий контроль пока обязателен.