DSPy против Dataette: эксперимент по улучшению промптов SQL-агента

Разработчик Datasette Саймон Уиллисон воспользовался DSPy — фреймворком для автоматической оптимизации промптов — чтобы проверить и улучшить системные промпты своего инструмента Datasette Agent. Агент умеет выполнять read-only SQL-запросы для ответа на вопросы пользователя по данным, и качество промпта здесь критично.

Уиллисон дал задание Claude Code на базе модели Claude Fable 5: установить альфа-версию Datasette, datasette-agent и DSPy, после чего протестировать, как DSPy помогает улучшить промпты. Ассистент выбрал для теста GPT-4.1 mini и nano и обнаружил несколько перспективных направлений.

Основная находка: в схему таблиц включаются только имена, без имён столбцов, а совет «не вызывайте describe_table, если уже знаете структуру» приводит к «угадыванию» колонок (page_count, o.order_id, first_name) и циклам ошибок. Решение — добавить имена столбцов в промпт или смягчить совет.

Работа показала, как DSPy можно использовать для автоматического выявления слабых мест в промптах агентов, особенно когда агент сам генерирует код — типичный сценарий для инструментов вроде Datasette Agent.