Объяснил KERNEL маме за 5 минут — проверил, выживет ли LLM в production
Недавно я попробовал объяснить маме, как нормально ставить задачи ChatGPT. Без сложных терминов вроде temperature или system prompt — просто: сформулируй цель, опиши желаемый результат, укажи ограничения, не смешивай задачи и не заставляй модель угадывать. На всё ушло пять минут.
А потом я понял, что почти дословно пересказал KERNEL — один из фреймворков для написания промптов. Это натолкнуло на мысль: если базовый prompt engineering действительно можно объяснить человеку за пять минут, что происходит, когда LLM переезжает из вкладки браузера в реальный продукт?
В production начинаются настоящие сложности: контекстные окна, управление памятью, обработка ошибок, безопасность и масштабирование. Простые правила для чата не работают, когда модель становится частью сложной системы.