Чеклист для NLP-собеседований: от pre-training до alignment

На NLP/LLM-собеседованиях проверяют не только знание архитектуры Transformer, но и понимание полного цикла современной языковой модели: как она предобучается, почему обычная GPT ещё не ассистент, зачем нужен instruction tuning, как работает RLHF и что такое alignment, какие у него есть подводные камни. Статья предлагает чеклист по GPT-like моделям, prompt engineering, этапам обучения LLM и alignment — своего рода тренажёр перед техническим интервью.

Материал охватывает краткую историю развития LLM от GPT до ChatGPT, техники промпт-инжениринга, этапы обучения LLM, alignment и итоговый список типовых вопросов с собеседований. Это не полноценная лекция, а инструмент, чтобы пройтись по ключевым определениям, увидеть типовые вопросы и закрыть пробелы в формулировках.