Инструменты
Полмиллиона словоформ для ингушского языка: анализатор и словарь собрали с нуля, хотя раньше не было даже корпуса
У ингушского глагола «деша» — 98 форм, от инфинитива до уступительного перфекта отрицательного. А всего словарь насчитывает полмиллиона словоформ. Строить пришлось с нуля: ни единого морфоанализатора, ни размеченного корпуса для этого языка не было, а учебники спорят даже о числе спряжений.
Автор рассказывает, как пришлось не просто описывать морфологию, а решать философский вопрос «а существует ли эта форма?» — половина работы ушла на эпистемологию. Результат — полноценный инструмент для дальнейшей NLP-обработки ингушского языка, который до сих пор был практически не охвачен цифровыми ресурсами.
Источник: habr.com