ТАКСОНОМИЯ МОРФОЛОГИЧЕСКИХ ОШИБОК КАК МЕХАНИЗМ МАРШРУТИЗАЦИИ В ГИБРИДНЫХ NLP-СИСТЕМАХДЛЯ КАЗАХСКОГО ЯЗЫКА

Авторы: Байтенова Л.М., Тусупова С.А., Мухамеджанова Г.С., Мунайтбас Г.Н., Нұртаза Д.Н.
МРНТИ 28.23.37

Аннотация. Казахский язык устроен так, что грамматическая информация распределяется по цепочке аффиксов, а не концентрируется в отдельных словах. Это само по себе создаёт трудности для автоматических систем. Ситуацию дополнительно осложняет постоянный приток русских и английских заимствований, которые частично выбиваются из фонологической логики языка — и в итоге морфологический анализатор сталкивается не с одним типом трудных форм, а с несколькими принципиально разными. Существующие системы оценивают производительность NLP-моделей агрегированно, не разграничивая типы аномалий по механизму их воздействия на анализ, что не позволяет целенаправленно управлять обработкой. Предметом настоящего исследования является связь между типами морфологических ошибок и показателями производительности трансформерных NLP-моделей для казахского языка. Цель работы – разработать формализованную таксономию морфологических аномалий и интегрировать её в гибридную NLP-архитектуру в качестве механизма маршрутизации аналитических компонентов. В исследовании применяются формально-лингвистический анализ, корпусный метод на материале Universal Dependencies Kazakh-KTB (1 047 предложений), вычислительное моделирование и абляционный анализ. Гибридная архитектура KazMorphCorpus-2026 объединяет rule-based FST-анализ, CRF-дизамбигуацию, трансформерный модуль KazRoBERTa и модуль проверки морфологической совместимости признаков MFRN. По результатам исследования предложена пятиклассовая таксономия морфологических аномалий – заимствования (BOR), аффиксальная сложность (AFC), сегментационные нарушения (SEG), конфликты грамматических признаков (AGR) и нейтральный класс (NONE), – интегрированная в систему в качестве управляющего механизма маршрутизации. На тестовой выборке система достигает Accuracy = 87,4% и Macro-F1 = 0,86; наибольший прирост качества зафиксирован для классов AGR (ΔF1 = +0,14) и AFC (ΔF1 = +0,12). Проведённый эксперимент подтвердил: разные типы морфологических аномалий по-разному сказываются на работе трансформерной модели, и это различие имеет практическое значение. Системы, которые диагностируют тип аномалии до анализа и направляют токен к подходящему компоненту, дают результат, который проще интерпретировать и легче улучшить целенаправленно.

Ключевые слова: таксономия морфологических ошибок, морфологическая маршрутизация, гибридная NLP-архитектура, трансформерные модели, KazRoBERTa, FST, CRF, MFRN, агглютинативный язык.