ВАРИАНТЫ ОПТИМИЗАЦИИ МОРФЕМНОГО РАЗБОРА СЛОВОФОРМ НА ОСНОВЕ СТАТИСТИЧЕСКИХ ДАННЫХ

Abstract

В статье предложен подход к оптимизации морфемного разбора словоформ. Словоформа представляется в виде последовательности 3-х морфемных групп – префиксной группы, группы основы и постфиксной группы. Каждая из этих групп имеет свои особенности, учитываемые при выполнении морфемного разбора. Перечислены статистические особенности естественных языков, позволяющие оптимизировать морфемный разбор префиксной и постфиксной групп. Рассмотрена проблема омонимов, препятствующая внедрению оптимизации на основе статистической информации в морфемный разбор. Для решения этой проблемы введен параметр «глубина морфемного разбора», позволяющий найти компромисс и управлять скоростью и точностью морфемного разбора на основе статистической информации.

Keywords

• оптимизация
• морф
• словоформа
• морфемный анализ
• optimization
• morph
• word form
• morphemic analysis