Russian Linguistic Bulletin (Sep 2016)
ВАРИАНТЫ ОПТИМИЗАЦИИ МОРФЕМНОГО РАЗБОРА СЛОВОФОРМ НА ОСНОВЕ СТАТИСТИЧЕСКИХ ДАННЫХ
Abstract
В статье предложен подход к оптимизации морфемного разбора словоформ. Словоформа представляется в виде последовательности 3-х морфемных групп – префиксной группы, группы основы и постфиксной группы. Каждая из этих групп имеет свои особенности, учитываемые при выполнении морфемного разбора. Перечислены статистические особенности естественных языков, позволяющие оптимизировать морфемный разбор префиксной и постфиксной групп. Рассмотрена проблема омонимов, препятствующая внедрению оптимизации на основе статистической информации в морфемный разбор. Для решения этой проблемы введен параметр «глубина морфемного разбора», позволяющий найти компромисс и управлять скоростью и точностью морфемного разбора на основе статистической информации.
Keywords