Ajalooliste tekstide normaliseerimine

Abstract

Ajalooliste tekstide normaliseerimine ehk tänapäevasele kujule viimine võimaldab uurida tekste praeguse keele analüüsivahenditega, otsida tekstidest märksõnu ning võrreldes tänapäevaseid ja vanu kirjakujusid saada paremini aimu keele muutumise kohta. Käesolev artikkel annab ülevaate normaliseerimisest, selle erinevatest meetoditest, mujal maailmas tehtud katsetustest selles valdkonnas ning normaliseerimise põhiproblemaatikast 19. sajandi teisest poolest pärinevate eestikeelsete tekstide näitel. *** Normalizing historical texts Normalizing historical texts or in other words converting them to modern spelling enables us to analyze them with tools designed for contemporary language. It also makes it possible to search the texts for different keywords and automatically compare the old spelling to contemporary spelling. This article gives a general overview of normalizing, different methods, previously performed experiments and the main problems in the context of the old Estonian texts from the second half of the 19th century.

Keywords

• loomuliku keele töötlus
• normaliseerimine
• keeleajalugu
• korpuslingvistika
• mittestandardne keel
• nlp
• normalizing
• language history
• corpus linguistics
• computational linguistics
• language change
• non-standard language
• digital humanities