Metody statystyczne w komputerowym przetwarzaniu języka naturalnego

Abstract

Artykuł wprowadza w problematykę wykorzystania metod statystycznych w komputerowym przetwarzaniu tekstów języka naturalnego. Została w nim zaprezentowana lingwistyka kwantytatywna oraz jednostki tekstu podlegające badaniom statystycznym. Przyjęte definicje jednostek leksykalnych poddane zostały dyskusji ze względu na ich przydatność w komputerowym, statystycznym przetwarzaniu języka naturalnego, z uwzględnieniem różnic terminologicznych występujących w polsko- i angielskojęzycznej literaturze przedmiotu. Omówione zostały również cechy statystyczne jednostek leksykalnych oraz kategorie i miary stosowane do ich badań kwantytatywnych.

Keywords

• przetwarzanie tekstu
• języki naturalne
• metody statystyczne