Прогнозування пунктуації тексту на основі моделі BERT

Abstract

Багато актуальних NLP завдань, включаючи задачу авто пунктуації, залежать від ефективного вирішення завдання прогнозування – визначення того, який саме токен повинен бути наступним. У даній роботі розглянута підзадача прогнозування наступного токену на основі попередніх. Основною проблемою існуючих підходів є те, що вони не однаково ефективні. З метою вирішення цієї проблеми у даній роботі розглядається використання двонаправлених кодерів моделі BERT з даними, які були токенізовані.

Keywords

• bert, nlp, модель, пунктуація, прогнозування, токен.