Застосування сховищ даних для виявлення плагіату в текстових документах

Abstract

Робота присвячена застосуванню сховищ даних для виявлення плагіату в текстових документах, в результаті якої побудовано масштабовану програмну архітектуру. Підготовлено датасет з бакалаврських і магістерських робіт та виконано його попередню обробку, зокрема очищення, лематизацію, видалення стоп-слів, видалення підміни символів, заміни на синоніми. Створено тестовий набір даних для аналізу продуктивності рішення Проведено дослідження ефективності застосованих сховищ даних, виконано їх порівняльний аналіз та проведено декілька прогонів для уникнення стохастичної помилки. За результатами тестування моделей виокремлено DynamoDB як найефективніше сховище даних для задачі виявлення запозичень. Бібл. 14, іл. 8, табл. 3

Keywords

• виявлення плагіату
• NLP
• потік
• Apache Hive
• DynamoDB
• сховища даних