Analisis Performa Ekstraksi Konten GPT-3 Dengan Matrik Bertscore Dan Rouge

Abstract

Integrasi model bahasa canggih dalam tugas-tugas pembangkitan teks telah menampilkan beberapa aplikasi yang luas di berbagai bidang, termasuk ekstraksi konten. Penelitian ini memanfaatkan model bahasa OpenAI GPT-3 untuk mengembangkan aplikasi yang membantu dalam proses persiapan konten penulisan kreatif dengan menerapkan fitur ekstraksi konten. Fitur-fitur ini mencakup ekstraksi informasi, meringkas paragraf, mengidentifikasi topik utama, dan menafsirkan teks untuk presentasi terminologi yang optimal. Penelitian ini menggunakan pendekatan 'few-shot learning' yang melekat pada model GPT-3. Kinerja aplikasi ini dievaluasi secara ketat melalui uji coba, membandingkan efektivitasnya dengan mesin pembangkitan teks komersial yang banyak digunakan saat ini. Tujuannya adalah menganalisis tingkat kelayakan sistem yang telah kami bangun terhadap aplikasi lain yang populer. Metrik evaluasi termasuk BERTscore dan ROUGE digunakan sebagai pengujian. Aplikasi ini mencapai BERTscore sebesar 86% untuk precision, 88% untuk recall, dan 87% untuk F1-Score. Selain itu, evaluasi ROUGE menghasilkan skor ROUGE-L sebesar 55% pada precision, 60% pada recall, dan 57% pada F1-Score, hasil tersebut menunjukkan kekuatan model dalam tugas ekstraksi konten. Hasil ini memberikan gambaran bahwa model GPT-3 berpotensi baik dalam meningkatkan efisiensi dan akurasi untuk tugas persiapan konten tulisan dalam industri penulisan kreatif. Abstract The integration of advanced language models in text generation tasks has featured some extensive applications in various fields, including content extraction. This research utilises the OpenAI GPT-3 language model to develop an application that assists in the content preparation process of creative writing by implementing content extraction features. These features include information extraction, summarising paragraphs, identifying main topics, and interpreting text for optimal terminology presentation. This research utilises the ‘few-shot learning’ approach inherent to the GPT-3 model. The performance of this application was rigorously evaluated through trials, comparing its effectiveness with commercial text generation engines widely used today. The aim is to analyse the feasibility of the system we have built against other popular applications. Evaluation metrics including BERTscore and ROUGE were used as tests. The application achieved a BERTscore of 86% for precision, 88% for recall, and 87% for F1-Score. In addition, the ROUGE evaluation resulted in ROUGE-L scores of 55% in precision, 60% in recall, and 57% in F1-Score, these results show the strength of the model in the content extraction task. These results illustrate that the GPT-3 model has good potential in improving efficiency and accuracy for the task of writing content preparation in the creative writing industry.

Keywords

• GPT-3
• Model Bahasa
• Ekstraksi Konten
• Pembuatan Teks
• NLP