Tuning Model Analisis Sentimen Tweeter Sepakbola Pada Dataset Kecil dan Seimbang

Abstract

Suporter bola adalah orang yang mendukung dan memberikan motivasi serta semangat untuk pemain klub bola yang memiliki fanatisme positif maupun negatif, baik dalam dunia nyata atau social media, tweeter. Penelitian ini menghasilkan model klasifikasi untuk prediksi tweet supporter sepakbola dengan sedikit data dan berimbang. Model klasifikasi dibangun berdasarkan ekplorasi analisis data dan penentuan baseline model dari akurasi null, polarisasi dan subyektivitas, seleksi fitur, klasifikasi linier dan non linier. Model terpilih akan dilakukan tuning untuk mendapatkan hasil yang lebih presisi dan akurat serta dievaluasi dengan confusion matrik serta laporan klasifikasi untuk memberikan intuisi lebih dalam tentang perilaku classifier atas akurasi global. Hasil penelitian ditemukannya polarisasi kata bermakna negative yang berada dikelas positif sebesar 88% dengan frekuensi 4% dan rerata harmoni 8%. Model klasisfikasi Multinomial Naïve Bayes terpilih sebagai model terbaik dengan akurasi 99%, error 0.8% pada data train dan 100%, error 0% pada data validasi. Eksperimen untuk menguji model terhadap 30 entri data test baru, menghasilkan prediksi denganakurasinya 87% dengan error 13%, artinya hanya terdapat 4 kesalahan prediksi. Kedepan disarankan untuk menguji model ektraksi fitur atau melakukan boosting, bagging dan deep learning untuk mengetahui apakah hasilnya menjadi lebih baik.