Latar Belakang Permasalahan
Platform live streaming memungkinkan pengguna menikmati konten secara langsung sekaligus berinteraksi dan memberikan ulasan mengenai pengalaman mereka. Semakin banyaknya ulasan pengguna membuat proses memahami persepsi terhadap aplikasi menjadi semakin kompleks apabila dilakukan secara manual.
Permasalahan utama dalam proyek ini adalah bagaimana mengolah kumpulan ulasan tersebut menjadi informasi yang dapat menunjukkan kecenderungan sentimen pengguna. Analisis diperlukan agar setiap ulasan dapat dikenali sebagai tanggapan positif, negatif, atau netral sehingga pola persepsi pengguna terhadap layanan dapat diketahui secara lebih sistematis.
Solusi dan Pendekatan
Pendekatan yang digunakan adalah analisis sentimen berbasis text mining dengan menerapkan dua algoritma klasifikasi, yaitu C4.5 dan Naïve Bayes Classifier. Kedua model digunakan untuk mengolah data ulasan dan menghasilkan prediksi sentimen berdasarkan pola yang terbentuk dari data latih.
Penggunaan dua algoritma memberikan kesempatan untuk melihat bagaimana karakteristik model yang berbeda dapat menghasilkan distribusi prediksi sentimen yang berbeda pada dataset yang sama. Penelitian memang diarahkan untuk menerapkan C4.5 dan Naïve Bayes dalam mengidentifikasi persepsi pengguna terhadap sebuah platform live streaming.
Proses Pengerjaan
Dataset penelitian berasal dari ulasan pengguna aplikasi yang dikumpulkan dari Google Play Store. Sebelum digunakan dalam pemodelan, data teks terlebih dahulu melalui proses preprocessing agar bentuknya lebih terstruktur dan dapat digunakan oleh algoritma klasifikasi.
Proses pengolahan mencakup case folding, pembersihan teks, tokenizing, penghapusan stopword, stemming, dan normalisasi. Setelah proses tersebut selesai, dari total 1.000 data ulasan, sebanyak 300 data digunakan sebagai data training yang diberi label sentimen secara manual, sedangkan 700 data lainnya digunakan sebagai data testing. Model C4.5 dan Naïve Bayes kemudian diterapkan untuk menghasilkan prediksi sentimen terhadap data testing.
Hasil yang Dicapai
Pengujian terhadap 700 data testing menunjukkan perbedaan hasil klasifikasi antara kedua algoritma. Model C4.5 menghasilkan prediksi sebanyak 549 sentimen positif, 148 sentimen negatif, dan 3 sentimen netral. Sementara itu, Naïve Bayes Classifier menghasilkan 293 sentimen positif, 407 sentimen negatif, dan tidak menghasilkan prediksi sentimen netral.
Hasil tersebut memperlihatkan bahwa C4.5 cenderung menghasilkan klasifikasi yang didominasi sentimen positif, sedangkan Naïve Bayes menghasilkan klasifikasi yang lebih didominasi sentimen negatif. Perbedaan ini menjadi salah satu temuan utama proyek karena menunjukkan bahwa pemilihan algoritma dapat menghasilkan pola klasifikasi yang berbeda meskipun digunakan pada dataset testing yang sama.
| Sentimen | C4.5 | Naïve Bayes |
|---|---|---|
| Positif | 549 | 293 |
| Negatif | 148 | 407 |
| Netral | 3 | 0 |