Fine-Tuned IndoBERT-Based Sentiment Analysis for Old Indonesian Songs Using Contextual and Generating Augmentation

Gilang Ramdhani(1), Siti Yuliyanti(2*),

(1) Siliwangi University
(2) Siliwangi University
(*) Corresponding Author

Abstract


Studi ini meneliti analisis sentimen lagu-lagu tradisional Indonesia menggunakan model IndoBERT yang telah disempurnakan melalui penggabungan augmentasi data kontekstual dan tekstual. Kumpulan data tersebut terdiri dari komentar pengguna yang terkait dengan lagu-lagu klasik Indonesia, yang dipecah ke dalam sentimen positif, negatif, dan netral. Dua strategi augmentasi diterapkan: augmentasi tekstual menggunakan teknik pembuatan teks dan augmentasi kontekstual yang memanfaatkan kesamaan semantik. Evaluasi dilakukan dengan menggunakan metrik akurasi, presisi, recall, dan skor F1. Hasil penelitian menunjukkan bahwa model yang dibor pada kumpulan data asli mencapai kinerja yang seimbang dan stabil (akurasi: 0,86). Augmentasi tekstual, meskipun menghasilkan variasi data yang tinggi, mengurangi akurasi model (0,63) dan memperkenalkan bias terhadap sentimen negatif. Sebaliknya, augmentasi kontekstual mempertahankan stabilitas kinerja dan bahkan sedikit meningkatkan presisi (0,87). Temuan ini menunjukkan bahwa augmentasi kontekstual lebih efektif untuk memperkaya kumpulan sentimen data tanpa mengorbankan kinerja model. Temuan ini menyoroti efektivitas pengintegrasian model bahasa yang telah dikembangkan sebelumnya dan strategi augmentasi data untuk menganalisis sentimen dalam sumber daya rendah.


Full Text:

PDF

References


[1] S. Yuliyanti dan Rizky, “Implementasi Algoritma Rabin Karp Untuk Mendeteksi Kemiripan Dokumen Stmik Bandung,” J. Bangkit Indones. , jilid. 10, tidak. 02, hal. 1 Agustus 2020, doi: 10.52771/bangkitindonesia.v10i02.124.

[2] S. Yuliyanti, E. Nur Fitriani Dewi, dan A. Nur Rachman, “Optimasi Rabin Karp dengan Rolling Hash dan k-Gram pada Kemiripan Check Dokumen Abstrak Jurnal,” vol. 12, tidak. 1 Agustus 2024, doi: 10.26418/justin.v12i1.71224.

[3] H. Jayadianti, W. Kaswidjanti, AT Utomo, S. Saifullah, FA Dwiyanto, dan R. Drezewski, “Analisis sentimen ulasan Indonesia menggunakan fine-tuning IndoBERT dan R-CNN,” Ilk. J.Ilm. , jilid. 14, tidak. 3, hal.348–354, 2022, doi: 10.33096/ilkom.v14i3.1505.348-354.

[4] G. Hakim, TN Fatyanosa, dan AW Widodo, “Analisis Sentimen Masyarakat terhadap Kereta Cepat Whoosh pada Platform X menggunakan IndoBERT,” vol. 1, tidak. 1, hlm. 1–10, 2023.

[5] K. Ayu Pradani, L. Hulliyyatus Suadaa, and P. Korespondensi, “Automated Essay Scoring Menggunakan Semantic Textual Kemiripan Berbasis Transformer Untuk Penilaian Ujian Esai Automated Essay Scoring Menggunakan Transformer-Based Semantic Textual Kemiripan untuk Penilaian Esai,” J. Teknol. Inf. dan Ilmu Komput. , jilid. 10, tidak. 6, hal.1177–1184, 2019, doi: 10.25126/jtiik.2023107338.

[6] T. Wahyuningsih et al. , “Text Mining and Automatic Short Answer Grading (ASAG), Perbandingan Tiga Metode Cosine Similarity, Jaccard Similarity dan Dice's Coefficient,” J. Teknol. Inf. dan Ilmu Komput. , vol. 1, no. 2, hlm. 343–348, 2021, doi: 10.17762/turcomat.v12i3.938.

[7] F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, “IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP,” COLING 2020 - 28th Int. Conf. Comput. Linguist. Proc. Conf., pp. 757–770, 2020, doi: 10.18653/v1/2020.coling-main.66.

[8] B. V. Kartika, M. J. Alfredo, and G. P. Kusuma, “Fine-Tuned IndoBERT based model and data augmentation for indonesian language paraphrase identification,” Rev. d’Intelligence Artif., vol. 37, no. 3, pp. 733–743, 2023, doi: 10.18280/ria.370322.

[9] M. Polignano, P. Basile, M. de Gemmis, G. Semeraro, and V. Basile, “AlBERTo: Italian BERT language understanding model for NLP challenging tasks based on tweets,” CEUR Workshop Proc., vol. 2481, 2019.

[10] R. Silva Barbon and A. T. Akabane, “Towards Transfer Learning Techniques—BERT, DistilBERT, BERTimbau, and DistilBERTimbau for Automatic Text Classification from Different Languages: A Case Study,” Sensors, vol. 22, no. 21, 2022, doi: 10.3390/s22218184.

[11] M. A. Jahin, M. S. H. Shovon, M. F. Mridha, M. R. Islam, and Y. Watanobe, “A hybrid transformer and attention based recurrent neural network for robust and interpretable sentiment analysis of tweets,” Sci. Rep., vol. 14, no. 1, p. 24882, 2024, doi: 10.1038/s41598-024-76079-5.

[12] T. Bey Kusuma, I. Komang, and A. Mogi, “Implementasi BERT pada Analisis Sentimen Ulasan Destinasi Wisata Bali,” J. Elektron. Ilmu Komput. Udayana, vol. 12, no. 2, pp. 409–420, 2023.

[13] Y. A. Singgalen, “Performance Analysis of IndoBERT for Sentiment Classification in Indonesian Hotel Review Data,” vol. 6, no. 2, pp. 976–986, 2025, doi: 10.47065/josh.v6i2.6505.

[14] I. A. Oktariansyah, F. R. Umbara, and F. Kasyidi, “Klasifikasi Sentimen Untuk Mengetahui Kecenderungan Politik Pengguna X Pada Calon Presiden Indonesia 2024 Menggunakan Metode IndoBert,” Build. Informatics, Technol. Sci., vol. 6, no. 2, pp. 636–648, 2024, [Online]. Available: https://ejurnal.seminar-id.com/index.php/bits/article/view/5435

[15] C. Sun, X. Qiu, Y. Xu, and X. Huang, “How to Fine-Tune BERT for Text Classification?,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 11856 LNAI, no. 2, pp. 194–206, 2019, doi: 10.1007/978-3-030-32381-3_16.

[16] S. Redhu, “Sentiment Analysis Using Text Mining: A Review,” Int. J. Data Sci. Technol., vol. 4, no. 2, 2018, doi: 10.11648/j.ijdst.20180402.12.

[17] S. Yuliyanti, T. Djatna, dan H. Sukoco, “Penambangan sentimen evaluasi program pengembangan masyarakat berbasis media sosial,” Telkomnika (Telecommunication Comput. Electron. Control. , vol. 15, no. 4, hlm. 1858–1864, 2017, doi: 10.12928/TELKOMNIKA.v15i4.4633.

[18] MG Villar, JB Ballester, I. De, T. Diez, dan I. Ashraf, “Menganalisis Sentimen Mengenai ChatGPT Menggunakan BERT Baru: Pendekatan Pembelajaran Mesin,” hlm. 1–29, 2023.

[19] CA Bahri dan LH Suadaa, “Analisis Sentimen Berbasis Aspek di Taman Nasional Bromo Tengger Semeru Indonesia Berdasarkan Ulasan Pengguna Google Maps,” IJCCS (Indonesian J. Comput. Cybern. Syst. , vol. 17, no. 1, p. 79, 2023, doi: 10.22146/ijccs.77354.

[20] M. Chiny, M. Chihab, dan Y. Chihab, “Model Analisis Sentimen Hibrida Berbasis LSTM, VADER dan TF-IDF,” vol. 12, no. 7, hlm. 265–275, 2021.

[21] J. Asian, M. Dholah Rosita, dan T. Mantoro, “Analisis Sentimen untuk Ahli Anestesi Brasil Menggunakan Multi-Layer Perceptron Classifier dan Metode Random Forest,” J. Online Inform. , vol. 7, no. 1, hal. 132, 2022, doi: 10.15575/join.v7i1.900.




DOI: https://doi.org/10.24071/ijasst.v7i2.12586

Refbacks

  • There are currently no refbacks.









Publisher : Faculty of Science and Technology

Society/Institution : Sanata Dharma University

 

 

 

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.