Penelitian ini bertujuan untuk mengimplementasikan model Generative Pre-trained
Transformers (GPT) sebagai generator pantun dalam bahasa Indonesia. Permasalahan
yang dihadapi dalam pembuatan pantun berbahasa Indonesia meliputi keterbatasan
pengetahuan kata, variasi yang terbatas, dan sulitnya menjaga konsistensi pola dan
sajak. Untuk mengatasi permasalahan ini, penelitian ini mengusulkan penggunaan
model GPT sebagai pantun generator. Melalui metode yang mencangkup tahap
preprocessing dataset dan fine-tuning menggunakan dataset pantun berbahasa
Indonesia, model GPT berhasil mencapai hasil akhir dengan perplexity sebesar 16.941,
menunjukkan tingkat akurasi yang tinggi dalam memprediksi teks. Meskipun belum
berhasil menghasilkan pantun dengan pola sajak yang sempurna, model GPT tetap
mampu menghasilkan pantun-pantun dengan struktur dan karakteristik yang konsisten
dengan pantun berbahasa Indonesia. Dalam pengujian dan implementasi ke dalam
streamlit, model GPT pantun generator mampu menghasilkan pantun-pantun kreatif dan
dapat disesuaikan dengan input pengguna. Dengan menggabungkan kecerdasan buatan
dan tradisi sastra Indonesia, aplikasi GPT pantun generator ini memiliki potensi untuk
membantu mempromosikan dan melestarikan kebudayaan Indonesia, sambil
memberikan hiburan, edukasi, dan potensi dalam industri kreatif.
Kata Kunci: Bahasa Indonesia, Fine-Tuning, Generative Pre-trained Transformers
(GPT), Generator Pantun, Preprocessing