Meningkatnya jumlah konten digital dan teks panjang dalam era informasi yang
semakin maju, abstrak menjadi solusi efisien untuk menyajikan ringkasan singkat dari
teks yang lebih panjang. Namun membuat abstrak yang benar menjadi sebuah tantangan
karena beberapa abstrak tidak memberikan informasi tentang hasil penelitian dan tujuan
penelitian, sehingga mempersulit pembaca dalam memahami konten jurnal tersebut.
Tujuan dari tugas akhir ini yaitu menerapkan penggunaan model Generative PreTrained Transformers 2 (GPT-2) dalam pembuatan abstrak pada dokumen jurnal. Model
yang digunakan pada penelitian ini adalah model Cahya/GPT-2-small-Indonesian-522M
dari huggingface.co untuk digunakan dalam memahami pola pembuatan abstrak. Dalam
penelitian ini, peneliti melakukan fine tuning pada model GPT-2 menggunakan dataset
teks jurnal yang terdiri dari dataset pasangan, yaitu data input yang berisi teks kurang
dari sama dengan 512 kata dan teks acuan berisi teks hasil ringkasan dari teks input.
Hasil implementasi menggunakan model GPT-2 menunjukkan dengan menggunakan
model evaluasi BLEU memberikan hasil rata-rata dengan skor BLEU 0.4818. Dalam
konteks ini, menunjukkan bahwa model yang digunakan pada penelitian ini masih perlu
penyesuaian kembali karena keterbatasan dalam dataset.
Kata Kunci: Abstrak, BLEU, Fine tuning, GPT-2, Jurnal.