Kebohongan merupakan fenomena kompleks yang secara bersamaan termanifestasi
melalui ekspresi wajah, gerakan tubuh, dan pola bicara, sehingga pendeteksiannya secara
otomatis menjadi tantangan signifikan dalam bidang seperti forensik hukum dan
keamanan publik. Penelitian ini mengembangkan sistem deteksi kebohongan berbasis
audio-visual menggunakan algoritma Support Vector Machine (SVM), dengan
memanfaatkan dataset dari University of Michigan yang berisi rekaman video berlabel
jujur atau bohong.
Dua kelompok fitur diekstraksi dari setiap rekaman: fitur audio yang mencakup MFCC,
karakteristik spektral, pitch, komponen harmonik/perkusif, dan chroma; serta fitur visual
yang merepresentasikan ekspresi wajah dan gerakan tubuh. Tiga skema eksperimen
dievaluasi — audio saja, visual saja, dan multimodal — masing-masing diuji dalam tiga
konfigurasi: tanpa seleksi fitur, SelectKBest, dan Recursive Feature Elimination (RFE).
Hasil eksperimen menunjukkan bahwa skema multimodal dengan SelectKBest mencapai
performa terbaik dengan akurasi 84% dan F1-Macro sebesar 0,8397, melampaui skema
audio saja (76%) dan visual saja (72%). Temuan ini menegaskan bahwa penggabungan
kedua modalitas menghasilkan representasi data yang lebih kaya, sementara seleksi fitur
yang tepat mampu menghilangkan variabel tidak relevan dan meningkatkan generalisasi
model. Penelitian ini memberikan bukti empiris bahwa pendekatan multimodal
merupakan strategi yang lebih efektif untuk deteksi kebohongan otomatis, dengan potensi
besar untuk diaplikasikan dalam wawancara forensik maupun sistem verifikasi
pernyataan secara real-time.
Kata kunci: Audio-Visual, Deteksi Kebohongan, Multimodal, Seleksi Fitur, Support
Vector Machine