Implementasi Multimodal Large Language Model Untuk Ekstraksi dan Transliterasi Printed Jawi Script

Aksara Jawi merupakan warisan tulisan Nusantara yang kemampuan membacanya di masyarakat terus menurun, sehingga menyulitkan upaya digitalisasi naskah-naskah lama beraksara Jawi. Penelitian ini bertujuan mengimplementasikan Multimodal Large Language Model, yaitu Qwen2.5-VL-3B-Instruct, yang di-fine-tuning menggunakan metode Quantized Low-Rank Adaptation (QLoRA) untuk melakukan ekstraksi dan transliterasi aksara Jawi cetak ke huruf Latin (Rumi) secara end-to-end. Dataset penelitian terdiri atas 34.380 citra gabungan data sintetik dan data autentik. Hasil pengujian menunjukkan model dasar (baseline) menghasilkan Character Error Rate (CER) ekstraksi Jawi sebesar 0,825 dan CER transliterasi Rumi sebesar 0,906, sedangkan setelah fine-tuning kedua nilai tersebut turun menjadi 0,174 dan 0,165, atau setara penurunan kesalahan sekitar 79%. Studi ablasi lebih lanjut menunjukkan bahwa kombinasi data sintetik dan autentik pada proses pelatihan memberikan performa terbaik dibandingkan penggunaan salah satu jenis data saja, sehingga membuktikan bahwa penggabungan kedua sumber data tersebut merupakan strategi komposisi data yang paling optimal untuk tugas ekstraksi dan transliterasi aksara Jawi.