Analisis Komparatif Kualitas Language Models GPT, Gemini, dan Claude Dalam Memahami Bahasa Indonesia

Perkembangan Large Language Models (LLM) menuntut adanya evaluasi komprehensif, khususnya dalam pemrosesan teks berbahasa Indonesia.Penelitian ini bertujuan mengkomparasi performa GPT, Claude, dan Gemini berdasarkan metrik akurasi, efisiensi operasional (latensi dan biaya), serta menguji objektivitas model sebagai juri otomatis (LLM-as-a-judge) melalui instrumen Multiple Choice Questions (MCQ), Esai, dan Coding. Metode penilaian divalidasi melalui pengujian silang antar-provider (crossevaluation) dan Expert Judgment. Hasil pengujian menunjukkan ketiga model memiliki pemahaman dasar yang sangat baik (Pass Rate 100% pada MCQ). Secara keseluruhan, GPT mendominasi sebagai model paling efisien dengan akurasi tertinggi (>98%), latensi tercepat (rata-rata 5.500 ms), dan biaya termurah, yang mana dikonfirmasi oleh validasi pakar sebagai luaran paling logis. Claude unggul dalam narasi komprehensif meski lebih lambat dan rentan over-specification, sedangkan Gemini kompetitif pada gaya bahasa natural. Lebih lanjut, analisis evaluasi silang pada tingkat soal mengungkap adanya anomali bias sistem juri AI; GPT dan Claude menunjukkan bias positif (overconfidence) saat menilai hasil keluarannya sendiri, sementara Gemini menunjukkan kecenderungan penalti diri (selfpenalization). Penelitian ini menyimpulkan bahwa penggunaan LLM-as-ajudge tidak dapat dilakukan secara mandiri, melainkan mutlak memerlukan agregasi multi-juri dari provider yang berbeda untuk menetralisir bias inheren tersebut.