Pengembangan Sistem Tanya Jawab Penyakit Pernapasan Menggunakan Model Phi-4 dengan Pendekatan Retrieval-Augmented Generation

Sistem tanya jawab berbasis Large Language Model (LLM) memiliki kemampuan menghasilkan jawaban yang relevan, namun masih berpotensi menghasilkan informasi yang tidak sesuai dengan sumber pengetahuan. Pendekatan Retrieval-Augmented Generation (RAG) dapat mengatasi permasalahan tersebut dengan memanfaatkan proses retrieval untuk mengambil konteks yang relevan sebelum jawaban dihasilkan. Penelitian ini bertujuan mengimplementasikan model Phi-4 dengan pendekatan RAG pada sistem tanya jawab penyakit pernapasan serta mengevaluasi pengaruh proses fine-tuning terhadap kinerja sistem. Proses fine-tuning dilakukan menggunakan metode Low-Rank Adaptation (LoRA), sedangkan implementasi RAG menggunakan model embedding BAAI/bge-m3 dan basis data vektor ChromaDB. Evaluasi dilakukan menggunakan framework RAGAS dengan metrik Context Precision, Context Recall, Faithfulness, dan Answer Relevancy pada 50 sampel pasangan pertanyaan dan jawaban, serta membandingkan model Phi-4 hasil fine-tuning dengan base model Phi-4. Hasil penelitian menunjukkan bahwa model Phi-4 hasil fine-tuning memperoleh nilai Context Precision, Context Recall, Faithfulness, dan Answer Relevancy masing-masing sebesar 1,0000, 1,0000, 0,9855, dan 0,6874. Dibandingkan dengan base model, proses fine-tuning meningkatkan nilai Faithfulness sebesar 0,0776 dan Answer Relevancy sebesar 0,0791, sedangkan nilai Context Precision dan Context Recall tetap sebesar 1,0000. Hasil tersebut menunjukkan bahwa proses fine-tuning meningkatkan kualitas jawaban tanpa memengaruhi kinerja proses retrieval.