Soal HOTS merupakan soal tingkat tinggi yang dimanfaatkan oleh lembaga pendidikan untuk mengukur kemampuan berpikir siswa. Pada soal Ujian Akhir Semester (UAS) mata pelajaran PAI kelas XII di SMA Negeri 1 Peukan Bada Aceh Besar telah diterapkan penggunaan soal HOTS, namun belum pernah dilakukan pengujian terkait soal HOTS tersebut apakah telah sesusai dengan standar karakteristik soal HOTS. Rumusan masalah dalam penelitian ini yaitu bagaimana klasifikasi soal UAS tersebut tersebut dan kualifikasi soal-soal yang tergolong soal HOTS. Metode yang digunakan dalam penelitian ini yaitu metode kualitatif dengan pendekatan evaluatif. Subjek dalam penelitian ini yaitu 45 butir soal (40 soal pilihan ganda dan 5 soal uraian) UAS kelas XII SMA Negeri 1 Peukan Bada. Teknik pengumpulan data pada penelitian ini yaitu wawancara dan studi dokumen. analisis data dalam penelitian ini telah divalidasi oleh 2 validator ahli pada bidang evaluasi. Hasil penelitian menunjukkan bahwa klasifikasi soal UAS mata pelajaran PAI SMA Negeri 1 Peukan Bada belum sesuai dengan pemetaan yang telah ditetapkan oleh Dirjen Pendidikan Agama Islam No. 3451 tahun 2020, dimana masing-masing persentasenya yaitu 16 soal berlevel LOTS (35,5%), 16 soal berlevel MOTS (35,5%), dan 13 soal berlevel HOTS (29%), sedangkan persentase level kognitif pada soal UAS SMA Negeri 1 Peukan Bada yaitu 21 soal berlevel LOTS (46,66%) terdapat pada soal nomor , 3, 5, 7, 9, 11, 12, 21, 24, 27, 29, 30, 31, 33, 34, 35, 36, 37, 41, 43, dan 45. Level MOTS sebanyak 14 soal (31,11%) mencakup soal nomor 2, 4, 6, 10, 14, 13, 16, 17, 18, 22, 26, 32, 39, dan 42. Level HOTS terdapat sebanyak 10 soal (22,22%) mencakup soal nomor 8, 15, 19, 20, 23, 25, 28, 38, 40, dan 44. Kualifikasi soal HOTS pada soal ujian ini telah memenuhi standar kriteria soal HOTS, yaitu mengaitkan satu informasi dengan informasi lainnya, memiliki stimulus yang berfungsi dan mengarah pada tingkatan kognitif C4-C6, pokok soal memerlukan literasi stimulus, dan memerlukan ketepatan dalam menganalisa kata kunci pada stimulus.