Evaluasi Kinerja Model Transformer: Mengukur Kesesuaian Capaian Pembelajaran Mata Kuliah

Kurikulum berorientasi pada hasil (Outcome-Based Education/OBE) menjadi pendekatan penting dalam pendidikan tinggi untuk memastikan kesesuaian antara Capaian Pembelajaran Lulusan (CPL) dan kebutuhan dunia kerja. Namun, tantangan dalam implementasinya masih muncul, khususnya dalam memastikan konsistensi antara CPL dan Capaian Pembelajaran Mata Kuliah (CPMK). Penelitian ini mengevaluasi efektivitas dua model transformer berbasis deep learning, BERT dan SBERT, dalam mengotomatisasi proses evaluasi kesesuaian CPL–CPMK. Eksperimen dilakukan pada data kurikulum dari Universitas 'Aisyiyah Surakarta. Hasil menunjukkan bahwa BERT unggul dalam tugas klasifikasi teks dengan nilai akurasi 0,61, precision 0,72, dan F1 score 0,73. Sebaliknya, SBERT menunjukkan recall lebih tinggi (0,75), yang berguna dalam konteks minimalisasi kesalahan tipe dua. Temuan ini menjadikan BERT sebagai model yang lebih cocok digunakan untuk mengukur keselarasan antara CPL dengan CPMK