Application of Artificial Bee Colony Optimization Algorithm and Cuckoo Search in Stacking Modeling

Pemanfaatan metode machine learning pada era saat ini mengalami perkembangan yang pesat, ditandai dengan semakin banyaknya model yang digunakan untuk menyelesaikan permasalahan klasifikasi dan prediksi. Perkembangan tersebut mendorong munculnya metode ensemble learning, salah satunya adalah Stacking Ensemble, yang mengombinasikan beberapa model pembelajaran untuk menghasilkan kinerja prediksi yang lebih akurat dan optimal. Berdasarkan penelitian sebelumnya, metode Stacking terbukti mampu mengurangi bias serta meningkatkan akurasi dengan mempertimbangkan kontribusi dari masing-masing model yang tergabung di dalamnya. Oleh karena itu, diperlukan suatu mekanisme optimasi untuk memperoleh kinerja terbaik dari setiap model yang digunakan. Penelitian ini bertujuan untuk menerapkan algoritma optimasi metaheuristik dalam meningkatkan performa prediksi pada metode Stacking Ensemble. Algoritma optimasi yang digunakan dalam penelitian ini adalah Artificial Bee Colony dan Cuckoo Search, yang diterapkan dan dibandingkan kinerjanya dalam mengoptimasi metode Stacking Ensemble dengan model dasar yang terdiri atas Decision Tree, k-Nearest Neighbor, Support Vector Machine, dan Naïve Bayes. Penelitian ini bertujuan untuk merancang dan menguji pemodelan Stacking Ensemble dengan menerapkan algoritma optimasi Artificial Bee Colony dan Cuckoo Search pada empat model dasar, yaitu Decision Tree, k-Nearest Neighbor, Support Vector Machine, dan Naïve Bayes. Setiap model dasar memiliki fungsi hiperparameter (hyperparameter tuning) masing-masing. Peran algoritma Artificial Bee Colony dan Cuckoo Search dalam penelitian ini adalah mengoptimalkan hyperparameter dari setiap model dasar guna memaksimalkan kinerja prediksi, yang selanjutnya digabungkan ke dalam model Stacking Ensemble. Penerapan algoritma optimasi dalam penelitian ini dibagi ke dalam tiga skema pemodelan yang dilakukan secara berurutan. Skema pertama merupakan penerapan model Stacking Ensemble tanpa optimasi, skema kedua merupakan penerapan model Stacking Ensemble dengan optimasi Artificial Bee Colony, dan skema ketiga merupakan penerapan model Stacking Ensemble dengan optimasi Cuckoo Search. Ketiga skema tersebut selanjutnya dibandingkan untuk menentukan skema pemodelan terbaik berdasarkan hasil kinerjanya pada setiap dataset yang digunakan. Penelitian ini memanfaatkan kombinasi data acuan dan data empiris dalam penerapan ketiga skema pemodelan. Data acuan merupakan kumpulan dataset yang telah tersedia dan digunakan pada penelitian-penelitian sebelumnya, yang terdiri atas enam dataset antara lain Australian, Breast Cancer Winconsin, Cleaveland Heart Disease, Ionosphere, German Credit Fraud, dan Missing Migrants. Alur pemodelan pada setiap skema diawali dengan tahap pre-processing dan pembersihan data sebelum dilakukan pemodelan, yang meliputi pengecekan data hilang dan visualisasi data untuk memperoleh informasi awal dari masing-masing dataset yang digunakan. Setiap dataset dalam penelitian ini diterapkan pada ketiga skema pemodelan, kemudian dibandingkan berdasarkan nilai accuracy, balanced accuracy dan ¬F1-Score serta visualisasi sebaran kinerjanya berdasarkan sepuluh kali perulangan dengan Boxplot. Prosedur yang dilakukan juga diuji pada dua dataset empiris, yaitu data klasifikasi kualitas produk edamame dari PT Mitra Tani Dua Tujuh, Kabupaten Jember (150 amatan), serta data klasifikasi curah hujan wilayah Bogor, Jawa Barat dari BMKG (366 amatan atau satu tahun pengamatan). Hasil analisis secara keseluruhan menunjukkan bahwa skema Stacking dengan optimasi Artificial Bee Colony (ABC) cenderung menghasilkan kinerja yang paling stabil. Hal ini ditunjukkan oleh rentang interkuartil (IQR) dengan visualisasi boxplot yang lebih kecil serta nilai median yang relatif lebih tinggi dibandingkan skema pemodelan lainnya, yang mengindikasikan bahwa model tersebut memiliki tingkat robustness yang lebih baik terhadap variasi data antar perulangan. Namun demikian, pada dataset dengan karakteristik yang relatif homogen, ditemukan indikasi bahwa Decision Tree cenderung menghasilkan skor ketiga metrik accuracy, balanced accuracy, F1-Score yang sangat tinggi hingga mendekati sempurna (0,95–1,00). Kondisi ini mengindikasikan potensi bias model dan dapat memengaruhi validitas kinerja akhir pada skema Stacking, khususnya apabila model tersebut berkontribusi secara dominan dalam proses penggabungan prediksi. Berdasarkan pengujian statistik, hasil uji ANOVA pada sebagian besar dataset yang digunakan, yaitu Australian, Breast Cancer Wisconsin, Cleaveland Heart Disease, Ionosphere, dan Missing Migrants, menunjukkan bahwa tidak terdapat perbedaan kinerja yang signifikan antara model Stacking tanpa optimasi dan Stacking dengan optimasi metaheuristik Artificial Bee Colony dan Cuckoo Search, dengan nilai p > 0,05. Pengecualian ditemukan pada dua kasus tertentu, yaitu pada dataset German Credit Fraud, dimana model Stacking tanpa optimasi menunjukkan kinerja yang secara signifikan lebih baik pada metrik balanced accuracy dengan nilai p < 0,001 dan pada dataset Curah Hujan yang memperlihatkan perbedaan yang sangat signifikan pada metrik accuracy dengan nilai p < 0,001, hal ini mengindikasikan adanya pengaruh skema pemodelan terhadap tingkat ketepatan klasifikasi. Penelitian ini menyimpulkan bahwa pemodelan klasifikasi dengan skema kedua yaitu dengan menerapkan Algoritma Optimasi Artificial Bee Colony mampu membuat model Stacking secara konsisten lebih baik dan robust pada berbagai ulangan kondisi, hal ini tercermin dari penyempitan rentang interkuartil dan konsistensi nilai median pada berbagai metrik evaluasi. Namun, peningkatan kestabilan model tidak selalu diikuti oleh perbedaan kinerja yang signifikan secara statistik, yang mengindikasikan bahwa efektivitas optimasi sangat bergantung pada karakteristik dataset, khususnya homogenitas data, ukuran sampel, dan distribusi kelas target. Pada dataset dengan struktur relatif sederhana atau ketidakseimbangan kelas yang tidak ekstrem, kontribusi optimasi terhadap peningkatan kinerja cenderung terbatas. Oleh karena itu, penelitian ini menegaskan bahwa penerapan optimasi metaheuristik, seperti Artificial Bee Colony dan Cuckoo Search, tidak dapat digeneralisasi dan harus mempertimbangkan secara cermat praproses data, ketidakseimbangan kelas, serta pemilihan base model dalam Stacking Ensemble.