Xgboost ve Shap Kullanılarak Açıklanabilir Kimlik Avı Tespiti: Web Sitesi İçeriği ve URL Yapısı Veri Setleri Üzerine Karşılaştırmalı Bir Çalışma

Kimlik avı (phishing), sağlam ve güvenilir tespit yöntemleri gerektiren önemli bir siber güvenlik tehdidi olmaya devam etmektedir. Bu çalışma, şu araştırma sorusunu yanıtlamayı hedefler: Web sitesi içeriği ve URL yapısına dayalı özellikler, XGBoost tabanlı kimlik avı tespit modellerinin kararlarını nasıl etkiler ve SHAP bu kararların açıklanabilirliğini nasıl artırır? Makine öğrenmesi (MÖ) modelleri, özellikle XGBoost gibi gradyan artırma algoritmaları yüksek doğruluk gösterse de, kara kutu yapıları, kritik güvenlik uygulamalarında güveni ve dağıtımı sıklıkla engellemektedir. Açıklanabilir Yapay Zeka (AYZ) teknikleri, örneğin Shapley Additive exPlanations (SHAP), model tahminlerine ilişkin içgörüler sağlayarak bir çözüm sunar. Bu çalışma, UCI Makine Öğrenmesi Deposundan iki kimlik avı veri seti üzerinde XGBoost sınıflandırıcılarını eğitip değerlendirmiştir. Phishing Websites (ID=327) veri seti web sitesi içeriği ve yapısal özelliklere, PhiUSIIL Phishing URL (ID=967) veri seti ise URL sözcüksel ve ana bilgisayar tabanlı özelliklere odaklanmıştır. Her iki model de sırasıyla 0.9967 ve 1.0000 AUC skorları ile yüksek performansı elde etmiştir; ancak PhiUSIIL’deki mükemmel skor, potansiyel aşırı uyum riskini gündeme getirir. Ardından, her model için hem küresel hem de yerel açıklamalar üretmek üzere SHAP uygulanmıştır. Karşılaştırmalı analiz, belirgin özellik önemi örüntülerini ortaya koymaktadır: web sitesi verisiyle eğitilen model, büyük ölçüde url_of_anchor ve sslfinal_state özelliklerine dayanırken, URL tabanlı model, ezici bir şekilde URLSimilarityIndex tarafından baskındır. Yerel açıklamalar, yanlış sınıflandırmalar da dahil olmak üzere, bireysel tahminleri daha ayrıntılı bir şekilde inceleyerek model kararlarını yönlendiren belirli özellik katkılarını vurgulamaktadır. Bu karşılaştırmalı AYZ yaklaşımı, yalnızca model performansını doğrulamakla kalmaz, aynı zamanda temel alınan karar mekanizmalarını ortaya çıkararak şeffaflığı artırır ve kimlik avı tespit sistemlerini iyileştirmek için eyleme geçirilebilir içgörüler sağlar.