Transformer Mimarisi Üzerine Kapsamlı Bir İnceleme: Teorik Temeller, Yapısal Özellikler ve Klinik Bir Uygulama
Abstract
Bu çalışma, Doğal Dil İşleme (NLP) alanında devrim yaratan Transformer mimarisinin teorik temellerini, bileşenlerini ve uygulama alanlarını kapsamlı bir biçimde ele almaktadır. İlk olarak, FNN, RNN, LSTM ve GRU gibi önceki mimariler özetlenmiş ve bu yapıların sınırlılıkları açıklanmıştır. Ardından, Transformer mimarisinin yenilikçi yapısı, özellikle self-attention ve multi-head attention mekanizmaları detaylı biçimde analiz edilmiştir. Mimari bileşenlerin matematiksel temsilleri sunularak dikkat hesaplamalarının nasıl gerçekleştiği ortaya konmuştur. Ayrıca, makalenin uygulama bölümünde, BioClinicalBERT temelli bir ilaç öneri sistemi geliştirilmiş ve bu sistemin klinik metinler üzerindeki etkinliği değerlendirilmiştir. Sonuçlar, Transformer tabanlı modellerin sağlık alanında özelleştirilmiş çözümler üretme potansiyelini ortaya koymaktadır.
Fields of Study & Subjects
Embodied and Extended Cognition
Functional Brain Connectivity Studies
EEG and Brain-Computer Interfaces
Publication details
- Journal / source
- Fırat Üniversitesi Mühendislik Bilimleri Dergisi
- Publisher
- Firat Universitesi
- Volume
- 38
- Issue
- 1
- Pages
- 85–104
- Publication date
- 29 March 2026
- Language
- TR