DETEKSI ABJAD BAHASA ISYARAT BISINDO REAL-TIME PADA SMARTPHONE MENGGUNAKAN YOLOV11

Read full text
Authors: Rivaldo Nugraha, Rofik Adam Nugraha, Muhammad Abdul Mujib, Okyza Maherdy Prabowo, Anggi Cipta Lestari, Shafira Febriani
Cited by: 0

Abstract

Bahasa isyarat merupakan sarana komunikasi utama bagi komunitas tunarungu dan penyandang gangguan pendengaran, sekaligus berperan penting dalam meningkatkan inklusivitas sosial dan menjembatani kesenjangan komunikasi dengan masyarakat umum. Seiring meningkatnya jumlah penyandang gangguan pendengaran, diperlukan solusi komunikasi yang mudah diakses dan bersifat adaptif. Perkembangan kecerdasan buatan dan pembelajaran mesin memberikan peluang untuk mengotomatisasi deteksi bahasa isyarat secara real-time. Penelitian ini mengembangkan sistem deteksi abjad BISINDO A–Z menggunakan dua pendekatan, yaitu YOLOv11 dan RF-DETR. YOLOv11 dipilih karena arsitekturnya ringan dan efisien untuk perangkat mobile, sedangkan RF-DETR digunakan sebagai pembanding berbasis Transformer dengan tingkat akurasi tinggi. Hasil eksperimen menunjukkan bahwa RF-DETR mencapai akurasi lebih tinggi dengan mAP@50 sebesar 99,8%, namun terbatas pada implementasi berbasis web. YOLOv11 memperoleh mAP@50 sebesar 99,4% dan berhasil diimplementasikan pada smartphone Android dengan kinerja real-time yang responsif. Temuan ini menunjukkan bahwa YOLOv11 lebih layak untuk aplikasi deteksi abjad BISINDO berbasis perangkat mobile.

Fields of Study & Subjects

Hand Gesture Recognition Systems Advanced Neural Network Applications Human Pose and Action Recognition

Publication details

Journal / source
Journal of Information System Management (JOISM)
Volume
7
Issue
2
Pages
292–301
Publication date
31 January 2026