VIDEO TRANSCRIPTION DAN VOICE SYNTHESIS UNTUK SISTEM PENERJEMAH ISYARAT BAHASA INDONESIA

Komunikasi adalah cara manusia menyampaikan infromasi, ide, pikiran, perasaan, atau pesan secara lisan maupun nonverbal. Penyandang tunarungu menggunakan ekspresi dan simbol karena keterbatasan pendengaran, istilah tuna berarti kurang dan rungu berarti pendengaran. Untuk menjembatani komunikasi, terjemahan bahasa isyarat melalui pengembangan sistem seperti text-to-speech dapat membantu meningkatkan aksesibilitas antara penyandang tunarungu dan pengguna bahasa lisan dalam berbagai konteks kehidupan sehari-hari. Sistem penerjemah Bahasa Isyarat Indonesia (SIBI) pada penelitian ini dibangun dengan metode penelitian waterfall yang pada setiap prosesnya akan dikerjakan secara bertahap dan berurutan, mulai dari analisis masalah dan pembuatan sistem yang terkonsep guna untuk memperkuat landasan teoritis dan menjawab rumusan masalah yang diangkat, penelitian ini menggunakan model deep learning Keras dan pendekatan Convolutional Neural Network (CNN). Hasil pengujian menunjukkan bahwa sistem mampu mengklasifikasikan gesture tangan serta mengonversinya menjadi teks dan suara, selain itu waktu respons rata-rata kurang dari satu detik, yaitu sekitar 104 milidetik per langkah. Ini menunjukkan bahwa sistem dapat beroperasi secara real-time dengan respons yang cepat dan konsisten. Video transcription dan voice synthesis untuk sistem penerjemah isyarat Bahasa Indonesia menggunakan Bahasa pemrograman python python berhasil dilakukan da didukung berbagai pustaka seperti opencv, cvzone, GTTS (Google Text-To-Speech. Hasil pengujian terhadap 15 kelas gerakan dengan 150 percobaan menunjukkan klasifikasi gerakan dengan akurasi rata-rata 87%. Penelitian selanjutnya disarankan untuk menambah jumlah subjek dan variasi dataset guna meningkatkan kemampuan generalisasi model.