Generation of fingerspelling videos of alphabet letter sequences

Read full text Summarise with VIRAT
Authors: Ιωάννης Γ. Δούμος
Cited by: 0
References: 31

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

Διπλωματική Εργασία Συνθετική Παραγωγή Βίντεο Δακτυλοσυλλαβισμού Ακολουθιών Γραμμάτων της Αλφαβήτου Δούμος Ιωάννης Περίληψη Οι άνθρωποι με σοβαρά προβλήματα ακοής αντιμετωπίζουν καθημερινά σημαντικές προκλήσεις, με κυριότερη αυτή της επικοινωνίας με το ευρύ κοινωνικό σύνολο.Η παρούσα διπλωματική εργασία πραγματεύεται την ανάπτυξη μιας μεθοδολογίας για την αυτόματη παραγωγή βίντεο δακτυλοσυλλαβισμού με δεδομένα εισόδου φυσικό κείμενο, με απώτερο σκοπό τη διευκόλυνση της προσβασιμότητας και της επικοινωνίας των ατόμων με προβλήματα ακοής.Για τη δημιουργία μιας ολοκληρωμένης αρχιτεκτονικής, συνδυάζονται δύο διαφορετικά μοντέλα βαθιάς μάθησης: το πρώτο αναλαμβάνει τη μετατροπή των χαρακτήρων της ελληνικής αλφαβήτου σε σκελετικές ακολουθίες (Text-to-Pose), ενώ το δεύτερο αξιοποιεί τις παραγόμενες στάσεις για τη σύνθεση της τελικής, φωτορεαλιστικής απεικόνισης του νοηματιστή (Pose-to-Image).Για την υλοποίηση του πρώτου σταδίου χρησιμοποιήθηκε ο Progressive Transformer, ενώ για το δεύτερο στάδιο, στο οποίο δόθηκε η μεγαλύτερη έμφαση σε ερευνητικό και πειραματικό επίπεδο, χρησιμοποιήθηκε ένα κλασικό pose-to-image μοντέλο, το Generative Adversarial Network (GAN), καθώς επίσης και ένα state-of-the-art Diffusion Model, το Mimic Motion, τα οποία μπορούν να παράγουν εικόνες-βίντεο απο σκελετικά δεδομένα.

Fields of Study & Subjects

Hand Gesture Recognition Systems Hearing Impairment and Communication Tactile and Sensory Interactions

Publication details

Journal / source
University of Thessaly Institutional Repository (University of Thessaly)
Publication date
1 January 2026
Language
EL
Document type
Thesis