KI-gestützte Transkription, Übersetzung und Zusammenfassung in Echtzeit

Fortgeschrittene KI-Modelle, wie Large Language Models (LLMs), sind sehr rechenintensiv und werden daher in der Regel über zentralisierte Cloud-Dienste genutzt. Dies birgt jedoch Datenschutzrisiken und die Gefahr der Abhängigkeit von großen Plattformen. In diesem Beitrag wird TransLoco vorgestellt: ein freies Software-Framework, das die Transkription und Übersetzung von Audio-Streams in nahezu Echtzeit auf eigenen Geräten ermöglicht. Wir präsentieren freie Software-Tools und -Modelle sowie deren Hardware-Anforderungen und zeigen auf, wie sich fortschrittliche KI-Anwendungen ohne Abhängigkeit von externen Ressourcen betreiben lassen. Dies ermöglicht eine höhere Sicherheit, mehr Kontrolle und volle digitale Souveränität. Um die sprachliche Vielfalt zu unterstützen, haben wir die ressourcenschonende Sprache Ladinisch einbezogen und ein für eine schnelle Inferenz optimiertes Übersetzungsmodell für Italienisch-Ladinisch veröffentlicht. Das Framework wurde auf der Konferenz Medien-Wissen-Bildung 2025 vorgeführt und seine praktische Anwendbarkeit unter realen Bedingungen getestet. Der vollständige Quellcode wurde unter https://git.uibk.ac.at/informatik/iis/iis-projects/TransLoco öffentlich zugänglich gemacht.