Machine Translation Potential (Un)limited? : Investigating the reception of machine-translated and human-translated subtitles in educational videos

Tässä väitöskirjassa, joka toteutettiin monografiana, tutkitaan ihmisen ja koneen kääntämien tekstitysten vastaanottoa koulutuskontekstissa. Tulokset ovat kahdesta vastaanottotutkimuksesta, joissa aineistona käytettiin tekstitettyjä opetusvideoita. Tutkimushypoteesit pohjautuvat Gambierin (2009) 3R-käsitteeseen: response, reaction, repercussion eli tekstityksen käsittely, kognitiivinen kuormitus sekä asenteet ja odotukset. Response koskee yleisesti näkyvyyttä eli pelkkää tekstityksen läsnäoloa. Reaction koskee kognitiivista kuormitusta ja repercussion viittaa asenteisiin ja odotuksiin, joita konekäännettyihin tekstityksiin liitetään. Tutkimusosallistujien odotettiin käyttävän enemmän aikaa konekäännettyjen tekstitysten lukemiseen johtuen muun muassa siitä, että konetekstitykset ovat oletettavasti heikompilaatuisia. Konetekstitysten vaikutuksen odotettiin ulottuvan myös kognitiiviseen kuormitukseen, jolloin muistaminen on heikompaa ja osallistujan asenteet ja odotukset konekäännetyn tekstityksen suhteen ovat kielteisempiä. Tutkimusmenetelmiksi valittiin kyselylomake ja katseenseurantamenetelmä. Ensimmäisessä tutkimuksessa hyödynnettiin ainoastaan kyselytutkimusta. Kyselytutkimuksessa käytettiin videon sisältöä koskevia kysymyksiä sekä sovellettiin Laugwitzin ja kollegoiden (2008) käyttäjäkokemuskyselyä ja NASA Task Load Index -kyselylomaketta (NASA 2006). Kyselytutkimuksella pyrittiin saamaan selville osallistujien asenteita ja odotuksia yleisesti tekstityksiä kohtaan sekä erityisesti konetekstityksiä kohtaan. Katseenseurantatutkimuksessa tärkeitä seikkoja olivat huomion kohdistaminen tiettyihin esityksen osa-alueisiin, fiksaation kesto, fiksaatioiden lukumäärä sekä käyntien kesto ja lukumäärä. Tuloksia tarkasteltiin useamman muuttujan regressioanalyysillä, jossa otettiin huomioon sekä tekstityksen muoto että osallistujan kielitaito ja tämän riippuvaisuus tekstityksistä. Tutkimuksen molemmat vastaanottokokeet suoritettiin peräkkäin. Osallistujat katsoivat kaksi videoesitelmää, joista toinen oli saksaksi ja toinen suomeksi. Esitelmiin oli lisätty joko ihmisen tai koneen luomat tekstitykset. Ihmisen tekstitykset tuotti audiovisuaalinen ammattikääntäjä, ja konekäännetyt tekstitykset tuotettiin Google Kääntäjän avulla. Tutkimusasetelma oli sokkokoe, eivätkä osallistujat tienneet etukäteen, kummalla tekstitystavalla he katsoivat videoesityksiä. Saksankielisellä videolla tekstitys oli vain suomeksi ja suomenkielisellä videolla tekstitykset olivat sekä saksaksi että englanniksi. Tutkimusasetelma oli samanlainen molemmissa osatutkimuksissa: ensimmäisessä tutkimuksessa (N = 40) osallistujat katsoivat kaksi videota, joista kummastakin täytettiin kyselylomake koskien videoiden sisältöä. Tämän lisäksi osallistujat vastasivat kyselyyn, joka koski asenteita ja odotuksia. Toisessa tutkimuksessa (N = 20) käytettiin lisäksi katseenseurantamenetelmää tarkemman katsekäyttäytymistä koskevan tiedon saamista varten. Ensimmäisen osatutkimuksen tulokset osoittavat, että osallistujat suosivat ihmisen tuottamia tekstityksiä: käyttäjäkokemusta ja laatua pidettiin parempina, vaikka oppimistaso oli lähes samanlaatuista molemmissa tekstitysmuodoissa. Toinen osatutkimus vahvistaa tulokset ensimmäisestä osatutkimuksesta käyttäjäkokemuksen ja oppimistason osalta. Lisäksi katseenseurantatutkimuksen tulokset eivät vahvista oletusta, että konekäännetyt tekstitykset olisivat käyttäjäkokemuksen kannalta kielteisempiä kuin ihmisen tuottamat tekstitykset. Tuloksista voi kuitenkin päätellä, että katsekäyttäytyminen eli huomion jakautuminen riippuu laajalti osallistujan omasta kielitaidosta. Suomalainen, joka ei osaa saksaa tai ei osaa sitä riittävän hyvin, fiksoituu siis tekstityksiin pidemmäksi ajaksi, kuin hyvin saksaa osaava suomalainen. Asenteiden ja odotusten osalta tutkimustulokset osoittavat, että yhtäältä osallistujat tunnustavat konekäännettyjen tekstitysten potentiaalin. Osallistujien mukaan konekäännetyt tekstitykset ovat jo läsnä arkipäiväelämässä, esimerkiksi Internetissä, ja ne saattavat helpottaa kielellistä saavutettavuutta matalalla kynnyksellä. Toisaalta osallistujat tiedostavat konekääntämisen huonot puolet: konekäännös ei ole täydellistä, ja erityisesti raa’assa muodossa ilman ihmislähtöistä ohjausta käännöksen laatu saattaa olla heikko. Konekäännetyt tekstitykset saattavat soveltua viihdetarkoitukseen, mutta arkaluonteisemmissa yhteyksissä niitä tulisi käyttää vain ihmisen muokkaamina. Tulokset auttavat täyttämään esteettömyyttä koskevan tärkeän tutkimuksen puutetta, erityisesti esteettömän koulutuksen osalta nykyisessä globalisoituneessa maailmassa. Vaikka tutkimus on osoittanut, että konekäännetyillä tekstityksillä on suuri potentiaali tehdä audiovisuaalisesta sisällöstä ylipäätään saavutettavaa, eivätkä ne näytä otoskoon ja kieliyhdistelmien vuoksi häiritsevämmiltä kuin ihmisen kääntämät tekstitykset, lisätutkimuksia tarvitaan tämän suuntauksen vahvistamiseksi. On myös tärkeää tunnustaa, että tilastollisesti vähäiset tai olemattomat eroavaisuudet sisältävät myös riskejä – virheitä voi jäädä tunnistamatta, ja ne voivat johtaa väärään tietoon.