SIA “Tilde ” pētniecības projekt a Nr. 2.2 “ Mākslīgais intelekts reālā laika subtitrēšanai un dublēšanai tiešraidēm ” aktualitātes 2024. gada pirmajā ceturksnī  

Projekta “Informācijas un komunikācijas tehnoloģiju kompetences centrs” mērķis ir paaugstināt informācijas un komunikācijas tehnoloģiju (IKT) nozares komersantu konkurētspēju, sadarbībā ar zinātniskajām institūcijām līdz 202 5 . gada 3 0. jūnijam īstenojot vismaz 12 nozares un starpnozaru pētījumus Biznesa procesu analīzes tehnoloģiju un Dabīgās valodas tehnoloģiju jomās, lai to rezultātā vismaz 10 komersanti attīstu un ieviestu ražošanā jaunus produktus un tehnoloģijas.  

Pētniecības projekts “Mākslīgais intelekts reālā laika subtitrēšanai un dublēšanai tiešraidēm ” uzsākts 2023. gada februārī. 2024. gada pirmajā ceturksnī turpinās rūpnieciskā pētījuma aktivitāšu “Reālā laika runas atpazīšana”, “Reālā laika runas mašīntulkošana ” un “Reālā laika dublēšana” īstenošana, kā arī eksperimentālās izstrādes aktivitāšu “Balsu korpusa izveide dublēšanai” un “Tiešraižu subtitrēšanas un dublēšanas prototips” īstenošana.   

Projekta 1. aktivitātes “ Reālā laika ru nas atpazīšana” ietvaros 2024. gada 1.ceturksnī turpinājās pētījumi, kuros tika salīdzināt a s dažādas runas atpazīšanas (ASR) modeļu arhitektū ras, pētīta valodas modeļu pievienošana, runas aktivitātes noteikšanas un runātāja noteikšanas modeļi .  Tika pētīta arī iespēja reālā laika runas atpazīšanā izmantot atslēgvārdu noteikšan u.   

Projekta 2. aktivitātes “ Reālā laika runas mašīntulkošana ” ietvaros tika pētītas metodes reālā laika mašīntulkošanas (MT) ātrdarbības uzlabošanai, atrasta optimāla Transformer modeļu slāņu konfigurācija, kurā būtiski uzlabojas tulkošanas ātrums (par 68%), bet kvalitāte samazinās tikai par 0,68 BLEU punktiem.   

Projekta 3. aktivitātes “Reālā laika dublēšana” ietvaros tika padziļināti pētīta runas sintēze (TTS), izmantojot VITS runas rīkkop u, tika analizēta tās piemērotīb a dažādām balsīm, tika atrisināts liels daudzums tehnisku problēmu VITS modeļu trenēšanā un pielāgošanā, kā arī apmācīti VITS modeļi vairākām latviešu balsīm.   

Projekta 4. aktivitātes “Balsu korpusa izveide dublēšanai” ietvaros tika pabeigt a studijā ierakstāmo datu sagatavošana, sagatavota darba specifikācija studijai. Tika veikta studiju apzināšana, cenu aptauja, studijas izvēle un pabeigta ierakstāmo balsu atlase.   

Projekta 5. aktivitātes “Tiešraižu subtitrēšanas un dublēšanas prototips” ietvaros tika izveidoti tīmekļa servisi, kur os vienotā risinājumā tika integrētas visas 3 tehnoloģijas – ASR, MT, TTS un tika veikts darbs pie prototipa konferenču tiešraižu subtitrēšanai un dublēšanai.   

Pētniecības projekta realizācijas periods: 01.02.2023. – 30.09.2024. 

Pētniecības projekta kopējās izmaksas: 582 458.00 EUR 

Atveseļošanas fonda līdzfinansējums: 370 108.00 EUR 

Projektu līdzfinansē Atveseļošanas fonds  Darbības programmas “Latvijas Atveseļošanas un noturības mehānisma plāna 5.1.r. reformu un investīciju virziena "Produktivitātes paaugstināšana caur investīciju apjoma palielināšanu P&A" 5.1.1.r.   reformas "Inovāciju pārvaldība un privāto P&A investīciju motivācija" 5.1.1.2.i. investīcijas "Atbalsta instruments inovāciju klasteru attīstībai" īstenošanas noteikumi kompetences centru ietvaros ” ietvaros.