I projektet Necoverse utvecklades arbetssätt för industrins behov som utnyttjar virtuella miljöer. I arbetssätten utnyttjades bland annat taligenkänning och maskinöversättning, och målet var att skapa interaktionsmöjligheter i realtid på flera språk inom industrin och i utbildningsmiljöer. Det treåriga projektet avslutas vid månadsskiftet maj–juni.

Virtuella miljöer ger möjlighet till effektivt distansarbete eller -utbildning. Med hjälp av språkteknologier är det lätt att interagera med andra experter i den virtuella miljön, även om alla talar olika språk. 

Lösningen från tal till medieöversättning har utvecklats och testats i pilotmiljöer. Lingsofts maskinöversättnings-, taligenkännings- och textnings-API:n integrerades med Åbo yrkeshögskolas VR-miljö. Språken som testades i projektet är finska, svenska och engelska. 

Lingsofts arbete fokuserade särskilt på pilotprojektet för utbildning i robotik, där målet var att möjliggöra flerspråkig växelverkan och handledning i metaverse-miljön. Med hjälp av taligenkänning och maskinöversättning kunde användarnas tal omvandlas till medieöversättning åt en annan användare nästan i realtid. 

I pilotprojektet övade studerandena på att använda en industrirobot med hjälp av en digital tvilling (digital twin) i den metaversebaserade inlärningsmiljön som Åbo yrkeshögskola byggt upp. Inlärningen förenade självständigt övande, handledd undervisning och kollegialt arbete i en fleranvändarmiljö. Lingsofts teknologier stödde i synnerhet interaktionen i lärandet: studerandena kan förklara högt vad de lärt sig för reflektion. 

Pedagogiskt möjliggjorde lösningen en flexibel övergång mellan individuell inlärning och inlärning i grupp samt simulering av en arbetslivssituation. Tiden då man får träna med en robot blir ofta tidsmässigt kort, men i den virtuella miljön fick man träna mer. Med hjälp av den digitala tvillingen var träningen även oberoende av tid och plats.

I framtiden fortsätter Lingsoft att undersöka olika smarta språklösningar i virtuella miljöer.

Läs mer om pilotprojektet: (På engelska): https://necoverse.fi/pilot-case/robot-programming-training/
Necoverse-projektets sidor (på engelska): https://necoverse.fi/