- het synchroniseren van video, sensordata en fysiologische metingen;
- de verwerking van grote en uiteenlopende datastromen;
- betrouwbaarheid, performance en schaalbaarheid;
- dynamische en deels geautomatiseerde annotaties;
- gebruik op meerdere schermen en in verschillende browseromgevingen;
- privacy, beveiliging en verantwoord gebruik van AI;
- gebruiksvriendelijkheid voor trainers en onderzoekers;
- marktpotentieel en de voorwaarden voor verdere ontwikkeling.
Volgende generatie trainingsanalyse
Tijdens complexe trainingen en simulaties ontstaat steeds meer informatie uit verschillende bronnen. Naast video kan het bijvoorbeeld gaan om fysiologische metingen, sensordata, observaties en gebeurtenissen binnen een simulator of virtuele omgeving. Wanneer deze gegevens betrouwbaar op één tijdlijn worden samengebracht, kunnen trainers beter onderzoeken wat er tijdens een oefening gebeurde en hoe deelnemers reageerden.
Haalbaarheidsonderzoek
In een haalbaarheidsonderzoek, mede mogelijk gemaakt door de provincie Noord-Holland richtte wij ons op de vraag of StagePlayer kan worden doorontwikkeld tot een schaalbaar, uitlegbaar en robuust platform voor realtime en nadere analyse van mentale belasting, stress en gedrag tijdens trainingen en simulaties.
Daarbij is onder meer gekeken naar:
Uitkomst
Het onderzoek laat zien dat de beoogde toepassing technisch en inhoudelijk kansrijk is. StagePlayer en de bredere inSync-workflow bieden een goede basis om media, gebeurtenissen en meetgegevens gezamenlijk te analyseren.
Tegelijkertijd zijn voor toepassing op grotere schaal nog verdere technische ontwikkeling en praktijkvalidatie nodig. Belangrijke aandachtspunten zijn de verwerking van omvangrijke multimodale datasets, consistente synchronisatie, de scheiding tussen realtime verwerking en nadere analyse en het begrijpelijk presenteren van AI-ondersteunde inzichten.
De uitkomst ondersteunt daarom een vervolg in de vorm van gerichte R&D en pilots met organisaties die complexe simulator- en gedragstrainingen uitvoeren.
Samenwerking en ondersteuning
Bij het onderzoek is gebruikgemaakt van kennis en praktijkervaring in onze samenwerking met MARIN, een belangrijke partner in de ontwikkeling van het inSync/StagePlayer-platform.
Dit haalbaarheidsonderzoek is mede mogelijk gemaakt door een subsidie vanuit de regeling MKB-innovatiestimulering Regio en Topsectoren (MIT) van de provincie Noord-Holland.