- playlists met relevante momenten;
- reviews met observaties en opmerkingen;
- downloadbare Video Highlights;
- door AI voorgestelde selecties;
- toekomstige outputvormen en gekoppelde toepassingen.
- synchronisatie van video, audio, sensordata en gebeurtenissen;
- verwerking en visualisatie van tijdgebonden meetgegevens;
- presentatie van automatische en handmatige annotaties;
- selectie van relevante momenten over meerdere databronnen heen;
- opslag, heropening en uitwisseling van Smart Selections;
- ondersteuning van analyse op meerdere schermen;
- bruikbare workflows voor trainers en human-factorsonderzoekers;
- een technische basis die ook buiten de maritieme sector toepasbaar kan zijn.
Smart Selections voor analyse mentale belasting
Het begeleiden van grote schepen in drukke havens is een complexe taak. Verkeersbegeleiders moeten voortdurend informatie verwerken, communiceren en onder tijdsdruk beslissingen nemen. Factoren zoals mentale belasting, stress, vermoeidheid en situational awareness kunnen daarbij grote invloed hebben.
Binnen MARSAI ontwikkelen Nederlandse technologiebedrijven gezamenlijk hulpmiddelen om deze human factors beter meetbaar en inzichtelijk te maken. Hiervoor wordt kunstmatige intelligentie toegepast op gegevens uit verschillende sensoren en observatiesystemen. De eerste toepassingen richten zich vooral op training, simulatie en onderzoek in de maritieme sector.
Synchronisatie in één samenhangend beeld
Tijdens een training of simulatie kunnen uiteenlopende gegevens worden verzameld, zoals video, audio, gebeurtenissen in een simulator, fysiologische metingen en informatie over communicatie en gedrag.
De uitdaging is niet alleen om deze gegevens te verzamelen, maar vooral om ze betrouwbaar te synchroniseren en in samenhang te presenteren. Hierdoor kunnen trainers en onderzoekers terugkijken naar een specifiek moment en onderzoeken wat er gebeurde, hoe een deelnemer reageerde en welke omstandigheden daarop mogelijk van invloed waren.
De gezamenlijke tijdlijn vormt daarbij het vertrekpunt voor analytische dwarsdoorsneden. In plaats van alleen een volledige trainingssessie terug te kijken, kunnen gebruikers relevante momenten uit verschillende databronnen selecteren en als één samenhangend analyse-object bewaren.
Van tijdlijn naar Smart Selections
Binnen de beoogde analyseworkflow worden relevante fragmenten, observaties en inzichten vastgelegd als Smart Selections. Een Smart Selection kan bijvoorbeeld videobeelden, communicatiefragmenten, fysiologische signalen, gebeurtenissen en annotaties rond hetzelfde moment combineren.
Zo kan een onderzoeker een periode met verhoogde mentale belasting selecteren en deze direct bekijken in samenhang met de VHF-communicatie, de verkeerssituatie en de beschikbare fysiologische metingen. Een dergelijke dwarsdoorsnede kan vervolgens zelfstandig worden geopend, gedeeld of verder worden uitgebreid.
Smart Selections kunnen verschillende vormen krijgen, waaronder:
Door deze resultaten centraal bij het betreffende event te bewaren, kunnen analyses later eenvoudig worden hervat. Onderzoekers kunnen samenwerken aan dezelfde selecties en opgebouwde kennis blijft beschikbaar voor verdere analyse, rapportage en besluitvorming.
De bijdrage van Noterik
Noterik brengt binnen MARSAI zijn ervaring met StagePlayer en gesynchroniseerde media- en sensordata in. Onze werkzaamheden richten zich op de technische workflow waarmee verschillende gegevensbronnen op een gezamenlijke tijdlijn beschikbaar worden gemaakt en vervolgens kunnen worden verwerkt tot bruikbare Smart Selections.
Daarbij werken we onder meer aan:
Partners
MARSAI wordt geleid door Noldus Information Technology. De projectpartners zijn Noldus, Vicar Vision en Noterik. MARIN en BG Legal zijn als geassocieerde partners betrokken.
Door expertise in gedragsanalyse, AI, softwareontwikkeling, simulatie en juridische vraagstukken te combineren, werkt het consortium aan praktisch inzetbare en verantwoorde technologie.
MARSAI wordt ondersteund vanuit de Nederlandse MIT-AI-regeling voor innovatie door het midden- en kleinbedrijf.