National Transport Library Research Database

F-AUTO del 2: Följsam automation och presentation av lägesbild med övervakning genom sensorer och artificiell intelligens i operatörsmiljön för olika trafikslag (F-AUTO part 2: Flexible automation and presentation of state for operators supported by sensors and artificial intelligence for various transport modalities)

  • Bång, Magnus
  • Linköpings universitet, Universitet eller högskola, 202100-3096
Sponsors, duration, budget: Trafikverket ; 2021-04-01 -- 2025-03-30 Registration number:
  • Trafikverket 2020/138317
Subject(s): Abstract: Projektet F-AUTO utforskar gränssnittskoncept (HMI) för ledningscentraler inom sjöfart, flygtrafikledning och järnväg, med avancerad sensorteknik och artificiell intelligens för en ny generation av Följsam automation (exempelvis för VTS). Följsam automation innebär att IT-systemet situationsanpassar stödet till operatören, exempelvis baserat på slutsatsdragande kring trafiksituationen för att på bästa sätt använda de mänskliga förmågorna. I F-AUTO går vi ett steg längre än att enbart använda trafiksituationen (sensorer utåt) som bas för följsamhet. I projektet används icke-invasiva sensorer i operatörsmiljön, speciellt eye tracking, för att i realtid skapa en bild av vad operatör och arbetsgrupp ser, gör och mår (sensorer inåt). Effekten av att systemet får en bild av både trafikläge och operatörens arbetsfokus och hälsostatus förväntas bli en förbättrad automation (F-AUTO) som, bland annat, anpassar visualiseringar och alarm till individ och arbetsgrupp, vilket ger ökad totalprestation vad gäller säkerhet, kvalitet och uthållighet. Projektet avser att skapa innovativa koncept och konkreta demonstratorsystem för avancerad följsam automation i kontrollrum med ”operator tracking” stött av artificiell intelligens. Angreppssättet i projektet kommer att vara explorativt och inkluderande genom att tillsammans med domänexperter ta fram koncept som kontinuerligt förfinas och implementeras i skarpa tekniska protyper som utvärderas. Projektkonstellationen är multi-disciplinär och trafikövergripande med kompetenser från beteendevetenskap/IT samt domänerna sjöfart, flyg och tåg. Det övergripande målet är att verka för kunskapsöverföring och harmonisering mellan trafikslagen i enlighet med de trafikpolitiska målen, särskilt vad gäller säkerhet och effektivitet som möjliggörs genom digitaliseringen. Viktigt är en årlig konferens (SweAUTO) som arrangeras där forskargrupper och industri samlas för att utvärdera lösningar, initiera konkreta samarbeten och verka för att Sverige blir ledande inom smart automation. I Del 1, som genomfördes 2018-2020 har (1) ett antal trafikslagsövergripande koncept och prototyper för följsam automation tagits fram, bland annat uppmärksamhetsstöd och automationsstöd i samarbete med trafikledare, (2) en kognitiv teoribildning för följsam automation (Joint Control Framework), (3) ett avancerat AI-ramverk för transportsektorn samt (4) ett högpresterande datorkluster har utvecklats för att analysera trafikrörelser i realtid. I Del 2 avser forskargruppen, i enlighet med den tidigare projektplanen från Del 1, förfina koncept och prototyper, samt utvärdera för- och nackdelar med ansatsen och AI:n i trafiksimulator – med representativa scenarier – och med trafikledare, i de tre trafikdomänerna. Specifikt förväntas projektet bidra med kunskap och innovationer gällande detektion av operatörers arbetsuppgifter, scanningsmönster och hälsotillstånd (operator tracking) för att dra slutsatsers om arbetsbelastning, trötthet och uppmärksamhet. Utöver detta förväntas projektet generera kunskap och lösningar gällande situationsanpassad arbetsfördelning i distribuerade arbetsgrupper (operator load balancing) samt prediktion av möjliga förlopp och kritiska händelser i kontrollsituationen. Resultaten dissemineras direkt till ingående parter (genom referensgrupp och aktivt deltagande från LFV, Sjöfartsverket och TrV) samt, som nämnts, brett till industri i en årlig konferens. Utöver detta rapporteras projektet i en doktorsavhandling som presenteras 2023. Abstract: The F-AUTO project explores interface concepts (HMI) as well as sensor technology and artificial intelligence for a new generation of flexible automation in control rooms for air traffic management, VTS, and train traffic control. Flexible automation means that the system situationally adjusts the operator support, for example, based machine-inference on the amount of traffic, to make best use of the human resources and her decision-making capability. In F-Auto, we will proceed further than today’s approach to automation and employ non-invasive sensors in the operator environment to create an image of what the operator and working group see, do and feel (operator tracking). An important part of the project will be to create new automation concepts and identify which sensors and which operator and group tasks that can be supported. A system that has a total picture of both the traffic mode, the operator's work focus and health, will provide an enhanced, more responsive automation that can work efficiently in concert with the operator, and this is expected to contribute to increased overall performance in terms of safety quality of services and sustainable operations. The project aims to create innovative concepts and demonstrators for advanced flexible automation and operator tracking supported by artificial intelligence. The approach will be exploratory and inclusive by developing, jointly with domain experts, concepts that are continually refined and implemented in advanced technical prototypes that are evaluated. The project constellation is multidisciplinary and cross-border with skills from behavioral and computer science, as well from the maritime, air and train domains. The overall goal is to transfer knowledge and promote harmonization among domains in accordance with the Swedish traffic policy, especially with regards to safety and efficiency supported by digitalization. An annual conference (SweAUTO), where research groups and industry gather to evaluate solutions and work for Sweden to become a leader in smart automation, will be important. In Part 1 have, among other things, (1) a number of concepts and prototypes for compliant, flexible automation in terms of attention support and automation support been developed in collaboration with traffic managers (2) a theory for flexible automation has been developed (Joint Control Framework) as well as (3) an advanced AI framework and (4) a high performance computer cluster for analyzing traffic movements in real time. In Part 2, the research groups intend, in accordance with the previous project plan from Part 1, to refine the concepts and prototypes, as well as evaluate the advantages and disadvantages of the approach and the AI in traffic simulators - with representative scenarios - with traffic managers, in the three traffic domains. Specifically, the project is expected to contribute knowledge and innovation regarding detection of tasks, scan patterns and health (operator tracking) to draw conclusions on operators’ workload, fatigue and attention. In addition, the project is expected to provide knowledge and solutions on situation-based work distribution in distributed operator teams (load balancing) and prediction of critical events in the control situation. The results are directly disseminated to the parties involved (through reference group and active participation from the LFV, the Swedish Maritime Administration and TrV and, as mentioned, widely to the Swedish industry in an annual conference (SweAUTO). Moreover, direct results from the project will presented in a PhD dissertation.
Item type: