National Transport Library Research Database

MEtodik för Riskbedömning Artificiell Intelligens (MERAI)

  • Luftfartsverket, Statligt verk, 202100-0795
Sponsors, duration, budget: Trafikverket ; 2025-04-01 -- 2027-03-31 ; 2 888 000 kronorRegistration number:
  • Trafikverket 2024/99617
Subject(s): Summary: Operativa lösningar baserade på artificiell intelligens (AI) för automation och stödverktyg inom flygtrafikledning är ett aktivt område i olika forsknings- och utvecklingsprojekt, till exempel inom konfliktsökning, konfliktlösning, automatiska informationstjänster och ”visual tracking” inom remote tower. För att lösningar baserade på AI ska kunna driftsättas måste metoder för flygsäkerhetsbevisning och certifiering utvecklas. Även om AI-verktyg som bygger på historiska data visat sig vara effektiva för många problem, finns det begränsningar när de ska anpassas till flygsäkerhetskritiska uppgifter. Ett stort hinder är AI-modellers "black box"-beteende, som gör att analytiker, utredare eller säkerhetsbedömare inte kan identifiera sambandet mellan verkan och orsak. En annan utmaning är bristen på anpassningsförmåga, vilket kan leda till dåliga beslut i nya situationer. Särskilt stor är risken när sådana lösningar verkar trovärdiga eller korrekta men egentligen är felaktiga eller vilseledande. Detta kan inträffa när AI-modellen skapar information, detaljer eller svar som inte baseras på den data den tränats på eller någon faktisk verklighet, utan snarare extrapolerar baserat på mönster den lärt sig. Av dessa skäl har användningen av AI för att stödja flygledare i flygsäkerhetskritiska uppgifter hittills setts med kritiska ögon. I gränsfall kan AI nämligen ge felaktiga resultat och farliga lösningsförslag, vilket kan överraska operatören (”Automation Surprise”). Detta är särskilt farligt eftersom operatörerna riskerar vänja sig med en AI som i de allra flesta situationer fungerar som avsett (eng. "Automation Complacency"). Sådana fenomen som hallucinationseffekten anses vara betydande hinder som måste övervinnas för att AI-stödda verktyg ska kunna införas på flygsäkerhetskritiska områden. Som en fortsättning på SB2030-projektet syftar detta projekt till att utforska lösningar som stöder flygsäkerhetsbedömningen av AI-verktyg för AI-certifiering inom flygtrafikledning. Fokus ligger på de problem som nämns ovan och i synnerhet hallucinationseffekten som beskriver fenomenet att AI-modeller ger ogiltiga lösningar utanför det fördefinierade "operational envelope" som det var avsett att fungera i.Summary: Artificial intelligence (AI)-based operational solutions for air traffic control automation and support tools are an active area in various research and development projects, for example in conflict detection, conflict resolution, automatic information services and remote tower visual tracking. In order for solutions based on AI to be deployed, methods for flight safety assurance and certification need to be developed. While AI tools based on historical data have proven to be effective for many problems, there are limitations when adapting them to safety-critical tasks. A major obstacle is the "black box"-behaviour of AI models, which prevents analysts, investigators or safety assessors from identifying the link between effect and cause. Another challenge is the lack of adaptability, which can lead to poor decisions in new situations. The risk is particularly high when such solutions appear credible or correct but are actually incorrect or misleading. For these reasons, the use of AI to support air traffic controllers in safety-critical tasks has so far been viewed with critical eyes. In borderline cases, AI may produce erroneous results and dangerous solution suggestions, which can surprise the operator ("Automation Surprise"). This is particularly dangerous because operators risk becoming used to an AI that in the vast majority of situations works as intended (Automation Complacency). Such phenomena as the hallucination effect are considered as significant barriers that need to be overcome for the introduction of AI-supported tools in safety-critical areas. As a continuation of the SB2030 project, this project aims to explore solutions supporting the safety assessment of AI tools for AI certification in air traffic management. The focus is on the problems mentioned above and in particular the hallucination effect that describes the phenomenon of AI models providing invalid solutions outside the predefined operational envelope in which it was intended to operate.
Item type: