Metodik för sammanfattningar av rapporter med stora språkmodeller, GPT: För användning av cirkulära material i vägkonstruktion

Denna delstudie har genomförts inom ramen för Trafikverksprojektet Cirkulära material i vägar, där målet är att möjliggöra ett ökat och mer systematiskt användande av cirkulära och sekundära material i vägkonstruktioner. För att dessa material ska kunna ersätta traditionella jungfruliga material krävs tillförlitliga metoder för att fastställa deras funktionella egenskaper, särskilt stabilitet och styvhet. Litteraturstudien som ingår i huvudprojektet omfattar ett stort antal nationella och internationella rapporter, vilket medför ett omfattande manuellt arbete. I detta delprojekt undersöks därför om stora språkmodeller (LLM), specifikt GPT, kan användas för att effektivisera arbetet genom att generera strukturerade och tekniskt inriktade sammanfattningar av rapporter. Arbetet har baserats på en iterativ utveckling av prompter för att styra språkmodellen GPT-4o. Rapporternas textinnehåll konverterades till ren text och inkluderades som indata i prompten, som definierade modellen som frågor till en vägbyggnadsexpert och specificerade vilka rubriker och vilket fokus sammanfattningarna skulle ha. För stora rapporter sammanfattades de mest relevanta kapitlen separat. Dessutom genomfördes tester där GPT användes för att besvara frågor om de sammanfattade rapporterna, både enskilt och i grupp. Resultaten visar att GPT generellt levererar sammanfattningar av god kvalitet, som i huvudsak är korrekta och relevanta när prompten är tydligt utformad. Sammanfattningarna är ofta språkligt omformulerade men återger i regel rapporternas centrala innehåll. Begränsningar identifierades framför allt när viktig information från tabeller, figurer och diagram gått förlorad vid konvertering till text, vilket kan påverka sammanfattningarnas fullständighet. Vid tvärjämförelser mellan många rapporter samtidigt var resultaten mer varierande, och det förekom felaktigheter även när tabellformat användes. Slutsatsen är att stora språkmodeller kan användas för att sammanfatta vetenskapliga texter på expertnivå, men att resultaten behöver granskas av ämneskunniga personer. Metodiken med strukturerade och iterativt utvecklade prompter bedöms vara väl lämpad för litteraturstudien och ger ett användbart underlag för projektets fortsatta arbete med val av provningsmetoder och material.