Agenter som kombinerer Analytisk AI & Generativ AI

Les også: Forskjellen mellom analytisk og generativ kunstig intelligens

AI-agenter

Agenter drevet av kunstig intelligens (AI-agenter) er ikke lenger bare science fiction. Gartner har utpekt AI-agenter som den øverste teknologiske trenden for 2025 og estimerer at minst 15% av alle arbeidsbeslutninger vil tas av agentsystemer innen 20281,2. Tre år er en stund frem i tid, spesielt innenfor AI-feltet, men allerede i dag begynner teknologien å bli moden nok til at dette kan løse faktiske problemstillinger. Vi skal i dette innlegget vise et eksempel på agentsystem som kombinerer analytisk AI og generativ AI.

AI innen medisin

Undertegnede har spesialisert seg på medisinsk teknologi gjennom doktorgrad og Forsker-rolle ved NTNU. Prosjektet DeepInMotion utvikler, i samarbeid med St. Olavs hospital i Trondheim, et AI-basert beslutningsstøtteverktøy for tidlig diagnostisering av spedbarn med bevegelsesvansker3. Det falt derfor naturlig å utforske AI-agenter i konteksten av en medisinsk problemstilling.

Bildediagnostikk er et typisk eksempel på bruk av analytisk AI ved sykehus i dag. I Helse Sør-Øst var Vestre Viken HF tidlig ute med å bruke analytisk AI for å avdekke benbrudd4. En slik AI vil se etter spesielle mønstre eller strukturer i medisinske bilder, enten det er røntgen, MR, ultralyd eller andre typer, for å identifisere tegn som kan relateres til en bestemt diagnose. Microsoft har i samarbeid med Addenbrooke sykehus i Cambridge utviklet en slik metode for analyse av røntgenbilder5. Ved hjelp av analytisk AI undersøkes røntgenbilder for å identifisere avvik og markere relevante strukturer:

Disse oppdagelsene har likevel begrenset verdi uten å forstå hvordan de relaterer seg til pasientens helse og hva de ulike funnene indikerer. Derfor har Microsoft integrert denne metoden i et større system, CXRReportGen (også kalt MAIRA-2), der hvert funn tilgjengeliggjøres for medisinske eksperter gjennom en kort tekstlig beskrivelse. Dette gjøres ved at den analytiske AI’en kobles sammen med generativ AI i form av en språkmodell som tolker og beskriver funnene:

Beskrivelsene til CXRReportGen bærer riktignok fortsatt preg av teknisk sjargong og kan være vanskelige å tolke betydningen av for medisinsk personell uten relevant spisskompetanse. Dette er et typisk eksempel på at generativ AI tilpasser kommunikasjonsstilen ut ifra den rollen som den har fått tildelt. I dette tilfellet har språkmodellen fått beskjed om å etterligne en sakkyndig radiologiassistent:

Skulle vi istedenfor være interessert i å gjøre det enklere for generelt medisinsk personell å forstå disse funnene, eller til og med få anbefaling om hvordan resultatene kan kommuniseres tilbake til pasienten, må enten CXRReportGen tilpasses eller så kan vi selv innlemme denne metoden i et mer helhetlig system. Her kommer AI-agenter inn i bildet.

Agentsystem for analyse av røntgen

Vi kan se for oss scenarioet der en person (pasient) har blitt kalt inn til røntgenundersøkelse på sykehuset. Litt forenklet kan denne prosessen se slik ut:

Her er radiologen ansvarlig for å analysere røntgenbildene av pasienten og å formidle resultatene fra undersøkelsen til sykepleieren, slik at vedkommende forstår godt nok funnene til radiologen til å være i stand til å kommunisere dette tilbake til pasienten. Vi kan tenke oss at den medisinske spisskompetansen som radiologen besitter blir en flaskehals når et stort antall pasienter har behov for røntgenundersøkelse. Og når det i tillegg finnes AI-basert røntgenanalyse som er minst like nøyaktig som radiologer som arbeider under press6, kunne vi sett for oss en alternativ prosess der de fleste røntgenbildene blir analysert automatisk. Da kan radiologen istedenfor bli kontaktet av sykepleieren når den AI-baserte analysen ikke gir et entydig svar, og på denne måten konsentrere seg om de undersøkelsene der vedkommende kan utgjøre en forskjell. Vi har tatt for oss et slikt hypotetisk forløp for automatisk røntgenanalyse:

Her blir røntgenanalysen utført av et agentsystem bestående av to agenter. CXRReportGen-agenten har i oppgave å kjøre røntgenanalysemetoden CXRReportGen for å lage en rapport for funnene i røntgenbildene, mens CXRReportKom-agenten tolker disse funnene og forklarer dette til brukeren av agentsystemet (sykepleieren) på en forståelig måte.

Vi har utviklet proof of concept for dette agentsystem ved hjelp av lavkode-rammeverket AutoGen Studio7. For at AI-agentene skal være i stand til å kommunisere med brukeren og hverandre har de blitt koblet opp mot en OpenAI-språkmodell gjennom Azure AI. Brukeren samhandler med agentsystemet via AutoGen Studio sitt chatgrensesnitt:

Når brukeren kontakter agentsystemet, vil dette utløse en kjede av automatiske aktiviteter. Først leses meldingen av CXRReportKom-agenten, som har ansvar for kommunikasjonen med brukeren. Med utgangspunkt i henvendelsen fra brukeren om å få røntgenbildene analysert kontaktes CXRReportGen-agenten som har i oppgave å utføre analysen. Dette er CXRReportGen-agenten i stand til å gjøre ved å benytte seg av ferdigheten sin, som betyr å kjøre forhåndsskrevet Python-kode. Denne koden henter røntgenbildene av pasienten og sender disse til CXRReportGen-metoden som kjører som endepunkt i Azure Machine Learning. Når metoden har behandlet bildene og agenten har mottatt resultatene av analysen, lages en rapport basert på funnene:

Denne rapporten sendes tilbake til CXRReportKom-agenten, som vil gå i gang med å forenkle og forklare denne analysen for sluttbrukeren, gjennom bruk av generativ AI. CXRReportKom-agenten har blitt instruert til å tilpasse budskapet med utgangspunkt i at brukeren er en sykepleier og at vedkommende kommuniserer på norsk. Agenten har også på forhånd blitt fortalt at sykepleieren ønsker en anbefaling om hvordan resultatene fra røntgenanalysen kan formidles til pasienten. Når CXRReportKom-agenten er fornøyd med oppsummeringen sin, vil brukeren få det endelige svaret fra agentsystemet i chatgrensesnittet:

Hva skal jeg med AI-agenter?

I dette innlegget har vi vist et konkret eksempel på hvordan AI-agenter kan bidra i samfunnsrelevante problemstillinger. Det utviklede agentsystemet kombinerer analytisk AI i form av avansert mønstergjenkjenning med generativ AI sin evne til å tolke og formidle et komplisert budskap. Dette åpner opp muligheter for å automatisere kompleks problemløsning og samtidig gjøre resultatene tilgjengelig for målgruppen, slik vi illustrerte gjennom eksempelet for røntgenanalyse.

Agentsystemer kan på denne måten spille en viktig rolle i effektivisering og forbedring av arbeidsprosesser, og ikke minst gi oss tilgang til en digital sparringspartner som besitter dyp kunnskap om ulike fagfelt. AI-agenter kan for eksempel kontinuerlig overvåke infrastruktur som veier, strømnett, vannledninger og telenett ved hjelp av analytisk AI, og varsle om relevante hendelser eller avvik via generativ AI. Et annet eksempel på et agentsystem kan være å bruke analytisk AI til å oppdage trender i en virksomhets investeringer og ressursbruk, og deretter bruke generativ AI til å gi tilpasset økonomisk rådgivning. I Bouvet i Agder har vi undersøkt bruk av agentsystemer i interne prosesser, eksempelvis gjennom automatisert søk i CV-database for anbefaling om konsulenter som matcher en oppdragsbeskrivelse.

Selv om bruk av agentsystemer både kan frigjøre verdifull tid hos ansatte og bidra til å optimalisere eller redusere ressursene til en virksomhet, er utvikling av robuste agentsystemer, som med det meste annet, en prosess der øvelse gjør mester. Dersom agentene ikke har et tydelig nok mål eller instruks om hvordan de skal oppnå dette målet, kan man risikere at de gir oss et annet resultat enn vi er ute etter, eller at neste agent i rekken ikke vil være i stand til å utføre sin oppgave. Og jo flere agenter et slikt system består av, desto vanskeligere kan det være å sørge for at alle agentene samhandler. Vi håper at dette innlegget kan være til inspirasjon for de mulighetene AI-agenter åpner opp for, spesielt når analytisk AI og generativ AI komplementerer hverandre.

Teammedlemmer

Kilder

1. Gartner Top 10 Strategic Technology Trends for 2025.
https://www.gartner.com/en/articles/top-technology-trends-2025

2. Gartner Identifies the Top 10 Strategic Technology Trends for 2025.
https://www.gartner.com/en/newsroom/press-releases/2024-10-21-gartner-identifies-the-top-10-strategic-technology-trends-for-2025

3. DeepInMotion. https://www.ntnu.no/idi/deepinmotion

4. Vestre Viken i front innen kunstig intelligens. https://www.vestreviken.no/om-oss/nyheter/vestre-viken-i-front-innen-kunstig-intelligens

5. MAIRA-2: Grounded Radiology Report Generation. https://arxiv.org/abs/2406.04449

6. Development and validation of open-source deep neural networks for comprehensive chest x-ray reading: a retrospective, multicentre study. https://www.thelancet.com/journals/landig/article/PIIS2589-7500(23)00218-2

7. AutoGen Studio: A No-Code Developer Tool for Building and Debugging Multi-Agent Systems. https://arxiv.org/abs/2408.15247