Vad väntar inom AI-forskningen?

Allt eftersom AI-modeller blir varor på en marknad, växer fokus på prestanda och samtidigt göra dem mindre och snabbare. Ett sätt att göra det är att träna en mindre modell med hjälp av mer träningsdata. Ta exempelvis ”Chinchilla”, en LLM utvecklad 2022 av Google DeepMind. Den överträffar OpenAI:s GPT3, trots att den är en fjärdedel så stor. Den tränades på fyra gånger så mycket data. En annan metod är att minska den numeriska precisionen hos de parametrar som modellen innehåller. Ett team vid University of Washington har visat att det är möjligt att klämma in en modell i Chinchillas storlek på ett enda grafikkorts-chip, utan märkbart försämrad prestanda. Viktigast av allt är att små modeller är mycket billigare att köra över tid. Vissa kan till och med köras på en laptop eller smartphone.

Nästa punkt är data. AI-modeller är förutsägelse­maskiner som bli mer effektiva när de tränas på mer data. Men fokus skiftar också från ”hur mycket” till ”hur bra”. Det är särskilt relevant när det blir svårare att hitta mer träningsdata. En analys 2022 menade att tillgången på ny, högkvalitativ text kan börja sina. Att använda utmatningen från AI-modeller för att träna framtida modeller kan göra dem mindre kapabla – användningen av LLM:er gör alltså internet mindre värdefullt som källa till träningsdata. Men kvantitet är inte allt. Att hitta rätt blandning av träningsdata är fortfarande mer av en konst än en vetenskap. Och modellerna tränas allt mer på kombinationer av olika data, inklusive naturligt språk, datorkod, bilder och till och med videor, vilket ger dem nya möjligheter.

Vilka nya tillämpningar kan dyka upp? Det finns viss ”eftersläpning” när det kommer till AI, tekniken har utvecklats snabbare än vår användning av den. Det handlar mindre om att visa vad som är möjligt, och mer om att komma på vad som är praktiskt. De viktigaste framstegen kommer inte att finnas i kvaliteten på själva modellerna, utan i att kunna använda dem mer effektivt.

För närvarande finns det tre huvudsakliga användningssätt. För det första, ”prompt-ingenjörskonst”, som tar modeller som de är och ger dem specifika uppmaningar. Det handlar om att mata in rätt saker, ställa rätt frågor för att styra modellen till önskat resultat. För det andra kan man ”finjustera” en modell för att göra den bättre på en specifik uppgift. Detta innebär att ge en befintlig modell en extra träningsomgång med hjälp av en smal uppsättning data, skräddarsydd för en viss uppgift. Exempelvis kan en LLM finjusteras med hjälp av rapporter från medicinska tidskrifter för att bättre kunna besvara medicinska frågor. För det tredje kan man bädda in en LLM i en större, mer kraftfull arkitektur. En LLM är som en motor, och för att använda den i en viss tillämpning behöver du bygga bilen runt den.

Ett exempel på detta är ”inhämtningsförstärkt generation”, där man kombinerar en LLM med extra programvara och en kunskapsdatabas för ett specifikt ämne, för att minska risken för felaktiga svar. När man ställer en fråga, söker systemet först igenom databasen. Om det hittar något relevant skickar det sedan frågan, ihop med faktainformationen, till LLM och ber om ett svar baserat på detta. Att på så sätt lägga till källor innebär att användarna kan vara tryggare med att svaren är korrekta. Det gör också LLM:en mer anpassningsbar, likt Googles NotebookLM, som låter användare lägga in egna kunskapsdatabaser.

Mitt i allt fokus på AI:s kommersiella potential, fort­sätter jakten på artificiell generell intelligens. LLM och andra former av generativ AI kan vara steg på vägen, men kanske inte det slutgiltiga svaret. Som Chris Manning vid Stanford University uttrycker det: det finns ”ingen anledning att  tro … att detta är den ultimata neurala arkitekturen, och att vi aldrig kommer att hitta något bättre”.