Inference
Processen med at køre en trænet AI-model for at generere et svar — det der sker, hvert gang du sender en prompt.
I AI-sammenhæng er inference den fase hvor en allerede trænet model bruges til at generere output. Det er adskilt fra træningsfasen, hvor modellen lærte sine mønstre.
Træning er dyr og sker sjældent — det kræver enorme mængder data og beregningskraft og tager dage til uger. Inference er billigere og sker konstant: hvert svar en model genererer er én inference.
Inference er vigtig at kende til fordi det er her de fleste omkostninger og forsinkelser i AI-produkter opstår. Hostede modeller (OpenAI, Anthropic) fakturerer per inference. Virksomheder der kører modeller lokalt skal dimensionere hardware til at håndtere mange samtidige inferences.
Hvert eneste svar Claude eller ChatGPT genererer er én inference: modellen er allerede trænet, og nu kører den bare — tager din prompt ind og genererer output token for token. Tusindvis af brugere sidder og kører inferences simultant på de samme modelvægte.