Token
Den mindste enhed tekst en AI-model arbejder med — omtrent et halvt til et helt ord.
Når en AI-model læser eller genererer tekst, opdeler den ikke teksten i bogstaver eller hele ord — den bruger tokens. Et token er typisk et halvt til et helt ord, men kan også være et tegn, et tal eller et enkelt bogstav afhængigt af sproget og sammenhængen.
Tokens er vigtige af to grunde: for det første faktureres AI-modeller pr. token — både dem du sender (input) og dem du modtager (output). For det andet har modellerne en maksimal mængde tokens de kan håndtere i én omgang, kaldet kontekstvinduet.
Dansk bruger generelt lidt flere tokens end engelsk, fordi lange sammensætningsord og bøjningsformer opdeles i flere tokens.
Sætningen 'Jeg bor i København' svarer til cirka 6–7 tokens. En artikel på 1.000 ord er typisk 1.300–1.500 tokens. Sender du en AI en hel roman som kontekst, bruger du hurtigt kontekstvinduet op — og skal betale derefter.