De lengte van vragen aan AI en de antwoorden wordt in tokens geteld. Het aantal tokens bepaalt de kosten en hoeveel informatie het model tegelijk kan verwerken.
Wat betekent dit in de praktijk?
Tokens zijn kleine stukjes tekst, zoals delen van woorden, hele woorden of tekens. Een AI-model knipt tekst in tokens voordat het die verwerkt. De lengte van een vraag, de context en het antwoord worden in tokens gemeten. Een Nederlands woord bestaat vaak uit meer dan één token.
Waarom is dit belangrijk voor je bedrijf?
Het aantal tokens bepaalt wat het kost om AI via een API te gebruiken. Het bepaalt ook hoeveel informatie het model tegelijk kan ‘onthouden’, het zogenoemde contextvenster. Daarom hebben AI-toepassingen vaak gebruikskosten.
Voorbeelden en goede praktijken
- Korte, concrete prompts zijn goedkoper en werken vaak beter.
- Lange documenten kunnen groter zijn dan het contextvenster van het model.
- Nederlandse tekst kost meestal meer tokens dan Engelse tekst.
- De kosten hangen af van het model, want sterkere modellen kosten meer per token.
Zo doen wij het bij Ikoon
Bij de AI-modules van Ikoon, zoals de AI-chatassistent 24/7, AI-antwoorden op Google-reviews en AI-blog- en socialmediaberichten, regelen wij de techniek op de achtergrond. Je hoeft zelf geen tokens te tellen.