Så sätter du en tokenbudget för AI per avslutat kundärende
Token mäter modellens användning. En ärendebudget fångar även nya försök, betalda verktyg och tiden som går åt till att granska svaret. Jämför två arbetssätt på samma avslutade uppgift.
Följ ett ärende hela vägen
Anta att en supportassistent sorterar ett mejl, hämtar ett stycke ur en policy och skriver ett svarsförslag. Det kan kräva flera anrop till modellen innan kunden får ett svar. Ge ärendet en intern referens och summera alla anrop, även om något måste köras om. Samla användningsmått och verktygsavgifter under samma referens. Kundens meddelande kan ligga kvar i ärendesystemet när kostnaderna sammanställs.
Räkna på de ärenden som faktiskt är avslutade
Anta att 80 ärenden avslutas under en vecka och att modell och verktyg för just dessa ärenden kostar 12 euro. Den tekniska kostnaden blir 0,15 euro per ärende. Om granskningen tar fyra timmar till en antagen kostnad på 30 euro i timmen blir summan 132 euro, eller 1,65 euro per avslut före infrastruktur och andra omkostnader. Följ öppna ärenden i en separat grupp tills den slutliga kostnaden är känd.
Undersök effekten av ett kortare underlag
Utgå från aktuella priser för vald modell och skilj på indata, cachade indata och utdata om leverantören tar olika betalt. Pröva att skicka med enbart det relevanta policyavsnittet. Jämför svaren för samma urval av frågor, även en ovanlig begäran. Räkna med extra granskning och ärenden som öppnas igen om svaren blir för knapphändiga.