L'adoption de l'IA est actuellement entravée par les dépenses élevées en jetons et le manque de clarté initiale des prix pour les demandes d'IA, ce qui entraîne des dépenses excédentaires de jetons incontrôlées.Ce risque est considérablement amplifié par les agents de l'IA., qui fonctionnent actuellement sans restrictions de coût de jeton intégrées et peuvent déclencher des explosions de coût extrêmes.
Cet article explique ce que sont les jetons d'IA, comment fonctionnent les prix des jetons et les stratégies exploitables pour prévenir les dépenses de jetons catastrophiques.Un cas d'entreprise bien documenté a vu une organisation accumuler 500 $,000L'équipe d'ingénierie d'Uber aurait épuisé son budget d'IA de 2026 avant la date prévue.Les jetons sont les unités fondamentales que les grands modèles de langage (LLM) et les chatbots utilisent pour décomposer les invites de langage humain et générer des sorties d'IA cohérentes.
Par exemple, l'invite de saisie Parlez-moi de la sédimentation est divisée en composantes de jetons discrètes:
- Dis le moi.
- Pour moi.
- À peu près
- sédiments
- de l'emploi
Cette ventilation de cinq jetons pour le seul mot "sédimentation" aide les LLM à interpréter avec précision la structure et la signification des mots.La séparation de la racine sediment et du suffixe ation permet au modèle de reconnaître l'utilisation cohérente du suffixe dans de nombreux noms.Cette approche réduit le champ de recherche du modèle dans sa base de données,réduire le temps de traitement au lieu de scanner chaque mot contenant un suffixe individuellement.
En tant qu'unités de données de base, les jetons sont convertis en embeddings vectoriels, des chaînes numériques mathématiques qui encodent la signification sémantique et sont stockées dans des index de modèle.le modèle génère plusieurs vecteurs pour représenter ses attributs multidimensionnelsCes ensembles de vecteurs uniques distinguent le chat des objets inanimés, d'autres espèces animales comme les chiens et les tigres,et jouets synthétiques pour chats.
Une intégration vectorielle hypothétique en cinq dimensions pour le terme "cat" peut être exprimée comme [1.5- Je suis désolé.4, 7.219 ans.6, 20.2).
Toutes les données vectorielles existent dans un espace vectoriel unifié, permettant aux modèles d'identifier un contenu sémantiquement similaire en mesurant la proximité spatiale entre les points vectoriels.
Une fois convertis en vecteurs, les jetons sont traités sur des serveurs GPU coûteux équipés d'une mémoire à large bande passante.Un NVIDIA DGX SuperPOD avec 32 nœuds et 256 GPU au total coûte entre 12 et 20 millions de dollarsUne architecture de référence plus avancée avec 140 nœuds DGX H100, réseautage InfiniBand Quantum-2, stockage complet et infrastructure réseau, et systèmes de support peuvent dépasser 100 millions de dollars.Ces coûts d'infrastructure substantiels se reflètent directement dans les systèmes de tarification symbolique des modèles de fondation traditionnels..
Les principaux fournisseurs de LLM et de chatbots, y compris OpenAI et Anthropic, adoptent des modèles de facturation basés sur des jetons, avec des règles de conversion de jetons prévisibles pour le contenu textuel.un jeton anglais équivaut à environ quatre caractères ou 0.75 mots, ce qui signifie que 750 mots correspondent à environ 1 000 jetons. Notamment, les invites d'entrée et les réponses de sortie générées consomment des jetons. Par exemple, une invitation d'entrée de 750 mots couplée à un 2,La sortie d'IA de 000 mots consomme environ 3 667 jetons au total.
Une consommation de jetons plus élevée prolonge directement la latence de réponse de l'IA. Tous les jetons d'une seule session de réponse instantanée sont contenus dans une fenêtre contextuelle de capacité finie.La fenêtre de contexte de 000 jetons peut contenir environ 751000 mots anglais, équivalent à un livre de 300 pages.
Une capacité insuffisante de fenêtre contextuelle entraîne la perte d'informations contextuelles par les LLM, ce qui conduit à des sorties d'IA incomplètes ou inexactes.GPT-4o prend en charge jusqu'à 128,000 jetons, Claude 3.5 Sonnet atteint 200 000 jetons, et certains utilisateurs Gemini 1.5 Pro peuvent accéder à une fenêtre contextuelle de 2 millions de jetons.
Les prix des jetons varient selon les fournisseurs de modèles.
Selon Intuition Labs, l'API ChatGPT d'OpenAI fonctionne sur une structure de facturation purement basée sur des jetons.avec des jetons de sortie coûtant généralement plus cher. Les prix fluctuent également en fonction de l'état de réponse en cache. Chaque appel API entraîne deux frais distincts: un pour les jetons d'entrée instantanés et un pour les jetons de sortie générés par l'IA.l'utilisation d'un modèle au prix de 10 $ par million de jetons de sortie pour 100 jetons d'entrée et 400 jetons de sortie entraîne des coûts d'entrée de 10 × 100/1,000, 000) et des coûts de production de 10 × 400/1,000, 000), les dépenses totales étant égales à la somme des deux chiffres.
Les entreprises peuvent déployer des contrôles de gouvernance ciblés pour limiter les dépenses de jetons, y compris les quotas par utilisateur ou par siège, la limitation du trafic basée sur l'utilisation, les limites de dépenses par projet,et restrictions de niveau de modèleCe domaine de la gouvernance évolue rapidement, les fournisseurs d'IA étant en concurrence pour optimiser la qualité des services, équilibrer les sources de revenus et rivaliser avec les modèles d'IA open source.
Les agents d'IA introduisent une toute nouvelle couche de risque de coût des jetons.Les experts de l'industrie recommandent de traiter les agents de l'IA comme des employés numériques, les équipes FinOps mettant en œuvre une surveillance rigoureuse des dépenses 24 heures sur 24 afin d'éviter les catastrophes de coûts.
La Commission a examiné les informations fournies par les autorités chinoises.
Sandy Yang, directeur de la stratégie mondiale
WhatsApp ou WeChat: +86 13426366826
Le courrier électronique: yangyd@qianxingdata.com
Le site Web est le suivant: www.qianxingdata.com/www.storagesserver.com
En ce qui concerne les affaires
Distribution de produits TIC/Intégration des systèmes et services/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous travaillons en partenariat avec des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
Utiliser la technologie pour bâtir un monde intelligentVotre fournisseur de services de produits TIC de confiance!
Votre message doit contenir entre 20 et 3 000 caractères!
French
