L'IA se developpe fortement les centres de donnees doivent exploiter au maximum la puissance des GPU (processeurs graphiques) pour repondre a une demande de traitement enorme. Dans ce contexte la societe Tensormesh vient de recevoir un investissement de 4 5 millions de dollars US en tete de serie dirige par Laude Ventures et avec la participation de Michael Franklin - un expert de premier plan en matiere de base de donnees.
Cet argent est utilise pour developper la version commerciale de LMCache un outil open source construit par le cofondateur Yihua Cheng. LMCache permet de reduire jusqu'a 10 fois les coûts d'exploitation de l'IA et est actuellement utilise par Google et Nvidia. Tensormesh souhaite transformer cette technologie en produit commercial aidant de nombreuses autres entreprises a l'appliquer facilement.
Le point essentiel de LMCache est le cache de memoire de deverrouillage-prix (KV cache) qui permet au systeme de stocker et de reutiliser les donnees traitees au lieu de les supprimer apres chaque demande comme la methode traditionnelle. Tensormesh conserve les donnees importantes ce qui permet au modele d'IA de repondre plus rapidement et d'economiser plus de ressources. Cette methode est particulierement efficace pour les applications de chatbots ou d'assistants virtuels ou le modele doit constamment referencer l'historique des conversations ou des
Selon le PDG Junchen Jiang bien que les grandes entreprises d'IA puissent tout a fait construire elles-memes des systemes similaires ce processus necessite de nombreux ingenieurs et prend des mois pour etre acheve. « Avec Tensormesh ils peuvent reduire considerablement le temps et les coûts » a-t-il declare.
Avec une orientation axee sur l'optimisation de la memoire et de la puissance GPU Tensormesh devrait devenir une piece importante de l'infrastructure mondiale de l'IA alors que la demande de calcul augmente sans precedent.
