Dans un article publie recemment sur le blog le laboratoire a presente un projet de construction d'un modele d'IA avec des reponses coherentes et regenerables.
L'article intitule 'Resister a l'incertitude dans la pensee LLM' (LLM est un modele linguistique avec une capacite globale a creer un langage et d'autres taches de traitement du langage naturel. LLM a cette capacite en apprenant des relations statistiques a partir de documents dans le processus de formation a la supervision autonome et semi-autonome hautement competitif). Selon la communaute c'est intrinsequement la nature de l'IA mais Thinking Machines considere cela comme un probleme resolu.
Horace He - chercheur en laboratoire estime que l'aleatoire decoule de l'arrangement dans le processus de raisonnement. Il fait valoir que si l'on controle strictement la couche de coordination (GPU) le modele peut etre plus decisif donnant ainsi des resultats stables.
En plus d'aider les entreprises et les scientifiques a recevoir des reponses plus fiables le maintien d'un modele stable ameliore egalement le processus d'apprentissage renforce (RL). Parce que le RL a besoin de compliments pour les bonnes reponses mais les donnees seront perturbees si les reponses sont differentes a chaque fois. Selon Thinking Machines une reponse coherente aidera le RL a etre plus fluide. L'entreprise prevoit egalement d'utiliser le RL pour personnaliser le modele d'IA pour les entreprises selon des sources de The Information
Murati - qui etait autrefois directeur de la technologie d'OpenAI - a revele que le premier produit de Thinking Machines sera lance dans les prochains mois et qu'il sera utile aux chercheurs et aux startups pour developper des modeles personnalises. Cependant on ne sait pas encore ce qu'est ce produit et s'il appliquera ou non la recherche sur la reponse renouvelable.
Le laboratoire affirme egalement qu'il publiera regulierement des blogs des codes sources et des documents de recherche afin d'apporter des avantages au public et d'ameliorer la culture de la recherche interne. Cette façon de faire rappelle la phase initiale d'OpenAI lorsqu'il poursuit encore la recherche ouverte avant de devenir plus discret avec le developpement a grande echelle.
