Peu de temps après la sortie du dernier modèle de DeepSeek, un autre géant de l’IA a déjà repris le dessus.
Cette semaine, Google a annoncé Gemini 2.5, son modèle « le plus intelligent ».
Selon l’entreprise, il s’agit d’une « version expérimentale de la version 2.5 Pro, à la pointe de la technologie sur un large éventail de benchmarks et se hissant largement en tête du classement LMArena ».
Testé sur un nouveau benchmark encore plus exigeant
Plus particulièrement, Gemini 2.5 Pro Experimental a surpassé o3 mini d’OpenAI et Claude 3.7 Sonnet d’Anthropic sur Humanity’s Last Exam (HLE), un benchmark récemment créé pour lutter contre la saturation, ou le problème de la trop grande facilité des tests industriels pour les modèles en évolution rapide.
HLE est donc un test relativement plus difficile à réussir.
Gemini 2.5 a obtenu un score de 18,8 % contre 14 % pour o3 mini (évalué uniquement à l’aide de problèmes de texte, sans images) et 8,9 % pour Claude 3.7 Sonnet.
© J Studios/Getty Images
Des améliorations en termes de raisonnement et de multimodalité
Déjà en tête du classement Chatbot Arena, le nouveau modèle a également surpassé ses concurrents sur les critères de référence courants en sciences, mathématiques et codage, mais généralement avec une marge plus faible, ce qui est désormais prévisible compte tenu de la rapidité avec laquelle les nouveaux modèles évoluent.
Google a indiqué que Gemini 2.5 Pro Experimental présentait des améliorations en termes de raisonnement, de multimodalité et de capacités d’agent, même à partir d’une simple ligne de commande.
Google a annoncé que Gemini 2.5 Pro est disponible dès aujourd’hui avec une fenêtre contextuelle d’un million de jetons pour les utilisateurs de Gemini Advanced via Google AI Studio et l’application Gemini, et qu’il sera bientôt disponible sur Vertex AI. L’entreprise a ajouté qu’elle publierait les tarifs dans les prochaines semaines.