Une grande partie du débat sur l’intelligence artificielle (IA) dans l’entreprise, en particulier pour l’IA générative (Gen AI), se concentre sur les statistiques. Par exemple le nombre de projets en cours de développement. Ou bine les économies prévues grâce à l’automatisation. Et les avantages restent très hypothétiques.
Il peut donc être utile d’écouter les utilisateurs de l’IA générative, comme je l’ai fait lors d’un dîner organisé à New York la semaine dernière par le fournisseur d’entrepôts de données Snowflake.
L’impression générale est qu’il existe des cas d’utilisation significatifs pour l’IA, qui peuvent commencer à produire des bénéfices dans les six mois ou moins suivant la mise en œuvre.
Les commentaires de deux clients suggèrent que les entreprises créent de la valeur en se lançant dans l’IA avec des cas d’utilisation très simples, après seulement quelques jours, semaines ou mois de production.
De l’IA pour mieux classer et filtrer les courriels
Thomas Bodenski est le directeur de l’exploitation et responsable de l’analyse de TS Imagine, qui vend une plateforme de négociation de titres boursier en mode cloud.
« Chaque année, et cela arrive souvent, quelqu’un à qui nous achetons des données m’envoie un courriel pour me dire que dans trois mois, ils feront un changement », a expliqué M. Bodenski. « Si je ne suis pas prêt, ce sont 500 clients qui seront en panne », ce qui signifie qu’ils ne pourront pas effectuer de transactions. « Il est donc essentiel de lire tous les courriels qui nous parviennent ».
M. Bodenski poursuit : « Ce courriel arrive, je dois le classer, je dois le comprendre, je dois le déléguer aux bonnes personnes, dans les différents services, pour qu’elles prennent les mesures qui s’imposent – cette tâche me coûte 4 000 heures par an. »
Cette tâche incombe traditionnellement à « une équipe mondiale » qu’il supervise. Il y a au moins deux personnes et demie « équivalent temps plein », dit-il. « Maintenant, c’est moi qui m’en occupe : « Maintenant, je le fais à 3 % du coût des personnes qui feraient ce travail », en utilisant une application d’IA générative.
« Vous prenez le salaire moyen et vous calculez ensuite combien vous dépensez pour Snowflake, et cela ne représente que 3 % de ce coût ».
Ce programme de lecture des courriels a été la première application que TS Imagine a créée avec l’aide de Snowflake, a déclaré M. Bodenski. Il a été construit à l’aide des LLM open-source Llama de Meta Platforms et de l’alternative open-source de Snowflake, Arctic. Ces grands modèles linguistiques utilisent la génération augmentée par récupération (RAG), où le modèle puise dans une base de données externe.
L’application « a nécessité six mois d’apprentissage par essais et erreurs », a déclaré M. Bodenski. Ce processus a commencé avant que TS Imagine n’entretienne une relation avec Snowflake.
« Puis Snowflake a présenté Cortex AI », le service d’inférence LLM géré par Snowflake. « Nous avons migré l’ensemble du pipeline RAG en quatre jours ».
Le service Cortex AI a permis à Bodenski de classer les courriels entrants des clients en fonction de leur sensibilité, de leur urgence et d’autres paramètres. Ce qui n’aurait pas été possible auparavant « parce que je ne lis pas les 5 000 courriels des clients qui arrivent chaque mois ».
Grâce à la classification, M. Bodenski explique que « détecter les incendies avant même qu’ils ne prennent ». C’est-à-dire des incidents avec des clients. « C’est fiable, je n’ai aucun problème, je ne manque pas un seul courriel ».
TS Imagine a maintenant six applications opérationnelles utilisant la Gen AI dit M. Bodenski, « et je vais en faire beaucoup plus. L’IA va continuer à construire nos cerveaux ».
Du résumé d’email en plus des applications Microsoft Office
S&P Global Market Intelligence a vécu une expérience similaire, selon Daniel Sanberg, responsable de la « recherche fondamentale » pour l’entreprise.
L’entreprise de M. Sanberg a mis en œuvre une application interne appelée Spark Assist, en plus de ses applications Microsoft Office. Désormais, l’entreprise peut générer automatiquement des résumés d’e-mails.
« L’IA Gen est suffisamment intelligente pour savoir quels sont les messages les plus pertinents qui requièrent mon attention immédiate et quels sont ceux qui doivent peut-être être retirés de la liste des priorités. Je dis simplement [au modèle d’IA] : « Vas-y, rédige une réponse à ces messages », puis je les vérifie ».
L’application est utilisée par 14 000 employés de S&P Global, a déclaré M. Sanberg. « Je ne pense pas que je pourrais revenir en arrière », a-t-il déclaré, faisant référence à l’ancienne méthode qui consistait à essayer de trier et de passer au crible les courriels manuellement.
Mais le retour sur investissement de ces applications justifie-t-il le coût de leur création et le coût de l’inférence ? « Je dirais, le doigt dans l’engrenage, que oui », a déclaré M. Sanberg, tout en ajoutant : « Je pense que nous sommes encore en train de dimensionner tout cela ».
« Le prix actuel pour 1 000 questions est de 200 dollars »
Baris Gultekin, responsable de l’IA chez Snowflake, mentionne que « le prix actuel pour 1 000 questions est de 200 dollars, soit 20 cents par question. Il s’agit d’une question à laquelle un analyste devrait répondre. Celui-ci rédigerait la requête SQL pour chacune d’entre elles. Imaginons donc 1 000 requêtes SQL. Chacune prend, disons, 10 minutes. Vous voyez le retour sur investissement : 10 minutes par question, 1 000 questions, contre 200 dollars ».
Bien sûr, vingt centimes par-ci et vingt centimes par-là peuvent s’additionner rapidement. L’essentiel est d’être en mesure de prévoir l’augmentation des coûts au fur et à mesure que l’inférence se met en place.