#041 | Pourquoi les LLMs te pondent de la médiocrité presales à la demande ?

Aujourd'hui, je veux écrire un manifeste sur l'usage des LLM en avant-vente.

Cette intuition ne m'est pas venue d'un coup. Elle s'est installée gentiment, sur plusieurs mois et plusieurs opportunités, au fil de ma montée en compétence sur le très vaste sujet de l'IA.

Mon « rituel » ressemblait souvent à la même chose : quand une opp sérieuse se présentait avec une démo à préparer dans les semaines qui allaient venir :

1. J'ouvre Claude,
2. Je lui déballe le contexte (tel que je le connais) à partir d'un skill que j'ai créé pour automatiser ce genre de tâches,
3. Je demande un plan de discovery et une première trame de narration. En gros, un draft. La réponse arrive, souvent impeccable sur le papier, bien structurée, avec des transitions élégantes et un vocabulaire qui sent presque le séminaire de vente. Je lisais ça avec le sourire pendant trente secondes, grand maximum, avant de déchanter.

Ce que le modèle venait de me pondre, c'était exactement ce que j'aurais fait moi-même, en moins bien. Toutes les questions étaient des questions que je pose depuis près de quinze ans, sauf qu'elles étaient débarrassées de ce qui les rend efficaces sur le terrain.

Aucune n'allait chercher le vrai « nœud » sur le compte. Aucune ne touchait aux bras de fer internes dont je savais qu'ils décideraient de la suite du deal. Les questions étaient (trop) propres, comme des vêtements issus de la fast fashion, qui n'ont finalement que très peu de choses à dire.

Une fois, c'est de la malchance. Trois fois, c'est une coïncidence. Au bout de dix fois, sur dix contextes différents, dix verticales différentes et dix enjeux différents, il faut se rendre à l'évidence : ce n'est pas le compte qui pose problème.

Ma première réaction a été celle un peu bête de l'élève appliqué : c'est ma faute, je prompte mal. Alors j'ai fait ce que tout le monde fait : j'ai rallongé mes prompts, j'ai ajouté des rôles très précis « tu es un Solutions Engineer senior avec vingt ans d'expérience très spécifiquement sur X et tu es un expert de la discovery sur la verticale Y », comme si le modèle allait se redresser sur sa chaise et sortir un carnet.

J'ai testé quelques frameworks de prompting qui circulent (c'est la plupart du temps du grand n'importe quoi), et qu'on te vend en formation à trois cents balles la journée.

J'ai gratté, j'ai limé, j'ai optimisé.

Résultat : des réponses moyennes mais juste un poil mieux habillées. On est passé de H&M à Tommy Hilfiger, ce qui finalement ne change pas grand-chose.

C'est là que j'ai arrêté de bidouiller et que je suis allé voir sous le capot !

Ce réflexe-là, je ne l'ai pas inventé pour l'occasion. Dès 2018, avant que le monde entier ne se mette à parler d'IA générative, j'avais commencé à me former sérieusement au machine learning, notamment avec le Google ML Crash Course (que je recommande toujours chaudement), qui reste une des meilleures portes d'entrée sur le sujet. Et cette formation m'a renvoyé sans ménagement vers un territoire que je croyais bien enterré avec mes années universitaires en mathématiques appliquées : algèbre linéaire, calcul différentiel, probabilités. Ouch. Retrouver le joyeux monde (c'est une blague) des matrices et des descentes de gradient quand on gagne sa vie à faire signer des deals par la valeur de solutions logicielles, ça surprend son homme.

Les probabilités, c'est un des domaines pour lequel j'ai une facilité que je ne m'explique toujours pas. En deuxième année de DEUG MIAS, j'ai décroché un 20/20 au partiel de probabilités et statistiques, et nous n'étions pas foule dans ce cas-là puisque selon mon professeur, c'était le premier cas depuis dix ans. Le pire, c'est que je n'avais pas particulièrement bûché, ce qui rendait la chose vaguement indélicate vis-à-vis des camarades qui y passaient littéralement leurs nuits. Quelque chose là-dedans me parlait directement.

Des années plus tard, cette vieille intuition a fini par servir à quelque chose : elle m'a permis de regarder les LLMs pour ce qu'ils sont. La révélation a été assez désagréable au début, puis franchement libératrice : mon prompt n'y était pour rien. Ce que je prenais pour un défaut de réglage était la nature même de l'objet, et je passais mon temps à repeindre une façade en espérant que ça règle un problème de fondations.

On nous vend les LLMs comme de l'intelligence.

Commençons par le mot lui-même, parce qu'il n'est pas tombé du ciel ! Si tout le secteur tient tellement à parler « d'intelligence », c'est qu'il faut bien faire rêver ceux qui signent les chèques, et les chèques sont vertigineux : des data centers grands comme des quartiers, des puces facturées au prix d'une berline allemande à l'unité, des consommations électriques de petits pays. Personne n'a jamais levé des centaines de milliards en annonçant un dispositif « statistique performant » (qui est pourtant ce qu'est un LLM). Il fallait un mot qui fasse briller les yeux en comité d'investissement, on a pris celui-là, et toute la chaîne s'est engouffrée derrière avec un enthousiasme qui force l'admiration (ou pas).

Un modèle de langage ne réfléchit pas vraiment à ton deal : il prédit juste le mot suivant.

C'est tout. À chaque étape, il calcule une distribution de probabilités sur l'ensemble du vocabulaire, il regarde ce qui a le plus de chances de venir ensuite compte tenu de tout ce qui précède, et il tire une carte dans ce paquet-là. Puis il recommence, un mot après l'autre, jusqu'à la fin du paragraphe.

La vraie question qu'il se pose en permanence est « qu'est-ce qui viendrait normalement ici ». Normalement, c'est-à-dire fréquemment. Fréquemment, c'est-à-dire au centre de gravité de tout ce qui a été potentiellement écrit sur le sujet par l'humanité entière (ce que le modèle a appris).

Ajoute par-dessus la phase d'entraînement où on lui apprend à produire des réponses que les gens apprécient, et tu obtiens un lissage supplémentaire. Le modèle ne se contente plus de viser le milieu, il vise le milieu agréable, une sorte de consensus poli, c'est-à-dire une réponse dont personne ne peut dire qu'elle est fausse et dont personne ne peut dire qu'elle sert à quelque chose.

Cette machine est une extraordinaire fabrique de moyennes. Et quand je dis moyenne, je pense au mot que le français réserve à cet endroit précis, celui qu'on emploie comme une insulte alors qu'il ne fait que décrire une position : médiocre. Mediocris, en latin, désigne ce qui se tient à mi-hauteur. Ni en bas ni en haut mais pile au milieu. On a fini par en faire un jugement péjoratif, mais à l'origine c'est une simple indication de position.

Un LLM, quand tu le laisses conduire, t'emmène systématiquement ici. Il ne peut pas faire autrement. C'est sa nature, pas son défaut.

Maintenant, pose ça à côté de ce qu'on fait tous les jours en tant que SE ou même en tant qu'AE (c'est tout aussi valable). Un deal ne se gagne jamais parce que tu as fait ce que font tous les SE : il se gagne sur l'écart. Quelques exemples :

• La question que le concurrent n'a pas posée,
• L'angle de démo qui vient taper pile sur l'enjeu politique que personne n'ose nommer,
• Le silence de l'architecte en réunion, que tu décodes correctement pendant que ton AE continue de parler du ROI à 3 ans.

Notre valeur entière loge dans le delta. Et voilà qu'on confie la partie réflexion du métier à un outil dont la fonction mathématique est de produire le contraire du delta. C'est le paradoxe complet de cette histoire, et il est rarement formulé parce qu'il gêne tout le monde, à commencer par ceux qui vendent des solutions IA aux équipes avant-vente !

Il faut y ajouter un problème de corpus, qui aggrave sérieusement l'affaire. Quand tu demandes une stratégie de discovery à un modèle, il puise dans ce qui existe. Or ce qui existe, en matière de contenu presales, c'est une montagne de blogs des éditeurs de logiciels, de posts LinkedIn de coachs américains qui n'ont jamais vraiment été presales et des articles qui recyclent MEDDIC et BANT depuis 2015. Le modèle va donc s'inspirer de cela comme corpus de vérité absolue. Juste par honnêteté statistique. C'est ce qui pèse je crois le plus lourd dans la balance et qui me fait bondir de ma chaise assez souvent (typiquement quand je me dis « mais... qu'est ce que tu racontes mon bon vieux Claude ? »)

Ce qui fait la compétence réelle d'un SE n'est écrit nulle part :

• Que ton champion est en train de perdre son sponsor et qu'il ne le sait pas encore,
• Que le budget a déjà été fléché ailleurs et que la consultation est une sorte d'alibi déguisé,
• Que le type de l'IT pose des questions techniques pointues parce qu'il protège la solution maison qu'il a construite et qu'il ne laissera pas mourir sans se battre,

Ce savoir-là est tacite, contextuel, et surtout jamais publié. Personne n'écrit d'article de blog intitulé « expertise presales : comment j'ai compris que le DSI mentait en réunion à la façon dont il a reposé son stylo BIC ».

Le modèle ne peut pas te le restituer. Il ne l'a jamais lu.

Il y a une conséquence à tout ça, et je la trouve franchement inquiétante pour notre métier et pour l'ensemble des organisations Sales.

Le SE d'en face, celui qui prépare la même soutenance que toi pour le même client, utilise plus ou moins le même modèle (en ce qui me concerne, le modèle n'est en soi plus vraiment un sujet...). Si vous laissez tous les deux la machine faire le travail de réflexion, vous allez produire deux livrables qui se ressemblent comme deux gouttes d'eau : même structure, même vocabulaire, mêmes questions, même promesse de valeur formulée avec les mêmes tournures.

L'outil censé te différencier est en train de t'aligner sur ton concurrent. À l'échelle du marché, ça donne une homogénéisation progressive des approches avant-vente, où tout le monde arrive avec le même plan de découverte et la même trame de démo, et où le client finit par ne plus voir que le prix parce qu'il ne voit plus rien d'autre !

Le jour où tu comprends ça, tu comprends aussi que le seul terrain qui reste défendable est précisément celui que la machine ne peut pas occuper : ton contexte propre, ton expertise business, ton intuition, ton jugement, ta lecture politique du compte.

Il y a un dernier mécanisme, plus vicieux, et celui-là relève de la psychologie pure.

Un texte bien écrit paraît vrai : c'est un biais documenté et vieux comme le monde. La fluidité d'un propos est perçue comme un indice de sa justesse. Quand une machine te rend un document structuré, sans une hésitation, ton cerveau baisse la garde. Et il la baisse d'autant plus volontiers qu'il est vingt-deux heures trente, que la démo est demain matin, et que la perspective de tout reprendre à zéro te donne envie de pleurer.

C'est exactement la même mécanique que la démo générique qu'on ne customise pas faute de temps, sauf que cette fois la paresse cognitive arrive habillée en costume trois-pièces.

Et par-dessus, il y a la complaisance. Ces modèles sont entraînés pour que tu sois content et que tu reviennes. Demande-leur si ta stratégie sur un deal tient la route, tu recevras un oui bienveillant assorti de trois nuances délicates et d'une suggestion d'amélioration cosmétique. C'est le contraire absolu de ce dont un SE a besoin ! Un SE a besoin qu'on lui dise où il se plante... et de préférence avant le client. Tu as face à toi un interlocuteur structurellement incapable de te dire que tu vas dans le mur, et tu lui demandes de valider ton plan de bataille.

Ça ne peut pas bien finir.

Alors non, je ne suis pas en train de te dire de fermer Claude et de retourner au Post-it. J'utilise ces outils tous les jours et je serais très embêté de m'en passer...

La différence entre les deux types d'usages que l'on peut faire d'un LLM en tant que SE/AE est pourtant très nette, et elle tient en une seule question : d'où vient le contexte ?

Quand le contexte vient de toi, les résultats sont excellents. Tu as pris quarante minutes de notes en call, tu veux une synthèse structurée pour ton AE : parfait. Tu as ton analyse du compte en tête, tu veux la faire challenger sous cinq angles différents : très efficace. Tu as un raisonnement déjà construit, tu veux qu'on le mette en pièces : formidable. Tu veux dix formulations d'une même objection pour choisir celle qui sonne le mieux : imbattable. Dans tous ces cas, le modèle est une extension de tes capacités cognitives. Tu penses, il exécute, tu vas plus vite et plus loin. C'est top.

Quand le contexte doit venir de lui, c'est la débandade et le début des gros problèmes. Décider de la stratégie sur un deal, trouver l'angle de démo qui va faire mouche, juger un rapport de force politique, qualifier une opportunité : là, tu demandes à une moyenne statistique de produire un différenciateur. Autant demander à un thermomètre de faire monter la température.

Voilà mon manifeste, et il tient en une ligne si tu dois garder un truc à la fin : le LLM est une extension de ta pensée, jamais un sous-traitant de ta pensée. Le jour où tu franchis cette frontière, tu perds ton avantage.

Et sur la durée, tu perds bien davantage qu'un avantage commercial ! Un cerveau obéit à la même logique d'économie qu'un muscle : ce qu'on cesse de solliciter, le corps finit par le laisser filer, parce qu'entretenir une fonction inutilisée coûte de l'énergie pour rien. Chaque fois que tu sous-traites une analyse que tu étais capable de mener, tu sautes une séance. Chaque fois que tu acceptes une structure toute faite pour t'épargner l'inconfort de construire la tienne, tu sautes une séance. Pendant deux ans, personne ne remarque quoi que ce soit. Et puis un jour tu te retrouves devant une situation vraiment tordue, sans machine et sans filet, et tu découvres que le raisonnement ne vient plus avec la même facilité qu'avant.

On aura les premiers retours sérieux dans une dizaine d'années, et j'ai la conviction que la note sera nettement plus salée que celle des réseaux sociaux. Les réseaux nous ont pris notre attention, ce qui était déjà cher payé. Là, on est en train de déléguer la faculté de réfléchir elle-même, et je vois mal ce qu'il reste à un être humain le jour où il a rendu celle-là. Je le dis sans dramatiser et sans détour : le risque est énorme, et il ne concerne pas seulement notre métier.

On passe au concret et à l'action ! Cinq choses à faire dès lundi :

1. Nourris le contexte avant de soigner le prompt ! Tout le marché du prompt engineering se trompe de levier. Un prompt malin sur un contexte vide te rend de la moyenne bien tournée. Un prompt banal sur un contexte riche te rend quelque chose d'exploitable. Impose-toi cinq minutes de contexte brut avant toute demande sérieuse : les notes du dernier call, l'organigramme tel que tu le comprends, ce que le champion t'a dit hors micro, ce que tu soupçonnes sans pouvoir le prouver. Cinq minutes de contexte valent bien plus qu'une heure de bidouillage de prompt.
2. Trace la frontière noir sur blanc. Prends dix minutes et fais deux colonnes. À gauche, ce que tu délègues : reformulation, synthèse, traduction, variantes, préparation d'objections, mise en forme, etc. À droite, ce que tu ne délègues jamais : le choix de l'angle, la lecture politique, la décision de qualification, la hiérarchisation des enjeux. Colle-la au-dessus de ton écran si nécessaire ! La frontière s'efface toute seule quand on est fatigué, et c'est précisément quand on est fatigué qu'elle compte.
3. Force la confrontation, sinon tu n'auras que des compliments. Ne demande jamais à ton LLM « qu'est-ce que tu penses de ma stratégie ». Demande « voici ma stratégie, tu es le SE du concurrent, explique-moi comment tu me fais perdre ce deal ». Ou « liste les cinq raisons pour lesquelles ce plan va échouer, sans en atténuer aucune ». Le modèle veut te faire plaisir, alors change ce qui lui fait plaisir. C'est une manipulation assumée d'un interlocuteur complaisant, et elle fonctionne vraiment bien.
4. Fais produire trois versions et n'en garde aucune. Usage contre-intuitif que j'utilise beaucoup : demande trois angles de démo, lis-les, et pars du principe que ces trois-là sont exactement ce que ton concurrent va présenter. Tu viens de te faire livrer gratuitement la carte du territoire banal. Ton travail commence là où elle s'arrête. Le modèle devient un excellent détecteur d'évidences, à condition de l'utiliser comme repoussoir !
5. Pose la question du différenciateur avant d'envoyer quoi que ce soit. Une seule question, à te poser à toi et pas à la machine : dans ce que je m'apprête à présenter, qu'est-ce que le SE d'en face serait incapable de produire ? Si la réponse est « rien », tu tiens un document parfaitement présentable et parfaitement inutile. Retourne chercher ce que tu es seul à savoir sur ce compte.

Ce numéro a été travaillé avec un LLM, évidemment ! Je ne vais pas faire semblant du contraire, ce serait malhonnête. Il m'a aidé à structurer, à trouver des formulations, à tester la solidité de mon raisonnement, à couper ce qui traînait, à corriger la syntaxe et les fautes. Mais il n'a produit aucune des idées qui comptent, parce qu'il ne pouvait pas : elles viennent de quinze ans de terrain, d'une expérience réelle de discovery, et d'une compréhension du vrai monde physique et humain.

C'est exactement la démonstration du propos. L'outil est prodigieux quand il prolonge une pensée qui existe. Il est désolant quand on lui demande d'en fabriquer une.

L'avant-vente est un métier d'écart, garde cela en tête. Tout ce qui te ramène vers le centre, vers la moyenne, te coûte des deals.

Et toi, la dernière fois qu'un modèle t'a rendu un livrable impeccable, est-ce que tu as vraiment vérifié qu'il contenait quelque chose que ton concurrent n'aurait pas pu écrire ?

Merci d'avoir lu jusqu'ici, ça compte plus que tu ne le crois !

Si ce numéro t'a parlé, abonne-toi à SolutionScience pour recevoir les prochains directement. Et fais-le tourner à tes collègues SE, à tes AEs, à tous ceux qui passent leurs soirées à faire relire leurs deals par une machine entraînée à leur donner raison.

On se retrouve dans deux vendredis, dernier numéro avant les vacances.

Philippe