Pendant mes études d’informatique, on parle du début des années 2000, j’avais eu des cours et des travaux pratiques sur les réseaux de neurones. On ne parlait pas encore d’IA à l’époque, de mon souvenir. Et j’avais vraiment aimé cette partie, très intéressante, à la pointe. J’ai gardé pendant longtemps cet à priori très positif de l’intelligence artificielle.
Aujourd’hui, mon avis est bien à l’opposé. Je ne vais pas m’étendre sur les soucis de l’IA aujourd’hui, écologiques (les ressources consommées), sociaux (les licenciements) et idéologiques (l’adoration par l’extrême droite pour inventer des mensonges qui les arrangent).
Mais des fois, on se rend compte que l’IA générative pose problème d’une manière plus fourbe.
Vous connaissez peut-être le logiciel libre cURL. Il s’agit d’un outil en ligne de commande qui permet de parcourir le web. Mais le sous-projet est également la bibliothèque libcurl, qui permet à d’autres logiciels de faire des requêtes HTTP sans avoir à réinventer la roue, et en s’appuyant sur une base de code qui est connue et maintenue. La libcurl est très très utilisée dans le monde du logiciel libre, mais du fait de sa licence, également dans des logiciels propriétaires, commerciaux ou non. C’est une bibliothèque qu’on retrouve partout. Si vous utilisez un logiciel qui fait des requêtes en HTTP, il y a une bonne probabilité que ça soit la libcurl derrière. Il est donc très important que la bibliothèque soit maintenue et exempte de failles. En effet, un souci de sécurité dans libcurl, et ce serait potentiellement tous les projets qui l’utilisent qui seraient vulnérables.
Pour faire en sorte que le code soit le plus vérifié possible, le projet cURL avait recours à un programme de bug bounty. Les personnes découvrant des failles dans le logiciel pouvaient donc les proposer et recevoir de l’argent en contrepartie. Ça peut sembler étrange, mais ça fonctionne assez bien. Du moins, ça fonctionnait assez bien. Mais depuis quelques mois, le projet croulait sous les rapports qui sont générés par IA. Comprendre par là que des personnes qui n’y connaissent rien, qui ne voient que le profit qu’elles pourraient obtenir, font analyser le code par une IA avec un prompt demandant de trouver les failles. Et comme d’hab, elle se plante carrément, hallucine des fonctions qui n’existent pas, ou trouve des erreurs qui n’en sont pas. L’équipe de cURL s’est retrouvée devant beaucoup de demandes de revue, dont la plupart étaient fausses. Mais qui nécessitent quand même du temps pour s’apercevoir que c’est de l’IA slop. Et tout ce temps, c’est du temps qui n’est pas investi dans le projet.
Suite à ces trop nombreuses demandes au rapport signal/bruit bien trop faible, le projet curl a décidé d’arrêter le programme de bug bounty. Ça ne peut avoir que 2 conséquences. La première étant que les vraies personnes expertes vont être moins tentées de chercher des failles dans cURL, puisqu’il n’y aura plus de compensation financière à la clé. Donc les failles seront là, mais pas remontées au projet. La deuxième conséquence c’est que les personnes qui trouvent des failles désormais, ce qui peut prendre du temps, vont quand même souhaiter rentrer dans leurs frais. Et elles vont être tentées d’aller les revendre à des personnes qui aimeraient exploiter des failles de sécurité et les garder pour elles. Dans les 2 cas, on se retrouve avec un logiciel qui est moins sûr. Pour un projet aussi utilisé que cURL, c’est un énorme problème et une épée de Damoclès au dessus de nos têtes.
Tout ça à cause de l’IA Générative et de personnes malveillantes, volontairement ou non. Vivement que cette bulle explose.
1 De machinator -
J'ai arrếté là : «l’adoration par l’extrême droite pour inventer des mensonges qui les arrangent». Complètement ridicule.
C'est bien connu, la gauche n'est pas experte pour inventer sa propre réalité.
2 De Grokipedia -
Grokipedia n'est pas vraiment tenue par la gauche.
xIA non plus.
Le révisionnisme est majoritairement une arme de l'extreme-droite, très peu empreinté à gauche.
3 De neb-toi -
"Tout ça à cause de l’IA Générative"
Heu, non, à cause des crétins qui l'utilise?
"Il y a beaucoup de morts dans cette guerre, tout ça à cause des armes!"
Et les imbéciles qui sont au bout, ce sont bien ceux là qu'on va juger, non?
Alors les procès débiles de l'IA ne sont pas les bons. Rendons aux humains leurs débilités profondes.
4 De Toniob -
@machinator : J’ai arrêté de lire le commentaire à "ouin ouin ouin"
@neb-toi : y’a un ET dans ma phrase, mais à priori, le résumé de ChatGPT a du l’enlever.
5 De Kimaud -
Ce n’est pas l’AI qui est le problème ce sont les personnes malveillantes. I.e. si il n’y avait pas de receleur il y aurait beaucoup moins de voleurs.
6 De Toniob -
@Kimaud : c’est quand même très naïf de penser que c’est de la faute des gens uniquement. L'IA générative est vendue, mise en avant, comme omnisciente et connaissant tout sur tout. Dans ses réponses, elle paraît sure d’elle, et elle a beaucoup de mal à se remettre en question. Ce qui est normal, elle n’a pas de conscience, c’est juste un outil probabiliste. C’est de l’autocomplétion avancée, rien de plus. Normal que des gens qui ne comprennent pas la technique derrière croient à ce qu’on leur vend, et essayent de s’en servir pour se faire de l’argent, en se disant que le résultat est forcément vrai.
Et au dela de ça, ça ne retire pas les autres problèmes de l’IA générative que j’évoque au début du billet. Je pourrais même ajouter les soucis de droits d’auteur, maintenant qu’on sait que l’apprentissage se fait en piratant des contenus appartenant à d’autres.
Ok pour faire des analogies, mais ça reste des analogies.
7 De Bruno -
Bonjour,
Merci pour ce billet très bien écrit. Il est effectivement utile de rappeler les conséquences négatives de l'utilisation de l'IA sur des logiciels libres comme Curl. Ce n'est pas le seul affecté et il y a d'autres usages qui pourrissent tout. À commencer par l'utilisation massive pour générer du contenu web. À l' heure actuelle il est presque impossible de ne pas tomber lors d'une recherche sur des contenus entièrement ou pareillement générés par IA (il suffit d'utiliser l'extension de Next pour les détecter).
Alors est-ce l'outil ou ceux qui s'en servent qui sont problématiques ? C'est une fausse question récurrente, avec comme réponse sous-entendue que les outils sont neutres. C'est bien sûr totalement faux les outils ne sont pas neutres ; ils induisent et modifient profondément nos usages et nos interactions avec le monde.
8 De grokipedia -
Certains ici disent que ce sont ceux qui utilisent l'outil qui en sont responsables, oublions pas qu'il faut bien que l'outil soit fabriqué et au meilleur prix, des lois qui l'encadre et etc...Et les guerres sont provoqué par les ambitions dévorante de quelques uns et par la facilité d'accès à ces outils.(et sa suprématie sur son utilisation)
Je part pas en guerre sans ces outils, en l'occurrence ici : une arme.
Alors bon, on peu tergiversé du cul pour chier droit pendant 3 ans, dans tout les cas les deux sont au cœur de la responsabilité : l'homme du utilise un outils et l'outil lui même par son usage blebicité.(par extension son éditeur)
Donc ratisser tout le Web 10 fois par jour à faire souffrir les serveurs à l'autre bout, ajoutons y les watt à la suite, avec tout les effets sociaux et écologiques, pour au final devoir vérifier ce qu'a pondu l'outil, j'en avais pas besoin avec la calculatrice.
Donc, non pour le moment c'est comme jouer au poker avec /dev/random
De plus, l'arrivée de cet outils change la vie de ceux qui ne l'utilisent pas, moi même je doit m'adapter à l'usage des IA même si je ne les utilise pas.
Les recherches sur les Web sont de plus en plus compliqué du aux résultats polluer par des IA à côté de la plaque le 3/4 du temps alors que bon, faut bien pouvoir vérifier ce que fait l'IA, c'est le serpent qui se mord la queue.
9 De John -
Pourquoi vouloir teinter son article de politique ? c'est vraiment dommage car cela n'apporte rien.
10 De Toniob -
@John : Peut-être parce que c’est mon blog, mon espace, et que je parle de ce que je veux dessus. Et que y’en a un peu marre du côté "apolitique" des informaticiens. Le fait que les IA génératives soient majoritairement développées par des entreprises qui sont à minima complaisantes avec le fachisme, c’est politique. Donc si, c’est un sujet, et ça apporte quelque chose d’en parler à mon avis.
11 De grokipedia -
@toniob : D'autant que bon, la culture Hacker/Cyberpunk à la base c'est plutôt politisé et à la source même d'internet et de l'informatique.
L'informatique est très politique, en temps qu'admin-sys linux/ex-gestionnaire de parc, je suis constamment en train de définir comment les collègues doivent travailler, et trouver des solutions pour qu'ils est le maximum d'aisance.
( Pour anecdote, mon ancienne RH à arrêté d'utiliser le Mattermost de la boite, le jour ou j'ai désactivé le tracking d'activité du tchat dont elle se servait pour savoir qui était présent sur son poste en télétravail ou sur site. )
Bref, bonne route à toi, et j'ai vraiment apprécié que ton post soit visible sur le "journal du hacker", repère de pro-LLM, ça fait du bien aussi un peu de contradiction et de nuance.
A bientôt
12 De John -
À un moment donné, il va falloir que tu prouves tes dires quand même :/
Parce qu'écrire des généralités "comme ça" ne va pas mener bien loin.
13 De grokipedia -
@John
Ce qui est annoncé au sujet de curl est sourcé dans le poste, pour ce qui touche à l'aspect ED et IA ça été dit, écrit et étayé dans la presse papier et numérique et pas qu'un peu.
Mais ça n'était pas l'objectif du poste : expliquer avec un cas de figure classique les conséquences negatives que l'IA peux avoir sur un projet libre, et en profiter pour en donner une opinion personnelle étayé sur l'IA et ses usages.
Ici rien à prouver, vu que ça n'est pas ce poste qui apporte de fait, mais la source elle même. Après à étayer oui, et ça a été fait en partie, à toi aussi de poncer le sujet au lieu de te la ramener "Pourquoi vouloir teinter son article de politique ?" bah tiens, peut-être que c'est aussi un sujet politique que tu le veuille ou non, et visiblement la personne qui commet ce poste a une envie d'en parler et qu'il fait ce qu'il veut à ce niveau, et nommé les choses je pense que c'est plus sein que de le taire.
Grok & Grokipedia sont des outils politique de Musk, tout comme X(twitter-files) et Starlink(ukraine). Le nier ou l'oublier, c'est vraiment être à côté du principe de réalité.