La prochaine ère de l’IT ? Une pause !

N’en déplaise aux chantres de la “transformation digitale” (punaise, y en a vraiment marre d’utiliser cette expression !), la prochaine ère de l’IT ne sera PAS orchestrée par les développements fabuleux de l’IA ni par les possibilités formidables de la Blockchain (vous avez remarqué ? On en parle moins en ce moment et c’est pas dommage !).

Non, la prochaine ère de l’IT, c’est de faire une pause, tout simplement.

Oui, notez bien la date et retenez que c’est moi qui vous l’annonce car, pour une fois, la prochaine mode, c’est de calmer tout cela et de se concentrer sur des projets concrets, pratiques, les deux pieds bien ancrés au sol.

Mais qu’est-ce qui me permet de faire une prédiction aussi audacieuse ?

Eh bien, deux éléments. 1- Le machine learning affiche ses limites et 2-la loi de Moore est en train de s’effacer…

Fin de partie pour l’IA, winter is coming

Tout d’abord, le hype autour de l’IA dopée au machine learning est enfin en train de se calmer. C’est The Economist qui vient de siffler la fin de partie avec un dossier spécial consacré : après des années de battage médiatique, beaucoup de gens pensent que l’IA n’a pas réussi à délivrer des résultats à la hauteur des promesses (voir à https://www.economist.com/technology-quarterly/2020/06/11/an-understanding-of-ais-limitations-is-starting-to-sink-in).

Je ne suis pas surpris puisque ça fait des années que je l’annonce (voir à http://www.alain-lefebvre.com/avenir-de-lia-lhypothese-85/). Ce qui a été surprenant, c’était de voir que, pendant longtemps, nous étions peu à le dire. Maintenant que The Economist vient de publier ce dossier, le hype en matière d’IA va forcément s’atténuer fortement, enfin !

Vous n’êtes pas obligé de me croire mais, en revanche, vous pouvez lire le dossier de The Economist fort bien fait…

Fin de partie pour la loi de Moore

Le NYT en parlait dès 2016 : la loi de Moore qui s’est vérifiée pendant des décennies est en train de s’effacer (lire à https://www.nytimes.com/2016/05/05/technology/moores-law-running-out-of-room-tech-looks-for-a-successor.html).

En fait, c’est plus important qu’il n’y paraît car, qu’on le veuille ou non, qu’on y croit ou pas, les vrais progrès de l’industrie informatique reposent surtout sur la croissance continue (jusqu’à maintenant) de la capacité de traitement et de stockage. 

Pour prendre une analogie, on peut comparer ce domaine (l’informatique) à un grand plan d’eau qui s’étendrait toujours plus en superficie mais resterait peu profond, même en son centre. La surface toujours en expansion représenterait la progression des capacités de traitement (et de stockage) qui ne cesse de progresser (et c’est cette progression qui donne l’impression d’une évolution sans frein) et la profondeur serait à l’image des fonctionnalités qui elles restent très limitées.

Si la loi de Moore est en train de finalement heurter un mur, c’est tout simplement le principal moteur du progrès technique qui est stoppé. Or, pour reparler du machine learning, on s’est vite aperçu que l’entraînement de ces systèmes demandait beaucoup de ressources (vraiment beaucoup) et de plus en plus. 

Voyons cet extrait de The Economist (source https://www.economist.com/technology-quarterly/2020/06/11/the-cost-of-training-machines-is-becoming-a-problem) pour situer les choses :

===

Openai, une firme de recherche basée en Californie, a déclaré que la demande de puissance de traitement avait décollé en 2012, alors que l’excitation autour de l’apprentissage automatique commençait à monter. Elle s’est fortement accélérée. En 2018, la puissance informatique utilisée pour former les grands modèles avait été multipliée par 300000 et doublait tous les trois mois et demi (voir graphique). Il devrait savoir – pour entraîner son propre système «Openai Five», conçu pour battre les humains à «Defense of the Ancients 2», un jeu vidéo populaire, il a mis à l’échelle l’apprentissage automatique «à des niveaux sans précédent», exécutant des milliers de processus sans arrêt pendant plus de dix mois.

Des chiffres exacts sur le niveau de ces coûts sont rares. Mais un article publié en 2019 par des chercheurs de l’Université du Massachusetts à Amherst a estimé que la formation d’une version de «Transformer», un autre grand modèle de langage, pourrait coûter jusqu’à 3 millions de dollars. Jérôme Pesenti, responsable de l’IA sur Facebook, explique qu’une session de formation pour les plus grands modèles peut coûter «des millions de dollars» en consommation d’électricité.

===

La progression de cette exigence dépasse de beaucoup ce que la loi de Moore était capable de compenser en temps normal… Et, désormais, elle ralentit. Vous voyez la collision des situations qui est en train de se dessiner ?

Bref, tout cela nous indique fortement qu’une pause est en train de s’installer. Il faut dire que la crise du Covid19 avait déjà ridiculisé (provisoirement ?) tous les tenants du transhumanisme et de l’immortalité. Cette fois, c’est la pause à venir qui va disqualifier les consultants en mal d’audience qui poussent encore et toujours la “transformation digitale” faute d’avoir quelque chose à dire… Tant mieux, qu’ils se recyclent sur autre chose.