Une conférence en rapport avec l’intelligence artificielle avec le philosophe Charles-Eric de Saint-Germain le lundi 28 mai 2018 à 19h30, à l’espace Saint Jean, situé juste à côté du temple de la place Maginot, à Nancy.

Transhumanisme : "Critique du Système technicien"
Ce blog associe des hommes et des femmes issus des sciences sociales et sciences dures alertés par les changements sociétaux et technologiques en cours.
Une conférence en rapport avec l’intelligence artificielle avec le philosophe Charles-Eric de Saint-Germain le lundi 28 mai 2018.
Une conférence en rapport avec l’intelligence artificielle avec le philosophe Charles-Eric de Saint-Germain le lundi 28 mai 2018 à 19h30, à l’espace Saint Jean, situé juste à côté du temple de la place Maginot, à Nancy.

Cyborg et IA : on le verra au cours de ce dossier, ces deux domaines tendent à se rapprocher, inexorablement, entre la « mécanisation » de l’homme et l’ «humanisation » des machines, tant au niveau physique que de l’ « esprit ». Nous verrons quelles sont les avancées les plus marquantes de ces deux champs de recherche, qui devraient impacter en profondeur notre mode de vie dans les prochaines décennies.
Ces deux domaines, aussi vastes que passionnants, sont des thèmes très utilisés dans les œuvres de science-fiction, passionnant les foules depuis plus d’un siècle. Si certains livres, séries ou films les ont popularisés, ces deux notions restent difficiles à définir, car elles recouvrent de nombreux champs de connaissances, souvent peu accessibles au grand public. L’imaginaire de la science-fiction a donné une certaine image de ce que l’on appelle « cyborg », ainsi que des machines dotés d’une « intelligence » très évoluée, jusqu’à surpasser l’être humain. On le verra au cours de ce dossier, ces deux domaines tendent à se rapprocher, inexorablement, entre la « mécanisation » de l’homme et l’ «humanisation » des machines, tant au niveau physique que de l’ « esprit ». Nous verrons quelles sont les avancées les plus marquantes de ces deux champs de recherche, qui devraient impacter en profondeur notre mode de vie dans les prochaines décennies.
On appelle « cyborg » tout être vivant – généralement humain – qui aurait été « augmenté » par des ajouts mécaniques au sein même de son corps. Le terme de « cyborg » est d’ailleurs la contraction de « cybertenic organism » (organisme cybernétique), apparu dans les années 60 lors des premières explorations spatiales. Les chercheurs réfléchissaient alors au concept d’un humain « amélioré » qui pourrait survivre dans des environnements extraterrestres.
Mais le concept a émergé bien avant. On peut remonter jusqu’au milieu du XIXème siècle dans les romans d’Edgar Allan Poe, qui décrivait déjà un homme doté de prothèses mécaniques dans sa nouvelle The man that was used up (L’Homme qui était refait) parue en 1839. Depuis, l’idée a fait son chemin et les cyborgs, ainsi que les robots, sont devenus très populaires avec des œuvres ou personnages tels que Terminator, Robocop, L’Homme qui valait trois milliards, les Cybermen de Dr Who ou encore le récent I, Robot. Si ces célèbres films ou séries posent la question de la limite de l’humanité, en partant de l’humain, des ouvrages tels que la série des Robots d’Isaac Asimov cherchent la limite entre l’homme et la machine en soulevant la notion de « conscience artificielle », celle du robot, avec toutes les questions philosophiques et éthiques que cela implique.
Aujourd’hui on parle de plus en plus de cyborg non plus en termes de fiction, mais d’avancées scientifiques. Avec les progrès et la miniaturisation des technologies, on réalise des prothèses de plus en plus discrètes et efficaces, capables de remplacer voire surpasser un membre disparu ou un organe défaillant. On utilise souvent le terme de « transhumanisme » en rapport avec ces évolutions techniques. Le transhumanisme est un mouvement qui fait de plus en plus d’adeptes et qui consiste à pallier les « faiblesses » de l’homme (ressources physiques, maladies, handicap, vieillesse, mort) grâce aux progrès technologiques et à des greffes mécaniques capables de rendre l’homme plus « puissant ». Certains vont jusqu’à parler de post-humanité, prévoyant la généralisation de ces pratiques sur tous les êtres humains.
Des hommes dont les capacités physiques ou mentales dépendraient de machines ? De là à parler de cyborgs, il n’y a qu’un pas.
La question peut sembler ironique, mais tout dépend de l’angle sous lequel on la traite. Si un cyborg est un homme dont les capacités ont été augmentées par les progrès technologiques, alors une bonne partie de l’humanité peut-être définie ainsi. Selon certains chercheurs, nous sommes déjà entrés dans l’ère des cyborgs, avec la multiplication des appareils électroniques dans notre quotidien, qui envahissent nos vies jusqu’à devenir indispensables. Télévisions, téléphones, satellites, Internet : tous ces outils nous permettent d’interagir avec le monde entier et donc d’augmenter la portée de nos actions et de nos idées. Cette explication est pour la plupart des individus trop « romancée », car le progrès est le propre de l’homme et les outils technologiques qu’il utilise ne peuvent altérer sa condition primaire d’ « animal pensant ». On parlera ainsi plutôt d’homme « augmenté ».
On s’attachera donc à une définition plus terre à terre du cyborg, qui consiste à modifier le corps même de l’homme pour lui attribuer de nouvelles possibilités physiques, ou mentales. La fusion entre l’homme et la machine, via des greffes ou l’implantation de puces au sein de l’organisme. Les recherches dans le domaine sont nombreuses, et touchent plusieurs secteurs : médecine, robotique, cybernétique, nanotechnologie, biotechnologie, NTIC, sciences cognitives, etc. Et les avancées sont rapides. Les greffes mécaniques existent déjà depuis longtemps, par exemple avec les pacemakers, de même pour les membres artificiels, mais cela ne fait pas pour autant de donner des êtres différents. On pourrait même évoquer les lunettes ou les systèmes auditifs comme des cas d’améliorations techniques de l’homme. Plutôt que d’homme « augmenté », on parle plutôt ici d’homme « réparé ». Il est évident que nous ne sommes pas encore au stade de cyborg comme nous avons pu le définir, mais nombreuses sont les recherches qui vont dans ce sens.
On cherche désormais à agir sur le corps humains de l’intérieur, que ce soit au niveau génétique ou mécanique, par exemple grâce à des puces implantées.
Nous arrivons aujourd’hui à une véritable frontière entre l’homme et la machine. Nous nous sommes habitués à un monde ultra-connecté où nos appareils font partie intégrantes de nos vies, et vis-à-vis desquels nous devenons de plus en plus dépendants. Implanter directement ces appareils à l’intérieur de notre corps pourrait donc devenir une solution à l’avenir, bien que cette idée soulève d’importantes questions techniques et sociales. Quand on observe les avancées technologiques, on peut penser qu’un tel scénario pourrait se concrétiser dans un futur plus ou moins proche. De nos jours, il existe déjà le dopage chimique, les implants d’appareils électroniques (médicaux notamment), ou des prothèses perfectionnées au point d’égaler voir surpasser un membre humain.
Il est intéressant de noter qu’en parallèle, nous donnons de plus en plus de traits humains aux robots, en travaillant sur les mouvements physiques et surtout, l’intelligence artificielle, qui progresse à une vitesse fulgurante. On assiste donc à un rapprochement entre les deux mondes.
La technique et la médecine progressent particulièrement vite, et ont radicalement changé le mode de vie de l’homme, toujours à la recherche de puissance. Le virtuel lui a permis de démultiplier ses capacités de communiquer avec autrui, avec des avantages (le partage de la connaissance et des idées, le gain de temps, l’aspiration à la créativité) et les inconvénients (dérives, manipulation des masses, violation de vie privée) que cela implique. Nous avons également amélioré la qualité de vie de l’être humain grâce aux progrès médicaux, qui nous permettent de vivre plus longtemps et en meilleure santé. Tout s’enchaîne, de plus en plus vite, et la plupart des individus n’arrivent plus à suivre le rythme des avancées. Si auparavant, de nombreuses années étaient nécessaires à une technologie pour se généraliser (comme le téléphone ou la télévision), on adopte aujourd’hui les nouvelles technologies avec une rapidité déconcertante, presque machinale, compulsive. On n’a donc aucun mal à penser que l’homme pourrait accepter sans trop de résistance de se relier de l’intérieur à des appareils électroniques pour devenir, finalement, un cyborg.
Mais où en sommes-nous aujourd’hui exactement ? Quelles sont les avancées les plus marquantes ? Et que peut-on imaginer pour l’espèce humaine dans les prochaines dizaines d’années ? Sauf catastrophe planétaire, il est probable que notre évolution devrait connaître une sérieuse accélération « grâce » aux nouveaux outils technologiques.
Parmi les avancées les plus marquantes, les prothèses de nouvelle génération reliées au système nerveux, et actionnées par plusieurs moteurs capables de reproduire tous les mouvements du membre original. On est aujourd’hui capable de créer des mains, pieds, bras ou jambes d’un réalisme bluffant, mais plus intéressant encore, d’une très grande efficacité, jusqu’à surpasser le membre de chair. Ces avancées annoncent de nouvelles possibilités en matière de performances et d’esthétisme. On peut ainsi prendre l’exemple d’Aimee Mullins, actrice et athlète américaine qui, née sans jambes, a percé dans le milieu du sport et du mannequinat grâce à des prothèses très perfectionnées. Elle fait d’ailleurs fréquemment la promotion de ces dernières, exposant le regard nouveau que l’on pourra porter envers les personnes handicapées.
Plus impressionnant encore, ce jeune autrichien qui, suite à un accident de travail, a perdu l’usage de son bras gauche. Il y a quelques mois, il a pris la décision de se faire amputer pour le remplacer par un bras bionique, directement relié à son cerveau. Les commandes de son bras artificiel sont activées par les signaux électriques du cerveau, et cela semble très au point. Remplacer un membre invalide par une prothèse bionique paraît être une idée tout à fait acceptable, mais cela pourrait se généraliser sur des individus parfaitement valides. Une idée qui résonne dans les mots de Aimee Mullins, au cours d’une interview, « L’amputation volontaire, je pense que ça arrivera […] Les athlètes feront n’importe quoi pour avoir les meilleurs avantages possibles ».
On a ici l’exemple de prothèses pour jambes ou bras, mais cette idée est tout à fait valable pour certains organes comme les reins, le coeur, ou encore les yeux. Il n’est pas fantaisiste de penser que notre corps pourra un jour être « réparé » comme une voiture dont on changerait les pièces. Bien évidemment, certaines parties du coup sont plus complexes que d’autres. On imagine mal par exemple pouvoir remplacer tout ou partie de notre cerveau après un grave accident. L’oeil est également un organe difficile à reproduire, et surtout à relier au cerveau humain. Les dernières avancées sont encourageantes, et prévoient le premier oeil bionique exploitable d’ici deux ans. Pour s’attaquer aux éléments les plus délicats, d’autres voies sont explorées, comme les nanotechnologies ou les puces électroniques.
En plus de « réparer » ou « augmenter » l’être humain, de nombreuses expériences ont été menées dans le but de le relier aux machines, directement par la pensée, ou de manière plus concrète, par les signaux électriques envoyés par le cerveau, puisque toutes nos actions sont commandées par notre cerveau. Les recherches se divisent en deux méthodes : la première, la plus douce, consiste à placer un bonnet recouvert d’électrodes, qui capte les ondes émises par le cerveau, et qui sont ensuite analysées par un ordinateur avant d’actionner la machine à laquelle il est relié.
La méthode progresse, mais se révèle peu précise et très lente. C’est pourquoi certains chercheurs se sont penchés sur une autre méthode, visant à implanter directement une puce sur le cerveau. Cela augmente la précision mais engendre des risques d’infection importants, les tests sur l’homme sont donc pour le moment très limités. Là encore, ces études se destinent principalement aux personnes handicapées qui ne peuvent compter sur leur corps pour effectuer des actions, d’où l’intérêt d’une interface homme-machine commandée par la pensée.
Mais d’autres études cherchent à faire de l’homme une véritable télécommande, capable d’interagir avec les machines d’un simple mouvement de bras ou, de manière plus ambitieuse, par la pensée. Parmi les chercheurs les plus influents dans le domaine, Kevin Warwick, professeur de cybernétique à l’Université de Reading au Royaume-Uni, s’est fait connaître pour avoir réalisé des implants au sein de son propre corps. En mars 2002, il s’est fait implanter une puce dans le nerf du bras afin de commander des machines simples par un simple mouvement (main robotique, lampe). Il voit le progrès technologique comme une manière d’améliorer l’être humain, et pas uniquement de le soigner. Il est même parvenu à transmettre un signal vers une main robotique de l’autre côté de la planète par le biais d’Internet.

Cette expérience a engendré un certain malaise, car on imagine alors les possibles dérives d’un tel pouvoir (diriger des objets à distance, sur commande). Kevin Warwick ambitionne d’être le premier représentant d’une « nouvelle espèce », post-humaine, un cyborg pour ainsi dire. Sa prochaine étape : implanter des puces au sein même de son cerveau afin de communiquer avec le cerveau d’un autre individu également équipé d’une puce. Une expérience qui vise ni plus ni moins que la télépathie entre êtres humains, et qui devrait, selon le chercheur, se concrétiser dans les dix prochaines années. Des expériences qui restent très hypothétiques, et qui connaitront probablement des détracteurs au vu des risques encourus.
Plus que de réparer, les recherches mènent aujourd’hui à « améliorer » l’homme, afin d’en faire un être hybride de chair et de métal. Ces recherches amènent de nombreuses polémiques car elles remettent en cause l’identité même de l’homme, jusqu’à le séparer peu à peu de son environnement naturel pour en faire un être, in fine, totalement artificiel. Il y a quelques années, des articles sont parus dans la presse annonçant l’avènement d’utérus artificiels. Sans parler des expériences de procréation assistée qui propose des bébés à la carte (couleurs des yeux, de la peau, traits physiques, sensibilités aux maladies, etc.) grâce à des manipulations génétiques. Des recherches qui se sont confrontées à de vives polémiques, de la part de groupes religieux, ou même de certains scientifiques, qui pointent du doigt les problèmes éthiques liés à ces pratiques.
En plus des puces, la nanotechnologie pourrait avoir un grand rôle à l’avenir. Si la technique s’applique à de nombreux secteurs industriels, elle est également très en vue en médecine. De nombreuses équipes travaillent à l’élaboration de micro-robots (métalliques ou organiques) capables de scanner et réparer notre corps de l’intérieur. Mieux encore, il devrait être possible à moyen terme de remplacer des parties défaillantes de notre corps, comme la rétine. Les nanotechnologies agissent au niveau moléculaire, ce qui permet d’intervenir de manière très ciblée sur le corps humain, en délivrant des médicaments par exemple, et ainsi d’éliminer les maladies ou de retarder la vieillesse, ou de toucher au code génétique contenu dans nos chromosomes.
Les nanotechnologies intéressent beaucoup l’armée américaine, qui a investi plusieurs centaines de millions d’euros dans la recherche et l’exploitation de ces micromachines pour améliorer les performances des soldats. L’objectif est de produire des « super-soldats » capables de résister aux blessures, voire de s’auto-réparer grâce à ces nano-machines.

Couplées aux progrès de la biotechnologie et de la robotique, ces avancées pourraient donner naissance à des super-soldats génétiquement modifiés pour avoir l’avantage sur les armées ennemies. Dans le milieu militaire comme le milieu civil, ces bouleversements technologiques à venir devraient creuser un peu plus le fossé entre riches et pauvres, à la manière de la fracture numérique actuelle.
Nous vous invitons à visionner ce reportage d’Arte diffusé en juin dernier, qui illustre bien ces avancées et les problématiques qui en découlent (en quatre parties).
De même que cette bande annonce du jeu vidéo Deus Ex : Human révolution, qui nous plonge dans un futur anticipé, sur fond de transhumanisme et d’humains augmentés.
Jusqu’ici, nous avons parlé de cyborgs, des hommes augmentés donc, mais il y a un autre domaine qui mérite que l’on y porte toute notre attention : l’intelligence artificielle (IA). Cette science vise à reproduire artificiellement les capacités intellectuelles de l’être humain, et de la transposer via des programmes utilisés dans des systèmes de cryptage, des jeux vidéo, des moteurs de recherche, des logiciels (apprentissage, traduction, reconnaissance faciale, etc.), la robotique ou encore la médecine, avec des systèmes organiques autonomes. L’intelligence artificielle est source de nombreux fantasmes illustrés par la science-fiction, avec des robots dotés de conscience artificielle quasiment ou totalement indiscernable d’une conscience humaine, et qui se voient ainsi dotés d’une intelligence qui leur est propre, voire d’ « émotions ».
L’intelligence artificielle est un domaine de recherche très vaste, qui mobilise de nombreux chercheurs et industriels de tous bords, car ses applications sont immenses. Les recherches dans le domaine visent à concevoir des programmes capables d’exécuter des tâches données, de manière partiellement ou entièrement autonome.
Le terme d’ « intelligence artificielle » fait souvent débat parmi les experts, qui remettent en question la notion d’intelligence, qui reste très floue à définir. On parle d’ « intelligence » pour désigner la capacité à comprendre et mettre en relation des concepts afin de s’adapter à une situation donnée. On y retrouve plusieurs degrés de complexité, du simple réflexe face au danger, jusqu’à l’élaboration de codes de communication pouvant aboutir à un raisonnement complexe qui, si l’on poursuit la réflexion, mène aux émotions et à la conscience de soi. Ainsi, on a souvent tendance à résumer le concept d’intelligence à la prise de conscience de son existence et de son rapport au groupe, ce qui permet de s’adapter à son environnement selon les codes (possibilités physiques, contexte social, etc.) dans lesquels l’individu évolue.
On évoque ainsi deux types d’IA : l’IA faible, et l’IA forte. La première cherche à simuler une intelligence à partir d’algorithmes capables de résoudre des problèmes peu complexes. On la retrouve par exemple dans les logiciels de conversation, ces robots qui cherchent à imiter la conversation humaine, mais qui peinent encore à convaincre dans la grande majorité des tests, comme le fameux test de Turing. C’est toute la difficulté de ce type de recherche, qui veut reproduire le raisonnement humain, toujours mal compris par les scientifiques, qui ne cesse de débattre sur les mécanismes de la conscience humaine et des raisonnements complexes que l’on y retrouve.
L’IA faible est également présente dans de nombreux robots virtuels (qui scannent le web à la recherche d’informations particulières, avant de les traiter en vue d’un objectif donné), comme dans les algorithmes de Google ou les robots conversationnels. On peut également citer les robots industriels ou encore les voitures autonomes. Ce dernier domaine profite d’ailleurs d’avancées spectaculaires comme le montre cette vidéo qui a fait le tour du web il y a quelques mois lors d’une démonstration technique de Google, qui est au premier plan de nombreuses recherches sur l’IA.
De l’autre côté, l’IA forte, celle qui nourrit tous les fantasmes, implique, en plus d’un comportement intelligent, d’éprouver une réelle conscience de soi, ce qui implique la présence d’émotions et de sentiments. Bien sûr, un tel degré d’intelligence n’existe pas à l’heure actuelle sur nos machines, mais pour la pluparts des scientifiques, cela n’est qu’une question de temps. Partant du principe que notre intelligence, et par là même notre conscience est le fruit d’interactions biologiques, et donc matérielles, il pourrait être possible de créer un jour une intelligence consciente sur un support matériel autre que biologique.
Si cette idée était inimaginable durant les prémices dans l’IA dans les années 50, elle semble beaucoup plus réaliste aujourd’hui. On estime que la capacité de calcul du cerveau humain, formé de mille milliards de neurones, est équivalente à 2 x 1014 opérations logiques par seconde. Le plus puissant supercalculateur actuel peut calculer à 8 petaflops, soit 8×1015 opérations par seconde, et les progrès sont très rapides dans le domaine (record de 7 teraflops, il y a dix ans, soit 1000 fois moins).
De nos jours, plusieurs applications usant de l’intelligence artificielle font déjà partie de notre quotidien : moteur de recherche, robots d’assistance, logiciels de traduction ou encore jeux vidéo. C’est dans ce dernier domaine que les progrès sont les plus impressionnants, alors que les développeurs cherchent à donner toujours plus de réalisme et de crédibilité à ces univers virtuels, à commencer par les personnages. En dehors du graphisme et de l’animation, le comportement des personnages joue un grand rôle dans la crédibilité que l’on peut leur donner. On utilisera le plus souvent des scripts ou des systèmes multi-agents qui s’appuient sur différentes actions possibles des personnages selon les situations.
On parvient ainsi à donner un comportement très réaliste, à défaut d’être réel, à des personnages virtuels qui profitent également d’une modélisation de plus en plus travaillée, ce qui nous rapproche petit à petit du concept d' »Uncanney Valley », qui fait beaucoup parler de lui avec les jeux de dernière génération. Une notion qui s’applique tout autant aux robots humanoïdes, parfois troublant de réalisme.

Les recherches en matière d’intelligence artificielles progressent rapidement, et ont souvent créé la surprise en développant des programmes capables de surpasser l’être humain dans certains domaines. Le cas le plus médiatisé fut celui de Deep Blue, un superordinateur spécialisé dans le jeu d’échec qui, en 1997, a vaincu le champion mondial d’échec Garry Kasparov, au bout de plusieurs partie tout de même.
Beaucoup critiqueront cette victoire de Deep Blue en évoquant la fatigue de Kasparov après six parties successives. Un point à prendre en compte, mais il est vrai qu’un des avantages de la machine sur l’homme, c’est qu’elle ne connaît pas la fatigue – physique ou psychologique – du moins si l’on parle d’IA faible. De manière plus poussée, le programme Watson, conçu par IBM, a battu deux adversaires humains lors d’un jeu télévisé américain en répondant à des questions formulées en langage naturel. Plus fort encore, Watson est envisagé pour assister les médecins en tant que « consultant » pour les services clients ou les soins médicaux.
Mais le plus impressionnant dans l’IA, c’est lorsqu’elle s’applique aux automates. Cela fait des dizaines d’années que les hommes rêvent de robots capables de mimer le comportement humain, ou de les rendre capables d’exécuter les tâches les plus pénibles. De manière plus ambitieuse, et plus rêveuse aussi, on rêve à des humanoïdes, c’est-à-dire des robots à l’apparence humaine, avec qui l’on pourrait vivre en parfaite harmonie, les mêlant à la population humaine, en leur attribuant différentes fonctions, du service à la personne jusqu’aux robots sexuels. Un scénario repris par plusieurs films comme le très réussi <a href= »http://libresavoir.org/index.php?
title=A.I._Intelligence_Artificielle_de_Steven_Spielberg » target= »_blank » rel= »noopener noreferrer »>A.I. Intelligence Artificielle, qui situe l’action dans la seconde moitié du XXIème siècle, ou les « mécas », les humanoïdes, vivent parmi les humains, et seront d’ailleurs les seuls à survivre aux bouleversements climatiques. Un scénario qui pose de nombreuses questions sur le futur de l’humanité, et qui y dévoile un futur tout à fait probable au vu des avancées que l’on connaît.
Davantage centré sur les risques de telles « machines » parmi nous, le film iRobot se base sur la série des Robots d’Asimov, et imagine, en 2035, l’achat de masse de robots humanoïdes particulièrement évolués au sein de foyers du monde entier, avec les avantages, et les dérives qu’une telle situation peut engendrer. L’un de ces robots parvient même à développer une conscience qui lui est propre, avec des sentiments qu’on imagine propres à l’homme : peur, colère, tristesse, compassion, etc.
Aujourd’hui, en 2011, on est encore loin de tels robots, mais nous progressons rapidement. On pense bien sûr à la domotique et aux appareils plus ou moins utiles pour nous aider dans notre vie quotidienne, au foyer en tout cas. Des solutions qui s’intègrent progressivement dans nos maisons, au même titre que les ordinateurs et les écrans haute-définition, et qui devraient se généraliser dans une dizaine d’années. On peut également citer l’Aibo de Sony, abandonné en 2006 par manque de rentabilité.
Pour ce qui est des robots humanoïdes, on ne peut qu’être impressionné par la vitesse à laquelle les équipes de recherche progressent, dans leurs domaines respectifs. Quelques modèles particulièrement novateurs ont d’ailleurs été plusieurs fois présentés dans les médias, c’est le cas du célèbre Asimo, de Honda, aujourd’hui capable de courir à faiblesse vitesse, de reconnaître des personnes et d’avoir une « discussion » simple. La dernière version, parue en 2007, apporte la connexion Wi-Fi, qui permet à plusieurs Asimo de se répartir les tâches ou de se remplacer lorsque certains doivent recharger – d’eux-mêmes – leur batterie. Parmi les robots les plus populaires, citons également Nao, développé par une société française, Aldebaran Robotics, et qui devrait être commercialisé dès 2012 en grandes surfaces. Petit air de I, Robot. Sa palette de programmation permet un très grand nombre d’utilisation possible pour Nao : robot de compagnie, partenaire de jeux, aide à la personne, etc.

On s’en doute, l’IA intéresse beaucoup les militaires. En 2010, L’US Air Force a demandé la conception d’un programme capable de déterminer les secteurs les plus vulnérables chez l’ennemi en vue d’une attaque. Et de manière plus inquiétante, l’armée américaine, probablement suivie par d’autres nations, souhaite s’équiper d’armes autonomes, capables de repérer et attaquer l’ennemi par elles-mêmes. Ainsi, d’ici 2020, plus de mille bombardiers et chasseurs de dernière génération commenceront à être équipés de sorte que, d’ici 2040, tous les avions de guerre américains soient pilotés par intelligence artificielle, en plus des 10 000 véhicules terrestres et des 7 000 dispositifs aériens commandés d’ores et déjà à distance. Voyant cela, on ne peut s’empêcher de penser, en poussant plus loin l’idée, aux scènes apocalyptiques de certains films futuristes, comme Matrix.
Il est bien sûr impossible à l’heure actuelle d’avoir une vision claire de ce qui nous attends dans les dix, vingt ou cinquante prochaines années. Ce dossier a été l’occasion de présenter les différentes pistes explorées en termes de cybernétique, de biotechnologies et d’intelligence artificielle (ainsi que les nombreuses autres sciences qui gravitent autour). Il ne serait pas sérieux de trop insister sur les différents scénarios exploités par les films de science-fiction, car la réalité s’avère souvent plus complexe et donc difficile à prévoir, surtout dans des domaines aussi mouvants que ceux-ci.
Le professeur Kevin Warwick explique souvent que l’homme est appelé à évoluer en même temps que les machines pour ne pas se faire surpasser. On a un certain mal à penser que l’être humain serait assez imprudent pour donner les moyens aux machines de prendre le dessus sur notre espèce de quelque manière que ce soit. Mais la soif de puissance et de curiosité laisse place à toutes les possibilités.
Terminons ce dossier avec une citation du professeur Irving John Good, statisticien britannique réputé, et qui a notamment travaillé sur l’intelligence artificielle et la « logique robotique » ; il est mort en 2009 :
« Supposons qu’existe une machine surpassant en intelligence tout ce dont est capable un homme, aussi brillant soit-il. La conception de telles machines faisant partie des activités intellectuelles, cette machine pourrait à son tour créer des machines meilleures qu’elle-même ; cela aurait sans nul doute pour effet une réaction en chaîne de développement de l’intelligence, pendant que l’intelligence humaine resterait presque sur place. Il en résulte que la machine ultra intelligente sera la dernière invention que l’homme aura besoin de faire, à condition que ladite machine soit assez docile pour constamment lui obéir ».
L’intelligence artificielle pourrait devenir un outil de domination dans la géopolitique mondiale. Une perspective qui n’est pas sans danger. Par Pierre Haski
Vladimir Poutine a au moins une qualité : il parle cash. La semaine dernière, il a dit tout haut ce que la plupart des dirigeants du monde pensent tout bas :
« Le pays qui sera leader dans le domaine de l’intelligence artificielle dominera le monde. »
Généralement, l’intelligence artificielle (IA) est évoquée dans le contexte d’évolutions positives, sur la santé ou la régulation de la circulation par exemple, ou négatives comme son impact sur l’emploi ou encore la possibilité – pour l’instant du domaine de la science-fiction – qu’une « IA » développe un jour une « conscience » et s’impose à ses créateurs, les humains.
Mais il est rare qu’on en parle en termes géopolitiques comme vient de le faire très crûment le président russe. Le plus étrange est le contexte de cette sortie : pas une grande conférence stratégique comme celle de Munich où, en 2007, il avait dénoncé l' »unilatéralisme américain » mais une téléconférence suivie par plus d’un million… d’écoliers russes, à l’occasion de la rentrée scolaire !
Faisant écho à cette sortie, Elon Musk, le patron de Tesla et de SpaceX, a aussitôt tweeté : « Ça commence… », en lien avec la déclaration de Vladimir Poutine. Avant de poursuivre :
« La compétition pour la supériorité nationale en matière d’IA sera la cause la plus vraisemblable de la troisième guerre mondiale. »
Rien que ça.
It begins … https://t.co/mbjw5hWC5J
— Elon Musk (@elonmusk) 4 septembre 2017
China, Russia, soon all countries w strong computer science. Competition for AI superiority at national level most likely cause of WW3 imo.
— Elon Musk (@elonmusk) 4 septembre 2017
Et s’il était nécessaire d’en rajouter dans cette surenchère, il suffirait de se tourner vers Yuval Noah Harari, l’historien israélien et auteur à succès, qui se trouvait cette semaine à Paris pour le lancement de l’édition française de son livre fulgurant, « Homo Deus, une brève histoire de l’avenir » (Albin Michel).
Harari prédit que les développements de l’intelligence artificielle et des biotechnologies risquent de produire une couche de « surhommes augmentés » qui vont dominer le monde, et transformer le reste de l’humanité en « classe inutile ». Une démonstration étayée par de nombreux exemples tirés des avancées technologiques et des changements de monde qu’elles impliquent.
Lors d’une présentation de son livre devant un parterre d’invités, dont la commissaire européenne Margrethe Vestager – la femme qui défie les Gafa (Google-Amazon-Facebook-Apple) – Yuval Harari a prédit que ces avancées scientifiques allaient générer des inégalités sans précédent dans l’histoire de l’humanité, à l’intérieur des sociétés, mais aussi entre les nations. Le fossé entre ceux qui maîtrisent ces technologies et ceux qui n’y auront pas accès sera non seulement plus grand qu’entre les pays industriels et les autres au XIXe et XXe siècles mais surtout, il ne pourra plus jamais être comblé, a-t-il dit.
En particulier, comme il l’expliquait à « l’Obs » la semaine dernière, la matière première de l’avenir, c’est la donnée, « nos » données personnelles, captées allègrement par ceux qui en ont la capacité. Les maîtres du jeu seront les grands prêtres de la nouvelle religion, le « dataïsme »…
Le propos de cet auteur, qui avait connu un succès mondial avec son livre précédent « Sapiens », a suffisamment attiré l’attention pour que le président Emmanuel Macron le reçoive à l’Elysée, quelques jours après avoir confié au mathématicien (et député LREM) Cédric Villani une mission sur l’intelligence artificielle.
It was an honor to present a French copy of Homo Deus to @EmmanuelMacron and the first lady yesterday. Thanks for the warm welcome.#homodeuspic.twitter.com/vyQSRJw6Pe
— Yuval Noah Harari (@harari_yuval) 12 septembre 2017
La déclaration de Vladimir Poutine sur l’intelligence artificielle a au moins le mérite de donner à ce débat – dont le grand public pourrait penser, à tort, qu’il ne le concerne pas ou qu’il est trop complexe –, une simplicité originelle : le chef du Kremlin raisonne en matière de domination et de soumission, sur l’intelligence artificielle comme sur le reste.
L’IA n’est donc pas seulement un enjeu économique majeur qui prend la forme – pas si anodine que ça d’ailleurs – d’Alexa, le robot intelligent d’Amazon qui répond à tous vos besoins domestiques et fait même réviser les tables de multiplication à vos enfants. L’IA peut aussi être un moyen de domination.
Pas de hasard de ce côté-là : les plus grands investissements en intelligence artificielle se trouvent chez les deux géants rivaux du XXIe siècle, les Etats-Unis et la Chine avec, vraisemblablement, un avantage aux Chinois en matière de de budgets investis.
Tout le monde connaît Google, Microsoft ou Amazon, les immenses entreprises américaines auxquelles nous avons recours presque quotidiennement. Certains connaissent Alibaba, le géant du e-commerce chinois fondé par le très médiatique Jack Ma, mais peu d’Européens connaissent Baidu ou Tencent, deux entreprises chinoises aussi importantes que leurs homologues américaines, qui investissent massivement dans l’intelligence artificielle.
Sans compter les centres de recherche liés aux systèmes de défense, qui, dans les principaux pays au monde, sont aujourd’hui choyés, budgétés, et valorisés. Israël, par exemple, au-delà de la « start-up nation » qui a produit l’appli de guidage Waze et quelques autres produits grand public, a créé un écosystème de recherche qui part d’abord de ses besoins militaires.
Dans une tribune sur le site de CNN, le chercheur américain Gregory C. Allen, auteur d’une étude sur « l’intelligence artificielle et l’enjeu de sécurité nationale », fait valoir que la Russie de Poutine n’est pas aujourd’hui dans le peloton de tête de la recherche en IA, sauf dans le domaine de l’armement :
« Malgré les grandes ambitions de Poutine, écrit-il, la quête russe de domination de l’IA ne viendra pas par le biais de percées technologiques. Les Etats-Unis et la Chine ont des industries numériques bien plus importantes, plus sophistiquées et à plus forte croissance que la Russie. »
Avant de poursuivre : « En revanche, la Russie pourrait bien devenir leader dans la militarisation de l’IA dans la poursuite de son objectif stratégique qui est de mettre fin à l’hégémonie américaine dans le système international et rétablir l’influence russe dans l’ancienne sphère soviétique. La Russie n’a jamais été non plus un leader dans les technologies internet, et pourtant a développé une force importante de hackers qui ont pu faire tomber une grande partie du réseau électrique ukrainien, infiltrer les installations nucléaires américaines, et semer le chaos dans l’élection américaine de 2016 ».
Peut-on encore empêcher cette militarisation de l’intelligence artificielle, et cette concurrence nationale à des fins de domination qui inquiète Elon Musk, décidément de plus en plus alarmiste sur l’IA ? Ça paraît difficile dans le climat international actuel aux allures de nouvelle guerre froide, qui fait tomber les réserves éthiques comme il y a un demi-siècle lors de la rivalité Est-Ouest.
L’Europe est dramatiquement absente, ou au moins très en retard, à la fois de la bataille des données menée par des entreprises qui sont rarement européennes, et de cet enjeu stratégique qui monte. Peut-être, pour une fois, faudrait-il prendre Vladimir Poutine au mot, et réaliser qu’il y a là un enjeu vital.
Pierre Haski
This is the excerpt for a featured post.
Le titre d’un livre doit au fond synthétiser la pensée de son auteur ou des auteurs puisqu’il s’agit d’un ouvrage collectif. Le titre doit être porteur de sens et traduire dans une forme de résumé l’ensemble d’une réflexion.
Cette réflexion est sur l’homme, ce n’est certainement pas le premier ouvrage qui traite de cette question.
De multiples ouvrages philosophiques, théologiques, même sociologiques, ont traité de l’homme dans l’ensemble des dimensions anthropologiques et sociales. Dans ces ouvrages, la dimension contextuelle de l’homme a été considérée, également abordée comme sujet social, culturel dans toute son étendue éthique, morale, spirituelle.
Ce livre n’a cependant pas l’ambition de traiter l’homme sur ses aspects sociologiques, philosophiques, anthropologiques, même si cet ouvrage collectif le fait par ailleurs en évoquant en effet une idée de déstructuration de l’anthropologie que font peser à la fois la modernité virtuelle, la société des écrans, le monde numérique, la technicité de notre époque.
Notre titre peut paraître étrange puisque sans équivoque nous abordons la « déconstruction de l’homme » dans un contexte d’idéologie transhumaniste et de société numérique. La déconstruction de l’homme comme :
L’intitulé « Déconstruction de l’homme » pourrait faire penser à un ouvrage écrit par le philosophe Jean-François Maté, L’homme dévasté. Le philosophe postule, lui aussi, la déconstruction de l’homme dans toute sa dimension culturelle, comme un être finalement destitué, limogé et dénonce la place prise par le monde virtuel qui s’est substitué au monde réel.
Le philosophe Mattéi [1] dresse en effet un diagnostic bien sombre de notre époque : « La déconstruction a fêté un bal des adieux à tout ce à quoi l’homme s’était identifié dans son histoire (…). L’adieu à ce qui faisait la substance de l’humanité, cristallisée dans son idée, est en même temps l’adieu à l’humanisme et, en son cœur, l’adieu à la condition humaine. Rien ne semble résister au travail de la taupe qui a sapé les principes sur lesquels reposait la civilisation. »
Dans ce livre, si nous évoquons l’emprise et la fascination de l’homme pour le monde virtuel nous dénonçons le risque d’une humanité en mal de surnaturel qui a idolâtré littéralement l’objet technique sans prendre conscience que cet objet technique est en train de la vampiriser, de la remplacer, de la contrôler.
« Sommes-nous donc en train de confier nos vies à des puissances de calcul inhumaines, sortes de main invisibles qui dotées en apparence des meilleures intentions sèmeraient en réalité le chaos, troubleraient le débat démocratique, modifieraient le destin de nos enfants, et nous imposeraient de surcroît à notre insu une terrifiante transparence ? » – commentaires de Violaine de Montclos et Victoria Gairin, journalistes du Point. [2]
Une déshumanisation du monde s’organise sous nos yeux et, pire, l’économie virtuelle qui se dessine sera destructrice d’emplois. Les algorithmes [3] et la robotisation vont révolutionner le monde de l’emploi en affaiblissant la dynamique et les ressorts qui construisent le travail humain.
Ce sont sans doute les grands équilibres économiques qui sont à terme menacés, même si quelques-uns de nos lecteurs souhaitaient pondérer notre propos en soulignant l’impact numérique qui est forcément multiforme (positif comme négatif) et générera de l’emploi. La question est : pour qui ? Et qui sera sur la touche ?
Il y a quelques temps, je sortais d’une soirée d’entrepreneurs et dirigeants chrétiens, un banquier indiquait qu’il lui était demandé de réfléchir à la numérisation de la banque, ce qui signifiait pour lui, rationalisation et meilleure gestion des ressources, en d’autres termes réduction des effectifs, suppression de succursales bancaires, remise en question de la dimension de la banque de proximité.
En préparant ce livre, nous lisions récemment que l’institut européen Bruegel [4] a publié les résultats de l’enquête [5] menée par un économiste et un ingénieur d’Oxford. Leur constat est sans appel : c’est la moitié des effectifs, soit un emploi sur deux à l’échelle européenne, qui dans un avenir proche sera réduite ou profondément transformée par le numérique, en partie menacée par l’évolution des services numérisés, menacée par la robotisation de la société, et ce dans les prochaines décennies.
La révolution numérique, digitale, robotique de l’intelligence artificielle est ainsi en cours. Selon la même étude, l’impact sera conséquent sur l’emploi, en raison de l’automatisation des tâches, de la puissance des inférences bayésiens [6] qui permettront de gérer les fonctions même les plus compliquées occupées jusqu’à présent par des êtres humains, voire de résoudre des problèmes qui auraient été confiés jadis à des emplois dits qualifiés.
L’homme s’est pris de passion pour la science, ce qui n’est pas en soi un mal, mais sa passion est devenue une idole, le scientifique est devenu scientiste se persuadant que la science nous fera connaître la totalité des choses et répondra à toutes les formes d’aspirations et de délires prométhéens.
Dans ce livre nous abordons ces projets démiurgiques qui transforment la vie sociale et l’être humain dans la démesure sans que ce dernier ait pris conscience qu’il a ainsi ouvert la boîte de Pandore à un être technique, une forme de bête apocalyptique qui prendra possession de lui. Pourtant ce projet démiurgique n’a ni le souffle ni l’âme insufflée par l’Esprit de Dieu. La bête et son monde d’images faisant de nous des iconoclastes seront sans aucun doute terrassés par ceux dont la conscience s’éveillera pour ne pas succomber à la tentation d’être de leur nombre.
Ainsi la révolution numérique, qui se déploie aujourd’hui sous nos yeux, est sur le point de remodeler la société de demain. Sa dynamique propre et la vitesse à laquelle elle se déploie sont de nature à rebattre toutes les cartes de la vie et de l’organisation sociale. Chaque révolution industrielle s’est accompagnée autrefois d’une restructuration de la vie sociale, chaque révolution industrielle a imposé une forme de réadaptation de la vie et des rapports aux autres.
La rapidité avec laquelle les innovations du monde numérique se déploient ne laissera dès lors aucun répit, d’où une désorientation sociale et psychologique qui sera sans précédent dans l’histoire. Le monde numérique est en train de casser les repères culturels qui avaient été à présent les nôtres ; la société sous nos yeux est sur le point d’être recomposée avec de nouvelles règles, de nouveaux codes, une nouvelle normalisation, de nouvelles oligarchies (les scientistes) dont les projets autour de la technicité sont de nature à fragiliser, à déconstruire l’homme, à renverser les valeurs, les tables de l’ancien monde, leurs hiérarchies, leurs institutions.
C’est la verticalité de l’ancien monde qui risque de disparaître au profit de l’horizontalité, la fin des intermédiaires, y compris des élus ; l’on pourrait imaginer de nouvelles formes de démocraties « débarrassée de toute forme de représentation nationale, » ce qui n’est pas impossible compte tenu du désaveu dont les personnels politiques font l’objet pour une grande partie d’entre eux. Internet pourrait répondre à la crise de la représentation qui se manifeste aujourd’hui résultant d’une abstention électorale croissante.
Sans doute, il faudra oser sortir de l’indolence, exprimer le refus de laisser aller dans le vertige de l’innovation technologique qui est en réalité une puissance destructrice nous poussant à toujours consommer et à considérer que tout devient artificiellement obsolète, y compris la culture et les institutions.
Il faudra se dégager d’une forme d’apathie et de bienveillance vis-à-vis de la technique en menant une critique réfléchie, argumentative à l’instar de Jacques Ellul. Il faudra avoir le courage de déloger les poncifs, les lieux communs, tels que : la technique est neutre, elle nous libère de la servitude, elle améliore notre espérance de vie, elle nous affranchit de l’aliénation des outils industriels. Ce sont aujourd’hui de véritables clichés, bien sûr l’on nous targuera ce propos de type : « la technique est ce que nous en faisons. »
Soit, la technique « est ce que nous en faisons, » mais justement, quelle réflexion éthique a été faite à propos de la technique puisqu’elle a été auréolée de neutralité, puisque nous avons pris la précaution de relativiser le discours autour de l’objet, d’édulcorer, de tempérer la critique pour ne pas offenser le progrès ? Or aujourd’hui nous prenons la mesure que de tels discours n’ont pas permis de peser les orientations, de discerner les intentions cachées d’une technique sans conscience, nous subissons aujourd’hui les avatars idéologiques associés à la séduction du progrès !
C’est l’essayiste et chercheur Evgeny Morozov qui indiquait dans son livre Pout tout résoudre cliquez ici que les technocrates neutres aux postures bienveillantes et attentistes ne s’engagent en réalité pas dans des considérations réellement réalistes prenant la mesure de tous les effets induits par la puissance des nouvelles technologies. Pour illustrer son propos, l’auteur pointait les technologies de reconnaissance faciale susceptibles d’être utilisées à bon escient pour rechercher par exemple un enfant perdu, mais ne mesurant pas que ces mêmes technologies de reconnaissance faciale pourraient s’avérer à terme être de véritables mini Big Brother aux mains d’une nouvelle Stasi. [7] Pour Evgeny Morozov ces technocrates neutres sont « aveugles des multiples contextes dans lesquels les solutions pourraient être appliquées et les nombreuses manières imprévisibles par lesquelles ces contextes pourraient diminuer leur efficacité. »[8]
Refuser de coopérer avec cette puissance bienfaisante et invisible demandera sans doute du courage. Ce monde virtuel et numérique laissera demain une place à la machine dominante et écrasante, atomisant l’homme en lui donnant l’illusion du bonheur, le sentiment d’autonomie mais d’un être ni libre, ni affranchi puisqu’en permanence dépendant et guidé par la machine.
Au fil de ces pages, je songeais à ce texte de l’apôtre Paul décrivant le monde à venir et le mystère de l’iniquité : déjà au premier siècle le mystère du mal agissait et trouvera son épilogue dans ce système politique économique et religieux que décrira l’apôtre Jean.
Ainsi l’apôtre Paul, en écrivant aux Thessaloniciens, leur indiquait : « Et maintenant vous savez ce qui le retient, afin qu’il ne paraisse qu’en son temps. Car le mystère de l’iniquité agit déjà ; il faut seulement que celui qui le retient encore ait disparu. Et alors paraîtra l’impie, que le Seigneur Jésus détruira par le souffle de sa bouche, et qu’il anéantira par l’éclat de son avènement.… » [9]
Le mot « iniquité » ou « anomie » décrit la nature d’un monde caractérisé par l’apostasie, et dont l’apothéose sera l’avènement de l’impie, l’homme sans foi ni loi, qui rejette tout attachement à Dieu et toute norme. C’est une forme d’incrédulité extrême et de confusion qui caractérisera le mystère de l’iniquité. L’anomie est l’équivalent du mot iniquité, un terme qui fut introduit par le sociologue Emile Durkheim qui caractérise l’état d’une société dont les normes réglant la conduite de l’humain et assurant l’ordre social apparaîtront totalement inopérantes. Dans ces contextes de déstructuration des grands principes de la famille, de la religion, de la politique, du travail qui ont régi l’homme, les humains seront prêts à s’essayer à de nouvelles technologies, idéologies, doctrines sociales, à une nouvelle vie sociale en se libérant en quelque sorte des socles culturels qui ont précédé les générations passées.
Or aujourd’hui, il n’est pas contestable que l’humanité est arrivée à cette dimension de relativisation du bien et du mal, à une forme de désintégration sociale du fait de l’individualisation extrême dans laquelle peu à peu les humains cheminent, ce que Jacques Généreux décrivait comme la Dissociété, la société morcelée, la société fragmentée, l’émergence d’une société d’étrangers, d’hommes étrangers à la destinée des autres comme le dépeignait également Alexis de Tocqueville. « Chacun d’eux, retiré à l’écart, est comme étranger à la destinée de tous les autres : ses enfants et ses amis particuliers forment pour lui toute l’espèce humaine ; quant au demeurant de ses concitoyens, il est à côté d’eux, mais il ne les voit pas; il les touche et ne les sent point ; il n’existe qu’en lui-même et pour lui seul, et s’il lui reste encore une famille, on peut dire du moins qu’il n’a plus de patrie. » N’est-ce pas là les prémisses de la société numérique qui se dessine, ces réseaux sociaux ou nous ne voyons pas, nous ne touchons pas, nous ne sentons pas, et nous n’existons qu’en nous-mêmes et pour nous seuls ? Je trouve cette réflexion d’Alexis de Tocqueville fabuleusement prémonitoire et prophétique. Ainsi, l’usage déséquilibrant du monde virtuel est une sorte d’avortement de la communauté humaine traditionnelle.
Sans doute, en nous lisant, vous aurez le sentiment que nous dressons une prospective bien sombre de l’avenir de notre humanité, mais il y a sans doute urgence aujourd’hui de réformer nos pratiques et de prendre conscience que nous pourrions inverser ce processus en marche par un acte de résistance, en ne nous laissant pas absorber par le monde digital, l’économie numérique, le monde des écrans, en retrouvant le chemin de la transcendance, le sens de l’autre et de notre relation respectueuse de la nature, en nous réconciliant en définitive avec toutes les dimensions du réel, du beau, du bien et du vrai ; d’être les hommes et les femmes du quotidien et non d’un futur fascinant mais en réalité sans espérance.
Éric LEMAITRE
Notes:
[1] Jean-François Mattéi, 1941-2014. Professeur de philosophie grecque et de philosophie politique. Auteur du livre L’Homme dévasté, paru aux collections Grasset, 18 février 2015, 264 p.
[2] Article du Point de septembre 2016 : « Ces algorithmes qui nous gouvernent. »
[3] L’algorithme se définit comme une méthode suivant un mode d’emploi précis fondée sur une série d’instructions à exécuter, une suite finie et non ambiguë d’opérations ou d’instructions permettant de solutionner un problème ou d’obtenir un résultat.
[4] L’institut européen Bruegel est un think tank, un observatoire d’experts de la vie quotidienne et économique européenne.
[5] Notre source est extraite de l’article paru dans :
http://www.itg.fr/portage-salarial/les-actualites/Robotisationnumerisationimpactemploisfutur. Autre source : rapport au gouvernement de Philippe LEMOINE, novembre 2014 : http://www.economie.gouv.fr/files/files/PDF/rapport_TNEF.pdf, page 11.
[6] Inférences bayésiennes : méthode d’inférence permettant de déduire la probabilité d’un événement à partir de celles d’autres événements déjà évalués. Dans le domaine de l’intelligence artificielle, les programmes sont conçus à partir de cette méthode, ce qui confère à la machine des capacités d’autonomie et d’apprentissage. C’est cette révolution de l’intelligence artificielle qui est en marche.
[7] Le ministère de la Sécurité d’État dit la Stasi : service de police politique, de renseignements, d’espionnage et de contre-espionnage de la République démocratique allemande (RDA) créé le 8 février 1950.
[8] Extrait du livre de Evgeny Morozov, Pour tout résoudre cliquez ici, Editions FYP, p. 173.
[9] Citation extraite du Nouveau Testament 2 Thessaloniciens 2:6, version Louis Segond.