Alors que le personnel militaire, et plus largement les gens en général, deviennent de plus en plus dépendants des systèmes d’IA, il existe un réel hazard qu’en cas de dysfonctionnement des systèmes d’IA, ses utilisateurs ne soient pas en mesure de s’adapter à temps pour éviter une disaster. Un dysfonctionnement peut submerger «l’utilisateur» humain alors qu’il lutte pour comprendre la state of affairs et l’environnement, il se retrouve alors dépouillé des outils et des systèmes activés par l’IA dont il dépend désormais pour atteindre cet objectif.
La DARPA évoque l’exemple des accidents d’avion mortels résultant d’un échec des pilotes à évaluer en temps opportun et efficacement leur state of affairs et à réagir après une défaillance des systèmes automatisés. Ainsi, la DARPA estime qu’il est nécessaire de développer “des interfaces homme-machine (IHM) qui permettent aux humains de maintenir une conscience de la state of affairs des systèmes hautement automatisés et autonomes afin qu’ils puissent s’adapter face à des circonstances imprévues”.
Le nouveau programme EDGE de la DARPA vise à maintenir la connaissance de la state of affairs lorsque l’IA se comporte de manière inattendue. L’objectif est de développer une suite d’outils de conception d’IHM pour surveiller les systèmes autonomes et également s’adapter avec eux lorsqu’ils rencontrent des conditions imprévues. https://t.co/EgOjoW8TFh pic.twitter.com/kBgdeFbuEo
– DARPA (@DARPA) 21 mai 2021
Selon Bart Russell du Bureau des sciences de la défense de la DARPA :
“Alors que les machines hautement automatisées et les systèmes basés sur l’IA sont devenus de plus en plus compliqués, la tendance dans le développement des IHM a été de réduire autant que potential la cost de travail cognitive des humains. Malheureusement, le moyen le plus easy d’y parvenir est de limiter le transfert d’informations. Réduire la cost de travail est necessary, automotive une personne surchargée ne peut pas prendre de bonnes décisions. Mais la limitation des informations érode la connaissance de la state of affairs, ce qui rend difficile pour les opérateurs humains de savoir remark s’adapter lorsque l’IA ne fonctionne pas comme prévu. Les systèmes d’IA actuels ont tendance à être fragiles – ils ne gèrent pas bien les conditions inattendues – et la guerre est définie par l’inattendu. […]
Nous avons besoin d’IHM qui font un meilleur travail d’échange d’informations entre le système et l’humain. […] Il ne s’agit pas de la vitesse à laquelle vous appuyez sur un bouton ou de l’ergonomie de votre cockpit, il s’agit de la façon dont vous percevez les informations qui vous parviennent et qui vous aident à développer une compréhension suffisante des processus système, de l’état par rapport à l’enveloppe de performances de la machine et de la contexte dans lequel il opère pour encore accomplir une mission malgré des circumstances hors-nominal.
Afin de résoudre ce problème, la DARPA a annoncé le 21 mai son nouveau programme Enhancing Design for Swish Extensibility (EDGE). Le programme vise à résoudre ce problème dans le développement d’IHM en aidant à concevoir des systèmes qui permettent une meilleure connaissance de la state of affairs et, par extension, améliorent la capacité des humains à s’adapter à des conditions inattendues. Cela signifie s’assurer que l’humain chargé d’interagir avec un système d’IA comprend son fonctionnement de base, quand il est inclined d’échouer et est succesful de voir activement “l’état du système par rapport à son enveloppe de efficiency (c’est-à-dire, s’il est dans sa” zone de confort, “ou près des limites de sa vitesse, de sa portée, and many others.)”. La DARPA a prévu une journée des proposants pour le 1er juin.