A.I. Expert Virginia Dignum: Le problème du chariot montre pourquoi nous avons besoin de transparence

L'intelligence artificielle a besoin de transparence pour que les êtres humains puissent en tenir compte, a déclaré un chercheur. Virginia Dignum, professeure agrégée à l’Université de technologie de Delft, a déclaré vendredi à un auditoire de l’Université de New York que si nous ne comprenons pas pourquoi les machines agissent comme elles le font, nous ne pourrons pas juger leurs décisions.

Dignum a cité un article de David Berreby, écrivain scientifique et chercheur, qui a été publié dans La psychologie aujourd'hui: «Les preuves suggèrent que lorsque les gens travaillent avec des machines, ils ont moins le sens de l’agence que quand ils travaillent seuls ou avec d’autres personnes.»

Dignum a expliqué que le «problème du chariot» est un domaine dans lequel les gens peuvent faire confiance à une machine pour choisir le bon résultat. La question est de savoir s'il faut basculer le levier sur un train fugitif hypothétique afin qu'il tue une personne au lieu de cinq. Les gens s'attendent à ce que les machines résolvent le problème de la manière la plus rationnelle possible. Cela n’est peut-être pas toujours le cas, et la transparence aiderait à expliquer comment la machine a pris sa décision.

«Ce n’est pas seulement une chaîne d’événements très profonde et réseau que personne ne peut comprendre, mais bien d’apporter ces explications d’une manière que les gens peuvent comprendre», a-t-elle déclaré.

A.I. cela rend son fonctionnement plus clair est un domaine que la DARPA a exploré. En août, l’agence a annoncé qu’elle cherchait des équipes intéressées par un IA explicable. projets, connus sous le nom de XAI. Ces systèmes aideront les chercheurs à comprendre pourquoi un test A.I. a pris la décision, donnant plus de latitude pour décider quoi faire des informations résultantes plutôt que de faire aveuglément confiance à la machine.

Avec l'apprentissage automatique, Dignum a souligné que la transparence est plus cruciale que jamais. «Nous ne pouvons pas nous attendre à ce que les systèmes, et en particulier les machines d’apprentissage automatique, apprennent et sachent tout tout de suite», a-t-elle déclaré.«Nous ne nous attendons pas à ce que nos conducteurs, lorsqu’ils conduisent, soient parfaitement au courant du code de la route. Dans de nombreux pays, ils utilisent ces plaques «L» pour montrer: «J'apprends, excuse-moi pour les erreurs que je pourrais faire.» Regarder l'intelligence artificielle, comprendre comment certaines décisions sont prises et agir en fonction de cela sera crucial pour arrêter des machines qui apprennent encore à prendre de mauvaises décisions.