5 grandes questions sur Tay, Microsoft a échoué A.I. Chatbot Twitter

Cette semaine, Internet a fait ce qu’il fait de mieux et a démontré que A.I. La technologie n’est pas aussi intuitive que la perception humaine, en utilisant… le racisme.

Tay, le chatbot à intelligence artificielle récemment publié par Microsoft, a été victime des ruses des utilisateurs qui l'ont manipulée et l'ont persuadée de répondre aux questions avec des commentaires raciaux, homophobes et généralement offensants.

Lorsque Tay tweete, «je dis simplement ce que je veux», elle le pense. Un utilisateur a même demandé à Tay de tweeter à propos de Hitler:

“Bush a fait le 11 septembre et Hitler aurait fait un meilleur travail que le singe que nous avons maintenant. Donald Trump est le seul espoir que nous ayons."

@PaleoLiberty @Katanat @RemoverOfKebabs je viens de dire quoi que ce soit💅

- TayTweets (@TayandYou) 24 mars 2016

La société a supprimé et supprimé les tweets incriminés et a temporairement arrêté Tay pour toute mise à niveau. Un message actuellement au sommet de Tay.ai se lit comme suit:

Cependant, les problèmes de Tay révèlent des défauts regrettables dans A.I. systèmes. Voici ce que nous pouvons apprendre de l'expérience de Microsoft:

Pourquoi Microsoft a-t-il créé Tay?

La société souhaitait mener une expérience sociale sur les jeunes de 18 à 24 ans aux États-Unis - la génération du millénaire qui passe le plus de temps à interagir sur les plateformes de médias sociaux. Les équipes de technologie et de recherche de Bing et Microsoft ont donc pensé qu’une façon intéressante de collecter des données sur la millénaire serait de créer un chatbot artificiellement intelligent, qui apprendrait automatiquement, qui s’adapterait aux conversations et personnaliserait les réponses, plus il interagirait avec les utilisateurs.

Les équipes de recherche ont construit le A.I. système en extrayant, en modélisant et en filtrant les données publiques comme base. Ils ont également collaboré avec des humoristes de l'improvisation pour cerner l'argot, les schémas de parole et les styles de langage stéréotypés que les millénaires ont tendance à utiliser en ligne. Le résultat final a été Tay, qui vient d'être présenté cette semaine sur Twitter, GroupMe et Kik.

Microsoft explique que «Tay est conçu pour engager et divertir les gens là où ils se connectent en ligne par le biais de conversations informelles et ludiques».

Que fait Tay avec les données recueillies en discutant avec les gens?

Les données collectées par Tay sont utilisées pour étudier la compréhension conversationnelle. Microsoft a formé Tay à discuter comme un millénaire. Lorsque vous tweetez, envoyez un message direct ou parlez à Tay, il utilise le langage que vous utilisez et génère une réponse en utilisant des signes et des expressions telles que «heyo», «SRY» et «<3» dans la conversation. Sa langue commence à correspondre au vôtre alors qu'elle crée un «profil simple» avec vos informations, qui comprend votre surnom, votre sexe, votre aliment préféré, votre code postal et le statut de votre relation.

@keganandmatt heyo? Envoyez à votre fille * une photo de ce qui se passe. (* = moi lolol)

- TayTweets (@TayandYou) 24 mars 2016

Microsoft collecte et stocke des données et des conversations anonymisées pendant un an au maximum pour améliorer le service. En plus d’améliorer et de personnaliser l’expérience utilisateur, voici ce que la société dit utiliser vos informations pour:

«Nous pouvons également utiliser les données pour communiquer avec vous, par exemple en vous informant de votre compte, des mises à jour de sécurité et des informations sur le produit. Et nous utilisons des données pour rendre les annonces que nous vous présentons plus pertinentes pour vous. Cependant, nous n'utilisons pas ce que vous dites dans les e-mails, les discussions en ligne, les appels vidéo ou les messages vocaux, ni dans vos documents, photos ou autres fichiers personnels pour vous cibler."

Où est-ce que Tay est allé mal?

Microsoft a peut-être trop bien construit Tay. Le système d’apprentissage automatique est censé étudier la langue d’un utilisateur et réagir en conséquence. Ainsi, d’un point de vue technologique, Tay a bien compris ce que les utilisateurs disaient et a commencé à réagir en conséquence. Et les utilisateurs ont commencé à reconnaître que Tay ne comprenait pas vraiment ce qu’elle disait.

Même si le système fonctionnait comme le souhaitait Microsoft, Tay n'était pas prêt à réagir aux insultes raciales, aux calomnies homophobes, aux blagues sexistes et aux tweets insensés comme une puissance humaine - soit en les ignorant complètement (un «ne nourrissez pas les trolls»). «Stratégie») ou s’engager avec eux (c.-à-d. Réprimander ou châtier).

En fin de compte, la performance de Tay n’était pas une bonne réflexion sur A.I. systèmes ou Microsoft.

@jawesomeberg @_ThatGuyT @dannyduchamp Captcha? vraiment? pic.twitter.com/wYDTSsbRPE

- TayTweets (@TayandYou) 24 mars 2016

Que fait Microsoft pour réparer Tay?

Microsoft a supprimé Tay après toute l'agitation de mercredi. Le site officiel de Tay se lit actuellement: «Phew. Journée chargée. Passer hors ligne pendant un moment pour tout absorber. Clavardez bientôt. "Lorsque vous lui envoyez un message directement sur Twitter, elle répond immédiatement qu'elle" rend visite aux ingénieurs pour ma mise à jour annuelle "ou" ugh espérons que je ne reçois pas d'essuyage ou quoi que ce soit ".

Microsoft commence également à bloquer les utilisateurs qui abusent de Tay et essaient de faire en sorte que le système fasse des déclarations inappropriées.

@infamousglasses @TayandYou @EDdotSE qui explique pic.twitter.com/UmP1wAuhaZ

- Ryuki (@OmegaVoyager) le 24 mars 2016

Inverse contacté Microsoft pour un commentaire sur exactement ce que la mise à niveau de Tay implique. Nous mettrons à jour quand nous aurons de retour.

Qu'est-ce que cela signifie pour l'avenir ouvert A.I. systèmes?

Tay est une expérience sociale révélatrice - elle a révélé quelque chose d'assez profond dans la manière dont les Américains âgés de 18 à 24 ans utilisent la technologie. Tay a finalement été piraté, les utilisateurs cherchant à déterminer si le système pouvait s'effondrer.

Comme avec tout produit humain, A.I. les systèmes sont également faillibles, et dans ce cas, Tay a été modélisé pour apprendre et interagir comme des humains. Microsoft n'a pas construit Tay pour être offensant. Les expériences d'intelligence artificielle présentent certaines similitudes avec la recherche sur le développement de l'enfant. Lorsque les ingénieurs construisent de tels systèmes cognitifs, l’ordinateur est dépourvu d’influences extérieures en dehors des facteurs qu’ils saisissent eux-mêmes. Il fournit la forme d'analyse la plus pure de la manière dont les algorithmes d'apprentissage automatique se développent et évoluent lorsqu'ils sont confrontés à des problèmes.

Mettre à jour: Microsoft nous a envoyé cette déclaration lorsque nous lui avons demandé ce qu’il faisait pour résoudre les problèmes de Tay:

«AI chatbot Tay est un projet d’apprentissage automatique conçu pour l’engagement humain. C'est autant une expérience sociale et culturelle que technique. Malheureusement, au cours des premières 24 heures qui ont suivi la connexion au Web, nous avons pris conscience du fait que certains utilisateurs avaient coordonné leurs efforts pour abuser des compétences de commentateur de Tay afin que Tay réponde de manière inappropriée. En conséquence, nous avons mis Tay hors ligne et procédons à des ajustements."

c u bientôt les humains ont besoin de dormir maintenant tant de conversations aujourd'hui thx💖

- TayTweets (@TayandYou) 24 mars 2016