Un an après, la fonction "En ce jour" illustre comment A.I. Est en train de changer Facebook

Il y a un an aujourd'hui, Facebook publiait sa fonctionnalité «On This Day». Inverse Manohar Paluri, responsable de la recherche en vision par ordinateur sur Facebook, explique comment l'intelligence artificielle, l'apprentissage automatique et la vision par ordinateur rendent cette fonctionnalité plus significative - et comment ces domaines de recherche et développement continueront à améliorer l'expérience de Facebook dans les années à venir.

Même si vous n'avez pas utilisé la fonctionnalité On This Day vous-même, vous avez vu ces publications dans votre fil d'actualité; vous avez vu un ami partager à nouveau un événement de son passé Facebook. Je ne peux pas croire que cela fait trois ans que ce magicien a sorti un lapin d’un chapeau! jumelé avec une photo dudit magicien tirant ledit lapin hors dudit chapeau. Quelque chose qui ressemble à ça. Et aujourd’hui, Facebook partage sa propre mémoire. Ce jour-là, il y a un an, Facebook a lancé On This Day. (Aujourd'hui, On This Day compte plus de 60 millions de visiteurs quotidiens et 155 millions d'abonnés à ses notifications.)

Mais pour Facebook, cette mémoire est moins sentimentale que marquante. Facebook propose systématiquement de nouvelles fonctionnalités, qui sont constamment examinées et modifiées. Parfois, ce sont des êtres humains, comme Paluri et son équipe, qui font le peaufinage; d’autres fois c’est A.I.s. La plupart du temps, cependant, c’est symbiotique. Facebook est comme un cyborg, et ce cyborg en a un raison d'être: pour rendre votre expérience Facebook en tant que agréable que possible.

La vision par ordinateur, la compréhension du contenu et A.I. L’équipe de Facebook pourrait être considérée - si vous voulez - comme la carte mère du cyborg. Et pour continuer la métaphore, Paluri est en quelque sorte l’unité centrale de traitement de cette carte mère. Paluri travaille dans le domaine de la vision par ordinateur depuis plus de 10 ans et il n’est pas une petite frite: il a débuté chez SRI, s’est ensuite rendu dans les laboratoires IBM Watson, puis a sauté dans Google. Et maintenant, il est à Menlo Park sur Facebook. Lorsqu’il s’est joint à nous, son projet de stage en reconnaissance visuelle s’est transformé en «l’épine dorsale» de la technologie de compréhension d’images et de vidéos de Facebook. Et ce moteur de reconnaissance visuelle devient de plus en plus central sur Facebook.

«Si vous examinez l’utilisation de Facebook au fil du temps - et c’est un exemple que Mark Zuckerberg cite aussi souvent - vous voyez des médias de plus en plus riches être partagés, et les gens l’utilisent pour se connecter», dit Paluri. «Vous commencez par le texte, vous allez aux photos; des photos, vous allez aux vidéos, et des vidéos, nous allons maintenant à VR. Au fur et à mesure que le support de communication devient de plus en plus riche, il est également important que les outils se rattrapent, qu'ils comprennent ce qu'est ce contenu. Si nous n’avons pas cela, nous ne pourrons pas faire mieux dans le classement des fils d’information, nous ne pourrons pas faire mieux dans la récupération de la recherche, nous ne pourrons pas mieux décrire les photos destinées aux personnes aveugles, nous ne serons pas capable de construire de meilleures cartes de densité de population."

Posté par zuck.

Selon Paluri, la centralité relativement nouvelle de l'intelligence artificielle, de l'apprentissage automatique et de la vision par ordinateur est un peu un "pari stratégique", mais un pari qui le passionne. Nulle part ailleurs, il n’a eu une telle boucle de réaction et de réaction entre la recherche et l’ingénierie. «En le centralisant, nous procédons avec la technologie la plus avancée, nous poussons la technologie la plus avancée, puis les équipes produits et le reste de la société peuvent s’y adapter», explique-t-il.

Maintenant, Paluri dirige l’équipe de vision par ordinateur. «L’objectif principal de l’équipe est de faire en sorte que les machines voient la façon dont les humains se comportent», explique Paluri. «Et allez au-delà, en fait, allez au-delà de ce que les humains sont capables de faire pour, par exemple, une reconnaissance fine. Nous publions nos résultats dans les meilleures conférences, nous écrivons des blogs techniques et nous sommes très ouverts sur ce sur quoi nous travaillons. Dans l’ensemble, notre objectif principal est d’intégrer la technologie de vision informatique au reste des groupes de produits de Facebook. ”

Et le produit phare qui récolte les fruits de l’équipe de Paluri est On This Day.

Derrière le voile simpliste et innocent de ce jour se cache un complexe A.I. et un système de vision par ordinateur qui peaufine votre expérience mnémonique. Paluri, qui - encore une fois - n'est lié que de manière tangentielle à On This Day, explique pourquoi revivre les souvenirs de réseaux sociaux peut être une bonne chose:

«La nostalgie est un phénomène très positif. Ainsi, voir votre photo de mariage, par exemple, de façon impromptue - lorsque vous ne la parcourez pas spécifiquement, mais que cela apparaît simplement dans votre fil d'actualité - est une expérience extrêmement agréable. Surtout lorsque vous naviguez dans le présent et qu'un souvenir positif se dégage du passé."

"La nostalgie est un phénomène très positif."

Pourtant, il est indéniable que la nostalgie se situe plutôt du côté amer du spectre aigre-doux. «La première chose qui me vient à l’esprit, dit Paluri, est la suivante:« devriez-vous faire surface tous les souvenirs? La réponse intuitive est non, car cela dépend de votre état actuel, cela dépend de la mémoire en question. il y a beaucoup, beaucoup de choses intrinsèques. C’est là que le A.I. la technologie entre en jeu."

Et il y a deux façons dont le A.I. entre, ici: un, la personnalisation; deuxièmement, la compréhension du contenu.

Compréhension de contenu: «Ces mémoires sont des textes, des événements de la vie, des photos que vous avez téléchargées ou des vidéos que vous avez téléchargées. Donc, maintenant vous avez cette pléthore de contenu qui est de différentes modalités, et comprendre ce qu'il y a dedans est extrêmement important pour pouvoir apprendre et fournir le bon ensemble de mémoires."

De plus, et pas seulement pour On This Day, la compréhension du contenu et ces informations. Ces systèmes aident à disséminer l’énorme quantité d’informations sur Facebook tous les jours. (Pensez-y: si le fil de nouvelles de Facebook ressemblait à celui d’Instagram, vous verriez peut être deux pour cent de tous les messages. Au lieu de cela, vous rencontrez du contenu que vous aimerez probablement, ou du contenu que vous passerez beaucoup de temps à imbiber.) Et cela permet de filtrer le contenu répréhensible, comme la pornographie, plus que tout autre site en ligne.

"Même si c'est une perte, cela leur apporte un souvenir positif."

Et à propos de l’ancien, Paluri précise: «Pour vous, peut-être que regarder des souvenirs positifs est une bonne chose et que vous n’aimez rien de négatif. Mais pour quelqu'un d'autre, peut-être veulent-ils se rappeler qu'ils ont perdu leur chat ce jour-là. Même si c’est une perte, cela leur apporte un souvenir positif. »Et, dans un sens, chaque utilisateur de Facebook a un profil hautement personnalisé dans les coulisses qui sait ce qu’il voudra ou ne voudra pas se remémorer. «Lorsque vous interagissez avec les souvenirs - que vous partagez, que vous préférez ou que vous les rejetiez - il existe un modèle d'apprentissage automatique qui utilise le module de compréhension du contenu, ainsi que vos préférences, et personnalise les futurs souvenirs qui vous seront servis.."

Mais ne vous inquiétez pas: Facebook veut s’assurer que l’on ne vous rappelle pas brutalement une rupture ou le décès d’un membre de votre famille. «Peu importe la qualité de l'AI. ou la technologie d’apprentissage automatique, c’est que nous voulons toujours donner le contrôle à l’utilisateur, car au bout du compte, notre objectif est de refaire la surface des souvenirs qu’ils aiment. »Les utilisateurs bénéficient d’un commutateur prioritaire:« s’ils le savent, les dates, une chose négative est arrivée - ils ont rompu, ou quelque chose - nous voulons leur donner le plein contrôle pour ne pas refaire surface de ces souvenirs."

Dans les préférences de On This Day, vous pouvez donc dire Ne me montre pas de souvenirs avec untel parce qu’il est un humain méprisable ou … Des trois dernières années qui étaient misérables et nullement dignes de mention.

Dans l’avenir, Paluri explique pourquoi il est ravi de continuer à développer ces systèmes et à améliorer la qualité de la carte mère de Facebook.

Vous avez déjà mentionné d'autres applications pour les systèmes de vision et de compréhension du contenu de Facebook. Y at-il autre chose qui est encore en chantier - qui utilise ces systèmes - qui vous passionne?

Toutes ces capacités sur les vidéos sont quelque chose qui me passionne, à coup sûr. Cela existe certainement déjà; c’est une chose en cours, car la vidéo est très grosse sur Facebook. Mais je pense que, à un certain niveau, nous voulons devenir de plus en plus riches à comprendre. La technologie actuelle de la vision par ordinateur n’est toujours pas là pour décrire les images comme le font les humains. Cela vous dira peut-être que cette photo contient ces éléments, que c’est le pixel qui appartient au chat, etc. - mais c’est limité. Il ne comprend toujours pas la relation entre les choses et ne le décrit pas encore de manière humaine.

Certains travaux décrivent les images, c’est ce qu’on appelle le sous-titrage. De nombreuses œuvres ont été publiées au cours des deux dernières années. Mais si vous regardez les légendes générées par ces systèmes, elles sont très générales. Ils ne sont pas descriptifs. Une des choses que nous aimerions, et qui va venir dans le futur de notre côté, est de les décrire de manière beaucoup plus riche. Pour les images et la vidéo. Si vous avez une vidéo de deux minutes, vous ne voulez pas d'une description en une phrase; ce que vous voulez est un paragraphe avec un sens du temps à la description, non? "C’est arrivé, puis c’est arrivé, puis c’est arrivé", non? C'est une bonne compréhension.

Donc, vous voulez me sortir de mon travail, vous dites. En bref.

Rires Non, certainement pas. Je rends ton travail plus intéressant.

Pensez-vous que Facebook est un endroit étrange pour mener cette recherche, ou est-ce un endroit parfait?

Je pense que c’est un endroit parfait, car la compréhension du contenu est dans l’ADN de Facebook. Si vous regardez l'explosion de l'utilisation de Facebook, News Feed est l'un des piliers qui ont permis à Facebook de constituer un réseau social époustouflant par rapport à de nombreux concurrents. News Feed est toujours le principal canal de distribution.

Mais quand vous venez dans News Feed, vous ne venez pas avec une intention spécifique. Vous venez là pour information. Il est donc important pour nous de vous montrer les bonnes choses, de vous montrer des choses significatives. Si vous vous adressez à d'autres services, peut-être avez-vous une intention? Dans ce cas, tout ce que le service doit faire est de donner la réponse. Ici, c’est comme si je vous posais la question et Je te donne la réponse. Donc, vous devez être vraiment, vraiment bon pour que quelqu'un continue à revenir.

C’est pourquoi A.I. et la compréhension du contenu est au cœur de Facebook, et pourquoi c’est le meilleur endroit pour cela. Compte tenu de la quantité de médias disponibles - de la quantité de contenu de Facebook sur les images et les vidéos, et du passage de plus en plus important à la vidéo et à la réalité virtuelle - c’est le meilleur endroit pour faire de la publicité A.I. recherche, vision par ordinateur et apprentissage automatique.

Ce n’est pas un endroit étrange: c’est la endroit.