Ce qui veut dire, qu’à partir du moteur de recherche de Facebook, vous pouvez lancer des recherches d’images sur Facebook avec des mots clés qui décrivent les contenus d’une photo, plutôt que d’être limité par des tags ou légendes.
Cette technologie, appelée Lumos, a été utilisée pour la première fois pour améliorer l’accessibilité de Facebook aux utilisateurs mal-voyants en permettant aux images d’être décrites par leur contenu.
Mais, cette technologie a d’autres usages, tels que faciliter la recherche de photos de lieux ou d’objets. Par exemple, voir toutes les photos d’une statue que vous avez photographiée, il y a quelques années.
Selon Techcrunch, Facebook a analysé des milliards de photos (1,2 milliard par mois) en utilisant les techniques de deep-learning, en utilisant une variété de signaux pour classer les résultats.
La reconnaissance d'objets lui permet de chercher des choses comme les scènes, animaux, lieux, attractions et vêtements.
Vous cherchez une photo avec la requête “chemise noire” . Vous aurez en retour des images où les gens portent une chemise noire, même s’il n’y a aucun texte ni balise dans une photo indiquant la présence d’une chemise noire.
En outre, Facebook travaille sur la compréhension de ce que les gens font réellement dans les images. Il donne l’exemple de la recherche de “personnes qui marchent” “personnes qui dansent”, “personnes à cheval”, “personnes jouant un instrument”, et bien d’autres choses encore…
Bien entendu, Facebook n’est pas le seul à mettre en œuvre la reconnaissance d’objets dans les photos. Nous l’avons déjà vu dans Google Photos, ainsi qu’avec Pinterest qui permet de détecter les objets dans les images..
