L’application mobile Aipoly, qui transcrit verbalement et en direct l’environnement de son utilisateur, pourrait améliorer le quotidien des malvoyants.
À défaut d’avoir les connaissance technologiques nécessaires pour redonner la vue aux malvoyants, certaines personnes ont au moins la créativité suffisante pour leur proposer des solutions à partir du matériel que l’on possède déjà. Démonstration avec Aipoly, une application australienne pour téléphone mobile, qui pourrait bien à court terme faciliter le quotidien de nombreuses personnes en leur décrivant le monde qui les entoure.
Le système combine plusieurs technologies mobiles déjà présentes dans nos smartphones : la reconnaissance visuelle, grâce à la caméra intégrée, l’assistance vocale et l’intelligence artificielle. Le résultat donne une sorte de Siri qui décrit les objets environnants à voix haute et les affiche sur l’écran à mesure qu’on pointe le téléphone dessus. À l’heure actuelle, Aipoly peut décrire trois objets par seconde et différencier 900 couleurs. Si des applications similaires sont déjà présentes sur le marché des applications mobiles, Aipoly possède un avantage de taille : sa base de données étant téléchargée sur la mémoire de l’appareil, elle ne nécessite pas de connexion réseau pour fonctionner.
À voir aussi sur Konbini
Une base de données collaborative
On le sait, la reconnaissance d’objets et de formes (pattern recognition) est une Arlésienne du machine learning. Mais après des décennies de tâtonnements, les algorithmes ont accroché le wagon du progrès exponentiel, et les IA contemporaines commencent enfin à faire la différence entre votre chat et une tasse de café. Pour ce faire, l’application décompose les objets dans son champ de vision en courbes, lignes et motifs, comme des rayures ou des cercles. À l’usage, explique la MIT Technology Review, Aipoly offre un résultat globalement satisfaisant, bien qu’elle confonde encore une souris d’ordinateur avec une Chevrolet.
Selon Simon Edwardsson, cofondateur de la start-up, Aipoly a déjà enregistré environ un millier d’objets, et l’entreprise veut rapidement atteindre les cinq mille. En soi, 5 000 objets semblent bien insuffisants pour décrire la complexité du monde qui nous entoure, mais la compagnie a une autre stratégie : le crowdsourcing. Lorsque l’application se trompe, l’utilisateur peut rectifier manuellement, ajouter un objet et envoyer sa contribution dans la base de données centrale en ligne. La mise à jour est vérifiée, puis envoyée à tous les utilisateurs, qui peuvent à leur tour contribuer à améliorer l’outil. Et éviter de voir l’application confondre le four et la machine à laver, par exemple.
