Apprentissage profond avec le AWS DeepLens

SiddharthMenon

<\/HEAD>

Motivation<\/STRONG><\/SPAN><\/P>Amazon a récemment lancé une caméra activée par deep learning appelée DeepLens (https:\/\/aws.amazon.com\/deeplens\/<\/A>). Le DeepLens permet aux développeurs de construire, entraîner et déployer des modèles de deep learning pour réaliser des tâches personnalisées de vision par ordinateur. Le laboratoire Applications Prototype Lab a obtenu un DeepLens et a commencé à explorer ses capacités et ses limites.<\/P>

<\/P>

Une des tâches les plus courantes en vision par ordinateur est la détection d'objets. Cette tâche est un peu plus complexe que la classification d'images car elle nécessite la localisation de l'objet dans l'espace image. Cet été, nous avons exploré la détection d'objets et comment nous pourrions l'étendre pour répondre à nos besoins. Par exemple, un cas d'utilisation pourrait être de détecter et reconnaître différentes espèces animales dans une réserve naturelle. En faisant cela, nous pouvons recueillir des informations pertinentes basées sur la localisation et utiliser ces informations pour effectuer des actions spécifiques.<\/P>

<\/P>

La détection d'espèces animales a été testée en utilisant l'API Object Detection de Tensorflow, qui a permis de construire un modèle pouvant être facilement déployé sur le DeepLens. Cependant, nous avons dû réduire notre démonstration de détection pour faciliter les tests sur le campus ESRI. Pour cela, nous avons examiné la détection de visages.<\/P>

<\/P>

Le DeepLens est livré avec des projets exemples, y compris ceux qui réalisent la détection d'objets et de visages.  À des fins d'expérimentation, nous avons décidé de voir si nous pouvions étendre l'exemple de détection de visages pour pouvoir reconnaître et distinguer différentes personnes.<\/P>

<\/P>

Services et Frameworks<\/STRONG><\/SPAN><\/H1>Au cours de l'été, nous avons construit une démonstration de reconnaissance faciale en utilisant divers services Amazon et ESRI. Ces services incluent :<\/P>La console AWS DeepLens (pour faciliter le déploiement des projets sur le DeepLens)<\/LI>Amazon Lambda (pour développer les fonctions Lambda Python qui exécutent les modèles d'inférence)<\/LI>Amazon S3 (pour stocker la base de données entraînée ainsi que les modèles nécessaires à l'inférence)<\/LI>La console AWS IoT (pour faciliter la communication vers et depuis le DeepLens)<\/LI>Un service de fonctionnalités et une carte web hébergés sur ArcGIS  (pour stocker les données des détections du DeepLens)<\/LI>Operations Dashboard (un pour chaque DeepLens, pour afficher les informations pertinentes)<\/LI><\/UL><\/P>Pour réaliser l'inférence dans cette expérience, nous avons utilisé les frameworks/outils d'apprentissage automatique suivants :<\/P>MxNet (le modèle MxNet par défaut entraîné pour la détection faciale et optimisé pour le DeepLens)<\/LI>Dlib (un toolkit avec une fonctionnalité de détection des repères faciaux qui aide à la reconnaissance faciale)<\/LI><\/UL><\/P>Flux de travail<\/STRONG><\/SPAN><\/H1>Les modèles MxNet et Dlib sont déployés sur le DeepLens avec une fonction lambda d'inférence. Le DeepLens charge les modèles et commence à capturer des images depuis son entrée vidéo. Ces images sont passées à travers les modèles de détection et reconnaissance faciale pour trouver une correspondance dans la base de données stockée dans un bucket Amazon S3. Si le visage est reconnu, le service de fonctionnalités est mis à jour avec les informations pertinentes telles que le nom, l'heure de détection, l'ID du DeepLens et sa localisation, puis le processus de reconnaissance continue.<\/P><\/P> S'il n'y a pas de correspondance dans la base ou si le modèle de reconnaissance est incertain, une correspondance est tout de même renvoyée avec "Non identifié" comme nom. Dans ce cas, nous déclenchons l'entraînement du DeepLens. Pour cela, nous avons une application locale fonctionnant sur le même appareil que le tableau de bord. Lorsqu'un objet non identifié est rencontré, l'application invite la personne à commencer l'entraînement. Si l'entraînement est déclenché, le DeepLens joue des instructions audio et capture les informations pertinentes des repères faciaux pour s'entraîner lui-même. La base de données dans le bucket S3 est finalement mise à jour avec ces données, et le processus de reconnaissance reprend.<\/P><\/P>Résultats<\/STRONG><\/SPAN><\/P>Le modèle de reconnaissance faciale renvoie un résultat si son inférence atteint au moins 60 % de précision. Le modèle a pu retourner le résultat correct, qu'il soit identifié ou non identifié, lors d'environ 80 % des tests. Il y a eu quelques cas de faux positifs et négatifs, mais cela a été considérablement réduit en resserrant les valeurs seuils et en ne retournant que des détections cohérentes (sur plusieurs images). La précision des détections du DeepLens peut être augmentée en ajustant davantage les paramètres du modèle et les valeurs seuils.<\/P><\/P>Le modèle a initialement été entraîné et testé sur une base contenant des données des repères faciaux pour quatre personnes. Depuis lors, la base contient désormais des données pour dix personnes. Cela a conduit à une réduction des faux positifs.Le modèle est plus susceptible d'être précis s'il y a plus de personnes entraînées et stockées dans la base.<\/SPAN><\/P><\/P>La détection d'objets ou d'espèces animales peut être mise en œuvre sur le DeepLens si nous disposons d'un modèle entraîné sur suffisamment de données (liées aux objets que nous souhaitons détecter). Ces données doivent comprendre des positifs (images contenant l'objet à détecter) ainsi que des négatifs (images ne contenant pas l'objet) pour obtenir la meilleure précision.<\/SPAN> Une fois que nous avons les modèles prêts, le processus pour les faire fonctionner sur le DeepLens est très similaire à celui utilisé pour exécuter la démonstration de détection faciale.<\/P><\/P>Limitations<\/STRONG><\/SPAN><\/H1>Le DeepLens ne supporte actuellement que les fonctions Lambda écrites en Python 2.7, mais Amazon semble travailler à ajouter le support pour Python 3.x.<\/P><\/P>L'optimiseur de modèle pour le DeepLens ne supporte que l'optimisation de certains modèles MxNet, Tensorflow et Caffe pour le GPU intégré. D'autres frameworks et modèles peuvent toujours être utilisés sur le DeepLens, mais la vitesse d'inférence sera fortement réduite.<\/P><\/P>Travaux futurs<\/STRONG><\/SPAN><\/H1>Nous avons découvert que le DeepLens possède un microphone simple. Bien que le DeepLens soit principalement conçu pour des tâches de vision par ordinateur, il serait intéressant d'effectuer des tests d'analyse audio et de les faire fonctionner parallèlement à d'autres tâches de vision par ordinateur, par exemple, pour savoir quand une porte a été ouverte ou fermée.<\/P><\/BODY><\/HTML>