Deep Learning met de AWS DeepLens

SiddharthMenon

<\/HEAD>

Motivatie<\/STRONG><\/SPAN><\/P>Amazon heeft onlangs een deep learning-geschikte camera uitgebracht genaamd de DeepLens (https:\/\/aws.amazon.com\/deeplens\/<\/A>). De DeepLens stelt ontwikkelaars in staat om deep learning-modellen te bouwen, trainen en implementeren om aangepaste computer vision-taken uit te voeren. Het Applications Prototype Lab heeft een DeepLens verkregen en begon de mogelijkheden en beperkingen ervan te verkennen.<\/P>

<\/P>

Een van de meest voorkomende taken in computer vision is objectdetectie. Deze taak is iets complexer dan beeldclassificatie omdat het lokalisatie van het object in de afbeeldingsruimte vereist. Deze zomer hebben we objectdetectie onderzocht en hoe we dit konden uitbreiden om aan onze behoeften te voldoen. Bijvoorbeeld, een gebruikssituatie zou kunnen zijn om verschillende diersoorten in een natuurreservaat te detecteren en herkennen. Door dit te doen, kunnen we relevante locatiegebaseerde informatie verzamelen en deze informatie gebruiken om specifieke acties uit te voeren.<\/P>

<\/P>

Detectie van diersoorten werd getest met behulp van Tensorflow’s Object Detection API, waarmee een model kon worden gebouwd dat gemakkelijk op de DeepLens kon worden geïmplementeerd. We moesten onze detectiedemo echter verkleinen om het testen op de ESRI-campus te vergemakkelijken. Hiervoor keken we naar gezichtsdetectie.<\/P>

<\/P>

De DeepLens wordt geleverd met voorbeeldprojecten, waaronder die voor object- en gezichtsdetectie. Voor experimentele doeleinden besloten we te onderzoeken of we het voorbeeld voor gezichtsdetectie konden uitbreiden om verschillende mensen te herkennen en van elkaar te onderscheiden.<\/P>

<\/P>

Diensten en Frameworks<\/STRONG><\/SPAN><\/H1>In de loop van de zomer bouwden we een demo voor gezichtsherkenning met verschillende Amazon- en ESRI-diensten. Deze diensten omvatten:<\/P>De AWS DeepLens Console (om de implementatie van projecten op de DeepLens te vergemakkelijken)<\/LI>Amazon Lambda (om de Python Lambda-functies te ontwikkelen die de inferentiemodellen uitvoeren)<\/LI>Amazon S3 (om de getrainde database en de modellen die nodig zijn voor inferentie op te slaan)<\/LI>De AWS IoT Console (om communicatie naar en van de DeepLens te faciliteren)<\/LI>Een feature service en webmap gehost op ArcGIS  (om de gegevens van de detecties van de DeepLens op te slaan)<\/LI>Operations Dashboard (één voor elke DeepLens, om relevante informatie weer te geven)<\/LI><\/UL><\/P>Voor het uitvoeren van inferentie in dit experiment gebruikten we de volgende machine learning-frameworks/toolkits:<\/P>MxNet (het standaard MxNet-model getraind voor gezichtsdetectie en geoptimaliseerd voor de DeepLens)<\/LI>Dlib (een toolkit met functionaliteit voor detectie van gezichtskenmerken die helpt bij gezichtsherkenning)<\/LI><\/UL><\/P>Workflow<\/STRONG><\/SPAN><\/H1>De MxNet- en Dlib-modellen worden samen met een inferentie-lambdafunctie op de DeepLens geïmplementeerd. De DeepLens laadt de modellen en begint frames binnen te halen via zijn video-ingang. Deze frames worden door de gezichtsdetectie- en herkenningsmodellen geleid om een overeenkomst binnen de database opgeslagen in een Amazon S3-bucket te vinden. Als het gezicht wordt herkend, wordt de feature service bijgewerkt met relevante informatie, zoals naam, detectietijd, DeepLens ID en locatie van de DeepLens, en gaat het herkenningsproces door.<\/P><\/P> Als er geen overeenkomst is met de database, of als het herkenningsmodel onzeker is, wordt toch een overeenkomst geretourneerd met "Ongeïdentificeerd" als naam. Wanneer dit gebeurt, activeren we de DeepLens voor training. Hiervoor hebben we een lokale applicatie draaien op hetzelfde apparaat als het dashboard. Bij het tegenkomen van een ongeïdentificeerd object vraagt de applicatie aan die persoon om training te starten. Als training wordt geactiveerd, speelt de DeepLens audio-instructies af en verzamelt hij relevante informatie over gezichtskenmerken om zichzelf te trainen. De database in de S3-bucket wordt uiteindelijk bijgewerkt met deze gegevens, waarna het herkenningsproces hervat wordt.<\/P><\/P>Resultaten<\/STRONG><\/SPAN><\/P>Het gezichtsherkenningsmodel geeft een resultaat terug als zijn inferentie ten minste 60% nauwkeurig is. Het model kon tijdens ongeveer 80% van de tests het juiste resultaat teruggeven, of dat nu geïdentificeerd of ongeïdentificeerd was. Er waren enkele gevallen van false positives en false negatives, maar dit is aanzienlijk verminderd door strengere drempelwaarden toe te passen en alleen consistente detecties (over meerdere frames) terug te geven. De nauwkeurigheid van de detecties door DeepLens kan worden verhoogd door verdere aanpassing van modelparameters en drempelwaarden.<\/P><\/P>Het model werd aanvankelijk getraind en getest op een database met gezichtskenmerkgegevens voor vier personen. Sindsdien is de database uitgebreid tot gegevens voor tien personen. Dit heeft geleid tot een vermindering van het aantal false positives.Het model is waarschijnlijker nauwkeurig als er meer mensen getraind zijn en in de database zijn opgeslagen.<\/SPAN><\/P><\/P>Object- of diersoortendetectie kan worden geïmplementeerd op de DeepLens als we een model hebben dat getraind is op voldoende data (gerelateerd aan het object/de objecten die we willen detecteren). Deze data moet bestaan uit positieve voorbeelden (afbeeldingen met het object dat gedetecteerd moet worden) evenals negatieve voorbeelden (afbeeldingen zonder het object) voor optimale nauwkeurigheid.<\/SPAN> Zodra we de modellen klaar hebben, is het proces om ze op de DeepLens te laten draaien zeer vergelijkbaar met dat wat gebruikt werd voor het uitvoeren van de gezichtsdetectiedemo.<\/P><\/P>Beperkingen<\/STRONG><\/SPAN><\/H1>De DeepLens ondersteunt momenteel alleen Lambda-functies geschreven in Python 2.7, maar Amazon lijkt bezig te zijn met ondersteuning voor Python 3.x op te bouwen.<\/P><\/P>De modeloptimizer voor de DeepLens ondersteunt alleen optimalisatie van bepaalde MxNet-, Tensorflow- en Caffe-modellen voor de ingebouwde GPU. Andere frameworks en modellen kunnen nog steeds op de DeepLens worden gebruikt, maar dan wordt de inferentiesnelheid drastisch verlaagd.<\/P><\/P>Toekomstig Werk<\/STRONG><\/SPAN><\/H1>We ontdekten dat de DeepLens een eenvoudige microfoon heeft. Hoewel de DeepLens primair ontworpen is voor computer vision-taken, zou het interessant zijn om audiotests uit te voeren en deze naast andere computer vision-taken te laten draaien, bijvoorbeeld om te weten wanneer een deur geopend of gesloten is.<\/P><\/BODY><\/HTML>