Deep Learning s AWS DeepLens

SiddharthMenon

<\/HEAD>

Motivace<\/STRONG><\/SPAN><\/P>Amazon nedávno vydal kameru s podporou deep learningu nazvanou DeepLens (https:\/\/aws.amazon.com\/deeplens\/<\/A>). DeepLens umožňuje vývojářům vytvářet, trénovat a nasazovat modely deep learningu pro provádění vlastních úloh počítačového vidění. Applications Prototype Lab získalo DeepLens a začalo zkoumat jeho schopnosti a omezení.<\/P>

<\/P>

Jedním z nejběžnějších úkolů v počítačovém vidění je detekce objektů. Tento úkol je o něco složitější než klasifikace obrázků, protože vyžaduje lokalizaci objektu v obrazovém prostoru. Toto léto jsme zkoumali detekci objektů a jak ji můžeme rozšířit tak, aby vyhovovala našim potřebám. Například jedním z případů použití může být detekce a rozpoznávání různých druhů zvířat v přírodní rezervaci. Tímto způsobem můžeme shromažďovat relevantní informace založené na lokaci a použít tyto informace k provedení specifických akcí.<\/P>

<\/P>

Detekce druhů zvířat byla testována pomocí Tensorflow’s Object Detection API, které umožnilo vytvořit model, který lze snadno nasadit na DeepLens. Nicméně jsme potřebovali náš demonstrační projekt detekce zmenšit, aby bylo jednodušší jej testovat na kampusu ESRI. Pro tento účel jsme se zaměřili na detekci obličejů.<\/P>

<\/P>

DeepLens přichází se vzorovými projekty, včetně těch, které provádějí detekci objektů a obličejů.  Pro experimentální účely jsme se rozhodli zjistit, zda můžeme rozšířit vzorový projekt detekce obličejů tak, aby dokázal rozpoznávat a rozlišovat mezi různými lidmi.<\/P>

<\/P>

Služby a Frameworky<\/STRONG><\/SPAN><\/H1>Během léta jsme vytvořili demo rozpoznávání obličejů pomocí různých služeb Amazon a ESRI. Tyto služby zahrnují:<\/P>Konzoli AWS DeepLens (pro usnadnění nasazení projektů na DeepLens)<\/LI>Amazon Lambda (pro vývoj Python Lambda funkcí, které spouštějí inference modely)<\/LI>Amazon S3 (pro ukládání trénované databáze i modelů potřebných pro inferenci)<\/LI>Konzoli AWS IoT (pro usnadnění komunikace do a z DeepLens)<\/LI>Feature service a webovou mapu hostovanou na ArcGIS  (pro ukládání dat z detekcí DeepLens)<\/LI>Operations Dashboard (jeden pro každý DeepLens, pro zobrazování relevantních informací)<\/LI><\/UL><\/P>Pro provedení inference v tomto experimentu jsme použili následující frameworky/nástroje strojového učení:<\/P>MxNet (výchozí MxNet model trénovaný pro detekci obličejů a optimalizovaný pro DeepLens)<\/LI>Dlib (nástrojová sada s funkcionalitou detekce obličejových landmarků, která pomáhá při rozpoznávání obličejů)<\/LI><\/UL><\/P>Pracovní postup<\/STRONG><\/SPAN><\/H1>Modely MxNet a Dlib jsou nasazeny na DeepLens spolu s lambda funkcí pro inferenci. DeepLens načítá modely a začíná přijímat snímky ze svého video vstupu. Tyto snímky jsou předávány přes modely detekce a rozpoznávání obličejů, aby se našla shoda v databázi uložené v Amazon S3 bucketu. Pokud je obličej rozpoznán, feature service je aktualizována relevantními informacemi, jako je jméno, čas detekce, ID DeepLens a umístění DeepLens, a proces rozpoznávání pokračuje.<\/P><\/P> Pokud není nalezena shoda v databázi nebo pokud je model rozpoznávání nejistý, stále je vrácena shoda s názvem „Unidentified“. Když k tomu dojde, spouštíme trénink DeepLens. Pro tento účel máme lokální aplikaci běžící na stejném zařízení jako dashboard. Při setkání s neidentifikovaným objektem aplikace vyzve osobu k zahájení tréninku. Pokud je trénink spuštěn, DeepLens přehraje zvukové instrukce a zachytí relevantní informace o obličejových landmarcích pro svůj vlastní trénink. Databáze v S3 bucketu je nakonec aktualizována těmito daty a proces rozpoznávání pokračuje.<\/P><\/P>Výsledky<\/STRONG><\/SPAN><\/P>Model rozpoznávání obličejů vrací výsledek, pokud má jeho inference přesnost alespoň 60 %. Model byl schopen vrátit správný výsledek, ať už identifikovaný nebo neidentifikovaný, přibližně ve 80 % testů. Objevily se některé případy falešně pozitivních i negativních výsledků, ale to bylo výrazně sníženo zpřísněním prahových hodnot a vracením pouze konzistentních detekcí (přes více snímků). Přesnost detekcí DeepLens lze zvýšit dalším laděním parametrů modelu a prahových hodnot.<\/P><\/P>Model byl původně trénován a testován na databázi obsahující data o obličejových landmarcích čtyř lidí. Od té doby se databáze rozrostla na data pro deset lidí. To vedlo ke snížení výskytu falešně pozitivních výsledků.Model má větší pravděpodobnost přesnosti, pokud je více lidí natrénovaných a uložených v databázi.<\/SPAN><\/P><\/P>Detekce objektů nebo druhů zvířat může být implementována na DeepLens, pokud máme model natrénovaný na dostatečném množství dat (souvisejících s objektem(y), které chceme detekovat). Tato data by měla obsahovat pozitivní příklady (obrázky obsahující objekt k detekci) i negativní příklady (obrázky neobsahující objekt) pro nejlepší přesnost.<\/SPAN> Jakmile máme modely připravené, proces jejich spuštění na DeepLens je velmi podobný tomu použitelnému pro demo detekce obličejů.<\/P><\/P>Omezení<\/STRONG><\/SPAN><\/H1>DeepLens aktuálně podporuje pouze Lambda funkce napsané v Python 2.7, ale Amazon se zdá pracovat na podpoře Python 3.x.<\/P><\/P>Optimalizátor modelu pro DeepLens podporuje optimalizaci pouze určitých MxNet, Tensorflow a Caffe modelů pro vestavěnou GPU. Jiné frameworky a modely lze stále používat na DeepLens, ale rychlost inference bude výrazně snížena.<\/P><\/P>Budoucí práce<\/STRONG><\/SPAN><\/H1>Zjistili jsme, že DeepLens má jednoduchý mikrofon. Ačkoli je DeepLens primárně navržen pro úlohy počítačového vidění, bylo by zajímavé provádět testy audio analýzy a mít ji spuštěnou současně s dalšími úlohami počítačového vidění, například abychom věděli, kdy byly dveře otevřeny nebo zavřeny.<\/P><\/BODY><\/HTML>