Aprendizaje Profundo con el AWS DeepLens

SiddharthMenon

<\/HEAD>

Motivación<\/STRONG><\/SPAN><\/P>Amazon lanzó recientemente una cámara habilitada para aprendizaje profundo llamada DeepLens (https:\/\/aws.amazon.com\/deeplens\/<\/A>). El DeepLens permite a los desarrolladores construir, entrenar y desplegar modelos de aprendizaje profundo para realizar tareas personalizadas de visión por computadora. El Laboratorio de Prototipos de Aplicaciones obtuvo un DeepLens y comenzó a explorar sus capacidades y limitaciones.<\/P>

<\/P>

Una de las tareas más comunes en visión por computadora es la detección de objetos. Esta tarea es un poco más compleja que la clasificación de imágenes ya que requiere la localización del objeto en el espacio de la imagen. Este verano, exploramos la detección de objetos y cómo podríamos expandirla para ajustarla a nuestras necesidades. Por ejemplo, un caso de uso podría ser detectar y reconocer diferentes especies animales en una reserva natural. Al hacer esto, podemos recopilar información relevante basada en la ubicación y usar esta información para llevar a cabo acciones específicas.<\/P>

<\/P>

La detección de especies animales se probó usando la API de Detección de Objetos de Tensorflow, que permitió construir un modelo que podría desplegarse fácilmente en el DeepLens. Sin embargo, necesitábamos reducir nuestra demostración de detección para facilitar las pruebas en el campus ESRI. Para esto, nos enfocamos en la detección facial.<\/P>

<\/P>

El DeepLens viene con proyectos de ejemplo, incluyendo aquellos que realizan detección de objetos y rostros. Para fines experimentales, decidimos ver si podíamos ampliar el ejemplo de detección facial para poder reconocer y distinguir entre diferentes personas.<\/P>

<\/P>

Servicios y Frameworks<\/STRONG><\/SPAN><\/H1>A lo largo del verano, construimos una demostración de reconocimiento facial usando varios servicios de Amazon y ESRI. Estos servicios incluyen:<\/P>La consola AWS DeepLens (para facilitar el despliegue de los proyectos en el DeepLens)<\/LI>Amazon Lambda (para desarrollar las funciones Lambda en Python que ejecutan los modelos de inferencia)<\/LI>Amazon S3 (para almacenar la base de datos entrenada, así como los modelos requeridos para la inferencia)<\/LI>La consola AWS IoT (para facilitar la comunicación hacia y desde el DeepLens)<\/LI>Un servicio de entidades y mapa web alojados en ArcGIS (para almacenar los datos de las detecciones del DeepLens)<\/LI>Operations Dashboard (uno para cada DeepLens, para mostrar la información relevante)<\/LI><\/UL><\/P>Para realizar la inferencia en este experimento, usamos los siguientes frameworks/herramientas de aprendizaje automático:<\/P>MxNet (el modelo MxNet predeterminado entrenado para detección facial y optimizado para el DeepLens)<\/LI>Dlib (un conjunto de herramientas con funcionalidad para detección de puntos faciales que ayuda en el reconocimiento facial)<\/LI><\/UL><\/P>Flujo de trabajo<\/STRONG><\/SPAN><\/H1>Los modelos MxNet y Dlib se despliegan en el DeepLens junto con una función lambda de inferencia. El DeepLens carga los modelos y comienza a capturar cuadros desde su entrada de video. Estos cuadros se pasan a través de los modelos de detección y reconocimiento facial para encontrar una coincidencia dentro de la base de datos almacenada en un bucket Amazon S3. Si se reconoce el rostro, el servicio de entidades se actualiza con información relevante, como nombre, hora de detección, ID del DeepLens y ubicación del DeepLens, y el proceso de reconocimiento continúa.<\/P><\/P>Si no hay coincidencia con la base de datos, o si el modelo de reconocimiento no está seguro, aún se devuelve una coincidencia con "No identificado" como nombre. Cuando esto sucede, activamos el DeepLens para entrenamiento. Para esto, tenemos una aplicación local ejecutándose en el mismo dispositivo que el dashboard. Al encontrar un objeto no identificado, la aplicación solicita a la persona comenzar el entrenamiento. Si se activa el entrenamiento, el DeepLens reproduce instrucciones auditivas y captura la información relevante sobre puntos faciales para entrenarse a sí mismo. Finalmente, la base de datos en el bucket S3 se actualiza con estos datos y el proceso de reconocimiento se reanuda.<\/P><\/P>Resultados<\/STRONG><\/SPAN><\/P>El modelo de reconocimiento facial devuelve un resultado si su inferencia tiene una precisión mínima del 60%. El modelo ha podido devolver el resultado correcto, ya sea identificado o no identificado, durante aproximadamente el 80% de las pruebas. Ha habido algunos casos de falsos positivos y negativos, pero esto se ha reducido significativamente al ajustar los valores umbral y devolver solo detecciones consistentes (en múltiples cuadros). La precisión de las detecciones del DeepLens puede aumentarse con ajustes adicionales en los parámetros del modelo y valores umbral.<\/P><\/P>El modelo fue inicialmente entrenado y probado en una base de datos que contenía datos sobre puntos faciales para cuatro personas. Desde entonces, la base ha aumentado hasta contener datos para diez personas. Esto ha llevado a una reducción en la ocurrencia de falsos positivos.El modelo es más probable que sea preciso si hay más personas entrenadas y almacenadas en la base.<\/SPAN><\/P><\/P>La detección de objetos o especies animales puede implementarse en el DeepLens si tenemos un modelo entrenado con suficientes datos (relacionados con el(los) objeto(s) que pretendemos detectar). Estos datos deben consistir en positivos (imágenes que contienen el objeto a detectar) así como negativos (imágenes que no contienen el objeto) para obtener la mejor precisión.<\/SPAN> Una vez que tengamos los modelos listos, el proceso para ponerlos a funcionar en el DeepLens es muy similar al utilizado para ejecutar la demostración de detección facial.<\/P><\/P>Limitaciones<\/STRONG><\/SPAN><\/H1>Actualmente, DeepLens solo soporta funciones Lambda escritas en Python 2.7, pero Amazon parece estar trabajando para construir soporte para Python 3.x.<\/P><\/P>El optimizador del modelo para DeepLens solo soporta optimizar ciertos modelos MxNet, Tensorflow y Caffe para la GPU incorporada. Otros frameworks y modelos aún pueden usarse en DeepLens, pero la velocidad de inferencia se reduce drásticamente.<\/P><\/P>Trabajo Futuro<\/STRONG><\/SPAN><\/H1>Descubrimos que el DeepLens tiene un micrófono simple. Aunque DeepLens está diseñado principalmente para tareas de visión por computadora, sería interesante realizar pruebas de análisis audio y ejecutarlas junto con otras tareas visuales, por ejemplo, para saber cuándo una puerta ha sido abierta o cerrada.<\/P><\/BODY><\/HTML>