Deep reinforcement learning para la gestión de redes definidas por software en arquitecturas edge computing para el internet de las cosas

Resumen

El Internet de las Cosas (Internet of Things - IoT) y, específicamente, el Internet de las Cosas Industrial (IIoT), se presenta como una tecnología habilitante clave en la implantación de soluciones de monitorización y gestión de recursos en una gran variedad de escenarios para la Industria 4.0. El IIoT puede ser utilizado en combinación con otras tecnologías como el Cloud Computing, el Big Data, la Inteligencia Artificial o las Tecnologías de Registro Distribuido para implementar soluciones que mejoren la trazabilidad y productividad de los procesos industriales. Sin embargo, al enviar datos a la nube surgen varios desafíos, como el consumo de energía de los dispositivos IoT o los problemas relativos a la seguridad y la privacidad de los datos transferidos. Además, los proveedores de servicios Cloud cargan sus costes a los usuarios según la cantidad de datos que se transfieren, almacenan y procesan en la nube. Por último, en una arquitectura basada únicamente en una capa IoT y una capa Cloud, los servicios pueden interrumpirse si se corta la comunicación entre ambas. Por una parte, las arquitecturas Edge Computing permiten preprocesar y filtrar los datos que se transfieren desde la capa IoT a la nube, evitando problemas de seguridad y permitiendo que los modelos de aprendizaje automático se ejecuten en el borde de la red con menor latencia y mayor disponibilidad de servicios. Por otra parte, existe una tendencia creciente a compartir los recursos y los costes de las redes físicas mediante la Virtualización de Funciones de Red (Network Function Virtualization - NFV). En este sentido, y en relación con la NFV, las Redes Definidas por Software (Software-Defined Networks - SDN) se emplean para reconfigurar la red de forma dinámica según las necesidades cambiantes en el tiempo. En esta investigación se propone la evolución de una arquitectura Edge-IoT existente a una nueva versión mejorada en la que se utilizan SDN/NFV sobre las capacidades Edge previas. La nueva arquitectura propuesta contempla el uso de técnicas de Aprendizaje por Refuerzo Profundo, en concreto Deep Q-Networks, para la implementación del controlador SDN en la nube. Por un lado, la arquitectura ha sido utilizada para implementar una plataforma en un escenario real en un entorno de agricultura inteligente, demostrando su capacidad para reducir el volumen de tráfico intercambiado con la nube en un 46.72%. Por otro lado, la experimentación realizada en un entorno simulado de laboratorio ha demostrado que el nuevo controlador SDN permite mejorar de forma global la QoS percibida por cada nodo IoT en la red. Para ello, además, no es necesario que el agente cuente con datos de entrenamiento previos, lo que permite una reconfiguración dinámica de los nodos Edge y Fog en la red mediante un mecanismo de aprendizaje online y sin intervención humana.