Y ya estamos otro año más metidos en el jaleo del mayor evento global sobre Microsoft Azure realizado por y para la comunidad técnica. Como cada año, más de 200 ciudades alrededor del globo reunirán el día 22 de abril a más de 10.000 personas unidas con un solo objetivo: aprender sobre la plataforma cloud de Microsoft mientras pasamos un día inolvidable.
Este evento cada año va a más. Desde que comenzamos a realizarlo en España los números no han parado de crecer. Si bien el año pasado en Madrid pasamos de 400 asistentes (tuvimos que parar por problemas de aforo), este año llenamos el cupo tras tres días de apertura del registro. Lo mejor, que más ciudades se han animado y en esta edición tenemos hasta 4 ciudades españolas con el mismo objetivo. Os dejo los enlaces:
Aunque esta edición será inolvidable. El año pasado lo prometimos, y aquí lo tenemos.
Lab Científico “Made in Spain”
Foto: Daniel López – www.elcielodecanarias.com
Como cada año, la mejor parte de este evento es la parte del lab científico. Todos los participantes, con el apoyo de los organizadores de cada sede, donan recursos de computación para colaborar en un proyecto de investigación científica en pro de la humanidad. En años anteriores, se han colaborado en proyectos como la investigación de la diabetes o la búsqueda de la cura del cáncer de mama. Este año el evento global girará en torno a la ejecución colaborativa de un algoritmo desarrollado por un astrofísico español que permitirá estudiar con más precisión la formación estelar de las galaxias.
Desarrollado por el investigador del Instituto de Astrofísica de Canarias (IAC), Sebastián Hidalgo, en el Global Azure Bootcamp se ejecutará “The secret life of Galaxies: Unveiling the true nature of their star formation” (La vida secreta de las galaxias: desvelando la naturaleza de su formación estelar)**, el primer algoritmo español que se utiliza en este evento. Los participantes del evento se conectarán a la plataforma Microsoft Azure desde todas las sedes repartidas a lo largo del planeta para aportar su talento y conocimientos de forma desinteresada al proyecto científico. Con él, se pretende ahondar en los efectos que dificultan la interpretación de las observaciones astronómicas sobre el conocimiento actual de la formación estelar en las galaxias. De esta manera, se espera saber mucho más sobre los procesos de formación de estos sistemas y el impacto que sobre ellos tuvieron determinados fenómenos cosmológicos.
“El objetivo del algoritmo desarrollado en el IAC y que va a ser probado en el Science Lab es precisamente limitar el impacto de todos estos efectos para poder comparar la predicción de los modelos con las observaciones de forma más directa. Es un proceso que requiere de un número muy elevado de pruebas y que sólo puede ser realizado en un entorno de computación distribuida”, explica Sebastián Hidalgo. Al término del evento, se recopilarán los datos conseguidos con el algoritmo para extraer la información y proceder a su tratamiento.
Más información en:
Arquitectura del lab científico en Azure
Y aquí no solo queda la cosa. Durante estos últimos tres meses he tenido el placer, junto con Adonai Suárez (@adonaisg), Martin Abbot y el mismo Sebastián, la oportunidad de diseñar y adaptar el algoritmo de Sebastián para hacer posible su ejecución en un evento como el Global Azure Bootcamp.
Figura 1. Arquitectura del Global Azure Bootcamp 2017 Science Lab
Tal y como se ha realizado anteriormente, la idea parte de que cada asistente pueda desplegar su propia instancia del lab para colaborar en la investigación ejecutando el algoritmo aportando recursos propios, a la vez que aprende a usar la tecnología usada en la implementación del mismo.
En la figura 1 podemos ver rápidamente las partes de las que constará el Science Lab. Cada asistente desplegará de forma automatizada a través de plantillas de Azure Resource Manager los recursos siguientes:
- Cuenta de Azure Automation: contendrá, además de algunos módulos específicos para la implementación del lab, un runbook que será el encargado de “alimentar” el algoritmo con ficheros a procesar. Estos ficheros son servidos por un API implementada para el evento y distribuida globalmente, y que será la encargada de controlar el estado de procesamiento de cada fichero y recibir los resultados;
- Cuenta de Azure Batch: que contendrá el pool de máquinas que se encargarán de la ejecución del algoritmo, desarrollado en Python3. Una característica interesante es que la implementación se ha realizado con nodos Ubuntu. Ya veremos cuántos pingüinos desplegamos el 22 de Abril.
Después de realizar cada prueba, se envían los resultados a los servidores centrales, que serán los encargados de procesar y almacenar la prueba resultante así como notificar mediante EventHubs a otro site donde podrán observarse el estado global de procesamiento, rankings, etc.
Ahora mismo estamos probando que todo vaya bien, realizando pruebas de carga, etc. Como datos interesantes:
- Hemos hecho una estimación de cores que se desplegarían según la experiencia de años anteriores (entre 25K y 30K cores)
- Se han preparado más de 17 millones de ficheros de entrada, más que suficientes para cubrir la capacidad de cómputo a desplegar
- Cada fichero contiene unas 80 ejecuciones del algoritmo, lo que resultaría en 1280 millones de ejecuciones
- Si tuviéramos un solo ordenador con un core, para procesar estos ficheros tardaría 235 años en finalizar la operación. La idea es hacerlo en un sólo día.
De derecha a izquierda, Adonai Suárez, Sebastián Hidalgo y yo mismo, un día en el Instituto Astrofísico de Canarias mientras trabajábamos en el lab científico
Agenda
La agenda de Madrid estará compuesta por 3 tracks en paralelo con unas sesiones muy variadas y con mucho nivel. La selección fue muy difícil entre todas las propuestas, tanto que finalmente estamos preparando un cuarto track virtual para que las sesiones que no cupieron en la agenda sí lo hagan estrenándose en Channel 9 el mismo día del evento.
Cómo no, durante la apertura del evento tendremos al mismísimo Sebastián Hidalgo para que nos explique en vivo y en directo su algoritmo, algo que nos dejará a todos fuera de órbita 
. Durante la mañana también estaré personalmente junto a Adonai Suarez y Sebastián en la sesión que muestra cómo se ha realizado la implementación sobre Azure del Global Azure Bootcamp en la sesión “Descubriendo la Historia del Universo con Microsoft Azure”, en la que podréis realizar preguntas adicionales sobre la arquitectura del lab.
Calentando motores…
Así que prácticamente a dos semanas del gran evento, no me queda más que deciros que disfrutéis de la semana de descanso, porque el 22 de Abril ponemos Warp 9 rumbo a las profundidades del Universo. Atentos a las sorpresas…
Un saludo, ¡y Happy Coding!