Data engineering with Enrique Catalá

A long time ago I switched my personal blog to GitHub Pages. In this post I want to share with you how easy is to change the look and feel of your code snippets.

NOTE: Please go and read how to configure your blog with GitHub Pages

Una vez tenemos ya nuestro cluster kubernetes con kubeadm terminado, es hora de añadir una capa de persistencia para poder utilizar despliegues stateful.

Si utilizas #wsl2 para desarrollar y acabas generando contenedores grandes, verás crecer fuertemente tu fichero dockerfile donde se almacenan todos esos contenedores. Recientemente he estado trabajando con el modelo GPT-NEO que tiene la friolera de 10.2Gb de tamaño en pesos de red neuronal…a la que he metido mis propios “artefactos” (dejemoslo ahi :). El caso es que cada etapa de generacion lleba a superar los 15Gb, haciendo que al final de la contienda mover una imagen como esta llegó a menearme 150Gb de disco.

Llegado el momento de limpiar el asunto me encontré con esto:

Total reclaimed space: 157.7GB

Y con esto:

Una vez tenemos ya realizado el bootstrap del nodo master, es hora de inicializar nuestros nodos de procesamiento.

El próximo viernes 16 de Abril de 2021 tengo el honor de impartir una sesion en la #GlobalAzure junto a grandes cracks de renombre nacional e internacional.

En mi sesión vamos a ver cómo traernos servicios PaaS de datos como SQL Managed Instances a nuestro entorno OnPremise (o a cualquier otro sitio fuera de Azure) utilizando Azure Arc for dataservices.