Big Data e Ingeniería de Datos

Un curso de Big Data e Ingeniería de Datos construido desde los fundamentos: por qué nace el ecosistema Hadoop, cómo se organiza el almacenamiento distribuido con HDFS, cómo se reparten los recursos del clúster con YARN, cómo Docker se convirtió en la forma estándar de levantar toda esa infraestructura sin depender de “en mi máquina funciona”, y cómo se procesan los datos sobre ella: MapReduce, Spark y PySpark. Cada módulo teórico va acompañado, cuando aplica, de un laboratorio guiado y reproducible, con evidencia real de ejecución.

Los módulos están pensados para leerse en orden.

Módulo 1 — Fundamentos

1. ¿Por qué Linux domina el mundo del Big Data?

Módulo 2 — Contenedores

2. Docker para Big Data: por qué “en mi máquina funciona” ya no es una excusa

Módulo 3 — Arquitectura Hadoop

3. Ecosistema Hadoop: el mapa de una plataforma Big Data

Módulo 4 — HDFS

4. HDFS: el sistema de archivos distribuido de Big Data
5. Laboratorio: HDFS con Docker, desde la instalación hasta las réplicas

Módulo 5 — YARN

6. YARN: el gestor de recursos del clúster
7. Laboratorio: YARN con Docker, del ResourceManager a tu primer trabajo MapReduce

Módulo 6 — Spark sobre el clúster

8. Laboratorio: añadir un cliente Spark al clúster HDFS/YARN

Módulo 7 — MapReduce

9. MapReduce: el modelo de procesamiento de Hadoop
10. Taller: MapReduce Streaming sobre el clúster HDFS/YARN

Módulo 8 — Spark

11. Spark: el motor de procesamiento sobre YARN
12. Taller Spark: el motor sobre el clúster que ya tienes

Módulo 9 — PySpark

13. PySpark: la API de Spark en Python
14. Taller: fundamentos de PySpark sobre el clúster YARN

Todas las clases publicadas