Big Data e Ingeniería de Datos
Bienvenida
Este libro recopila y ordena el material que he construido a lo largo de años de docencia y consultoría en Big Data e ingeniería de datos: clases de pregrado y maestría, notebooks, talleres y laboratorios, presentaciones y la experiencia de llevar estos temas a proyectos reales. Aquí está reunido y revisado para leerse de corrido; parte de este contenido también se publica como artículos en el blog técnico de BIT.
El recorrido explica por qué Linux domina el mundo del Big Data y cómo se opera desde la terminal, cómo Docker permite levantar la infraestructura sin depender del “en mi máquina funciona”, cómo nace y se organiza el ecosistema Hadoop, dónde se guardan los datos con HDFS, cómo se reparten los recursos con YARN y cómo se procesan con MapReduce, Spark y PySpark. Cada módulo teórico va acompañado, cuando aplica, de un laboratorio o taller guiado y reproducible, con evidencia real de ejecución.
A quién está dirigido
No asume experiencia previa en Big Data. Tampoco asume experiencia con Linux: los dos primeros capítulos preparan ese terreno (el sistema operativo y la terminal) y el resto del libro lo da por sabido. El nivel de los capítulos es intermedio. También puede utilizarse como material de referencia en cursos de pregrado y maestría.
Qué necesitas para seguir los laboratorios
Los laboratorios están pensados para Windows con Ubuntu 24.04 en WSL2 y Docker Desktop, en un equipo x86-64. Como recomendación práctica, 16 GB de RAM y 15 GB libres facilitan trabajar con Windows, Docker y todos los contenedores del clúster a la vez; no es un requisito oficial de Hadoop. Si ya tienes Linux nativo con Docker Engine y Compose instalados, puedes saltarte los pasos de preparación de WSL2 y Docker Desktop del laboratorio de HDFS.
Cómo está organizado
El libro tiene quince capítulos que avanzan por nueve temas. Casi todos los temas son una pareja de teoría y laboratorio (o taller): primero se entiende la idea y después se practica sobre el clúster.
- Linux (capítulos 1 y 2): el sistema operativo sobre el que corre toda la infraestructura de Big Data y la terminal con la que se opera, hasta un primer wordcount con tuberías.
- Docker (capítulo 3): contenedores, imágenes y Docker Compose, hasta un primer mini-clúster de Spark.
- Hadoop (capítulo 4): el mapa del ecosistema y cómo encajan sus piezas.
- HDFS (capítulos 5 y 6): el sistema de archivos distribuido, con un laboratorio de un NameNode y tres DataNodes.
- YARN (capítulos 7 y 8): el gestor de recursos, con un laboratorio que llega hasta el primer trabajo MapReduce.
- Cliente Spark (capítulo 9): un laboratorio que amplía el clúster con Spark, Python compartido y Jupyter.
- MapReduce (capítulos 10 y 11): el modelo map, shuffle, reduce y un taller con Hadoop Streaming.
- Spark (capítulos 12 y 13): el motor, su DAG, driver y executors, y un taller de ejercicios.
- PySpark (capítulos 14 y 15): la API en Python, DataFrames y un taller en notebook.
Los laboratorios van construyendo, capítulo a capítulo, un mismo clúster en Docker: primero HDFS, luego YARN y después el cliente Spark. Del capítulo 10 en adelante, cada tema nuevo se practica sobre ese clúster ya montado.
Cómo leer los laboratorios
Los bloques de código de los laboratorios son prácticas guiadas: se copian a la terminal indicada en cada paso, no se ejecutan como Python ni con «Run All». Por eso este libro no ejecuta ese código al compilarse; lo que ves es el recorrido, con la salida esperada en cada punto.
Sobre el autor
Wilder Ramírez Delgado convierte datos en decisiones. Ingeniero Electrónico y Magíster en Analítica de Datos, es científico de datos, arquitecto de IA y asesor tecnológico con más de 20 años de trayectoria profesional. Su trabajo integra analítica avanzada, machine learning, Big Data e IoT para resolver desafíos de organizaciones públicas y privadas.
Como CEO y fundador de Business Innovation Technology (BIT), asesora a entidades gubernamentales y empresas, con especial experiencia en analítica y normatividad de los sectores postal y logístico. Como docente universitario de pregrado y maestría, lleva al aula la experiencia de proyectos reales y conecta los fundamentos con su aplicación práctica.
Esta es la versión pensada para leerse de corrido, con navegación entre capítulos y búsqueda integrada. Si encuentras un error o tienes una duda sobre algún capítulo, puedes dejar un comentario en el artículo correspondiente del blog técnico de BIT; respondo todos.