Ingeniero/a de Datos | Big Data & Cloud
Posted Updated
Description
Participarás en el diseño y desarrollo de soluciones Big Data, construcción de pipelines ETL/ELT y evolución de arquitecturas Data Lake/Lakehouse, asegurando la disponibilidad, calidad, seguridad y gobierno de los datos.
Principales responsabilidades
- Diseñar, desarrollar y mantener pipelines ETL/ELT.
- Procesar grandes volúmenes de datos utilizando Apache Spark / PySpark.
- Diseñar y mantener arquitecturas Data Lake / Lakehouse.
- Realizar modelamiento y transformación de datos.
- Participar en iniciativas de Gobierno, Calidad, Catálogo y Linaje de Datos.
- Analizar y proponer mejoras a procesos, sistemas y tecnologías.
- Realizar testing, troubleshooting y aplicación de correctivos.
- Participar en iniciativas de DataOps/DevOps.
- Trabajar con servicios Cloud de AWS y Azure.
- Mínimo 4 años de experiencia profesional.
- Experiencia como Ingeniero/a de Datos / Big Data Engineer.
- Dominio de Python y SQL avanzado.
- Experiencia con Apache Spark / PySpark.
- Experiencia en construcción de pipelines ETL/ELT.
- Experiencia con arquitecturas Data Lake / Lakehouse.
- Experiencia trabajando con AWS y/o Azure.
Tecnologías
AWS: S3, Glue, Athena, Redshift, Lambda, Step Functions, Kinesis/MSK, CloudWatch, IAM.
Azure: ADLS, Data Factory, Synapse Analytics, Databricks, Azure Functions, Event Hub, Azure Monitor.
Data Engineering: Spark, PySpark, Kafka, Kinesis, Event Hub, Parquet, JSON, Avro.
DataOps / DevOps: Git, CI/CD, Azure DevOps, GitHub Actions, Terraform, Docker y Kubernetes.
Gobierno de Datos: Data Catalog, Data Lineage, Data Quality, Glue Catalog y Microsoft Purview.
Skills
- Analytics
- Athena
- Avro
- AWS
- Azure
- Azure Data Factory
- Azure DevOps
- Azure Functions
- Azure Monitor
- Azure Synapse
- Big Data
- CI/CD
- Cloud
- CloudWatch
- Data Engineering
- Data Governance
- Data Lake
- Data Lineage
- Data Quality
- Databricks
- DataOps
- DevOps
- Docker
- ELT
- ETL
- Git
- GitHub
- GitHub Actions
- IAM
- JSON
- Kafka
- Kinesis
- Kubernetes
- Lakehouse
- Lambda
- Microsoft Purview
- Parquet
- PySpark
- Python
- Redshift
- S3
- Spark
- SQL
- Terraform