SENIOR DATA ENGINEER
CRH Talento en IT · Monterrey, MX
Applications are made on CRH Talento en IT's own site. We never sit in the middle.
Job description
Responsabilidades • Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks. • Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold. • Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad. • Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos. • Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube. • Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science. • Diagnosticar y resolver incidentes críticos en ambientes productivos, implementando acciones correctivas y preventivas. • Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue. • Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning. Requisitos • Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines. • Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción. • Experiencia trabajando con SQL avanzado. • Dominio de PySpark y Apache Spark. • Experiencia práctica con Databricks y Delta Lake. • Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze, silver y gold. • Experiencia con herramientas de orquestación como Apache Airflow o Prefect. • Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube. • Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos. • Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence. Competencias • Pensamiento analítico y resolución de problemas complejos. • Orientación a la calidad, eficiencia y mejora continua. • Capacidad para diagnosticar y resolver incidentes en producción. • Comunicación efectiva y colaboración con equipos multidisciplinarios. • Autonomía, iniciativa y aprendizaje continuo. • Liderazgo técnico y capacidad para compartir conocimientos y promover buenas prácticas.
Other jobs you might want
CRH Talento en IT
Gerente de Desarrollo y Transformación Digital
Monterrey, MX
CRH Talento en IT
Customer Support Engineer - IBM Power for Google Cloud
Puebla, MX
CRH Talento en IT
Ingeniero de Seguridad de la Información
Cancún, MX
CRH Talento en IT
SAP SD - Jr.
Monterrey, MX
CRH Talento en IT
Software enginner | Data Engineer
Ciudad de México, Cdmx, MX
CRH Talento en IT
Auditor de IT
Cancún, MX