Apply on Employer Site

Derevo · 1 month ago

Data Engineer- MS Fabric

United States

Full-time

Remote

Mid Level

Derevo empowers companies and individuals by unlocking the value of their clients' data and enhancing the talent that transforms it. The Data Engineer will be crucial in creating and implementing modern data architectures, driving analytical solutions based on Big Data technologies.

AnalyticsBusiness Information SystemsConsultingData CenterData Integration

Responsibilities

Serás clave para crear e implementar arquitecturas modernas de datos con alta calidad, impulsando soluciones analíticas basadas en tecnologías de Big Data

Diseñarás, mantendrás y optimizarás sistemas de multiprocesamiento paralelo, aplicando las mejores prácticas de almacenamiento y gestión en data warehouses, data lakes y lakehouses

Serás el apasionado que recolecta, procesa, limpia y orquesta grandes volúmenes de datos, entendiendo modelos estructurados y semi–estructurados, para integrar y transformar múltiples fuentes con eficacia

Definirás la estrategia óptima según objetivos de negocio y requerimientos técnicos, convirtiendo problemas complejos en soluciones alcanzables que ayuden a nuestros clientes a tomar decisiones basadas en datos

Te integrarás al proyecto, sus sprints y ejecutarás las actividades de desarrollo aplicando siempre las mejores prácticas de datos y las tecnologías que implementamos

Identificarás requerimientos y definirás el alcance, participando en sprint planning y sesiones de ingeniería con una visión de consultor que aporte valor extra

Colaborarás proactivamente en workshops y reuniones con el equipo interno y con el cliente

Clasificarás y estimarás actividades bajo metodologías ágiles (épicas, features, historias técnicas/usuario) y darás seguimiento diario para mantener el ritmo del sprint

Cumplirás las fechas de entrega comprometidas y gestionarás riesgos comunicando desviaciones a tiempo

Qualification

T-SQLPython (PySpark)Microsoft FabricJSON / REST APIsAzure Data FactoryProactivityData ConsultingRequirements ManagementClient PresentationCommunicationTeam CollaborationContinuous LearningResponsibility

Required

T-SQL / Spark SQL: DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos

Python (PySpark): Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad)

JSON / REST APIs: Orquestación de pipelines y despliegues CI/CD mediante llamadas a Fabric REST APIs, parametrización dinámica de ejecuciones y gestión de artefactos

Microsoft Fabric: Lakehouse (OneLake + Delta Lake): modelado de datos con tablas Delta ACID, particionamiento y optimizaciones (OPTIMIZE, Z-ORDER) para mejorar rendimiento; uso de time travel para auditoría y recuperación

Warehouses (Synapse Analytics): configuración de clusters SQL provisionados y serverless; diseño de esquemas estrella/copo de nieve; ejecución de T-SQL transaccional con aislamiento y escalado automático de recursos

CI/CD & Lifecycle Management: definición de pipelines en Azure DevOps o GitHub Actions con entornos dev–test–prod; pruebas unitarias de datasets, validaciones de esquema y despliegue automatizado de artefactos

Monitor Hub & Activator: creación de dashboards personalizados para métricas de ingestión y transformación (latencia, throughput, errores); alertas proactivas y runbooks automáticos basados en condiciones definidas

Eventstreams & Eventhouse: configuración de ingesta de eventos en tiempo real sin código; definición de ventanas de procesamiento, agregaciones incrementales y almacenamiento optimizado para análisis temporal

Seguridad y Gobierno de Datos: administración granular de roles (Admin, Member, Contributor, Viewer) y permisos por workspace/item; políticas de row-level, column-level security y dynamic data masking; auditoría de accesos y cambios para cumplimiento normativo

Comunicación cercana: explicas hallazgos técnicos y de negocio de manera clara y directa

Trabajo en Squads: colaboras bajo el Squad Lead/Tech Lead, aportando ideas y levantando la mano cuando algo no encaja

Proactividad y colaboración: detectas problemas, propones soluciones y compartes el reto con el equipo para que juntos lo resolvamos

Aprendizaje constante: mantienes la mente abierta, consumes videos y documentación para especializarte en nuevas tecnologías

Responsabilidad y organización: gestionas tus OKRs, reportas avances y administras tu tiempo para cumplir compromisos

Consultoría de Datos: interpretas reglas de negocio y propones escenarios de implementación técnica para convertir necesidades en soluciones

Gestión de Requerimientos: Análisis de alcance y requerimientos para asegurar el éxito del proyecto

Estrategia alineada al cliente: conviertes objetivos de negocio en arquitectura de datos práctica y robusta

Presentación a Clientes: comunicas propuestas y resultados de manera efectiva

Preferred

conocimientos generales en Azure Data Factory

Benefits

WELLNESS: Impulsaremos tu bienestar integral a través del equilibrio personal, profesional y económico, Nuestros beneficios de ley y adicionales te ayudarán a lograrlo.

LET´S RELEASE YOUR POWER: Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario. Te impulsaremos a plantearte nuevos retos y superarte a ti mismo.

WE CREATE NEW THINGS: Nos gusta pensar fuera de la caja. Tendrás el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo.

WE GROW TOGETHER: Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.