Senior Data Engineer (Spark & Airflow)
Onde
Entra para ver o tempo de viagem
Em resumo IA
Senior Data Engineer para migrar processos ETL de IBM DataStage para Spark (PySpark/SQL) e a orquestração de CAWA para Apache Airflow, atuando como referência técnica em standards e roadmap de Data Engineering. Exige mínimo de 6 anos em Data Engineering, incluindo funções de arquitetura ou liderança técnica.
Descrição
- Função
- Analisar e migrar processos ETL de IBM DataStage para Spark (PySpark e SQL), adaptando e otimizando para execução distribuída. Migrar a orquestração de workflows de CAWA para Apache Airflow, implementando DAGs e garantindo integração com os processos Spark. Atuar como referência técnica na definição de standards, boas práticas e roadmap técnico de Data Engineering.
- Requisitos
- Licenciatura em Informática ou similar
- Mínimo de 6 anos de experiência em Data Engineering, incluindo arquitetura ou liderança técnica
- Conhecimento comprovado de arquiteturas de dados modernas, incluindo Lakehouse e plataformas híbridas (Data Lake e Data Warehouse)
- Domínio de SQL, Python e PySpark, com processamento distribuído (Spark, Databricks, Hadoop, Hive), ambientes Cloud (Azure, GCP ou AWS) e processamento de grandes volumes em batch e/ou streaming
- Boas práticas de engenharia: versionamento (Git), automatização e CI/CD
- Capacidade analítica, atenção ao detalhe, pensamento crítico e visão sistémica; autonomia e trabalho com equipas multidisciplinares
- Valorizado
- IBM DataStage, migração de ETL para Spark, Apache Airflow, orquestração de workflows
- Condições
- Contrato: não indicado
- Salário: não indicado
- Horário: não indicado
- Local: não indicado
- Benefícios
- não indicados
A Noesis procura um(a) Senior Data Engineer com experiência em arquitetura de dados ou liderança técnica para integrar uma equipa de Data Engineering.
Principais Tarefas e Responsabilidades:
- Analisar e migrar processos ETL de IBM DataStage para Spark (PySpark e SQL), adaptando e otimizando para execução distribuída;
- Migrar a orquestração de workflows de CAWA para Apache Airflow, implementando DAGs e garantindo integração com os processos Spark;
- Atuar como referência técnica na definição de standards, boas práticas e roadmap técnico de Data Engineering.
Requisitos:
- Licenciatura em Informática ou similar;
- Mínimo de 6 anos de experiência em Data Engineering, incluindo funções de arquitetura ou liderança técnica;
- Conhecimento comprovado na definição e evolução de arquiteturas de dados modernas, incluindo Lakehouse e plataformas analíticas híbridas (Data Lake e Data Warehouse);
- Domínio de SQL, Python e PySpark, com prática sólida em processamento distribuído (Spark, Databricks, Hadoop, Hive), ambientes Cloud (Azure, GCP ou AWS) e processamento de grandes volumes de dados em batch e/ou streaming;
- IBM DataStage, migração de processos ETL para Spark, Apache Airflow e orquestração de workflows serão valorizados;
- Conhecimento sólido de boas práticas de engenharia, incluindo versionamento (Git), automatização e pipelines de CI/CD;
- Capacidade analítica, atenção ao detalhe, pensamento crítico e visão sistémica;
- Autonomia, proatividade e capacidade de trabalho com equipas multidisciplinares.
Se reúnes estas condições e gostarias de integrar uma organização inovadora, que aposta continuamente na formação dos seus talentos, envia-nos a tua candidatura.
Join us. Let’s innovate together!
Todos os nossos processos de recrutamento e seleção baseiam-se na igualdade de oportunidades, valorizando a competência e o potencial de cada pessoa e garantindo que nenhum candidato ou candidata é discriminado com base em género, etnia, orientação sexual, idade, religião ou condição física.
- Anúncio criado ao abrigo da Lei n º 4 / 2019, de 10 de Janeiro
Como me candidatar
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- Senior Data Engineer (Lakehouse & Cloud)Noesis · Porto
- Senior Data EngineerParfois
- (Senior) Data EngineerDevop.One
- Senior Data EngineerIT House - Global Business Solutions · Lisboa,Porto
- Senior Data EngineerIT House - Global Business Solutions · Porto
- Senior Data Engineer (m/f)Grupo EGOR · Porto
Salário comparado ⓘ
54 ofertas · Analistas de sistemas · distrito de Porto
ver as que pagam mais →Formação para esta vaga
- DP-750: Implement data engineering solutions using Azure DatabricksGalileuonline · horário laboral · 28 h · 1670 € + IVA · início 14/12/2026Pedido neste anúncio: Engenharia de dados (Spark, Databricks)
- DP-3014: Build machine learning solutions using Azure DatabricksRumosonline · horário laboral · 7 h · 590 € · início 22/01/2027Pedido neste anúncio: Engenharia de dados (Spark, Databricks)
- Data Science Aplicada, Big Data e AIUniversidade Lusófonaonline · pós-laboral · 120 hPedido neste anúncio: Engenharia de dados (Spark, Databricks)
Requisitos IA
- licenciatura em informática ou similar
Idiomas IA
Publicado em (1)
- Noesis visto 16 nov – 20 nov
Onde a empresa está ver no mapa →
- Lisboa (Lisboa) ≈ 148 oferta(s) · 1 no site da empresa (sede) · OSM · Google Maps
- Porto (Porto) 34 oferta(s)
- Amadora (Lisboa) 14 oferta(s)
- Coimbra (Coimbra) 11 oferta(s)
- Guarda (Guarda) 11 oferta(s)
- Covilhã (Castelo Branco) 9 oferta(s)
- Oeiras (Lisboa) 5 oferta(s)
- Castelo Branco (Castelo Branco) 2 oferta(s) · 1 no mapa (escritório) · OSM · Google Maps
- Loures (Lisboa) 3 oferta(s)
- Mafra (Lisboa) 2 oferta(s)
- Fronteira (Portalegre) 1 oferta(s)
- Proença-a-Nova (Castelo Branco) 1 oferta(s)
- e mais 1 concelho(s) · todos no mapa
segundo outras ofertas da empresa, as moradas no site da empresa, locais no OpenStreetMap; consultora: o trabalho é muitas vezes nas instalações de um cliente; estas são as moradas dos escritórios da consultora. ≈ ponto aproximado (só a localidade ou o código postal são conhecidos).
Vista pela primeira vez a 16 nov, 21:03