#111 - Data Engineer
Em resumo IA
Engenheiro de dados para migrar cerca de 1.000 datasets para Snowflake e adaptar pipelines com Apache Airflow 3. Contrato remoto de 40 horas semanais até 31 de março de 2027, com cobertura até às 12:00 hora do Pacífico. Dois lugares disponíveis, não é contrato-a-efetivo.
Descrição
- Função
- Migrar pipelines de Apache Airflow 2 para Airflow 3, migrar conexões Confluent entre regiões cloud, migrar pipelines de Hive para Iceberg com Snowpark Connect e adaptar pipelines existentes ao Snowflake mantendo qualidade e fiabilidade dos dados. Apoiar o agendamento e monitorização de workflows no Airflow e executar migrações de dados com prazos apertados em equipa.
- Requisitos
- Mais de 2 anos de experiência.
- Fundamentos sólidos de engenharia de software e desenvolvimento prático em Python.
- SQL avançado (joins complexos, CTEs, window functions, otimização de desempenho).
- Modelação de dados em Snowflake.
- Experiência com Apache Airflow (desenvolvimento e testes de pipelines).
- Experiência com Apache Kafka e Apache Spark (PySpark prático).
- Experiência com formatos Iceberg e Parquet e com AWS (S3, particionamento, lifecycle policies).
- Estratégia de testes e capacidade de depurar código.
- Pelo menos 2 anos na indústria com datasets de grande escala.
- Boas capacidades de comunicação e trabalho autónomo.
- Valorizado
- experiência prática em migrações Snowflake e Airflow, uso de ferramentas de IA no desenvolvimento.
- Condições
- Contrato: temporário, remoto, até 31 de março de 2027, início a confirmar
- Salário: não indicado
- Horário: 40 horas semanais, cobertura até às 12:00 hora do Pacífico; turnos, fins de semana e part-time não indicados
- Local: remoto, em países elegíveis da EMEA e APAC
- Benefícios
- não indicados
We are seeking a hands-on Data Engineer to support a large-scale data platform modernization initiative. You will migrate approximately 1,000 datasets to Snowflake, adapt existing pipelines, and help deliver reliable orchestration with Apache Airflow 3. The architecture and technical approach are already defined, with the role focused on implementation and migration delivery through March 2027.
Enterprise experience strongly preferred.
Key Responsibilities
- Migrate pipelines from Apache Airflow 2 to Apache Airflow 3.
- Migrate Confluent connections between cloud regions.
- Migrate pipelines from Hive to Iceberg using Snowpark Connect.
- Adapt existing data pipelines to Snowflake while maintaining data quality and reliability.
- Support workflow scheduling and monitoring in Apache Airflow.
- Partner with the team to execute time-sensitive data migrations.
Must-Have Skills
- 2+ years of experience.
- Strong software engineering fundamentals.
- Hands-on Python development experience.
- Advanced SQL, including complex joins, CTEs, window functions, and performance tuning.
- Snowflake data modeling.
- Apache Airflow experience developing and testing pipelines in Airflow and Python.
- Apache Kafka experience.
- Apache Spark experience, including hands-on PySpark.
- Experience with Iceberg and Parquet data formats.
- AWS experience, particularly S3 data lakes, partitioning, and lifecycle policies.
- Testing strategy experience and the ability to debug and test code hands-on.
- At least 2 years of industry experience working with large-scale datasets, including Airflow and Spark.
- Strong communication skills.
- Ability to work independently.
Nice-to-Have Skills
- Hands-on Snowflake migration experience, including data warehouse modernization and performance and cost optimization.
- Apache Airflow migration experience, including version upgrades, executor changes, or platform migrations.
- Experience using AI tools for development.
Required Tools & Platforms
- Python and SQL.
- Snowflake, Apache Airflow, Apache Kafka, and Apache Spark/PySpark.
- Iceberg and Parquet.
- AWS S3.
- The migration environment also includes Confluent, Hive, and Snowpark Connect.
Location, Time & Engagement
- Open to candidates in eligible EMEA and APAC locations.
- Coverage until 12:00 PM Pacific Time is required.
- Remote contract engagement for 40 hours per week.
- Expected engagement through March 31, 2027; start date to be confirmed.
- Two openings are available.
- This is not currently a contract-to-hire opportunity.
Originally posted on Himalayas
Como me candidatar
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- #138807 - Senior Data Platform EngineerLifted (an Upwork Company)
- Data Engineer (Apache Airflow/Spark/AWS) - Full Remote PortugalHumanIT Digital Consulting
- Data EngineerHivex
- Data EngineerElevus · Lisboa
- Senior Data Engineer (Spark & Airflow)Noesis · Porto
- Snowflake Data EngineerFindmore Consulting · Lisboa
Salário comparado ⓘ
84 ofertas · Analistas de sistemas · teletrabalho
ver as que pagam mais →Formação para esta vaga
- Linguagens de Programação - Programação em PythonCentro de Formação e Reabilitação Profissional de Alcoitãoonline · horário laboral · 350 h · gratuito · início 11/12/2026Pedido neste anúncio: Python
- Developing Generative AI Applications on AWSRumosonline · horário laboral · 14 h · 1420 € · início 01/02/2027Pedido neste anúncio: AWS
- DP-750: Implement data engineering solutions using Azure DatabricksGalileuonline · horário laboral · 28 h · 1670 € + IVA · início 14/12/2026Pedido neste anúncio: Engenharia de dados (Spark, Databricks)
Requisitos IA
Idiomas IA
Publicado em (1)
- Himalayas visto 16 nov
Vista pela primeira vez a 16 nov, 22:58