cores
app
radaremprego

#111 - Data Engineer

Lifted (an Upwork Company) · anuncia como Himalayas
Regimeremoto
Horáriosem indicação no anúncio
Contratotemporário
não indicado no anúnciosalário
publicado 2026-11-01 ·

Em resumo IA

Engenheiro de dados para migrar cerca de 1.000 datasets para Snowflake e adaptar pipelines com Apache Airflow 3. Contrato remoto de 40 horas semanais até 31 de março de 2027, com cobertura até às 12:00 hora do Pacífico. Dois lugares disponíveis, não é contrato-a-efetivo.

Descrição

Função
Migrar pipelines de Apache Airflow 2 para Airflow 3, migrar conexões Confluent entre regiões cloud, migrar pipelines de Hive para Iceberg com Snowpark Connect e adaptar pipelines existentes ao Snowflake mantendo qualidade e fiabilidade dos dados. Apoiar o agendamento e monitorização de workflows no Airflow e executar migrações de dados com prazos apertados em equipa.
Requisitos
  • Mais de 2 anos de experiência.
  • Fundamentos sólidos de engenharia de software e desenvolvimento prático em Python.
  • SQL avançado (joins complexos, CTEs, window functions, otimização de desempenho).
  • Modelação de dados em Snowflake.
  • Experiência com Apache Airflow (desenvolvimento e testes de pipelines).
  • Experiência com Apache Kafka e Apache Spark (PySpark prático).
  • Experiência com formatos Iceberg e Parquet e com AWS (S3, particionamento, lifecycle policies).
  • Estratégia de testes e capacidade de depurar código.
  • Pelo menos 2 anos na indústria com datasets de grande escala.
  • Boas capacidades de comunicação e trabalho autónomo.
Valorizado
  • experiência prática em migrações Snowflake e Airflow, uso de ferramentas de IA no desenvolvimento.
Condições
Contrato: temporário, remoto, até 31 de março de 2027, início a confirmar
Salário: não indicado
Horário: 40 horas semanais, cobertura até às 12:00 hora do Pacífico; turnos, fins de semana e part-time não indicados
Local: remoto, em países elegíveis da EMEA e APAC
Benefícios
não indicados

We are seeking a hands-on Data Engineer to support a large-scale data platform modernization initiative. You will migrate approximately 1,000 datasets to Snowflake, adapt existing pipelines, and help deliver reliable orchestration with Apache Airflow 3. The architecture and technical approach are already defined, with the role focused on implementation and migration delivery through March 2027.

Enterprise experience strongly preferred.

Key Responsibilities

  • Migrate pipelines from Apache Airflow 2 to Apache Airflow 3.
  • Migrate Confluent connections between cloud regions.
  • Migrate pipelines from Hive to Iceberg using Snowpark Connect.
  • Adapt existing data pipelines to Snowflake while maintaining data quality and reliability.
  • Support workflow scheduling and monitoring in Apache Airflow.
  • Partner with the team to execute time-sensitive data migrations.

Must-Have Skills

  • 2+ years of experience.
  • Strong software engineering fundamentals.
  • Hands-on Python development experience.
  • Advanced SQL, including complex joins, CTEs, window functions, and performance tuning.
  • Snowflake data modeling.
  • Apache Airflow experience developing and testing pipelines in Airflow and Python.
  • Apache Kafka experience.
  • Apache Spark experience, including hands-on PySpark.
  • Experience with Iceberg and Parquet data formats.
  • AWS experience, particularly S3 data lakes, partitioning, and lifecycle policies.
  • Testing strategy experience and the ability to debug and test code hands-on.
  • At least 2 years of industry experience working with large-scale datasets, including Airflow and Spark.
  • Strong communication skills.
  • Ability to work independently.

Nice-to-Have Skills

  • Hands-on Snowflake migration experience, including data warehouse modernization and performance and cost optimization.
  • Apache Airflow migration experience, including version upgrades, executor changes, or platform migrations.
  • Experience using AI tools for development.

Required Tools & Platforms

  • Python and SQL.
  • Snowflake, Apache Airflow, Apache Kafka, and Apache Spark/PySpark.
  • Iceberg and Parquet.
  • AWS S3.
  • The migration environment also includes Confluent, Hive, and Snowpark Connect.

Location, Time & Engagement

  • Open to candidates in eligible EMEA and APAC locations.
  • Coverage until 12:00 PM Pacific Time is required.
  • Remote contract engagement for 40 hours per week.
  • Expected engagement through March 31, 2027; start date to be confirmed.
  • Two openings are available.
  • This is not currently a contract-to-hire opportunity.

Originally posted on Himalayas

Como me candidatar

Candidatar no anúncio original ↗

Preparar candidatura

Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.

Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.

Algo errado ou ilegal neste anúncio? Reportar

Fica visível enquanto analisamos. Decidimos em até 7 dias (o que é claramente ilegal, como uma burla, mais depressa) e dizemos-te o resultado e porquê.

Ofertas semelhantes

Salário comparado ⓘ

Esta ofertaMediana?4 232 €
2 769 €6 120 €

84 ofertas · Analistas de sistemas · teletrabalho

ver as que pagam mais →

Formação para esta vaga

Idiomas IA

Publicado em (1)

Vista pela primeira vez a 16 nov, 22:58