Senior Data Engineer
Em resumo IA
Engenheiro de dados sénior para uma plataforma de dados multi-fonte, com ownership da arquitetura, ingestão e operações em produção. Remoto na América Latina; sem apoio a visto. Salário entre 80.000 e 120.000 USD por ano.
Descrição
- Função
- Desenhar e construir uma plataforma de dados multi-fonte para ingestão concorrente, processamento orientado a eventos e workflows batch orquestrados. Desenvolver ingestão resiliente a partir de APIs de fornecedores, webhooks, ficheiros e web scraping, incluindo limites de taxa e tratamento de falhas. Orquestrar workflows agendados e backfills históricos (Airflow, Dagster ou Prefect). Construir sistemas orientados a eventos com mensageria e filas de tarefas, incluindo retries, dead-letter e replay controlado. Guardar payloads originais em armazenamento de objetos na cloud e transformar dados com dbt em camadas raw, standardized e curated. …
- Requisitos
- Pelo menos 5 anos a construir e operar plataformas de dados em produção, com ownership desde a arquitetura até à operação.
- Experiência prática em produção com dbt e Google Cloud Platform, e com orquestração de workflows (Airflow, Dagster, Prefect ou Temporal).
- Experiência com sistemas orientados a eventos, mensageria ou filas de tarefas, processamento assíncrono, retries e recuperação de falhas.
- Sólidas competências em Python, incluindo HTTP assíncrono e processamento concorrente (asyncio, aiohttp ou HTTPX).
- Sólidas competências em SQL e PostgreSQL: modelação de dados, otimização de queries e carga incremental.
- Experiência com data contracts, armazenamento raw e curated, políticas de retenção, testes automatizados e monitorização de pipelines.
- Valorizado
- experiência em startups ou equipas pequenas; web scraping, entity resolution e enriquecimento de dados.
- Condições
- Contrato: não indicado
- Salário: 80.000 a 120.000 USD por ano (salário base)
- Horário: não indicado
- Local: remoto na América Latina; sem apoio a visto
- Benefícios
- não indicados
About the Role
Join a data and infrastructure team building a platform that turns information from multiple sources into reliable, current company intelligence. You will own the platform across architecture, ingestion, and production operations, helping deliver trusted data for downstream products.
What You'll Do
Design and build a multi-source data platform for concurrent ingestion, event-driven processing, and orchestrated batch workflows.
Develop resilient intake from provider APIs, webhooks, files, and web scraping, including rate limits and failure handling.
Orchestrate scheduled workflows and historical backfills using tools such as Airflow, Dagster, or Prefect.
Build event-driven systems with messaging and task queues, including retries, dead-letter handling, and controlled replay.
Store original payloads in cloud object storage and transform data with dbt into raw, standardized, and curated layers.
Implement idempotent upserts, data contracts, automated validation, pipeline tests, and monitoring for freshness and failures.
Design and optimize PostgreSQL schemas and loading patterns, and integrate enrichment and LLM-based structured extraction.
What We're Looking For
At least 5 years building and operating production data platforms, with ownership from architecture through deployment and ongoing operations.
Hands-on production experience with dbt and Google Cloud Platform, plus workflow orchestration such as Airflow, Dagster, Prefect, or Temporal.
Experience with event-driven systems, messaging or task queues, asynchronous processing, retries, and failure recovery.
Strong Python skills, including asynchronous HTTP and concurrent processing with tools such as asyncio, aiohttp, or HTTPX.
Strong SQL and PostgreSQL skills, including data modeling, query optimization, and incremental loading.
Experience with data contracts, raw and curated storage, retention policies, automated testing, and pipeline monitoring.
Startup or small-team experience, with broad ownership and changing priorities; web scraping, entity resolution, and data enrichment experience are helpful.
Compensation & Benefits
Base salary: $80,000 to $120,000 annually. Visa sponsorship is not available.
Location
Remote within Latin America.
Compensation Range: $80K - $120K
Originally posted on Himalayas
Como me candidatar
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- (Senior) Data EngineerDevop.One
- Senior Data EngineerSafeguard Global
- Senior Data Engineer (Software Eng focus) (M/F)Construo AG
- Senior Data Engineer (f/m/div.)Bosch · Lisboa
- Senior Data Engineer (Databricks)futureproof
- Senior Data Engineer - FinHub | LisbonMichael Page Portugal · Lisboa
Salário comparado ⓘ
83 ofertas · Analistas de sistemas · teletrabalho
ver as que pagam mais →Formação para esta vaga
- Linguagens de Programação - Programação em PythonCentro de Formação e Reabilitação Profissional de Alcoitãoonline · horário laboral · 350 h · gratuito · início 11/12/2026Pedido neste anúncio: Python
- SQL Database: Implementing a SQL Data WarehouseRumosonline · horário laboral · 21 h · 1100 € · início 02/12/2026Pedido neste anúncio: SQL e bases de dados
- DP-750: Implement data engineering solutions using Azure DatabricksGalileuonline · horário laboral · 28 h · 1670 € + IVA · início 14/12/2026Pedido neste anúncio: Engenharia de dados (Spark, Databricks)
Requisitos IA
- 5 anos de experiência em plataformas de dados em produção
- Airflow, Dagster, Prefect ou Temporal
Idiomas IA
Publicado em (1)
- Himalayas visto 20 nov
Vista pela primeira vez a 20 nov, 21:48