Data Engineer | Lisbon
Onde
Entra para ver o tempo de viagem
Em resumo IA
Data Engineer em Lisboa para construir e manter a infraestrutura de dados, incluindo pipelines em Airflow, DevOps e fornecimento de dados a analistas e utilizadores. Requisitos técnicos exigentes (Python, SQL/Oracle, Spark, Kafka, Kubernetes).
Descrição
anúncio longo (3 065 caracteres): a IA resumiu-o; o texto integral está no separador ao lado.
- Função
- Responsável por manter a infraestrutura que suporta a arquitetura de dados atual e por criar, manter e monitorizar pipelines de extração, processamento e carregamento de dados em Airflow. Garante o acesso a dados para analistas e utilizadores finais, trata de DevOps (incluindo deploy de DAGs em produção com ferramentas DevOps), otimiza código e queries, faz code review e melhora a arquitetura de dados e os processos DevOps. Realiza e documenta análises sobre temas regulatórios e avalia o impacto e o custo de mudanças de negócio.
- Requisitos
- Python avançado (obrigatório)
- Experiência em criar APIs em Python, pelo menos Flask (obrigatório)
- Experiência em documentação e testes em Python (obrigatório)
- SQL avançado e gestão de bases de dados relacionais, com Oracle obrigatório
- Experiência com Data Warehouses
- Ecossistema Hadoop, HDFS e Yarn (obrigatório)
- Arquitetura de ambientes Spark (obrigatório)
- PySpark avançado (obrigatório)
- Experiência em criar e manter ambientes distribuídos com Hadoop e Spark (obrigatório)
- Experiência em organizar e manter data lakes (obrigatório)
- Experiência com formato Parquet (obrigatório)
- Apache Airflow, em desenvolvimento de pipelines e deploy em ambiente distribuído (obrigatório)
- Docker (obrigatório)
- Kubernetes (obrigatório)
- Apache Kafka (obrigatório)
- Automatização de deploys com ferramentas DevOps, Jenkins (obrigatório)
- Metodologias ágeis, pelo menos SCRUM
- Inglês fluente (obrigatório)
- Valorizado
- SQL Server e PostgreSQL
- S3 para data lakes
- formato Avro
- Ansible
- Condições
- Contrato: não indicado
- Salário: não indicado
- Horário: não indicado
- Local: Lisboa
- Benefícios
- não indicados
We are looking for a Data Engineer to be responsible for building and maintaining the infrastructure that supports the organization’s data architecture.
The role involves creating and managing data pipelines using Airflow for data extraction, processing, and loading, ensuring their maintenance, monitoring, and stability.
The engineer will work closely with data analysts and end-users to provide accessible and reliable data
Main Tasks and Responsibilities:
- Responsible for maintaining the infrastructure that supports the current data architecture
- Responsible for creating data pipelines in Airflow for data extracting, processing, and loading
- Responsible for data pipelines maintenance, monitoring, and stability
- Responsible for providing data access to data analysts and end-users
- Responsible for DevOps infrastructure
- Responsible for deploying Airflow dags to production environment using DevOps tools
- Responsible for code and query optimization
- Responsible for code review
- Responsible for improving the current data architecture and DevOps processes
- Responsible for delivering data in useful and appealing ways to users
- Responsible for performing and documenting analysis, review, and study on specified regulatory topics
- Responsible for understanding business change and requirement needs, assess the impact and the cost
Technical skills:
- Advanced Python(Mandatory)
- Experience in creating APIs in Python - At least Flask (Mandatory)
- Experience in documenting and testing in Python (Mandatory)
- Advanced SQL skills and relational database management (Oracle is Mandatory, SQL server is desirable, PostgreSQL is desirable )
- Experience with Data Warehouses
- Hadoop ecosystem - HDFS + Yarn (Mandatory)
- Spark Environment Architecture (Mandatory)
- Advanced PySpark - (Mandatory)
- Experience in creating and maintaining distributed environments using Hadoop and Spark
- Data Lakes - Experience in organizing and maintaining data lakes (Mandatory) - S3 is preferred
- Experience with Parquet file format is mandatory, Avro is a plus
- Apache Airflow - Experience in both pipeline development and deploying Airflow in distributed environment (Mandatory)
- Containerization - Docker is Mandatory
- Kubernetes (Mandatory)
- Apache Kafka (Mandatory)
- Experience in automating applications deployment using DevOps tools - Jenkins is Mandatory, Ansible is a plus
- Agile methodologies (At least SCRUM)
Language Skills:
- Fluent in English (Mandatory)
Inetum is a European leader in digital services. Inetum’s team of 28,000 consultants and specialists strive every day to make a digital impact for businesses, public sector entities and society. Inetum’s solutions aim at contributing to its clients’ performance and innovation as well as the common good. Present in 19 countries with a dense network of sites, Inetum partners with major software publishers to meet the challenges of digital transformation with proximity and flexibility. Driven by its ambition for growth and scale, Inetum generated sales of 2.5 billion euros in 2023.
Como me candidatar
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- Data Engineer | LisbonInetum · Lisboa
- Data Engineer | LisbonInetum · Lisboa
- Data Engineer/Data Analyst | LisbonInetum · Lisboa
- Data Engineer Consultant | LisbonInetum · Lisboa
- IA Data Engineer | LisbonInetum · Lisboa
- Data Engineer | LisbonInetum · Lisboa
Salário comparado ⓘ
207 ofertas · Analistas de sistemas · distrito de Lisboa
ver as que pagam mais →Formação para esta vaga
- Linguagens de Programação - Programação em PythonCentro de Formação e Reabilitação Profissional de Alcoitãoonline · horário laboral · 350 h · gratuito · início 11/12/2026Pedido neste anúncio: Python
- DevOps with Docker & KubernetesGalileuonline · horário laboral · 28 h · 1620 € + IVA · início 15/02/2027Pedido neste anúncio: DevOps e CI/CD
- SQL Database: Implementing a SQL Data WarehouseRumosonline · horário laboral · 21 h · 1100 € · início 02/12/2026Pedido neste anúncio: SQL e bases de dados
Requisitos IA
Idiomas IA
Publicado em (1)
- Inetum Portugal visto 13 out – 21 nov
Onde a empresa está ver no mapa →
- Lisboa (Lisboa) 450 oferta(s)
- Porto (Porto) 57 oferta(s)
- Aveiro (Aveiro) 17 oferta(s)
- Oeiras (Lisboa) ≈ 6 oferta(s) · 1 no site da empresa (escritório) · OSM · Google Maps
- Braga (Braga) 5 oferta(s)
- Maia (Porto) 2 oferta(s)
- Covilhã (Castelo Branco) 1 oferta(s)
- Paredes (Porto) 1 oferta(s)
- Ponta Delgada (Ilha de São Miguel) 1 oferta(s)
- Ribeira Grande (Ilha de São Miguel) 1 oferta(s)
- Valongo (Porto) 1 oferta(s)
- Viseu (Viseu) 1 oferta(s)
segundo outras ofertas da empresa, as moradas no site da empresa; consultora: o trabalho é muitas vezes nas instalações de um cliente; estas são as moradas dos escritórios da consultora. ≈ ponto aproximado (só a localidade ou o código postal são conhecidos).
Vista pela primeira vez a 13 out, 07:15