Data Engineer – Unified Data Layer (UDL) (f/m/div.)
Onde
Entra para ver o tempo de viagem
Em resumo IA
Data Engineer (f/m/div.) para a Unified Data Layer (UDL): desenvolver e manter pipelines de dados entre equipamento laboratorial, bancadas de teste e sistemas de borda e o Microsoft Azure, incluindo parsing de formatos binários e proprietários. Local não indicado; contrato e salário não indicados.
Descrição
anúncio longo (4 213 caracteres): a IA resumiu-o; o texto integral está no separador ao lado.
- Função
- Desenvolver, automatizar e manter pipelines de dados que ligam equipamento laboratorial, bancadas de teste de alto débito e sistemas de borda ao Microsoft Azure. Investigar e interpretar formatos de ficheiros complexos, não standard, binários, proprietários ou não documentados, implementando parsers e rotinas de normalização. Transformar dados brutos e fragmentados em tabelas Lakehouse (Delta Lake/Parquet) otimizadas e particionadas para análise e treino de modelos de ML. Implantar e monitorizar recursos de pipeline no Azure com Terraform, Databricks e workflows em contentores. …
- Requisitos
- Licenciatura, mestrado ou doutoramento em Engenharia de Dados, Ciência da Computação, Engenharia de Software, Física Aplicada, Engenharia Eletrotécnica ou área relacionada
- Mínimo de 3 anos de experiência profissional em engenharia de dados, com pipelines automatizados e fiáveis
- Mínimo de 1 a 2 anos de experiência com fontes de dados heterogéneas, não standard ou binárias (logs de sensores, exportações laboratoriais, telemetria de hardware, streams de bytes)
- Mínimo de 1 ano de experiência prática com Apache Spark (preferencialmente Databricks) e Microsoft Azure em produção
- Experiência comprovada em decifrar, interpretar ou converter formatos de dados não standard, legados ou personalizados em estruturas estruturadas
- …
- Valorizado
- formatos científicos/hierárquicos (HDF5, NetCDF, Parquet, Protobuf), protocolos de telemetria industrial (OPC UA, MQTT), Azure Data Factory, Azure Event Hubs, Azure Data Explorer, bases de dados vetoriais
- alemão B2, escrito e falado
- Condições
- Contrato: não indicado
- Salário: não indicado
- Horário: não indicado
- Local: não indicado
- Benefícios
- Horário flexível
- Serviços médicos
- Descontos para colaboradores
- Atividades desportivas e de saúde
- Cantina
- Bom acesso a transportes públicos
- Espaço para criatividade
Platform & Pipeline Engineering
- Develop, automate, and maintain resilient data pipelines connecting on-premises
- laboratory equipment, high throughput test benches, and edge systems to Microsoft Azure.
- Investigate, unpack, and parse complex, non-standard, binary, proprietary, and undocumented file formats where standard connectors do not exist.
- Implement parsers and normalization routines capable of ingesting diverse technical data streams, for example:
- High-frequency sensor streams, time series, and bus telemetry.
- Multi-dimensional scientific arrays, spatial grids, and spectral data.
- - Hierarchical, nested, and unstructured binary logs or custom ASCII exports.
- Event logs, operational metadata, and intermittent experimental batch runs.
- Clean, validate, and transform fragmented or schema-less raw data into optimized, partitioned Lakehouse tables (Delta Lake/Parquet) ready for analytics and ML model training.
- Deploy, monitor, and maintain pipeline resources on Azure using Terraform, Databricks, and containerized workflows following established team templates.
Collaboration & Lab Support
- Work directly alongside experimental scientists, lab engineers, and technicians to decipher raw measurement files, clarify domain-specific semantics, and automate recurring data uploads.
- Collaborate closely with solution architects and senior engineers to implement data ingestion patterns, cataloguing schemas, and governance standards.
- Maintain clear technical documentation, code comments, and onboarding walkthroughs to help research teams connect their equipment seamlessly.
- Support proof-of-concept initiatives exploring metadata integration with corporate AI assistants, data discovery catalogs, and modern data tools.
Education
- BSc, MSc or Ph.D. in Data Engineering, Computer Science, Software Engineering, Applied Physics, Electrical Engineering, or a related field.
Experience
- 3+ years of professional experience in data engineering, building automated and reliable data pipelines.
- 1–2 years of practical experience handling heterogeneous, non-standard, or binary data sources (e.g., physical sensor logs, laboratory exports, hardware telemetry, or raw byte streams).
- 1+ years of hands-on experience utilizing Apache Spark (preferably Databricks) and Microsoft Azure in production environments.
- Demonstrated experience deciphering, parsing, or converting non-standard, legacy, or custom data formats into structured data structures.
Technical Skills
- Strong proficiency in Python for data manipulation (including binary data handling using modules like struct, byte manipulation, NumPy, Pandas, and PySpark) and Bash.
- Solid understanding of modern Lakehouse concepts (Delta Lake), distributed data processing, SQL, and NoSQL/document datastores.
- Proficient with Git, GNU/Linux environments, and working knowledge of Infrastructure as Code (Terraform).
- Practical experience with standard transport mechanisms (e.g., REST APIs, SFTP, Kafka/Event Hubs, or IoT/streaming protocols).
Mindset & Soft Skills
- Strong analytical mindset with a natural curiosity to open unfamiliar files, inspect headers, and solve data decoding puzzles.
- Friendly, empathetic communication style with the ability to bridge conversations between laboratory technicians, domain scientists, and software teams.
- C2 CEFR level in English, written and spoken.
Nice to Have
- Experience with scientific/hierarchical file formats (e.g., HDF5, NetCDF, Parquet, Protobuf).
- Familiarity with industrial telemetry or time-series historian protocols (e.g., OPC UA, MQTT).
- Exposure to Azure analytics tooling (Azure Data Factory, Azure Event Hubs, Azure Data Explorer).
- Experience with vectorial databases.
Languages
- Fluent in Portuguese.
- B2 CEFR level in English, written and spoken.
- B2 CEFR level in German, written and spoken is a plus
What we offer you:
Challenges in an international environment | career opportunities in one of the best companies in the world | flexible hours | medical services | discounts for employees | sports and health related activities | canteen | good access to public transports | space for creativity.
Success stories don´t just happen. They are made...
Make it happen! We are looking forward to your application!
Como me candidatar
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- Data Engineer – Mid-Level Microsoft AzureFindmore Consulting · Lisboa
- DevOps Engineer – Unified Data Layer (UDL) (f/m/div.)Bosch · Braga
- Distributed Cloud | Azure Data EngineerDevoteam · Porto
- Distributed Cloud | Azure Data EngineerDevoteam · Lisboa
- Data Engineer | Azure/DatabricksCelfocus · Lisboa,Porto
- Data Engineer - Machine Learning on AzureGRiT Solutions
Salário comparado ⓘ
325 ofertas · Analistas de sistemas · Portugal
ver as que pagam mais →Formação para esta vaga
- DP-750: Implement data engineering solutions using Azure DatabricksGalileuonline · horário laboral · 28 h · 1670 € + IVA · início 14/12/2026Pedido neste anúncio: Microsoft Azure
- DP-3014: Build machine learning solutions using Azure DatabricksRumosonline · horário laboral · 7 h · 590 € · início 22/01/2027Pedido neste anúncio: Microsoft Azure
- Data Science Aplicada, Big Data e AIUniversidade Lusófonaonline · pós-laboral · 120 hPedido neste anúncio: Engenharia de dados (Spark, Databricks)
Requisitos IA
- licenciatura ou superior em área técnica
Idiomas IA
Publicado em (1)
- Bosch visto 11 nov – 20 nov
Onde a empresa está ver no mapa →
- Braga (Braga) 224 oferta(s) · 2 no mapa (fábrica, escritório)
- Aveiro (Aveiro) 159 oferta(s) · 2 no mapa (instalação, edifício)
- Lisboa (Lisboa) 113 oferta(s) · 1 no site da empresa (escritório) · OSM · Google Maps
- Ovar (Aveiro) 27 oferta(s) · 2 no mapa (edifício, escritório)
- Porto (Porto) 4 oferta(s) · 1 no mapa (loja) · OSM · Google Maps
- Oeiras (Lisboa) 2 oferta(s)
- Cascais (Lisboa) 1 no mapa (loja) · OSM · Google Maps
- Viana do Castelo (Viana do Castelo) 1 oferta(s)
- Vila do Conde (Porto) 1 no mapa (loja) · OSM · Google Maps
segundo outras ofertas da empresa, as moradas no site da empresa, locais no OpenStreetMap; não é necessariamente o local desta oferta.
Vista pela primeira vez a 11 nov, 21:28