cores
radaremprego

Data Engineer – Unified Data Layer (UDL) (f/m/div.)

Regimehíbrido
Horáriosem indicação no anúncio
não indicado no anúnciocontrato · salário
publicado 2026-11-11

Onde

Bosch, Braga
o único local da empresa neste concelho · OSM · Google Maps
concelho: Braga (Braga)
Mais ofertas: Analistas de sistemas em Braga (91)

Entra para ver o tempo de viagem

Renda mediana ⓘ
T1430 €T2650 €

Em resumo IA

Data Engineer (f/m/div.) para a Unified Data Layer (UDL): desenvolver e manter pipelines de dados entre equipamento laboratorial, bancadas de teste e sistemas de borda e o Microsoft Azure, incluindo parsing de formatos binários e proprietários. Local não indicado; contrato e salário não indicados.

Descrição

anúncio longo (4 213 caracteres): a IA resumiu-o; o texto integral está no separador ao lado.

Função
Desenvolver, automatizar e manter pipelines de dados que ligam equipamento laboratorial, bancadas de teste de alto débito e sistemas de borda ao Microsoft Azure. Investigar e interpretar formatos de ficheiros complexos, não standard, binários, proprietários ou não documentados, implementando parsers e rotinas de normalização. Transformar dados brutos e fragmentados em tabelas Lakehouse (Delta Lake/Parquet) otimizadas e particionadas para análise e treino de modelos de ML. Implantar e monitorizar recursos de pipeline no Azure com Terraform, Databricks e workflows em contentores. …
Requisitos
  • Licenciatura, mestrado ou doutoramento em Engenharia de Dados, Ciência da Computação, Engenharia de Software, Física Aplicada, Engenharia Eletrotécnica ou área relacionada
  • Mínimo de 3 anos de experiência profissional em engenharia de dados, com pipelines automatizados e fiáveis
  • Mínimo de 1 a 2 anos de experiência com fontes de dados heterogéneas, não standard ou binárias (logs de sensores, exportações laboratoriais, telemetria de hardware, streams de bytes)
  • Mínimo de 1 ano de experiência prática com Apache Spark (preferencialmente Databricks) e Microsoft Azure em produção
  • Experiência comprovada em decifrar, interpretar ou converter formatos de dados não standard, legados ou personalizados em estruturas estruturadas
  • …
Valorizado
  • formatos científicos/hierárquicos (HDF5, NetCDF, Parquet, Protobuf), protocolos de telemetria industrial (OPC UA, MQTT), Azure Data Factory, Azure Event Hubs, Azure Data Explorer, bases de dados vetoriais
  • alemão B2, escrito e falado
Condições
Contrato: não indicado
Salário: não indicado
Horário: não indicado
Local: não indicado
Benefícios
  • Horário flexível
  • Serviços médicos
  • Descontos para colaboradores
  • Atividades desportivas e de saúde
  • Cantina
  • Bom acesso a transportes públicos
  • Espaço para criatividade

Platform & Pipeline Engineering

  • Develop, automate, and maintain resilient data pipelines connecting on-premises 
  • laboratory equipment, high throughput test benches, and edge systems to Microsoft Azure.
  • Investigate, unpack, and parse complex, non-standard, binary, proprietary, and  undocumented file formats where standard connectors do not exist.
  • Implement parsers and normalization routines capable of ingesting diverse technical data streams, for example:
  1. High-frequency sensor streams, time series, and bus telemetry.
  2. Multi-dimensional scientific arrays, spatial grids, and spectral data.
  3. - Hierarchical, nested, and unstructured binary logs or custom ASCII exports.
  4. Event logs, operational metadata, and intermittent experimental batch runs.
  • Clean, validate, and transform fragmented or schema-less raw data into optimized, partitioned Lakehouse tables (Delta Lake/Parquet) ready for analytics and ML model training.
  • Deploy, monitor, and maintain pipeline resources on Azure using Terraform, Databricks, and containerized workflows following established team templates.

Collaboration & Lab Support

  • Work directly alongside experimental scientists, lab engineers, and technicians to decipher raw measurement files, clarify domain-specific semantics, and automate recurring data uploads.
  • Collaborate closely with solution architects and senior engineers to implement data ingestion patterns, cataloguing schemas, and governance standards.
  • Maintain clear technical documentation, code comments, and onboarding walkthroughs to help research teams connect their equipment seamlessly.
  • Support proof-of-concept initiatives exploring metadata integration with corporate AI assistants, data discovery catalogs, and modern data tools.

Education

  • BSc, MSc or Ph.D. in Data Engineering, Computer Science, Software Engineering, Applied Physics, Electrical Engineering, or a related field.

Experience

  • 3+ years of professional experience in data engineering, building automated and reliable data pipelines.
  • 1–2 years of practical experience handling heterogeneous, non-standard, or binary data sources (e.g., physical sensor logs, laboratory exports, hardware telemetry, or raw byte streams).
  • 1+ years of hands-on experience utilizing Apache Spark (preferably Databricks) and Microsoft Azure in production environments.
  • Demonstrated experience deciphering, parsing, or converting non-standard, legacy, or custom data formats into structured data structures.

Technical Skills

  • Strong proficiency in Python for data manipulation (including binary data handling using modules like struct, byte manipulation, NumPy, Pandas, and PySpark) and Bash.
  • Solid understanding of modern Lakehouse concepts (Delta Lake), distributed data processing, SQL, and NoSQL/document datastores.
  • Proficient with Git, GNU/Linux environments, and working knowledge of Infrastructure as Code (Terraform).
  • Practical experience with standard transport mechanisms (e.g., REST APIs, SFTP, Kafka/Event Hubs, or IoT/streaming protocols).

Mindset & Soft Skills

  • Strong analytical mindset with a natural curiosity to open unfamiliar files, inspect headers, and solve data decoding puzzles.
  • Friendly, empathetic communication style with the ability to bridge conversations between laboratory technicians, domain scientists, and software teams.
  • C2 CEFR level in English, written and spoken.

Nice to Have

  • Experience with scientific/hierarchical file formats (e.g., HDF5, NetCDF, Parquet, Protobuf).
  • Familiarity with industrial telemetry or time-series historian protocols (e.g., OPC UA, MQTT).
  • Exposure to Azure analytics tooling (Azure Data Factory, Azure Event Hubs, Azure Data Explorer).
  • Experience with vectorial databases.

Languages

  • Fluent in Portuguese.
  • B2 CEFR level in English, written and spoken.
  • B2 CEFR level in German, written and spoken is a plus

What we offer you:

Challenges in an international environment | career opportunities in one of the best companies in the world | flexible hours | medical services | discounts for employees | sports and health related activities | canteen | good access to public transports | space for creativity.

Success stories don´t just happen. They are made...

Make it happen! We are looking forward to your application!

Como me candidatar

Candidatar no anúncio original ↗

Preparar candidatura

Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.

Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.

Algo errado ou ilegal neste anúncio? Reportar

Fica visível enquanto analisamos. Decidimos em até 7 dias (o que é claramente ilegal, como uma burla, mais depressa) e dizemos-te o resultado e porquê.

Ofertas semelhantes

Salário comparado ⓘ

Esta ofertaMediana?2 857 €
2 125 €3 963 €

325 ofertas · Analistas de sistemas · Portugal

ver as que pagam mais →

Formação para esta vaga

Requisitos IA

  • licenciatura ou superior em área técnica

Idiomas IA

Publicado em (1)

  • Bosch visto 11 nov – 20 nov

Onde a empresa está ver no mapa →

segundo outras ofertas da empresa, as moradas no site da empresa, locais no OpenStreetMap; não é necessariamente o local desta oferta.

Vista pela primeira vez a 11 nov, 21:28