Engenheiro de Dados Sênior

Vagas Externas — Remotar · remote · CLT · senior

Descrição

Plataforma de dados

- Arquitetura: desenhar e evoluir a arquitetura de dados (batch e streaming), equilibrando confiabilidade, custo e simplicidade operacional.

- Infraestrutura: operar e evoluir os componentes da plataforma em GCP e Kubernetes (GKE), com deploys via Helm, GitOps e infraestrutura como código.

- Streaming e CDC: manter e escalar pipelines de CDC e eventos com Kafka, garantindo consistência, reprocessamento e baixa latência.

- Orquestração: administrar o Apache Airflow como plataforma, incluindo upgrades, escalabilidade, isolamento e padrões de DAG como idempotência, backfill e janelas de carga.

- Warehouse e transformação: sustentar o BigQuery e o Dataform como base de modelagem, com foco em performance, particionamento e FinOps.

- Self-service: criar bibliotecas internas, templates e automações que reduzam o atrito para quem desenvolve pipelines.

- CI/CD: manter esteiras com GitHub Actions, publicação de pacotes e imagens em registries privados e controles contra riscos de dependências.

- Governança e segurança: gerir acessos, gestão de segredos, policy tags e classificação de dados sensíveis (LGPD).

- Observabilidade: instrumentar a plataforma com métricas, logs e alertas, definir SLOs, responder a incidentes e conduzir análises de causa raiz.

- Integrações: conectar bancos transacionais, Nosql, APIs, ERP e plataformas SaaS à plataforma de dados.

IA aplicada à engenharia de dados

- Desenvolvimento assistido por agentes: usar agentes de código no ciclo completo: refinamento técnico, implementação, testes, code review e abertura de PR.

- MCPs de dados: construir e evoluir servidores MCP que expõem a plataforma para agentes. 

- Skills e plugins: escrever e manter skills, plugins e regras de contexto para que os agentes sigam as convenções de dados da empresa, como padrões de desenvolcimento, regras de governança e runbooks de operação.

- Operação com IA: usar agentes integrados a observabilidade para investigar incidentes, falhas de pipeline e anomalias em dados.

Requisitos

- Experiência sólida com Python aplicado a engenharia de dados e automação.

- SQL avançado e experiência com BigQuery ou outro data warehouse em nuvem.

- Experiência com Apache Airflow, tanto no desenvolvimento quanto na operação.

- Experiência com Kubernetes e Docker em produção.

- Vivência com GCP.

- Conhecimento de Kafka e de pipelines de CDC.

- Experiência em desenvolvimento de pipelines CI/CD.

- Domínio de cargas incrementais, idempotência, backfill e reprocessamento.

- Uso ativo de ferramentas de IA no desenvolvimento, como agentes de código e assistentes, com senso crítico para validar o que é gerado antes de ir para produção.

Candidatar-se

Esta vaga é agregada de Vagas Externas — Remotar. A candidatura é feita no site da fonte.

Candidatar-se no site da fonte