Engenheiro de Dados (Azure)
Estamos em busca de um(a) Engenheiro(a) de Dados para integrar nosso time de dados e atuar na construção, manutenção e otimização de pipelines e arquiteturas em nuvem, garantindo disponibilidade, escalabilidade e segurança das informações. Esse profissional terá como principais desafios estruturar pipelines iniciais de carga e transformação de dados e realizar integrações com sistemas externos (SAP) via consumo de API Rest.
Esta posição terá como principais entregas, o apoio à equipe do projeto na construção de pipelines de ingestão e transformação de dados, além do desenvolvimento de competências no ambiente Databricks. O trabalho será realizado em conjunto com uma equipe composta por GP, Arquiteto de Dados e Engenheiro de Dados, dentro da metodologia ágil Scrum.
Obrigatórios:
- Conhecimento em engenharia de dados;
- Conhecimento no ecossistema Azure (Storage Lake Gen 2 e Azure Devops) e Databricks;
- Conhecimento em SQL e em linguagens como Python/Pyspark;
- Experiência com pipelines de dados (ETL/ELT);
- Vivência com modelagem de dados (relacional e dimensional);
- Conhecimento em ferramentas de versionamento (Git) e métodos ágeis.
- Buscamos um profissional proativo, organizado, com capacidade de aprendizado e desenvolvimento técnico rápido, além de habilidade para planejar, estimar atividades e cumprir prazos.
Desejáveis:
- Certificações Databricks (Associate ou Professional Data Engineer).
- Noções de DataOps e CI/CD para dados.
- Projetar, desenvolver e manter pipelines de dados eficientes e escaláveis em Databricks;
- Trabalhar com serviços em nuvem Azure (Storage Lake Gen2, Azure DevOps) e Databricks;
- Realizar a ingestão, transformação e modelagem de dados estruturados e não estruturados;
- Implementar boas práticas de governança, qualidade e segurança dos dados;
- Colaborar com times de ciência de dados, engenharia e negócio para disponibilizar dados confiáveis;
- Monitorar e otimizar a performance das soluções de dados;
- Documentar processos e apoiar na evolução da arquitetura de dados.