Engenheiro de Dados (GCP)
Remota
Descrição:
Estamos em busca de um Engenheiro de Dados Pleno para integrar nosso time.
Você será responsável por projetar, desenvolver e manter pipelines de dados escaláveis, garantindo a entrega de dados confiáveis e estruturados para análise. Atuará em parceria com arquitetos, analistas e áreas de negócio, contribuindo para a automação, performance e governança dos dados. Também irá documentar a infraestrutura, propor melhorias contínuas e apoiar na sustentação e evolução das soluções de dados.
Requisitos:
- Experiência em desenvolvimento de pipelines de ELT/ETL.
- Experiência em PySpark.
- Experiência em arquitetura de dados em nuvem, em especial em Google Cloud Platform (GCP);
- Conhecimento em Apache Spark
- Vontade de aprender e sede por conhecimento;
- Pró-atividade, atitude positiva e capacidade de trabalhar em equipe;
- Experiência em ambiente de Big Data (Cloudera, Hadoop, Spark, Kafka, Airflow, Nifi, Minio)
- Conhecimento em ferramentas de monitoramento (Zabbix, Grafana).
- Conhecimento de ferramentas de containerização (Docker, kubernetes e Openshift).
- Experiência em linguagem de programação Python.
- Familiaridade com práticas de processamento em Batch e Streaming;
- Superior completo em Ciência da Computação, Sistemas de Informação, TI e áreas afins.
Atribuições:
- Desenvolver pipelines de processamento de dados para ingestão, transformação e carga em tempo hábil e eficiente;
- Implementar e manter integração contínua, visando à automação de processos e melhoria de desempenho;
- Colaborar ativamente com o time multidisciplinar para entender as demandas de dados e entregar soluções alinhadas com as necessidades do negócio;
- Realizar análises de performance dos processos e propor otimizações para garantir a escalabilidade e confiabilidade das soluções de engenharia de dados.