Engenheiro de Dados - GCP
Remota
Descrição:
Buscamos um profissional que deseje aprender e construir projetos de Big Data de ponta a ponta, desenvolvendo arquiteturas de dados de alta performance e escaláveis utilizando as melhores práticas e tecnologias.
Entre os principais desafios, deve definir e implementar pipelines de arquitetura de dados, importação, armazenamento, processamento e disponibilização para consumo.
Requisitos:
- Vontade de aprender e sede por conhecimento;
- Pró-atividade, atitude positiva e capacidade de trabalhar em equipe;
- Planejamento e respeitar prazos
- Conhecimento de conceitos de Data Lake e Data Warehouse;
- Conhecimento em desenvolvimento de pipelines de ELT/ETL;
- Experiência em linguagem de programação Python/PySpark;
- Familiaridade com práticas de processamento em Batch e Streaming;
- Experiência em arquitetura em nuvem, principalmente Google Cloud Platform (GCP) - BigQuery, Composer/Airflow;
- Superior completo ou em andamento em Ciência da Computação, Sistemas de Informação, TI e áreas afins.
Desejáveis:
- Conhecimento de práticas de DataOps;
- Conhecimentos em modelagem de dados relacional e dimensional;
- Certificação Google Cloud Professional Data Engineer ou Google Cloud Associate.
Atribuições:
- Projetar soluções para armazenar e processar alta volumetria de dados;
- Implementar e manter pipelines escaláveis de dados para produção de dados unificados de múltiplas fontes;
- Atuar no desenvolvimento de pipelines de extração, transformação e carga (ELT/ETL) de dados;
- Tratamento de dados