Engenheiro(a) de Dados Pleno – Big Data / Spark Sobre a oportunidade Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution. O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia. Responsabilidades • Desenvolver, manter e otimizar soluções de processamento de dados; • Projetar e desenvolver processos de ETL e transformação de dados; • Implementar e manter pipelines utilizando Apache Spark; • Apoiar iniciativas de integração de dados entre diferentes sistemas; • Analisar e solucionar incidentes relacionados a dados; • Garantir a qualidade, performance e confiabilidade das soluções de dados; • Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile. Requisitos obrigatórios • Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento; • Conhecimento sólido em SQL, incluindo: • ANSI SQL; • Hive SQL; • Spark SQL; • Experiência com Apache Spark; • Conhecimento em pelo menos uma das seguintes linguagens: • Scala; • Python; • Java; • Experiência com plataformas Big Data, como: • Azure Databricks; • Amazon EMR; • Hive; • Cloudera; • ou outro ambiente baseado em Spark; • Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards; • Vivência em ambientes de Integração Contínua (CI), DevOps e metodologias ágeis; • Conhecimento em ferramentas como: • Git; • GitHub; • SonarQube; • Nexus; • Capacidade de análise de requisitos e trabalho colaborativo; • Inglês nível B2 ou superior. • Espanhol nível B2 ou superior. Diferenciais • Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados; • Conhecimento em automação de processos utilizando IA; • Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas. Condições da posição • Atuação 100% remota; • É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha, caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais; • Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto; • Os currículos deverão ser apresentados em inglês. Originally posted on Himalayas