Engenheiro de Dados Junior

Seu dia a dia...

Como um (a) engenheiro(a) de dados na Big Data você terá o papel de implementar produtos de dados: soluções em software, cujo principal foco está nos dados. Sua responsabilidade será desde o entendimento do problema e conhecimento dos clientes, até a escolha de tecnologias, implementação da arquitetura, seu provisionamento em nuvem, implementação do código de aplicação que faz as manipulações necessárias, e tarefas de deploy dessa solução.

O contexto vai desde os produtos que a empresa comercializa, até outros cujo principal uso é interno.

Trabalhamos com dados de negócio e também com a coleta e processamento de inúmeras fontes de dados públicas para criação de features de modelos de machine learning.

- Modelagem de dados

- Realizar rotinas de consulta, atualização e inserção em banco de dados;

- Otimização de consultas (criação de índices, views, constraints, triggers, etc.)

- Manutenção de bancos de dados

- Utilizar de serviços open-source, e gerenciados pela AWS, na área de engenharia de dados. Realizar manutenções no uso dos mesmos;

- Automação de processos com Airflow

- Implementação e manutenção de pipelines de dados

- Modularização e empacotamento de aplicações para serem utilizadas pelo time ou demais projetos

- Implementar testes para garantir a robustez dos códigos;

- Seguir boas práticas de programação (documentação, clean code, SOLID, etc).

- Revisão de código

- Orientar e auxiliar estagiários em suas tarefas.

Python: 

 - Iteradores e geradores

 - Manipulação de estruturas de dados: list, set, dict

 - Tratamento de exceções: blocos try/except

- Orientação a objetos: definição, herança, métodos estáticos

- Organização de projetos: uso de imports e gestão de dependências com pip

- Familiaridade com algumas das bibliotecas: scrapy, selenium, pandas, numpy, boto3

- Adequação a estilos de código e boas práticas: PEP8, DRY etc.

- Testes unitários

- Capacidade de trabalhar colaborativamente com Git, seguindo normas de contribuição

SQL:

- Buscas de dados com filtros e ordenação

- Atualização de dados

- Funções de Agregação de dados

- União de Tabela de forma lateral e vertical

- Criação de Tabelas, e constraints para construção

- Modelagem Relacional (normalização, relacionamentos, chaves)

- Views e materialized views

- Noções básicas em Linux

- Noções em Cloud

- Conteinerização de aplicações simples com docker

- Experiência com Airflow ou outras plataformas de orquestração

- Scripts básicos em bash

- Experiência com pipelines de ETL

Será um diferencial… 

- Construção de pipelines de CI/CD (GitLab CI / GitHub Actions)

- Implementação de infraestrutura em nuvem como código (Terraform)

- Familiaridade com programação paralela

O que você encontrará aqui:

Ambiente informal e de muita troca e amizade;

Pessoas apaixonadas pelo que fazem;

Um aprendizado novo por dia;

Local que está buscando seu melhor todos os dias;

Crescimento e oportunidades mil ao seu redor;

Salário competitivo e benefícios flexíveis.

O Que Oferecemos:

🛒 Vale-refeição/Alimentação – Caju  

🩺 Plano médico – Amil

⏰ Flexibilidade nos seus horários, nosso time é 100% remoto, você pode trabalhar onde quiser;

💻 Auxílio home office

🚴🏻‍♀️ Auxílio Atividade Física

📚 Auxílio Educacional

🎁Day Off no Aniversário

💰Participação nos Lucros PLR 

Se identificou? Se inscreva! Esperamos por você! #VemSerBigDater

Somos a Big Data, líderes no Brasil em Inteligência Artificial aplicada a negócios, ajudando grandes clientes como Dexco, Haleon, Kimberly Clark, Eagle Rock, Liberty Coca-Cola, Nivea, Jonhson & Jonhson, Sanofi & Medley, Germed, Natura, Kraft Heinz, P&G, Nestlé, WP Lab, Colgate Palmolive, Banco Santander, Red Bull e muitos outros.

Estamos em um momento de expansão internacional e procuramos pessoas com sangue nos olhos, foco e mentalidade de inovação para nos ajudar nesse grande sonho, que é sermos líderes globais em IA.

O que fazemos?

Criamos produtos baseados em algoritmos de machine learning para resolver alguns dos problemas mais complexos de toda grande empresa:

"Quanto cobrar por cada produto em cada cliente?"

"Quais produtos vender para quem?"

"Como investir a verba de marketing?"

"Quanto desconto dar para aumentar as vendas?"

"Onde abrir a próxima unidade?"

Ou seja, vivemos a operação de grandes mercados no mundo implementando uma visão mais estratégica e holística baseada em dados.

E para quem pensou no termo "consultoria", importante destacar que não somos uma consultoria, somos executores. Nossos produtos rodam nas operações dos clientes e nós continuamos responsáveis pelos resultados e em mudar o mercado com eles, dia após dia.

Viver o desafio dos nossos clientes, desde suas construções até os resultados finais, é nossa motivação!