[Job - 28995] Senior Data Developer (PySpark + AWS), Brazil

CI&T

BrazilRemote

Is this role a fit for you?

Upload your resume and see this job scored against your skills, experience, pay, and preferences — no account needed.

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Estamos buscando um(a) Engenheiro(a) de Dados focado(a) em integração e modelagem para construir e evoluir nosso data lake e camadas analíticas. Não é uma posição orientada a “big data”/streaming massivo, e sim a integrações sólidas, pipelines de transformação estáveis e organização de dados de mercado (histórico e distribuição) com boa governança e qualidade. Principais responsabilidades: - Projetar, implementar e manter pipelines de dados ponta a ponta (ELT/ETL) com foco em confiabilidade, reprocessamento e custo-eficiência. - Orquestrar cargas e rotinas usando Airflow (AWS) e funções serverless (AWS Lambda); apoiar deploys em EKS quando necessário. - Modelar dados no Snowflake (camadas bronze/prata/ouro) e desenvolver transformações no dbt (macros, tests, docs). - Construir integrações e serviços em Python com FastAPI para expor/consumir dados e automatizar processos. - Consumir, normalizar e versionar dados de mercado (market data), com ênfase em histórico e distribuição (batch; pouco streaming). - Escrever SQL de alto desempenho (tuning, particionamento/clustering no Snowflake, e em Postgres). - Utilizar Pandas para tratamentos pontuais, validações e prototipação de transformações. - Garantir qualidade (testes no dbt, data checks), observabilidade (logs/metrics/alerts), segurança (acessos, mascaramento) e documentação. - Colaborar com times de negócios, analytics e produtos para definir SLAs, contratos de dados e padrões de governança. Requisitos obrigatórios: - Sólida experiência com SQL (otimização de queries, modelagem relacional e analítica). - Experiência prática com Snowflake (warehousing, roles, tasks, performance, custos) e dbt (models, tests, sources, exposures). - Experiência construindo pipelines de dados em Airflow (DAGs, sensores, retries, SLA) e AWS Lambda. - Conhecimento de Postgres (ingestão, replicação/CDC básica ou manutenção, rotinas). - Vivência com Python para dados (Pandas) e desenvolvimento de APIs com FastAPI. - Prática em ELT/ETL orientado a batches, versionamento em Git e CI/CD (deploy seguro de pipelines/modelos dbt). - Noções de segurança e governança de dados (controle de acesso, linhagem, documentação, dados sensíveis). - Inglês técnico para leitura de documentação. Diferenciais: - Experiência com EKS/Kubernetes para workloads de dados. - Integração de fontes de market data (provedores, formatos, rate limits, histórico, calendário). - Monitoramento/observabilidade (prometheus/grafana/cloudwatch), data quality além do dbt (Great Expectations, Soda). - Padrões de contrato de dados (pydantic/JSONSchema), e práticas de data contracts. - Performance em Snowflake (micro-particionamento, clustering, warehouses, query profile). - Custos e FinOps em dados na AWS/Snowflake. - Experiência com CDC (Debezium, DMS) e mensageria (SQS, SNS; Kafka apenas se necessário). Stack e ambiente: - Data platform: Snowflake, dbt - Orquestração e Cloud: Airflow (AWS), AWS Lambda, EKS (quando aplicável) - Linguagens e libs: Python, Pandas, FastAPI - Bancos: Postgres, Snowflake - Dev: Git, CI/CD (GitHub Actions/GitLab CI/CodeBuild), IaC (CloudFormation/Terraform é plus) - Observabilidade: CloudWatch, (Grafana/Prometheus como plus) #LI-DR3 MidSenior Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Nossos benefícios: - Plano de saúde e odontológico; - Vale alimentação e refeição; - Auxílio-creche; - Licença parental estendida; - Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass; - Participação nos Lucros e Resultados (PLR); - Seguro de Vida; - Plataforma de aprendizagem contínua (CI&T University); - Clube de descontos; - Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar; - Curso gestante e parentalidade responsável; - Parceria com plataformas de cursos online; - Plataforma para aprendizagem de idiomas; - E muitos outros Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.

Similar roles