Recife AI Solution Developer Curadoria

Job description

Nossa Oportunidade: Você é apaixonado(a) por tecnologia, inovação e quer fazer parte de um ambiente inclusivo, colaborativo e em constante evolução? Então essa oportunidade é para você!Na Capgemini, valorizamos o equilíbrio entre vida pessoal e profissional. Por isso, oferecemos modelos de trabalho flexível, híbrido, de acordo com as necessidades do projeto. Nosso objetivo é proporcionar a melhor experiência para você, respeitando seu estilo de vida e promovendo bem-estar.Estamos em busca de um(a) AI Solution Developer - Curadoria Júnior , para compor nosso time. Responsabilidades: Desenvolver em Python ferramentas, APIs, pipelines e automações para avaliação de modelos e aplicações de IA. Construir pipelines de avaliação automatizada para LLMs, RAG e AI Agents. Criar datasets, benchmarks e conjuntos de testes para avaliação de soluções baseadas em IA. Desenvolver mecanismos automatizados para avaliar qualidade, precisão, relevância, consistência e aderência às instruções . Implementar métricas e critérios de avaliação para diferentes casos de uso. Desenvolver avaliações utilizando LLM-as-a-Judge, regras determinísticas, métricas semânticas e avaliações híbridas . Implementar regression testing para identificar degradação de qualidade após alterações em modelos, prompts ou aplicações. Desenvolver APIs e serviços em Python para disponibilização dos mecanismos de curadoria. Monitorar o comportamento de LLMs e agentes em produção. Identificar e investigar alucinações, vieses, inconsistências, respostas inadequadas, falhas de instrução e comportamentos inesperados . Desenvolver mecanismos para avaliação de AI Agents , incluindo qualidade das decisões, seleção de ferramentas, execução de workflows e resultados gerados. Criar métricas e mecanismos de monitoramento para acompanhamento contínuo da qualidade. Desenvolver processos para versionamento de datasets, avaliações, prompts e configurações . Trabalhar com times de Prompt Engineering e AI Engineering na identificação e correção de problemas de qualidade. Apoiar a definição de critérios de aceitação e quality gates para soluções de IA. Automatizar processos de curadoria, testes e validação utilizando Python. Realizar análise dos resultados dos experimentos e investigar causas de degradação de qualidade. Desenvolver soluções para avaliação contínua de aplicações de LLM, RAG e agentes . Contribuir para definição de padrões e boas práticas de AI Quality, Evaluation e Responsible AI . Documentar metodologias, métricas, datasets, experimentos e resultados. Requisitos Técnicos: Conhecimento em Python. Lógica de programação e desenvolvimento de software. Conhecimento básico de APIs REST e manipulação de JSON. Conhecimento em Git/GitHub. Noções de banco de dados SQL. Interesse por Inteligência Artificial e IA Generativa. Familiaridade com conceitos de testes, automação e qualidade de software. Conhecimento básico em ambiente Linux. Diferenciais Experiência prática com Python aplicado a AI/ML/GenAI. Experiência com avaliação de LLMs e aplicações de Generative AI. Experiência desenvolvendo ferramentas, APIs ou pipelines de avaliação automatizada em Python. Experiência com AI Agents e avaliação de agentes. Conhecimento de frameworks como Ragas, DeepEval, LangSmith, Langfuse, Arize Phoenix ou similares. Experiência com LLM-as-a-Judge. Experiência com criação e gerenciamento de datasets para avaliação. Conhecimento de NLP, Machine Learning ou Data Science. Experiência com observabilidade de aplicações de LLM. Conhecimento de Prompt Injection, Jailbreaks e Adversarial Testing. Experiência com Kubernetes, Docker e CI/CD. Experiência com ambientes cloud. Conhecimento de práticas de MLOps/LLMOps. Diversidade, Inclusão e Pertencimento: Na Capgemini, você pode ser quem você é. Valorizamos a diversidade em todas as suas formas e promovemos um ambiente inclusivo por meio de comitês como: Women@Capgemini – Empoderamento feminino e equidade de gênero. Capgemini Black – Representatividade e valorização da cultura negra. LGBTQIA+@Capgemini, Capgemini Accessibility, entre outros. Nosso compromisso é contínuo: somos reconhecidos pela GPTW, Bloomberg Gender Equality Index, EDGE e Ethisphere como uma das empresas mais éticas e inclusivas do mundo. Nossas vagas são para todas as pessoas, independentemente de cor, etnia, religião, idade, identidade de gênero, orientação sexual ou deficiência. Desenvolvimento e Benefícios Aqui, você é protagonista da sua carreira! Oferecemos: Plano de carreira estruturado e trilhas personalizadas de aprendizado. Universidade Corporativa, com acesso a Harvard, Pluralsight. Certificações oficiais com parceiros como SAP, AWS, Microsoft, Salesforce. Idiomas com EF Education First (Inglês, Espanhol, Francês e Alemão). Bem-estar completo: Assistência médica e odontológica. TotalPass e Equilibrium (saúde física e mental). Previdência privada e seguro de vida. Programa Family Care: licenças maternidade e paternidade estendidas, apoio à fertilidade, orientação personalizada em saúde e bem-estar. Vale-refeição, clube de benefícios e muito mais! Make It Real Na Capgemini, liberamos a energia humana por meio da tecnologia para construir um futuro mais inclusivo, sustentável e inovador. Se você compartilha desses valores, venha transformar o mundo com a gente! Candidatar-se agora » Encontrar vagas similares: All rights reserved by Capgemini. Copyright © 2025 Gerenciador de consentimento de cookie Quando você visita um site, ele pode armazenar ou recuperar informações sobre o seu navegador, na maioria das vezes na forma de cookies. Como respeitamos seu direito à privacidade, você tem a opção de não permitir alguns tipos de cookie. No entanto, o bloqueio de alguns tipos de cookies pode afetar sua experiência no site e os serviços que podemos oferecer. Cookies obrigatórios Estes cookies são necessários para usar este site e não podem ser desativados. Cookies obrigatórios Cookies obrigatórios Provedor Descrição Ativado SAP as service provider Usamos os seguintes cookies de sessão, todos necessários para possibilitar o funcionamento do site: "route" é usado para adesão da sessão "careerSiteCompanyId" é usado para rotear a solicitação para o centro de dados correto "JSESSIONID" é colocado no dispositivo do visitante durante a sessão para que o servidor possa identificar o visitante "Load balancer cookie" (o nome real do cookie pode variar) impede que um visitante salte de uma instância para outra Os cookies do provedor SAPasserviceprovider são obrigatórios e não podem ser desativados Cookies de propaganda Esses cookies apresentam anúncios que são relevantes para os seus interesses. Você pode escolher à vontade se aceita ou recusa esses cookies a qualquer momento. Lembre-se de que determinadas funcionalidades disponibilizadas por empresas de terceiros podem ser afetadas se você não aceitar esses cookies. Consentir com todos Cookies de propaganda Cookies de propaganda Provedor Descrição Ativado LinkedIn LinkedIn é um serviço de rede social orientado ao emprego. Usamos o recurso Candidatura com o LinkedIn para permitir que você se candidate às vagas usando seu perfil do LinkedIn. Se você recusar os cookies do LinkedIn, esse recurso será desativado. Política de cookies Tabela de cookies Política de privacidade Termos e condições Consentir com cookie do provedor LinkedIn