Expert Talent Pool, Evals and Benchmarks (Associate)
Em resumo IA
Posição remota numa talent pool para projetos de avaliação de modelos de IA: escrever perguntas e rubricas, avaliar respostas de modelos e analisar erros. Pagamento por horas trabalhadas, entre 30 e 60 dólares por hora; projetos de uma semana a vários meses.
Descrição
- Função
- Desenhar e aplicar avaliações que medem capacidades de modelos de IA: escrever perguntas e tarefas, criar rubricas, respostas de referência e casos limite, avaliar respostas de modelos, analisar padrões de erro, comparar modelos com prompts idênticos e validar benchmarks. Pode incluir participação em pequenos estudos com utilizadores.
- Requisitos
- Entre zero e cinco anos de experiência profissional
- Experiência em QA, engenharia de testes, desenho de avaliações, psicometria, investigação UX, análise de dados, avaliação de ML, apoio à investigação ou trabalho com escrita de perguntas
- Experiência na escrita de casos de teste, perguntas de exame, rubricas ou tarefas de avaliação
- À-vontade com folhas de cálculo ou Python para organizar e analisar resultados
- Comunicação escrita clara
- Valorizado
- experiência com ferramentas de avaliação como Inspect, lm-eval-harness, HELM ou promptfoo
- Condições
- Contrato: temporário, por projeto (de uma semana a vários meses)
- Salário: 30 a 60 dólares por hora, conforme projeto, área e experiência; pago pelas horas trabalhadas
- Horário: não indicado
- Local: remoto
- Benefícios
- não indicados
About the Role
Join a specialist talent pool supporting human-data projects that evaluate AI models. You will help design and run assessments that measure model capabilities and contribute to AI safety and capability research.
What You'll Do
Write questions and tasks that isolate and test specific model capabilities.
Develop rubrics that define strong, partial, and poor answers.
Create reference answers and edge cases to challenge AI models.
Grade model outputs against rubrics and explain scoring decisions.
Analyze failed answers, group error patterns, and document findings.
Compare multiple models using identical prompts.
Validate benchmarks and flag compromised or ineffective questions.
Participate in small user studies evaluating ratings or interactions with model outputs.
What We're Looking For
Zero to five years of professional experience.
Experience in QA or test engineering, assessment design, psychometrics, UX research, data analysis, ML evaluation, research support, or relevant subject-matter work involving question writing.
Experience writing test cases, exam questions, rubrics, or evaluation tasks, and reviewing work consistently against written criteria.
Comfort using spreadsheets or Python to organize and analyze results, and identifying and documenting error patterns.
Experience with evaluation tools such as Inspect, lm-eval-harness, HELM, or promptfoo is useful.
Clear written communication and the ability to compare AI model outputs or participate in user and rating studies.
Compensation & Benefits
Compensation is $30 to $60 per hour, depending on project, field, and experience. Payment is for hours worked.
Location
Fully remote. Projects typically last from one week to several months.
Compensation Range: $62.4K - $124.8K
Originally posted on Himalayas
Como me candidatar
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- Expert Talent Pool, Feedback and Alignment (Associate, 0-5 Years)Clera
- Expert Talent Pool, Feedback and Alignment AssociateClera
- Expert Talent Pool, Evals and BenchmarksClera
- Expert Talent Pool, Generation and Writing AssociateClera
- Expert Talent Pool, Safety Testing (Expert)Clera
- Expert Talent Pool, Safety Testing (Expert, 5+ Years)Clera
Salário comparado ⓘ
83 ofertas · Analistas de sistemas · teletrabalho
ver as que pagam mais →Formação para esta vaga
- Linguagens de Programação - Programação em PythonCentro de Formação e Reabilitação Profissional de Alcoitãoonline · horário laboral · 350 h · gratuito · início 11/12/2026Pedido neste anúncio: Python
- Practical Data Science with PythonRumosonline · horário laboral · 28 h · 2060 € · início 18/01/2027Pedido neste anúncio: Python
- Programação em Python: Do Zero às Bases EssenciaisPwC's Academyonline · horário laboral · 16 h · 800 € + IVA · início 14/12/2026Pedido neste anúncio: Python
Requisitos IA
Idiomas IA
Vista pela primeira vez a 16 nov, 21:49 · última vez a 20 nov, 21:49