cores
app
radaremprego

Expert Talent Pool, Evals and Benchmarks (Associate)

Clera · anuncia como Himalayas, Human Resources, Expert Talent Pool
Regimeremoto
Horáriosem indicação no anúncio
Contratotemporário
Salário30-60 USD/hoursimular o líquidovisto no anúncio
publicado 2026-11-16 ·

Em resumo IA

Posição remota numa talent pool para projetos de avaliação de modelos de IA: escrever perguntas e rubricas, avaliar respostas de modelos e analisar erros. Pagamento por horas trabalhadas, entre 30 e 60 dólares por hora; projetos de uma semana a vários meses.

Descrição

Função
Desenhar e aplicar avaliações que medem capacidades de modelos de IA: escrever perguntas e tarefas, criar rubricas, respostas de referência e casos limite, avaliar respostas de modelos, analisar padrões de erro, comparar modelos com prompts idênticos e validar benchmarks. Pode incluir participação em pequenos estudos com utilizadores.
Requisitos
  • Entre zero e cinco anos de experiência profissional
  • Experiência em QA, engenharia de testes, desenho de avaliações, psicometria, investigação UX, análise de dados, avaliação de ML, apoio à investigação ou trabalho com escrita de perguntas
  • Experiência na escrita de casos de teste, perguntas de exame, rubricas ou tarefas de avaliação
  • À-vontade com folhas de cálculo ou Python para organizar e analisar resultados
  • Comunicação escrita clara
Valorizado
  • experiência com ferramentas de avaliação como Inspect, lm-eval-harness, HELM ou promptfoo
Condições
Contrato: temporário, por projeto (de uma semana a vários meses)
Salário: 30 a 60 dólares por hora, conforme projeto, área e experiência; pago pelas horas trabalhadas
Horário: não indicado
Local: remoto
Benefícios
não indicados

About the Role

Join a specialist talent pool supporting human-data projects that evaluate AI models. You will help design and run assessments that measure model capabilities and contribute to AI safety and capability research.

What You'll Do

  • Write questions and tasks that isolate and test specific model capabilities.

  • Develop rubrics that define strong, partial, and poor answers.

  • Create reference answers and edge cases to challenge AI models.

  • Grade model outputs against rubrics and explain scoring decisions.

  • Analyze failed answers, group error patterns, and document findings.

  • Compare multiple models using identical prompts.

  • Validate benchmarks and flag compromised or ineffective questions.

  • Participate in small user studies evaluating ratings or interactions with model outputs.

What We're Looking For

  • Zero to five years of professional experience.

  • Experience in QA or test engineering, assessment design, psychometrics, UX research, data analysis, ML evaluation, research support, or relevant subject-matter work involving question writing.

  • Experience writing test cases, exam questions, rubrics, or evaluation tasks, and reviewing work consistently against written criteria.

  • Comfort using spreadsheets or Python to organize and analyze results, and identifying and documenting error patterns.

  • Experience with evaluation tools such as Inspect, lm-eval-harness, HELM, or promptfoo is useful.

  • Clear written communication and the ability to compare AI model outputs or participate in user and rating studies.

Compensation & Benefits

Compensation is $30 to $60 per hour, depending on project, field, and experience. Payment is for hours worked.

Location

Fully remote. Projects typically last from one week to several months.

Compensation Range: $62.4K - $124.8K

Originally posted on Himalayas

Como me candidatar

Candidatar no anúncio original ↗

Preparar candidatura

Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.

Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.

Algo errado ou ilegal neste anúncio? Reportar

Fica visível enquanto analisamos. Decidimos em até 7 dias (o que é claramente ilegal, como uma burla, mais depressa) e dizemos-te o resultado e porquê.

Ofertas semelhantes

Salário comparado ⓘ

Esta ofertaMediana?4 179 €
2 763 €6 116 €

83 ofertas · Analistas de sistemas · teletrabalho

ver as que pagam mais →

Formação para esta vaga

Idiomas IA

Publicado em (2)

Vista pela primeira vez a 16 nov, 21:49 · última vez a 20 nov, 21:49