cores
app
radaremprego

Expert Talent Pool, Feedback and Alignment (Senior, 5+ Years)

Clera · anuncia como Himalayas, Human Resources, Expert Talent Pool
Regimeremoto
Horáriosem indicação no anúncio
Contratoindependente
Salário50-120 USD/hoursimular o líquidovisto no anúncio
publicado 2026-11-16 ·

Em resumo IA

Função remota de avaliador sénior de respostas de modelos de IA, com revisão de outros avaliadores e calibração de critérios. Pagamento por hora trabalhada, projetos de uma semana a vários meses.

Descrição

Função
Classificar e avaliar respostas de modelos de IA ao nível de especialista, com rubricas e justificações escritas. Avaliar o raciocínio do modelo passo a passo em áreas como matemática, código, direito, medicina ou finanças. Verificar factos contra fontes primárias. Rever o trabalho de outros avaliadores, calibrar critérios e desenvolver guias de avaliação. Avaliar a relevância de pesquisas e partilhar feedback em sessões ao vivo.
Requisitos
  • Pelo menos 5 anos de experiência profissional em avaliação, revisão, edição, verificação de factos, confiança e segurança, ou conhecimento profundo de uma área relevante.
  • Inglês escrito nativo ou quase nativo.
  • Experiência de avaliação ou revisão de respostas de nível especialista segundo rubricas, políticas ou guias de estilo.
  • Experiência de liderança, revisão ou mentoria de outros avaliadores.
  • Grau académico avançado, licença profissional ou conhecimento profundo do domínio avaliado.
Valorizado
  • experiência em anotação de dados de IA, ordenação de preferências, avaliação por rubricas, rotulagem de processos ou avaliação da qualidade de pesquisa.
Condições
Contrato: não indicado
Salário: 50 a 120 USD por hora, conforme projeto, área e especialização
Horário: não indicado
Local: remoto
Benefícios
não indicados

About the Role

Join a remote expert network as a senior rater and reviewer, evaluating challenging AI model outputs and helping calibrate other graders. Your work supports the development of reliable, high-quality AI systems.

What You'll Do

  • Rank and rate expert-level model answers in your domain using detailed rubrics and written rationales.

  • Evaluate model reasoning step by step in specialized fields such as mathematics, code, law, medicine, or finance.

  • Fact-check detailed claims against primary sources and verify accuracy.

  • Assess answers against content policies, style guides, and edge cases.

  • Review other raters' work, calibrate standards, and develop or refine grading guidelines.

  • Assess search relevance and share feedback in live sessions.

What We're Looking For

  • At least 5 years of professional experience in rating, review, editing, fact-checking, trust and safety, or deep expertise in a relevant field.

  • Native or near-native written English proficiency.

  • Experience grading or reviewing expert-level answers against rubrics, policies, or style guides.

  • Experience leading, reviewing, or mentoring other raters or reviewers.

  • An advanced degree, professional license, or deep working expertise in the domain you evaluate.

  • Hands-on experience with AI data annotation, preference ranking, rubric grading, process labeling, or search-quality rating is a plus.

Compensation & Benefits

Compensation is $50 to $120 per hour, depending on project, field, and expertise. Payment is for hours worked.

Location

Fully remote. Projects typically last from one week to several months.

Compensation Range: $104K - $249.6K

Originally posted on Himalayas

Como me candidatar

Candidatar no anúncio original ↗

Preparar candidatura

Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.

Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.

Algo errado ou ilegal neste anúncio? Reportar

Fica visível enquanto analisamos. Decidimos em até 7 dias (o que é claramente ilegal, como uma burla, mais depressa) e dizemos-te o resultado e porquê.

Ofertas semelhantes

Formação para esta vaga

Requisitos IA

  • 5+ anos de experiência profissional
  • inglês escrito nativo ou quase nativo
  • experiência de avaliação de respostas especializadas
  • experiência de mentoria de avaliadores
  • grau avançado ou expertise no domínio

Publicado em (1)

Vista pela primeira vez a 16 nov, 21:49