Expert Talent Pool, Feedback and Alignment (Senior, 5+ Years)
Em resumo IA
Função remota de avaliador sénior de respostas de modelos de IA, com revisão de outros avaliadores e calibração de critérios. Pagamento por hora trabalhada, projetos de uma semana a vários meses.
Descrição
- Função
- Classificar e avaliar respostas de modelos de IA ao nível de especialista, com rubricas e justificações escritas. Avaliar o raciocínio do modelo passo a passo em áreas como matemática, código, direito, medicina ou finanças. Verificar factos contra fontes primárias. Rever o trabalho de outros avaliadores, calibrar critérios e desenvolver guias de avaliação. Avaliar a relevância de pesquisas e partilhar feedback em sessões ao vivo.
- Requisitos
- Pelo menos 5 anos de experiência profissional em avaliação, revisão, edição, verificação de factos, confiança e segurança, ou conhecimento profundo de uma área relevante.
- Inglês escrito nativo ou quase nativo.
- Experiência de avaliação ou revisão de respostas de nível especialista segundo rubricas, políticas ou guias de estilo.
- Experiência de liderança, revisão ou mentoria de outros avaliadores.
- Grau académico avançado, licença profissional ou conhecimento profundo do domínio avaliado.
- Valorizado
- experiência em anotação de dados de IA, ordenação de preferências, avaliação por rubricas, rotulagem de processos ou avaliação da qualidade de pesquisa.
- Condições
- Contrato: não indicado
- Salário: 50 a 120 USD por hora, conforme projeto, área e especialização
- Horário: não indicado
- Local: remoto
- Benefícios
- não indicados
About the Role
Join a remote expert network as a senior rater and reviewer, evaluating challenging AI model outputs and helping calibrate other graders. Your work supports the development of reliable, high-quality AI systems.
What You'll Do
Rank and rate expert-level model answers in your domain using detailed rubrics and written rationales.
Evaluate model reasoning step by step in specialized fields such as mathematics, code, law, medicine, or finance.
Fact-check detailed claims against primary sources and verify accuracy.
Assess answers against content policies, style guides, and edge cases.
Review other raters' work, calibrate standards, and develop or refine grading guidelines.
Assess search relevance and share feedback in live sessions.
What We're Looking For
At least 5 years of professional experience in rating, review, editing, fact-checking, trust and safety, or deep expertise in a relevant field.
Native or near-native written English proficiency.
Experience grading or reviewing expert-level answers against rubrics, policies, or style guides.
Experience leading, reviewing, or mentoring other raters or reviewers.
An advanced degree, professional license, or deep working expertise in the domain you evaluate.
Hands-on experience with AI data annotation, preference ranking, rubric grading, process labeling, or search-quality rating is a plus.
Compensation & Benefits
Compensation is $50 to $120 per hour, depending on project, field, and expertise. Payment is for hours worked.
Location
Fully remote. Projects typically last from one week to several months.
Compensation Range: $104K - $249.6K
Originally posted on Himalayas
Como me candidatar
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- Expert Talent Pool Feedback and AlignmentClera
- Expert Talent Pool, Feedback and Alignment AssociateClera
- Expert Talent Pool, Generation and Writing (Senior)Clera
- Expert Talent Pool, Feedback and Alignment (Associate, 0-5 Years)Clera
- Expert Talent Pool, Generation and WritingClera
- Expert Talent Pool, Evals and BenchmarksClera
Formação para esta vaga
- Comunicar em Inglês e Interagir no Contexto ProfissionalServiço de Formação Profissional de Viana do Casteloonline · horário laboral · 200 h · gratuito · início 04/12/2026Pedido neste anúncio: Inglês
Requisitos IA
- 5+ anos de experiência profissional
- inglês escrito nativo ou quase nativo
- experiência de avaliação de respostas especializadas
- experiência de mentoria de avaliadores
- grau avançado ou expertise no domínio
Idiomas IA
Publicado em (1)
- Himalayas visto 16 nov – 17 nov
Vista pela primeira vez a 16 nov, 21:49