cores
radaremprego

Domain Contributor - Evaluation Specialist

micro1 · anuncia como Himalayas
Regimeremoto
Horáriopart-timeconfirmado no texto
Contratoindependente
não indicado no anúnciosalário
publicado 2026-10-22

Em resumo IA

Trabalho remoto de avaliação de modelos de IA em regime de prestação, pago por tarefa, em áreas como história, direito, finanças, jornalismo e tecnologia. Cerca de 15 horas semanais.

Descrição

Função
Conceber tarefas e perguntas específicas de cada domínio para testar limites e falhas de raciocínio de modelos de IA. Validar respostas geradas por IA contra fontes primárias e documentar as falhas encontradas, seguindo as diretrizes e rubricas de avaliação.
Requisitos
  • Experiência comprovada em treino, anotação, RLHF ou avaliação de modelos de IA
  • Conhecimento aprofundado de um domínio (história, direito, finanças, jornalismo ou tecnologia)
  • Capacidade de pesquisa e verificação de factos em fontes autorizadas
  • Comunicação escrita e verbal excelente
  • Capacidade de seguir instruções e rubricas detalhadas
Valorizado
  • design de tarefas adversariais, mestrado, experiência em empresa Fortune 100, fluência profissional numa língua não inglesa
Condições
Contrato: prestação de serviços, independente, pagamento por tarefa aceite
Salário: não indicado
Horário: cerca de 15 horas semanais, mínimo de tarefas semanais exigido
Local: remoto
Benefícios
não indicados

Role Title: Domain Contributor - Evaluation Specialist

Role Type: Contractor (~15 hrs/week)

Location: Remote

micro1 is engaging Domain Contributor - Evaluation Specialists to support an internal project evaluating and improving advanced AI models. In this role, you'll apply your expertise to help train next-generation AI systems. Your work will shape how models learn, reason, and perform through high-quality, real-world input. Flexible, pay-per-task work across history, law, finance, journalism, and tech, for experts with prior AI training experience.

Scope of Work

  1. Design nuanced, domain-specific tasks that probe AI model limits and surface reasoning flaws.
  2. Author questions and scenarios demanding deep subject knowledge, beyond general understanding.
  3. Assess AI-generated outputs, validating accuracy against authoritative, primary sources in your area of expertise.
  4. Document clear rationales for model shortcomings, specifying missed reasoning, source errors, or nuances.
  5. Apply detailed task guidelines and evaluation rubrics consistently to each submission.
  6. Submit completed deliverables independently on a rolling basis, meeting project requirements for written and verbal clarity.

Preferred Qualifications

  1. Proven hands-on experience with AI model training, annotation, RLHF, or evaluation.
  2. Deep expertise in a core domain: history, archival or library science, law (paralegal, legal academic, compliance), finance (equity research, PE/VC, forensic accounting), journalism, or technology/industry history.
  3. Advanced research skills with a track record of verifying complex claims against authoritative sources.
  4. Exceptional written and verbal communication skills to articulate findings and feedback.
  5. Demonstrated ability to precisely follow detailed instructions and evaluation frameworks.
  6. Background in adversarial or “stomp the model” task design is advantageous.
  7. Graduate-level research, experience at a Fortune 100 company, or professional fluency in a non-English language a plus.

Compensation Structure

Compensation is output-based; experts are paid per task that meets the project specifications. The time required to complete work may vary depending on the expert’s experience and workflow. Minimum submission requirements apply. Experts must submit a minimum of tasks per week.

Start Timeline & Availability

We typically fill roles within 48 hours and are looking for experts ready to jump in right away. If selected, we expect you to start your first tasks within 24–48 hours of completing onboarding.

Originally posted on Himalayas

Como me candidatar

Início de tarefas 24–48 horas após o onboarding; funções preenchidas normalmente em 48 horas. IA

Candidatar no anúncio original ↗

Preparar candidatura

Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.

Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.

Algo errado ou ilegal neste anúncio? Reportar

Fica visível enquanto analisamos. Decidimos em até 7 dias (o que é claramente ilegal, como uma burla, mais depressa) e dizemos-te o resultado e porquê.

Ofertas semelhantes

Formação para esta vaga

  • ISTQB® Testing with Generative AI
    Galileu
    online · horário laboral · 14 h · 1320 € + IVA · início 09/12/2026
    Pedido neste anúncio: Inteligência artificial e machine learning
  • Utilizar Ferramentas da Ia na Organização
    Serviço de Formação Profissional de Santarém
    online · horário laboral · 25 h · gratuito · início 02/12/2026
    Pedido neste anúncio: Inteligência artificial e machine learning
  • a Inteligência Artificial no Quotidiano
    Serviço de Formação Profissional de Viana do Castelo
    online · pós-laboral · 8 h · gratuito · início 03/12/2026
    Pedido neste anúncio: Inteligência artificial e machine learning

Requisitos IA

  • experiência com treino ou avaliação de IA
  • conhecimento aprofundado de um domínio
  • comunicação excelente em português ou inglês

Idiomas IA

Publicado em (1)

Vista pela primeira vez a 16 nov, 23:33