AI Safety Specialist - Evaluation Expert
Em resumo IA
Contrato remoto para avaliar respostas geradas por IA quanto a segurança, exatidão factual e conformidade com políticas, incluindo temas sensíveis. Remuneração de 60 a 70 dólares por hora.
Descrição
- Função
- Avaliar respostas geradas por IA quanto a segurança, exatidão factual, conformidade com políticas e qualidade geral. Rever conteúdos sobre desinformação, persuasão política, automutilação, violência, cibersegurança, biossegurança e outros domínios sensíveis. Aplicar e refinar rubricas de avaliação para RLHF, SFT e benchmarking de segurança de IA. Identificar outputs inseguros, alucinações, falhas de raciocínio e violações de políticas. Dar feedback estruturado para melhorar o alinhamento e a segurança dos modelos. Colaborar com investigadores de IA e equipas de segurança.
- Requisitos
- Licenciatura ou superior em Jornalismo, Comunicação, Psicologia, Sociologia, Políticas Públicas, Direito, Biologia, Química, Informática ou área relacionada
- 5 ou mais anos de experiência profissional em segurança de IA, Trust & Safety, jornalismo, políticas públicas, investigação científica, segurança ou área afim
- Escrita em inglês excelente, pensamento crítico e raciocínio analítico
- Capacidade para avaliar cenários complexos e sensíveis a políticas
- Valorizado
- experiência com RLHF, SFT, Trust & Safety ou avaliação de IA, familiaridade com políticas de segurança, moderação de conteúdos ou desenvolvimento de rubricas, experiência com conteúdos complexos, de alto risco ou ambíguos
- Condições
- Contrato: independente (prestação de serviços)
- Salário: 60 a 70 USD por hora
- Horário: não indicado
- Local: remoto
- Benefícios
- não indicados
About the job
Mercor connects elite creative and technical talent with leading AI research labs. Headquartered in San Francisco, our investors include Benchmark, General Catalyst, Peter Thiel, Adam D'Angelo, Larry Summers, and Jack Dorsey.
Position: AI Safety Practitioner
Type:Contract
Compensation:$60–$70/hour
Location:Remote
Role Responsibilities
- Evaluate AI-generated responses for safety, factual accuracy, policy compliance, and overall quality.
- Review content involving misinformation, political persuasion, self-harm, violence, cyber, biosecurity, and other sensitive domains.
- Apply and refine evaluation rubrics for RLHF, SFT, and AI safety benchmarking.
- Identify unsafe outputs, hallucinations, reasoning failures, and policy violations.
- Provide structured feedback to improve model alignment and safety performance.
- Collaborate with AI researchers and safety teams on ongoing evaluation initiatives.
Qualifications
Must-Have
- Bachelor's degree or higher in Journalism, Communications, Psychology, Sociology, Public Policy, Law, Biology, Chemistry, Computer Science, or a related discipline.
- 5+ years of professional experience in AI Safety, Trust & Safety, journalism, public policy, scientific research, security, or a related field.
- Excellent written English, critical thinking, and analytical reasoning skills.
- Ability to consistently evaluate nuanced and policy-sensitive scenarios.
Preferred
- Experience with AI Safety, RLHF, SFT, Trust & Safety, or AI evaluation.
- Familiarity with safety policies, content moderation, or evaluation rubric development.
- Experience reviewing complex, high-risk, or ambiguous content.
Application Process (Takes 20–30 mins to complete)
- Upload resume
- AI interview based on your resume
- Submit form
Resources & Support
- For details about the interview process and platform information, please check:
- For any help or support, reach out to:
PS: Our team reviews applications daily. Please complete your AI interview and application steps to be considered for this opportunity.
Originally posted on Himalayas
Como me candidatar
Processo: upload do currículo, entrevista com IA baseada no currículo e submissão de formulário (cerca de 20 a 30 minutos). Publicado originalmente no Himalayas. IA
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- AI Safety Practitioner - Expert Evaluatormercor
- AI Safety Specialist - Fully Remote | Upto $70/hrmercor
- AI Safety Practitioner - Fully Remote | Upto $70/hrmercor
- AI Safety Specialist - Fully Remote | Upto $45/hrmercor
- AI Safety Specialist - Remote | Upto $84/hrmercor
- AI Safety Specialist - Fully Remote | Upto $84/hrmercor
Formação para esta vaga
- ISTQB® Testing with Generative AIGalileuonline · horário laboral · 14 h · 1320 € + IVA · início 09/12/2026Pedido neste anúncio: Inteligência artificial e machine learning
- Utilizar Ferramentas da Ia na OrganizaçãoServiço de Formação Profissional de Santarémonline · horário laboral · 25 h · gratuito · início 02/12/2026Pedido neste anúncio: Inteligência artificial e machine learning
- a Inteligência Artificial no QuotidianoServiço de Formação Profissional de Viana do Casteloonline · pós-laboral · 8 h · gratuito · início 03/12/2026Pedido neste anúncio: Inteligência artificial e machine learning
Requisitos IA
- 5+ anos de experiência em segurança de IA ou área afim
Idiomas IA
Publicado em (1)
- Himalayas visto 17 nov
Vista pela primeira vez a 17 nov, 00:22