AI QA Trainer – LLM Evaluation
Onde
Em resumo IA
Contrato remoto como AI QA trainer para avaliar LLMs: testes de alucinações, segurança, robustez de prompts e regressão, com documentação de falhas. Remuneração entre 6 e 65 USD à hora.
Descrição
- Função
- Conversar com o modelo sobre cenários reais, verificar exatidão factual e coerência lógica, desenhar planos de teste e suites de regressão, criar rubricas e critérios de aprovação/reprovação, documentar erros reproduzíveis e sugerir melhorias a prompts, guardrails e métricas de avaliação. Inclui red-teaming adversarial, automação em Python/SQL e dashboards de qualidade.
- Requisitos
- Formação em informática, ciência de dados, linguística computacional, estatística ou área afim (licenciatura, mestrado ou doutoramento)
- Experiência em QA de sistemas de ML/IA
- Experiência em rubricas de avaliação e red-teaming
- Competências em automação de testes (Python/SQL)
- Comunicação clara e detalhada da forma de chegar às conclusões
- Valorizado
- experiência com PyTest, ferramentas de avaliação de LLM (OpenAI Evals, RAG evaluators, W&B), auditoria de viés e equidade, verificação de fundamentação
- Condições
- Contrato: independente (prestação de serviços, contratado)
- Salário: entre 6 e 65 USD à hora, valor final definido após avaliação de experiência, competências e localização geográfica
- Horário: não indicado
- Local: remoto
- Benefícios
- não indicados
Are you an AI QA expert eager to shape the future of AI? Large-scale language models are evolving from clever chatbots into enterprise-grade platforms. With rigorous evaluation data, tomorrow’s AI can democratize world-class education, keep pace with cutting-edge research, and streamline workflows for teams everywhere. That quality begins with you—we need your expertise to harden model reasoning and reliability.
We’re looking for AI QA trainers who live and breathe model evaluation, LLM safety, prompt robustness, data quality assurance, multilingual and domain-specific testing, grounding verification, and compliance/readiness checks. You’ll challenge advanced language models on tasks like hallucination detection, factual consistency, prompt-injection and jailbreak resistance, bias/fairness audits, chain-of-reasoning reliability, tool-use correctness, retrieval-augmentation fidelity, and end-to-end workflow validation—documenting every failure mode so we can raise the bar.
On a typical day, you will converse with the model on real-world scenarios and evaluation prompts, verify factual accuracy and logical soundness, design and run test plans and regression suites, build clear rubrics and pass/fail criteria, capture reproducible error traces with root-cause hypotheses, and suggest improvements to prompt engineering, guardrails, and evaluation metrics (e.g., precision/recall, faithfulness, toxicity, and latency SLOs). You’ll also partner on adversarial red-teaming, automation (Python/SQL), and dashboarding to track quality deltas over time.
A bachelor’s, master’s, or PhD in computer science, data science, computational linguistics, statistics, or a related field is ideal; shipped QA for ML/AI systems, safety/red-team experience, test automation frameworks (e.g., PyTest), and hands-on work with LLM eval tooling (e.g., OpenAI Evals, RAG evaluators, W&B) signal fit. Skills that stand out include: evaluation rubric design, adversarial testing/red-teaming, regression testing at scale, bias/fairness auditing, grounding verification, prompt and system-prompt engineering, test automation (Python/SQL), and high-signal bug reporting. Clear, metacognitive communication—“showing your work”—is essential.
Ready to turn your QA expertise into the quality backbone for tomorrow’s AI? Apply today and start teaching the model that will teach the world.
We offer a pay range of $6-to- $65 per hour, with the exact rate determined after evaluating your experience, expertise, and geographic location. Final offer amounts may vary from the pay range listed above. As a contractor you’ll supply a secure computer and high-speed internet; company-sponsored benefits such as health insurance and PTO do not apply.
Employment type: Contract
Workplace type: Remote
Seniority level: Mid-Senior Level
Originally posted on Himalayas
Como me candidatar
Candidatar no anúncio original ↗
Preparar candidatura
Uma carta de apresentação e uma apresentação curta para esta oferta, escritas a partir do teu perfil, e o que aprender a seguir.
Entra e cria o teu perfil a partir do CV. É privado: não o partilhamos com ninguém.
Algo errado ou ilegal neste anúncio? Reportar
Ofertas semelhantes
- Malayalam Language Specialist - AI TrainerInvisible Technologies
- Aymara Language Expert - AI TrainerInvisible Technologies
- Arabic (Emirati) Language Specialist - AI TrainerInvisible Technologies
- Nahuatl Language Expert - AI TrainerInvisible Technologies
- Arabic (Iraqi) Language Expert - AI TrainerInvisible Technologies
- Securities & Commodities Specialist – AI TrainerInvisible Technologies
Salário comparado ⓘ
32 ofertas · Testadores de software e especialistas de qualidade em TIC · Portugal
ver as que pagam mais →Formação para esta vaga
- ISTQB® Testing with Generative AIGalileuonline · horário laboral · 14 h · 1320 € + IVA · início 09/12/2026Pedido neste anúncio: Testes e QA
- AI+ Quality Assurance Practitioner™Rumosao seu ritmo · 40 h · 695 €Pedido neste anúncio: Testes e QA
- Machine Learning & Python CourseLe Wagononline · horário laboral · 1900 € · início 01/03/2027Pedido neste anúncio: Inteligência artificial e machine learning
Requisitos IA
- licenciatura, mestrado ou doutoramento em área técnica
Idiomas IA
Publicado em (1)
- Himalayas visto 16 nov
Vista pela primeira vez a 16 nov, 23:50