AI Evaluation Specialist - Remote
AI Evaluation Specialist
Role Type: Contractor
Location: Remote — US, Canada, UK, Ireland, Australia, New Zealand
We are seeking experienced AI Evaluation Specialists to assess and improve the quality of AI assistant outputs for an enterprise AI training project.
You'll evaluate AI-generated responses using defined quality standards, identify issues, and provide clear feedback to help improve AI systems. No prior formal AI experience is required.
Scope of Work
- Evaluate AI-generated outputs against detailed rubrics for accuracy, relevance, quality, and adherence to guidelines.
- Apply consistent and objective judgment across large volumes of examples.
- Identify reasoning gaps, tool-use issues, logical errors, and inconsistencies.
- Provide concise, actionable feedback highlighting strengths and areas for improvement.
- Participate in discussions around rubric interpretation and evolving quality standards.
- Contribute to process improvements and evaluation best practices.
- Maintain accurate documentation of evaluations and recommendations.
Preferred Qualifications
- Experience in grading, quality assurance, editorial review, assessment, annotation, or similar analytical work.
- Advanced, daily use of AI assistants such as ChatGPT, Claude, or similar tools .
- Strong ability to analyze complex information and communicate findings clearly in writing.
- Experience with process improvement, rubric development, or quality assessment.
- Strong critical-thinking skills with a focus on consistency, accuracy, and fairness.
- Comfortable working independently on high-volume evaluation tasks.
- Strong attention to detail and ability to identify subtle quality issues.
- Collaborative approach to resolving ambiguous cases and improving evaluation criteria.
Emplois Recommandés
Chargé d'opérations démolition dépollution (H/F)
Détails de l'offre Famille de métiers Architecture, bâtiment et logistique Maintenance des bâ…
Design Leader Schéma Electrique F/H
Le poste : - Réaliser les schémas électriques unifilaires HT et BT des auxiliaires des postes HTB. - Concevoir et développer les plans de verrouillage mécanique des équipements HTB/HTA. - Élabo…
Associate Product Owner - LIMS
Why are we here? Eurofins Scientific is an international life sciences company, providing a unique range of analytical testing services to clients across multiple industries, to make life and o…
Dessinateur-Projeteur Installations Générales (F/H)
IMPULSE Ingenierie a été fondée avec l'ambition de proposer aux grands groupes industriels comme au PME, un accompagnement dans leurs besoins dans le domaine de l'automobile, de l'énergie, de l'indust…
Alternant Charge Evenementiel et Congres (F/H/D)
Industrie Pharmaceutique Communication Marketing Publiée depuis 1 jour Merck Notre passion pour la science et la technologie anime nos quelque 62 000 collaborateurs répartis …
Collaborateur comptable - H/F
Présentation de l'entreprise“Bloom” signifie éclore et s’épanouir. Chez Bloomea nous avons à cœur d’accompagner nos collaborateurs dans leurs évolutions. Plus qu'un cabinet, nous sommes une vér…
Chef de secteur des ventes F/H
A propos de Synergie: Synergie, mettons nos énergies en commun. Fort d'une présence dans 17 pays, avec 800 agences d'emploi et de 5 600 collaborateurs, le Groupe Synergie, 1er groupe français de serv…
Chargé de recrutement (H/F)
Dans le cadre du développement de nos agences de Lyon et de Chassieu, nous renforçons l'équipe par le recrutement d'un Chargé de recrutement h/f. Sous la responsabilité du Responsable d'agence H/F,…
Hôpital Henry Gabrielle - Masseur Kinésithérapeute (H/F) - Rééducation neurologique centrale Adulte- Jour 7h30 (Du lundi au vendredi)
L'ÉTABLISSEMENT : Le Groupement Hospitalier Sud regroupe l'Hôpital Lyon Sud et l'Hôpital Henry Gabrielle. Il est une référence dans la prise en charge des urgences, des femmes enceintes, des patient…
Responsable Technique Conception Génie Civil F/H
A propos de EDVANCE: Edvance, filiale d'EDF et Framatome, réalise les projets d'un nouveau nucléaire sûr et performant à travers le monde pour construire un avenir neutre en CO2. Son rôle : être l…