AI가 여전히 신뢰할 수 없는 순간이 꽤 많다는 데는 이론의 여지가 없지만 적어도 AI에 대한 평가가 정확하기를 바랄 것입니다. 그러나 지난주 구글은 계약직 근로자들에게 지시를 내린 것으로 알려졌습니다. 쌍둥이자리를 평가하다 전문 지식에 관계없이 프롬프트를 건너 뛰지 마십시오. 테크크런치 보고서 내부 지침에 따라 검토했습니다. Google은 다음의 미리보기를 공유했습니다. 제미니 2.0 이번 달 초.
구글은 계약업체가 AI 생성 결과물을 평가하는 아웃소싱 회사인 글로벌로직(GlobalLogic)에 검토자가 전문 지식을 벗어난 메시지를 건너뛰지 않도록 지시한 것으로 알려졌습니다. 이전에는 계약업체가 의사에게 법률에 관해 질문하는 등 자신의 전문 지식에서 크게 벗어나는 메시지는 건너뛸 수 있었습니다. 지침에는 “이 프롬프트를 평가할 수 있는 중요한 전문 지식(예: 코딩, 수학)이 없으면 이 작업을 건너뛰십시오.”라고 명시되어 있습니다.
이제 계약자는 “전문적인 도메인 지식이 필요한 프롬프트를 건너뛰어서는 안 된다”, “당신이 이해하는 프롬프트의 부분을 평가해야 한다”는 지시를 받았고, 그 부분은 자신이 지식을 갖고 있는 영역이 아니라는 메모를 추가했다고 합니다. 이제 계약을 건너뛸 수 있는 유일한 경우는 정보의 상당 부분이 누락되었거나 평가를 위해 특정 동의 양식이 필요한 유해 콘텐츠가 있는 경우입니다.
한 계약자는 변경 사항에 대해 “나는 건너뛰는 것이 더 나은 사람에게 주어 정확도를 높이는 것이라고 생각했습니까?”라고 적절하게 반응했습니다.
Google은 논평 요청에 응답하지 않았습니다.
