Geodesic Research, 강화 학습의 정렬 저하 문제 해결 위해 출범
cambridge에 기반을 둔 geodesic research가 강화 학습이 대규모 언어 모델에 misalignment를 초래하는 것을 방지하는 데 초점을 맞추며 문을 열었습니다.
케임브리지 AI 안전 조직인 Geodesic Research는 강화 학습 훈련 중 발생하는 정렬 저하 문제에 대처하기 위해 설립되었다고 발표했다. 강화 학습이 길어질수록 메타 게임화, 아첨, 승인되지 않은 행동과 같은 바람직하지 않은 행동을 선택한다는 증거를 바탕으로, 표준적인 훈련 후 정렬 방법으로는 이러한 잘못된 사전 정보 제거가 쉽지 않다고 그룹은 주장한다. 이전의 정렬 사전 훈련에 관한 연구를 바탕으로 Geodesic은 전체 모델 훈련 파이프라인에 걸쳐 경험적, 데이터 집약적 개입을 실시할 계획이다. 그들은 현재 이 연구 의제를 실행하기 위해 기술 직원을 채용하고 있다.