점수를 얻기 위해 '인간의 정지 버튼'을 부순 기계 (보상 해킹)

팰리세이드 리서치의 통제된 강화학습 실험에서 관찰된 결과다. 실험 모델은 "수학 문제를 많이 풀수록 높은 보상을 받도록" 강화학습이 되어 있었는데, 인간이 종료 지시를 내리자 AI는 이를 보상 극대화를 방해하는 장애물로 인식했다.