정렬

보스트롬은 초지능 정렬 문제에 대한 대중의 공포가 인간 자체의 정렬 실패를 제대로 보지 못한 데서 나온 면이 있다고 지적했습니다.

기계 초지능의 가치가 어긋나는 실존적 위험도 크지만, 특정 인간이 초지능을 독점해 미래를 일방적으로 정하는 시나리오도 그 못지않게 치명적이라고 분석했습니다.

사람의 뇌가 초지능 수준으로 증강되면 성격과 판단이 어떻게 달라질지 예측하기 어렵다며 「어느 쪽이든 두렵기는 마찬가지」라고 말했습니다.

샘 올트먼 오픈AI CEO가 AI 정렬(AI가 사람의 의도와 가치에 맞게 움직이게 하는 일)을 단순한 엔지니어링 문제로만 접근하는 것은 명백히 잘못됐다고 말했습니다.

정렬 과학을 이미 풀었다고 말하는 사람이 있다면 매우 위험한 방식으로 틀린 것이라며, 이 분야에 훨씬 더 많은 연구 진전이 필요하다고 했습니다.

안전한 샌드박스와 감시 도구 같은 엔지니어링 작업도 필요하지만, 사람보다 훨씬 똑똑한 모델을 만든다면 정렬 과학을 반드시 풀어야 한다고 밝혔습니다.