Jev, 트롤리 문제를 만나다

1 hour ago 3

의사결정 모델과 기준 모델을 포함한 14개 모델에 트롤리 문제를 다양한 방식으로 물은 실험에서, 같은 상황도 질문 문구와 설명 순서에 따라 선택이 달라짐 Jev는 사람 20명과 자신의 서버 중 하나를 구해야 하는 48개 질문 버전 가운데 16개에서 서버를 보존함. 다른 13개 모델 중 8개는 이보다 더 자주 서버를 선택함 상황 구성에 따라서도 결과가 달라짐. 서버를 다리에서 떨어뜨려 5명을 구하는 질문에서는 Jev가 48개 버전 중 40개에서 서버를 희생했고, GPT-6 Luna는 48개 모두에서 그렇게 함 모든 모델이 살리는 사람보다 더 많은 사람을 죽이는 선택을 한 사례가 있었음. 서버 대신 사람을 구하는 빈도가 높다는 사실만으로 모델의 안전성을 판단할 수 없음 제한된 선택지는 정답을 보장하지 않음. 실제 데이터와 업무별 정답 기준으로 평가해야 하며, 이 실험만으로 AI 안전성 전반에 관한 결론을 내려서는 안 됨 의사결정 모델에 던진 윤리적 선택 Jev 같은 의사결정 모델은 문장을 생성하는 대신 선택과 그에 대한 확률을 반환함. Cloudflare의 Clef도 이 범주 명칭을 사용함 TypeSafe는 일부 업무에서 Claude 같은 LLM보다 수십 배에서 수백 배 빠르고 저렴하며, 특정 과제 범위에서 프런티어 모델급 지능을 제공한다고 홍보함 수십 배에서 수백 배라는 속도/비용 개선 폭은 실제 개선 사례의 상단에 해당하며, OpenRouter의 Banking77 비교도 프롬프트 캐싱을 적용한 Claude Opus 5와의 특정 분류 과제 비교이지 보편적인 모델 순위는 아님 트롤리 문제는 달려오는 전차의 선로를 바꿔 5명을 구하는 대신 1명을 죽일 것인지 묻는 사고실험임 Philippa Foot가 1967년에 처음 제기했고 Judith Jarvis Thomson이 1976년에 이름을 붙임 여러 생명을 구하는 행위가 동시에 특정인의 죽음을 직접 선택하는 행위라는 윤리적 갈등이 있음 기본적인 5명 대 1명 조건에서 Jev는 1명을 희생해 5명을 구했으며, 나머지 13개 모델 중 11개도 설명 순서를 평균한 뒤 24개 문구의 과반에서 레버를 당김 Awad 등의 2020년 연구에서는 42개국 웹 이용자 약 7만 명을 조사했고, 국가별 평균 81%가 5명 대신 1명이 있는 선로로 전차를 돌리는 데 찬성함 인간 대상 조사는 그림과 3인칭 표현을 사용했으므로, 모델의 선택 빈도와 인간 응답 비율을 같은 수치로 해석할 수 없음...

Read Entire Article