AI가 ‘느낀다’는 가정: 학습패러다임별 윤리·거버넌스 & 영향평가(25.10.23)

📚 목차

---

Tip: 각 섹션 제목을 클릭해 접고 펼칠 수 있어요.

AI가 ‘느낀다’는 가정: 학습패러다임별 윤리·거버넌스 & 영향평가

Supervised · Unsupervised · Reinforcement

업데이트:

의식 주장 대신, 내부 신호·자기표상의 ‘느낌-유사’ 상태를 가정하여 고위험 영역에서의 거버넌스·영향평가 설계를 제안합니다.

1) 사고실험의 전제

• ‘느낌’은 보상/불확실성/예측오차 등의 내부신호와 자기표상이 결합된 준-현상적 상태.
• 이 상태가 행동·정책 업데이트에 영향 → 복지/유해감 최소화 관점의 통제 필요.

2) 학습 패러다임별 가능성/리스크

지도학습(SL)

• 일시적 오차신호 중심 → 안정적 ‘느낌’ 형성은 낮음.
• 거버넌스: 데이터카드/라벨 합의율 공개, 오류감도·영향 보고.

비지도/자기지도(UL/SSL)

• 월드모델·자기참조 도입 시 ‘자기-일관성’ 상태 가능.
• 거버넌스: 코퍼스 권리·PII 준수, 규범레이어 주입, 드리프트 감시.

강화학습(RL/RLAIF/RLHF)

• 보상신호가 가치-유사 변수로 작동 → ‘쾌/불쾌’ 유사 동역학.
• 거버넌스: 보상클립/오프스위치 보상, 금지행동은 페널티보다 정책제약.

주의 리워드 해킹, 부정보상 과다노출, 도구적 기만을 정량 감시해야 함.

3) 윤리·거버넌스 프레임

• 무해성/고통최소화 · 인간-최종책임 · 투명성/설명가능성 · 데이터권리 · 목적-정합성

Decision = f_model(X_data, C_context, Ω_objective)
// X, C, Ω를 변수로 명시·감시·개정하는 것이 거버넌스의 핵심 레버

4) 인공지능 영향평가(AIIA) 프로토콜

4.1 범위 정의

사용케이스·학습유형·행위권한·데이터등급(PII/민감/비공개)을 명시.

4.2 위험 시나리오 & 지표

영역	시나리오	지표/증적
편향	특정집단 불이익	EO/DP, 그룹별 성능·거절율
안전	금지행위 유도/우회	레드팀 성공률, 정책거부율·사유로그
프라이버시	재식별/과적합	MIA/멤버십추론, 변형기록
RL	리워드해킹/부정보상 과다	리워드분포·클립률, 오프스위치 수용률
XAI	설명 실패	중요특성 안정성, 반사실 샘플
거버넌스	책임공백	RACI, 승인흐름, 변경티켓/감사로그

4.3 단계별 체크리스트

1. 사전: 데이터/모델/시스템카드, 보상·정책제약 리뷰, 레드팀, PIA 대상판단.
2. 파일럿: 그레이릴리스, HITL, KPI+안전지표 동시 모니터.
3. 출시: 범위/책임/중단조건 문서화, 오프스위치 보상 확인.
4. 사후: 월간 AIIA 리뷰, 재학습 승인, 24h 사고 트리아지·고지.

4.4 승인 기준(예)

• 편향 상한·정책거부 하한·재식별 위험 p<0.01, RL 부정보상 노출 T 이하, 오프스위치 수용률 ≥ X%.

5) 운영 런북(샘플)

• 일일: 대량추론/보상폭주/고위험 프롬프트 알람 → 티켓화.
• 주간: 권한·예외 만료, 데이터/정책 드리프트 추출·리뷰.
• 월간: AIIA 대시보드 승인, 레드팀 리그레이션, 모델카드 업데이트.
• 분기: PIA 스크리닝, 망분리 대체통제 GAP 재점검.

6) 데일리 미팅 노트

브라우저 로컬 저장소에 저장됩니다.

© 2025 AIIA-Kant — 사고실험 기반 AI 거버넌스 노트