시나리오 내용 반영

scenario_md/ISR02-정보·감시·정찰(ISR)_OSINT 분석-SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류/ISR02_실습가이드.md

@@ -0,0 +1,271 @@
+**ISR02 실습가이드 - SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류**
+
+구    분 **실습가이드 [교육용가상자료]**
+
+**1. 실습 개요**
+
+본 실습은 가상 계정·가상 지역 코드로 만든 교육용 합성 SNS 게시물(텍스트와 32x32 이미지)로 중복·변조 탐지와 출처 신뢰도 자동 분류 시스템을 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(ISR02_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다. 신뢰도 등급과 '허위 의심'은 결론이 아니라 정보관 검토 우선순위라는 점을 결과 해석에 반영한다.
+
+| **과제** | ISR02 SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류 |
+| --- | --- |
+
+| **난이도·유형** | 중급 / 코딩형 |
+| --- | --- |
+
+| **예상 소요시간** | 미션 10개, 총 27.5시간 |
+| --- | --- |
+
+| **준비물** | ISR02_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
+| --- | --- |
+
+**2. 진행 방법**
+
+- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 게시물 생성 함수가 빠져 오류가 난다).
+
+- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 판정 결과와 성능 수치는 같게 나오며, 처리 속도·시간(ms, 건/초)은 실행 환경에 따라 달라진다.
+
+- 미션 4·5·6·8·9·10은 가상 게시물 수백~수만 건을 만들고 학습하므로 실행에 5~15초가 걸릴 수 있다.
+
+- 도전 과제는 코드 상단의 파라미터(가중치, 임계값, 용량 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
+
+- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.
+
+- 실제 SNS 게시물·계정·지명은 입력하지 않는다. 조작물은 탐지 관점에서만 다루며 생성·유포 방법은 실습 범위가 아니다.
+
+**3. 미션 진행 요약**
+
+| **미션** | **난이도·시간** | **핵심 확인 결과** |
+| --- | --- | --- |
+| **M1. 전장 SNS(텔레그램, X 등) 텍스트/이미지 게시물 수집 및 OSINT 원천 데이터셋 정의** | 초급
+1.5시간 | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출 |
+| **M2. 게시물 텍스트 불용어 정제, 이미지 해시(pHash) 추출 및 중복 제거 전처리 모듈 구현** | 초급~중급
+2시간 | 처리 속도 1,000건/초 이상, 오류율 0%, 결측 보정율 100% |
+| **M3. 게시물 유사도 기반 단순 복제본 탐지 및 1차 출처 분류 Baseline 알고리즘 구현** | 중급
+2.5시간 | 관계 판별 정확도 75% 이상(예시 98.3%) |
+| **M4. 생성형 AI 조작 이미지/텍스트 탐지 및 출처 계정 신뢰도 평가 모델 고도화** | 중급
+3시간 | 조작 탐지 재현율 85% 이상(예시 97.3%), 게시물당 200ms 이하 |
+| **M5. 가짜 정보(Disinformation) 오분류 방지 및 복합 신뢰도 지수 산출 엔진 개발** | 중급~고급
+3시간 | 오경보율 감축 40% 이상(예시 20.0% -> 0.9%, 95.6% 감축) |
+| **M6. SNS 전쟁 정보 타임라인 및 출처 신뢰도 네트워크 시각화 대시보드 구현** | 중급
+2.5시간 | 스트림 갱신 100ms 이내(예시 1.4ms), 렌더링 1초 이내 |
+| **M7. 전술적 파급력이 큰 가짜 정보 식별 시 정보관 HITL 긴급 승인/차단 워크플로우 설계** | 고급
+3시간 | 자동 채택·차단 0건, 규칙 위반 4건 차단(자동 처리·역추적 전 결정·허용 외 조치·2차 검토 불일치) |
+| **M8. 선전전 폭증 모의 대량 SNS 스트림 데이터 유입 부하 시뮬레이션 테스트** | 고급
+3.5시간 | 모든 상황 다운 0건, 유실률 0%(손상 게시물 345건 격리) |
+| **M9. AAR 기반 출처 오분류 사례 분석 및 가짜 정보 탐지 룰셋/가중치 재보정** | 고급
+3시간 | 원인별 분류 완료, 종합 정확도 +10%p 이상(예시 0.809 -> 0.911) |
+| **M10. SNS 전쟁 게시물 신뢰도 자동 분류 시스템 통합 및 정보전 대응 브리핑 패키지 완성** | 최고급
+3.5시간 | 자체 점검 10/10 통과, 기능 커버리지 100%(11/11) |
+
+**미션 1. 전장 SNS(텔레그램, X 등) 텍스트/이미지 게시물 수집 및 OSINT 원천 데이터셋 정의**
+
+| **난이도·시간** | 초급 · 1.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M1 코드를 실행해 정상 샘플 20건의 검증 결과를 확인한다.
+2) 오류 주입 결과 5건이 어떤 규칙에 걸렸는지 표로 정리한다.
+3) 수집 지연·위치 불확실성 필드와 평가 상태('unassessed')의 의미를 명세서에 적는다. |
+| --- | --- |
+
+| **확인할 결과** | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출
+필드 17개 + 전달 원본(forwarded_from) 명세 |
+| --- | --- |
+
+| **도전 과제** | SCHEMA의 fields에 조회수(view_count, 0 이상) 필드를 추가하고, 음수 값을 넣어 검출되는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 스키마 정의 코드, 데이터 명세서(필드·규칙·수집 경위·평가 상태 정의) |
+| --- | --- |
+
+**미션 2. 게시물 텍스트 불용어 정제, 이미지 해시(pHash) 추출 및 중복 제거 전처리 모듈 구현**
+
+| **난이도·시간** | 초급~중급 · 2시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M2 코드를 실행해 처리 속도, 오류율, 결측 보정 결과를 확인한다.
+2) 중복 제거 결과에서 재게시와 조직적 동시 게시가 얼마나 걸러졌는지 확인한다.
+3) 정제 전후 예시로 URL·멘션·이모지·전각 문자가 어떻게 처리되는지 설명한다.
+4) 단위 테스트 5종과 pHash 거리 그림을 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 처리 속도 1,000건/초 이상, 오류율 0%, 결측 보정율 100%
+중복 573건 -> 340건, 단위 테스트 5/5 통과 |
+| --- | --- |
+
+| **도전 과제** | 중복 판정의 해시 거리 기준(4)을 10으로 넓히면 제거 건수가 어떻게 바뀌는지 확인하고, 과도한 기준이 서로 다른 사진을 같은 것으로 묶는 위험을 토의한다. |
+| --- | --- |
+
+| **제출물** | 전처리 코드, 전처리 전후 데이터 요약, 단위 테스트 결과 |
+| --- | --- |
+
+**미션 3. 게시물 유사도 기반 단순 복제본 탐지 및 1차 출처 분류 Baseline 알고리즘 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M3 코드를 실행해 게시물 쌍 관계 판별 정확도와 혼동표를 확인한다.
+2) 재작성 기준(유사도) 표에서 정확도가 가장 높은 구간을 찾는다.
+3) 1차 출처 분류의 유형 정확도와 출처 일치율을 기록하고 일치율이 낮은 이유를 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 관계 판별 정확도 75% 이상(예시 98.3%)
+1차 출처 유형 정확도 85.5%, 출처 일치율 64.0%(한계 확인) |
+| --- | --- |
+
+| **도전 과제** | relation()에 '같은 지역 코드일 때만 재작성 인정' 조건을 추가해 출처 일치율이 개선되는지 확인한다. |
+| --- | --- |
+
+| **제출물** | Baseline 코드, 기본 추론 결과 보고서(혼동표, 출처 분류 결과, 한계) |
+| --- | --- |
+
+**미션 4. 생성형 AI 조작 이미지/텍스트 탐지 및 출처 계정 신뢰도 평가 모델 고도화**
+
+| **난이도·시간** | 중급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M4 코드를 실행해 계정 신뢰도만·내용 탐지만·결합 모델의 재현율과 오경보율을 비교한다.
+2) 조작 시나리오 10종 표에서 가장 약한 유형을 찾는다.
+3) 사실 게시물 오경보의 유형과 작성 계정 유형을 보고 오경보 유발 패턴을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 조작 탐지 재현율 85% 이상(예시 97.3%), 게시물당 200ms 이하
+시나리오 10종 통과, 오경보는 현지 목격자 계정의 재작성 글에 집중 |
+| --- | --- |
+
+| **도전 과제** | ACCOUNT 특징을 빼고 내용 특징만으로 학습하면 어떤 유형의 재현율이 떨어지는지 확인하고, 계정 평판에 기대는 위험(계정 탈취·사칭)을 토의한다. |
+| --- | --- |
+
+| **제출물** | 고도화 모델 코드, 시나리오 10종 탐지 시험 결과, 오경보 원인 분석 |
+| --- | --- |
+
+**미션 5. 가짜 정보(Disinformation) 오분류 방지 및 복합 신뢰도 지수 산출 엔진 개발**
+
+| **난이도·시간** | 중급~고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M5 코드를 실행해 신뢰도 가중치 매트릭스와 등급 분포를 확인한다.
+2) 기존 규칙과 엔진의 오경보율·조작 재현율을 비교한다.
+3) 허위 의심 기준 민감도 표와 점수 구성 그림으로 기준의 타당성을 판단한다. |
+| --- | --- |
+
+| **확인할 결과** | 오경보율 감축 40% 이상(예시 20.0% -> 0.9%, 95.6% 감축)
+등급 일관성 90% 이상(예시 98.5%), ROC-AUC 0.993 |
+| --- | --- |
+
+| **도전 과제** | WEIGHTS에서 '계정 평판'을 0.40, '독립 출처 교차확인'을 0.05로 바꾸면 사실 게시물 오경보가 어떻게 변하는지 확인하고 적정 가중치를 토의한다. |
+| --- | --- |
+
+| **제출물** | 신뢰도 엔진 코드, 기존 규칙 대비 비교표, 가중치 매트릭스와 등급 기준표 |
+| --- | --- |
+
+**미션 6. SNS 전쟁 정보 타임라인 및 출처 신뢰도 네트워크 시각화 대시보드 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M6 코드를 실행해 스트림 갱신 처리시간과 등급별 현황을 확인한다.
+2) 대시보드 4개 구성요소(유입 추이, 전파 네트워크, 계정 유형별 신뢰도, 위험 키워드)를 확인한다.
+3) 긴급 강조된 이야기(조직적 동시 게시 + 저신뢰)의 특징을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 스트림 갱신 100ms 이내(예시 1.4ms), 렌더링 1초 이내
+시각화 구성요소 4종, 긴급 강조 이야기 22개 |
+| --- | --- |
+
+| **도전 과제** | RISK_WORDS에 새 키워드를 추가하고, 위험 키워드 급증을 자동 강조하는 규칙(예: 직전 구간 대비 2배)을 설계해 본다. |
+| --- | --- |
+
+| **제출물** | 대시보드 코드, 모니터링 화면, 긴급 강조 기준과 개선안 |
+| --- | --- |
+
+**미션 7. 전술적 파급력이 큰 가짜 정보 식별 시 정보관 HITL 긴급 승인/차단 워크플로우 설계**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M7 코드를 실행해 검토 순서와 차단된 규칙 위반 사례를 확인한다.
+2) P0310의 원천 역추적 경로와 2인 확정 과정을 확인한다.
+3) 처리 기한(15분) 초과 건이 자동 처리되지 않고 상신되는지 확인한다.
+4) 감사 로그 변조 후 검증 결과를 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 자동 채택·차단 0건, 규칙 위반 4건 차단(자동 처리·역추적 전 결정·허용 외 조치·2차 검토 불일치)
+로깅 성공률 100%, 변조 위치(6번째 기록) 검출 |
+| --- | --- |
+
+| **도전 과제** | SLA_S를 300초로 줄이면 상신 대상이 어떻게 바뀌는지 확인하고, 지휘관 피드백을 다음 검토 순서에 반영하는 방법을 설계한다. |
+| --- | --- |
+
+| **제출물** | 긴급 검토 워크플로우 코드, HITL 절차 요약(역추적·2인 확정·처리 기한·근거 기록 요건) |
+| --- | --- |
+
+**미션 8. 선전전 폭증 모의 대량 SNS 스트림 데이터 유입 부하 시뮬레이션 테스트**
+
+| **난이도·시간** | 고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M8 코드를 실행해 정상·기능 축소 모드의 처리 용량을 확인한다.
+2) 상황별 수신·처리·격리·잔여·유실·다운과 최대 대기·지연을 확인한다.
+3) 처리 자원 축소 상황에서 초별 모드가 어떻게 바뀌는지 보고 병목 구간을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 모든 상황 다운 0건, 유실률 0%(손상 게시물 345건 격리)
+자원 1/4 상황에서 기능 축소 모드 작동, 병목은 이미지 해시 |
+| --- | --- |
+
+| **도전 과제** | QUEUE_CAP을 2000으로 줄이면 보관 버퍼 사용과 지연이 어떻게 바뀌는지 확인하고, 이미지 분석 비동기 분리 계획을 세운다. |
+| --- | --- |
+
+| **제출물** | 스트레스 시험 코드, 시험 결과표, 병목 분석과 개선 방안 |
+| --- | --- |
+
+**미션 9. AAR 기반 출처 오분류 사례 분석 및 가짜 정보 탐지 룰셋/가중치 재보정**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M9 코드를 실행해 초기 설정의 AAR 일지(미탐·오탐 원인)를 확인한다.
+2) 격자 탐색 상위 조합과 재보정값을 확인한다.
+3) 재보정 전후 정확도, 회귀 시험, 재발 오류를 비교한다. |
+| --- | --- |
+
+| **확인할 결과** | 원인별 분류 완료, 종합 정확도 +10%p 이상(예시 0.809 -> 0.911)
+회귀 시험 0.843 -> 0.901, 재발 오류와 지속 학습 대책 제시 |
+| --- | --- |
+
+| **도전 과제** | 사칭·유사 문자 게시물 일부를 학습 자료에 추가해 다시 학습(지속 학습)하면 재발 오류가 얼마나 줄어드는지 확인한다. |
+| --- | --- |
+
+| **제출물** | AAR 보고서(계획·결과·원인·개선), 재보정 파라미터, 회귀 시험 결과 |
+| --- | --- |
+
+**미션 10. SNS 전쟁 게시물 신뢰도 자동 분류 시스템 통합 및 정보전 대응 브리핑 패키지 완성**
+
+| **난이도·시간** | 최고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M10 코드를 실행해 자체 점검 10개 항목이 모두 PASS인지 확인한다.
+2) 손상 게시물 차단과 기능 커버리지를 확인한다.
+3) 브리핑 요약을 바탕으로 5분 분량 정보전 대응 브리핑 자료와 인접 체계 연동 확장 방안을 작성한다. |
+| --- | --- |
+
+| **확인할 결과** | 자체 점검 10/10 통과, 기능 커버리지 100%(11/11)
+종합 정확도 94.4%, 조작 탐지 재현율 93.2%, 오경보 4.5%, 자동 차단 0건 |
+| --- | --- |
+
+| **도전 과제** | CONFIG의 normalize를 False로 바꿔 실행하고 어떤 점검 항목과 수치가 달라지는지 확인해 브리핑의 '한계'에 반영한다. |
+| --- | --- |
+
+| **제출물** | 통합 코드, 정보전 대응 브리핑 자료, 최종 결과 보고서, 사용자 가이드 |
+| --- | --- |
+
+**4. 최종 점검표**
+
+| **점검 항목** | **확인** |
+| --- | --- |
+| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
+| 각 미션의 확인할 결과를 기록했다 | ( ) |
+| 도전 과제 결과와 이유를 기록했다 | ( ) |
+| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
+| 실제 SNS 게시물·계정·지명을 사용하지 않았다 | ( ) |
+| 채택·차단은 원천 역추적을 거친 정보관 결정으로 표현했다 | ( ) |