pbl02/scenario_md/ISR02-정보·감시·정찰(ISR)_OSINT 분석-SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류/ISR02_실습가이드.md

**ISR02 실습가이드 - SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류**

구    분 **실습가이드 [교육용가상자료]**

**1. 실습 개요**

본 실습은 가상 계정·가상 지역 코드로 만든 교육용 합성 SNS 게시물(텍스트와 32x32 이미지)로 중복·변조 탐지와 출처 신뢰도 자동 분류 시스템을 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(ISR02_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다. 신뢰도 등급과 '허위 의심'은 결론이 아니라 정보관 검토 우선순위라는 점을 결과 해석에 반영한다.

| **과제** | ISR02 SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류 |
| --- | --- |

| **난이도·유형** | 중급 / 코딩형 |
| --- | --- |

| **예상 소요시간** | 미션 10개, 총 27.5시간 |
| --- | --- |

| **준비물** | ISR02_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
| --- | --- |

**2. 진행 방법**

- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 게시물 생성 함수가 빠져 오류가 난다).

- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 판정 결과와 성능 수치는 같게 나오며, 처리 속도·시간(ms, 건/초)은 실행 환경에 따라 달라진다.

- 미션 4·5·6·8·9·10은 가상 게시물 수백~수만 건을 만들고 학습하므로 실행에 5~15초가 걸릴 수 있다.

- 도전 과제는 코드 상단의 파라미터(가중치, 임계값, 용량 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.

- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.

- 실제 SNS 게시물·계정·지명은 입력하지 않는다. 조작물은 탐지 관점에서만 다루며 생성·유포 방법은 실습 범위가 아니다.

**3. 미션 진행 요약**

| **미션** | **난이도·시간** | **핵심 확인 결과** |
| --- | --- | --- |
| **M1. 전장 SNS(텔레그램, X 등) 텍스트/이미지 게시물 수집 및 OSINT 원천 데이터셋 정의** | 초급
1.5시간 | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출 |
| **M2. 게시물 텍스트 불용어 정제, 이미지 해시(pHash) 추출 및 중복 제거 전처리 모듈 구현** | 초급~중급
2시간 | 처리 속도 1,000건/초 이상, 오류율 0%, 결측 보정율 100% |
| **M3. 게시물 유사도 기반 단순 복제본 탐지 및 1차 출처 분류 Baseline 알고리즘 구현** | 중급
2.5시간 | 관계 판별 정확도 75% 이상(예시 98.3%) |
| **M4. 생성형 AI 조작 이미지/텍스트 탐지 및 출처 계정 신뢰도 평가 모델 고도화** | 중급
3시간 | 조작 탐지 재현율 85% 이상(예시 97.3%), 게시물당 200ms 이하 |
| **M5. 가짜 정보(Disinformation) 오분류 방지 및 복합 신뢰도 지수 산출 엔진 개발** | 중급~고급
3시간 | 오경보율 감축 40% 이상(예시 20.0% -> 0.9%, 95.6% 감축) |
| **M6. SNS 전쟁 정보 타임라인 및 출처 신뢰도 네트워크 시각화 대시보드 구현** | 중급
2.5시간 | 스트림 갱신 100ms 이내(예시 1.4ms), 렌더링 1초 이내 |
| **M7. 전술적 파급력이 큰 가짜 정보 식별 시 정보관 HITL 긴급 승인/차단 워크플로우 설계** | 고급
3시간 | 자동 채택·차단 0건, 규칙 위반 4건 차단(자동 처리·역추적 전 결정·허용 외 조치·2차 검토 불일치) |
| **M8. 선전전 폭증 모의 대량 SNS 스트림 데이터 유입 부하 시뮬레이션 테스트** | 고급
3.5시간 | 모든 상황 다운 0건, 유실률 0%(손상 게시물 345건 격리) |
| **M9. AAR 기반 출처 오분류 사례 분석 및 가짜 정보 탐지 룰셋/가중치 재보정** | 고급
3시간 | 원인별 분류 완료, 종합 정확도 +10%p 이상(예시 0.809 -> 0.911) |
| **M10. SNS 전쟁 게시물 신뢰도 자동 분류 시스템 통합 및 정보전 대응 브리핑 패키지 완성** | 최고급
3.5시간 | 자체 점검 10/10 통과, 기능 커버리지 100%(11/11) |

**미션 1. 전장 SNS(텔레그램, X 등) 텍스트/이미지 게시물 수집 및 OSINT 원천 데이터셋 정의**

| **난이도·시간** | 초급 · 1.5시간 |
| --- | --- |

| **진행 순서** | 1) M1 코드를 실행해 정상 샘플 20건의 검증 결과를 확인한다.
2) 오류 주입 결과 5건이 어떤 규칙에 걸렸는지 표로 정리한다.
3) 수집 지연·위치 불확실성 필드와 평가 상태('unassessed')의 의미를 명세서에 적는다. |
| --- | --- |

| **확인할 결과** | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출
필드 17개 + 전달 원본(forwarded_from) 명세 |
| --- | --- |

| **도전 과제** | SCHEMA의 fields에 조회수(view_count, 0 이상) 필드를 추가하고, 음수 값을 넣어 검출되는지 확인한다. |
| --- | --- |

| **제출물** | 스키마 정의 코드, 데이터 명세서(필드·규칙·수집 경위·평가 상태 정의) |
| --- | --- |

**미션 2. 게시물 텍스트 불용어 정제, 이미지 해시(pHash) 추출 및 중복 제거 전처리 모듈 구현**

| **난이도·시간** | 초급~중급 · 2시간 |
| --- | --- |

| **진행 순서** | 1) M2 코드를 실행해 처리 속도, 오류율, 결측 보정 결과를 확인한다.
2) 중복 제거 결과에서 재게시와 조직적 동시 게시가 얼마나 걸러졌는지 확인한다.
3) 정제 전후 예시로 URL·멘션·이모지·전각 문자가 어떻게 처리되는지 설명한다.
4) 단위 테스트 5종과 pHash 거리 그림을 확인한다. |
| --- | --- |

| **확인할 결과** | 처리 속도 1,000건/초 이상, 오류율 0%, 결측 보정율 100%
중복 573건 -> 340건, 단위 테스트 5/5 통과 |
| --- | --- |

| **도전 과제** | 중복 판정의 해시 거리 기준(4)을 10으로 넓히면 제거 건수가 어떻게 바뀌는지 확인하고, 과도한 기준이 서로 다른 사진을 같은 것으로 묶는 위험을 토의한다. |
| --- | --- |

| **제출물** | 전처리 코드, 전처리 전후 데이터 요약, 단위 테스트 결과 |
| --- | --- |

**미션 3. 게시물 유사도 기반 단순 복제본 탐지 및 1차 출처 분류 Baseline 알고리즘 구현**

| **난이도·시간** | 중급 · 2.5시간 |
| --- | --- |

| **진행 순서** | 1) M3 코드를 실행해 게시물 쌍 관계 판별 정확도와 혼동표를 확인한다.
2) 재작성 기준(유사도) 표에서 정확도가 가장 높은 구간을 찾는다.
3) 1차 출처 분류의 유형 정확도와 출처 일치율을 기록하고 일치율이 낮은 이유를 정리한다. |
| --- | --- |

| **확인할 결과** | 관계 판별 정확도 75% 이상(예시 98.3%)
1차 출처 유형 정확도 85.5%, 출처 일치율 64.0%(한계 확인) |
| --- | --- |

| **도전 과제** | relation()에 '같은 지역 코드일 때만 재작성 인정' 조건을 추가해 출처 일치율이 개선되는지 확인한다. |
| --- | --- |

| **제출물** | Baseline 코드, 기본 추론 결과 보고서(혼동표, 출처 분류 결과, 한계) |
| --- | --- |

**미션 4. 생성형 AI 조작 이미지/텍스트 탐지 및 출처 계정 신뢰도 평가 모델 고도화**

| **난이도·시간** | 중급 · 3시간 |
| --- | --- |

| **진행 순서** | 1) M4 코드를 실행해 계정 신뢰도만·내용 탐지만·결합 모델의 재현율과 오경보율을 비교한다.
2) 조작 시나리오 10종 표에서 가장 약한 유형을 찾는다.
3) 사실 게시물 오경보의 유형과 작성 계정 유형을 보고 오경보 유발 패턴을 정리한다. |
| --- | --- |

| **확인할 결과** | 조작 탐지 재현율 85% 이상(예시 97.3%), 게시물당 200ms 이하
시나리오 10종 통과, 오경보는 현지 목격자 계정의 재작성 글에 집중 |
| --- | --- |

| **도전 과제** | ACCOUNT 특징을 빼고 내용 특징만으로 학습하면 어떤 유형의 재현율이 떨어지는지 확인하고, 계정 평판에 기대는 위험(계정 탈취·사칭)을 토의한다. |
| --- | --- |

| **제출물** | 고도화 모델 코드, 시나리오 10종 탐지 시험 결과, 오경보 원인 분석 |
| --- | --- |

**미션 5. 가짜 정보(Disinformation) 오분류 방지 및 복합 신뢰도 지수 산출 엔진 개발**

| **난이도·시간** | 중급~고급 · 3시간 |
| --- | --- |

| **진행 순서** | 1) M5 코드를 실행해 신뢰도 가중치 매트릭스와 등급 분포를 확인한다.
2) 기존 규칙과 엔진의 오경보율·조작 재현율을 비교한다.
3) 허위 의심 기준 민감도 표와 점수 구성 그림으로 기준의 타당성을 판단한다. |
| --- | --- |

| **확인할 결과** | 오경보율 감축 40% 이상(예시 20.0% -> 0.9%, 95.6% 감축)
등급 일관성 90% 이상(예시 98.5%), ROC-AUC 0.993 |
| --- | --- |

| **도전 과제** | WEIGHTS에서 '계정 평판'을 0.40, '독립 출처 교차확인'을 0.05로 바꾸면 사실 게시물 오경보가 어떻게 변하는지 확인하고 적정 가중치를 토의한다. |
| --- | --- |

| **제출물** | 신뢰도 엔진 코드, 기존 규칙 대비 비교표, 가중치 매트릭스와 등급 기준표 |
| --- | --- |

**미션 6. SNS 전쟁 정보 타임라인 및 출처 신뢰도 네트워크 시각화 대시보드 구현**

| **난이도·시간** | 중급 · 2.5시간 |
| --- | --- |

| **진행 순서** | 1) M6 코드를 실행해 스트림 갱신 처리시간과 등급별 현황을 확인한다.
2) 대시보드 4개 구성요소(유입 추이, 전파 네트워크, 계정 유형별 신뢰도, 위험 키워드)를 확인한다.
3) 긴급 강조된 이야기(조직적 동시 게시 + 저신뢰)의 특징을 정리한다. |
| --- | --- |

| **확인할 결과** | 스트림 갱신 100ms 이내(예시 1.4ms), 렌더링 1초 이내
시각화 구성요소 4종, 긴급 강조 이야기 22개 |
| --- | --- |

| **도전 과제** | RISK_WORDS에 새 키워드를 추가하고, 위험 키워드 급증을 자동 강조하는 규칙(예: 직전 구간 대비 2배)을 설계해 본다. |
| --- | --- |

| **제출물** | 대시보드 코드, 모니터링 화면, 긴급 강조 기준과 개선안 |
| --- | --- |

**미션 7. 전술적 파급력이 큰 가짜 정보 식별 시 정보관 HITL 긴급 승인/차단 워크플로우 설계**

| **난이도·시간** | 고급 · 3시간 |
| --- | --- |

| **진행 순서** | 1) M7 코드를 실행해 검토 순서와 차단된 규칙 위반 사례를 확인한다.
2) P0310의 원천 역추적 경로와 2인 확정 과정을 확인한다.
3) 처리 기한(15분) 초과 건이 자동 처리되지 않고 상신되는지 확인한다.
4) 감사 로그 변조 후 검증 결과를 확인한다. |
| --- | --- |

| **확인할 결과** | 자동 채택·차단 0건, 규칙 위반 4건 차단(자동 처리·역추적 전 결정·허용 외 조치·2차 검토 불일치)
로깅 성공률 100%, 변조 위치(6번째 기록) 검출 |
| --- | --- |

| **도전 과제** | SLA_S를 300초로 줄이면 상신 대상이 어떻게 바뀌는지 확인하고, 지휘관 피드백을 다음 검토 순서에 반영하는 방법을 설계한다. |
| --- | --- |

| **제출물** | 긴급 검토 워크플로우 코드, HITL 절차 요약(역추적·2인 확정·처리 기한·근거 기록 요건) |
| --- | --- |

**미션 8. 선전전 폭증 모의 대량 SNS 스트림 데이터 유입 부하 시뮬레이션 테스트**

| **난이도·시간** | 고급 · 3.5시간 |
| --- | --- |

| **진행 순서** | 1) M8 코드를 실행해 정상·기능 축소 모드의 처리 용량을 확인한다.
2) 상황별 수신·처리·격리·잔여·유실·다운과 최대 대기·지연을 확인한다.
3) 처리 자원 축소 상황에서 초별 모드가 어떻게 바뀌는지 보고 병목 구간을 정리한다. |
| --- | --- |

| **확인할 결과** | 모든 상황 다운 0건, 유실률 0%(손상 게시물 345건 격리)
자원 1/4 상황에서 기능 축소 모드 작동, 병목은 이미지 해시 |
| --- | --- |

| **도전 과제** | QUEUE_CAP을 2000으로 줄이면 보관 버퍼 사용과 지연이 어떻게 바뀌는지 확인하고, 이미지 분석 비동기 분리 계획을 세운다. |
| --- | --- |

| **제출물** | 스트레스 시험 코드, 시험 결과표, 병목 분석과 개선 방안 |
| --- | --- |

**미션 9. AAR 기반 출처 오분류 사례 분석 및 가짜 정보 탐지 룰셋/가중치 재보정**

| **난이도·시간** | 고급 · 3시간 |
| --- | --- |

| **진행 순서** | 1) M9 코드를 실행해 초기 설정의 AAR 일지(미탐·오탐 원인)를 확인한다.
2) 격자 탐색 상위 조합과 재보정값을 확인한다.
3) 재보정 전후 정확도, 회귀 시험, 재발 오류를 비교한다. |
| --- | --- |

| **확인할 결과** | 원인별 분류 완료, 종합 정확도 +10%p 이상(예시 0.809 -> 0.911)
회귀 시험 0.843 -> 0.901, 재발 오류와 지속 학습 대책 제시 |
| --- | --- |

| **도전 과제** | 사칭·유사 문자 게시물 일부를 학습 자료에 추가해 다시 학습(지속 학습)하면 재발 오류가 얼마나 줄어드는지 확인한다. |
| --- | --- |

| **제출물** | AAR 보고서(계획·결과·원인·개선), 재보정 파라미터, 회귀 시험 결과 |
| --- | --- |

**미션 10. SNS 전쟁 게시물 신뢰도 자동 분류 시스템 통합 및 정보전 대응 브리핑 패키지 완성**

| **난이도·시간** | 최고급 · 3.5시간 |
| --- | --- |

| **진행 순서** | 1) M10 코드를 실행해 자체 점검 10개 항목이 모두 PASS인지 확인한다.
2) 손상 게시물 차단과 기능 커버리지를 확인한다.
3) 브리핑 요약을 바탕으로 5분 분량 정보전 대응 브리핑 자료와 인접 체계 연동 확장 방안을 작성한다. |
| --- | --- |

| **확인할 결과** | 자체 점검 10/10 통과, 기능 커버리지 100%(11/11)
종합 정확도 94.4%, 조작 탐지 재현율 93.2%, 오경보 4.5%, 자동 차단 0건 |
| --- | --- |

| **도전 과제** | CONFIG의 normalize를 False로 바꿔 실행하고 어떤 점검 항목과 수치가 달라지는지 확인해 브리핑의 '한계'에 반영한다. |
| --- | --- |

| **제출물** | 통합 코드, 정보전 대응 브리핑 자료, 최종 결과 보고서, 사용자 가이드 |
| --- | --- |

**4. 최종 점검표**

| **점검 항목** | **확인** |
| --- | --- |
| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
| 각 미션의 확인할 결과를 기록했다 | ( ) |
| 도전 과제 결과와 이유를 기록했다 | ( ) |
| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
| 실제 SNS 게시물·계정·지명을 사용하지 않았다 | ( ) |
| 채택·차단은 원천 역추적을 거친 정보관 결정으로 표현했다 | ( ) |