시나리오 내용 반영

scenario_md/ISR02-정보·감시·정찰(ISR)_OSINT 분석-SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류/ISR02-정보·감시·정찰(ISR)_OSINT 분석-SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류.md

@@ -0,0 +1,97 @@
+**SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류**
+
+난 이 도 **중급**
+
+| **프로젝트 목표** | 러시아-우크라이나 전쟁에서는 텔레그램·X 같은 SNS에 현장 제보와 함께 재게시, 수치·지역 변조, 과거 사진 재활용, 생성형 AI 조작물, 조직적 동시 유포가 한꺼번에 쏟아지면서 공개출처정보(OSINT)의 출처와 신뢰도를 빠르게 가려내는 일이 정보전의 핵심이 되었다. 본 프로젝트에서는 가상 계정과 가상 지역 코드로 만든 교육용 합성 게시물을 사용해 원천 데이터 스키마 정의, 텍스트 정제와 이미지 지각 해시 기반 중복 제거, 유사도 기반 복제·1차 출처 분류 Baseline, 조작·기만 탐지와 계정 신뢰도 결합 모델, 종합 신뢰도 등급(A~E) 엔진, 정보전 모니터링 대시보드, 정보관 긴급 검토(HITL), 대량 스트림 부하 시험, AAR 재보정, 최종 통합까지 단계별로 구현한다. 최종 목표는 조작 게시물을 놓치지 않으면서 사실 제보를 가짜로 몰지 않고, 파급력이 큰 첩보의 채택·차단은 원천 출처를 확인한 정보관이 결정하도록 설계하는 것이다. |
+| --- | --- |
+
+| **유의사항** | 모든 게시물·계정·지역 코드·이미지는 코드 안에서 만든 교육용 가상 자료이며 실제 채널, 계정, 인물, 지명, 게시물은 사용하지 않는다. 실제 SNS 수집 자료나 부대 자료를 외부 AI 서비스에 입력하지 않으며, 부대 내 촬영은 금지한다. 생성형 AI 조작물은 탐지 측 특징(합성 흔적)만 다루고 생성·유포 기법은 구현하지 않는다. 신뢰도 등급과 '허위 의심' 표시는 검토 우선순위를 정하는 판단 보조 정보이며, 채택·차단과 대외 대응은 정보관 검토와 지휘계통을 따른다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다. |
+| --- | --- |
+
+**1단계. OSINT 원천 데이터 정의 및 게시물 전처리**
+
+| **미션 1. 전장 SNS(텔레그램, X 등) 텍스트/이미지 게시물 수집 및 OSINT 원천 데이터셋 정의** [초급 · 1.5시간] | **미션 1. 전장 SNS(텔레그램, X 등) 텍스트/이미지 게시물 수집 및 OSINT 원천 데이터셋 정의** [초급 · 1.5시간] |
+| --- | --- |
+| **목표** | 텔레그램, X 등 전장 SNS에서 수집한 텍스트·이미지 게시물의 구조를 분석하고, 수집 경위와 주장 내용까지 담은 OSINT 원천 데이터셋 스키마와 검증기를 만든다. |
+| **수행** | 게시물 기본 정보(게시물·계정 ID, 플랫폼, 게시 시각, 본문, 언어), 미디어(종류, 크기, 지각 해시), 전달 원본(forwarded_from), 수집 경위(수집 방식·시각·수집자·수집 지연), 주장 내용(가상 지역 코드, 위치 불확실성), 평가 상태 필드를 정의한다. 수집 단계에서는 진위 판정을 'unassessed'로만 두게 한다. 가상 게시물 20건을 검증하고 허용값·형식·누락·빈 본문 오류 5종을 일부러 넣어 모두 검출되는지 확인한 뒤 명세서로 정리한다. |
+| **산출물** | data/schema/isr02_input_schema.json, docs/isr02_data_spec.md |
+| **평가** | **[필수] 데이터 구조화·검증** — 스키마 필드 정의 완성도 100%, 정상 샘플 검증 오류 0건, 주입한 오류 5종을 모두 검출하고 수집 지연·위치 불확실성 같은 누락 파라미터를 보완했는가. |
+
+| **미션 2. 게시물 텍스트 불용어 정제, 이미지 해시(pHash) 추출 및 중복 제거 전처리 모듈 구현** [초급~중급 · 2시간] | **미션 2. 게시물 텍스트 불용어 정제, 이미지 해시(pHash) 추출 및 중복 제거 전처리 모듈 구현** [초급~중급 · 2시간] |
+| --- | --- |
+| **목표** | 게시물 텍스트의 불용어·특수문자·URL·이모지를 정제하고 이미지 지각 해시(pHash)를 추출해 중복 게시물을 걸러내는 전처리 모듈을 구현한다. |
+| **수행** | 유니코드 정규화(전각 문자 등), URL·멘션·해시태그 기호·특수문자·이모지·불용어 제거, 본문 결측 보정을 구현하고, 32x32 이미지의 DCT 저주파 성분으로 64비트 pHash를 만든다. 정규화 본문과 이미지 해시 거리로 중복을 판정해 가장 이른 게시물만 남기고, 처리 속도·오류율·중복 제거 결과를 측정한다. 단위 테스트 5종으로 정제 규칙과 해시의 강건성·구분력을 확인한다. |
+| **산출물** | src/preprocess/isr02_preprocessor.py, 전처리 전후 데이터셋, 단위 테스트 결과 |
+| **평가** | **[필수] 전처리 구현·효과 검증** — 처리 속도 1,000건/초 이상, 전처리 오류율 0%, 결측 보정율 100%, 단위 테스트 5종을 통과했는가. |
+
+**2단계. 복제·출처 분류 Baseline 구현 및 조작 탐지 고도화**
+
+| **미션 3. 게시물 유사도 기반 단순 복제본 탐지 및 1차 출처 분류 Baseline 알고리즘 구현** [중급 · 2.5시간] | **미션 3. 게시물 유사도 기반 단순 복제본 탐지 및 1차 출처 분류 Baseline 알고리즘 구현** [중급 · 2.5시간] |
+| --- | --- |
+| **목표** | 게시물 간 텍스트·이미지 유사도로 단순 복제와 인용(재작성) 관계를 판별하고 1차 출처를 분류하는 Baseline 알고리즘을 개발한다. |
+| **수행** | 정제 본문의 문자 n-gram TF-IDF 코사인 유사도와 pHash 거리로 복제·재작성·무관 관계를 규칙 판정하고, 재작성 판단 기준을 바꿔 가며 정확도를 1차 조정한다. 전달 경로(forwarded_from)를 끝까지 거슬러 올라가거나, 경로가 없으면 같은 이야기 중 가장 이른 게시물을 1차 출처로 보는 출처 분류를 구현해 유형 정확도와 출처 일치율을 측정하고, 내용 변조를 구분하지 못하는 한계를 정리한다. |
+| **산출물** | src/models/isr02_baseline_model.py, 기본 추론 결과 보고서(관계 판별 혼동표·출처 분류 결과) |
+| **평가** | **[필수] Baseline 구현·성능 측정** — 기본 데이터셋 관계 판별 정확도 75% 이상, 판단 기준(유사도·해시 거리)을 공개하고 출처 분류의 한계를 수치로 설명했는가. |
+
+| **미션 4. 생성형 AI 조작 이미지/텍스트 탐지 및 출처 계정 신뢰도 평가 모델 고도화** [중급 · 3시간] | **미션 4. 생성형 AI 조작 이미지/텍스트 탐지 및 출처 계정 신뢰도 평가 모델 고도화** [중급 · 3시간] |
+| --- | --- |
+| **목표** | 생성형 AI 조작 텍스트·이미지 탐지와 작성 계정 신뢰도 평가를 결합해 가짜 정보 판별 로직을 고도화한다. |
+| **수행** | 같은 이야기로 묶은 게시물 사이의 수량·지역·방향 불일치, 이미지 합성 잡음 불균일·생성형 격자 무늬·과거 이미지 재사용 흔적, 선동형 반복 문체, 조직적 동시 게시 특징을 계산한다. 계정 나이·팔로워·원본 비율·과거 정확도·게시 간격 규칙성으로 계정 신뢰도 모델을 만들고 내용 특징과 결합한 랜덤 포레스트를 학습한다. 수치 과장, 지역 바꾸기, 방향 뒤집기, 과거 이미지 재사용, 이미지 합성, 생성형 이미지, 선동형 문체, 조직적 동시 게시, 짜깁기, 과거 게시물 재활용의 10종 시나리오별 재현율과 처리 지연을 측정하고 오경보 원인을 분석한다. |
+| **산출물** | src/models/isr02_advanced_detector.py, 조작 시나리오 10종 탐지 시험 결과 |
+| **평가** | **[선택] 조작·기만 탐지 고도화** — 복합 위협(조작·기만) 탐지 재현율 85% 이상, 처리 지연 200ms 이하, 시나리오 10종 탐지 시험을 통과하고 오경보 유발 패턴을 제시했는가. |
+
+**3단계. 종합 신뢰도 엔진 및 정보전 모니터링 가시화**
+
+| **미션 5. 가짜 정보(Disinformation) 오분류 방지 및 복합 신뢰도 지수 산출 엔진 개발** [중급~고급 · 3시간] | **미션 5. 가짜 정보(Disinformation) 오분류 방지 및 복합 신뢰도 지수 산출 엔진 개발** [중급~고급 · 3시간] |
+| --- | --- |
+| **목표** | 심리전 게시물의 유포 패턴을 반영해 신뢰도 등급(A~E)과 종합 신뢰도 지수를 산출하고, 사실 게시물을 가짜로 오분류하지 않도록 하는 엔진을 개발한다. |
+| **수행** | 내용 무결성, 계정 평판, 독립 출처 교차확인, 유포 패턴 정상 여부, 시의성 5개 요소를 가중치 매트릭스로 합산해 종합 지수를 만들고 A~E 등급(A·B=High, C=Medium, D·E=Low)을 부여한다. '신생·소규모 계정이면 가짜'로 보는 기존 규칙과 사실 게시물 오경보율을 비교하고, ROC-AUC, 허위 의심 기준 민감도, 측정 잡음에 대한 등급 일관성을 확인하며, 게시물별 점수 구성(불확실성 시각화)을 제시한다. |
+| **산출물** | src/verification/isr02_confidence_engine.py, 기존 규칙 대비 오경보 비교표, 신뢰도 가중치 매트릭스 |
+| **평가** | **[필수] 오분류 방지·신뢰도 일관성** — 오경보율(FAR) 40% 이상 감축, 신뢰도 등급 산출 일관성 90% 이상, A~E 등급과 High/Medium/Low 대응 기준이 군사적으로 타당한가. |
+
+| **미션 6. SNS 전쟁 정보 타임라인 및 출처 신뢰도 네트워크 시각화 대시보드 구현** [중급 · 2.5시간] | **미션 6. SNS 전쟁 정보 타임라인 및 출처 신뢰도 네트워크 시각화 대시보드 구현** [중급 · 2.5시간] |
+| --- | --- |
+| **목표** | SNS 정보의 유입 추이, 전파 경로, 출처별 신뢰도 분포, 위험 키워드 추세를 한눈에 보는 정보전 모니터링 대시보드를 구현한다. |
+| **수행** | 게시물 스트림을 1초 주기 묶음으로 받아 시간대별·등급별 집계와 위험 키워드 집계를 갱신하고 처리시간을 잰다. 신뢰도 등급별 유입 추이, 위험도가 가장 높은 이야기의 전달 경로 네트워크, 계정 유형별 신뢰도 분포, 위험 키워드 추이의 4개 구성요소를 야간 작전용 어두운 화면으로 그리고, 조직적 동시 게시가 있는 저신뢰 이야기를 긴급 항목으로 강조한다. |
+| **산출물** | src/ui/isr02_dashboard.py, 모니터링 화면 |
+| **평가** | **[선택] 정보전 모니터링 가시화** — 화면 갱신 1초 이내·데이터 처리 100ms 이내, 시각화 구성요소 4종 이상, 긴급 항목이 직관적으로 구분되는가. |
+
+**4단계. 정보관 긴급 검토 체계 및 대량 스트림 검증**
+
+| **미션 7. 전술적 파급력이 큰 가짜 정보 식별 시 정보관 HITL 긴급 승인/차단 워크플로우 설계** [고급 · 3시간] | **미션 7. 전술적 파급력이 큰 가짜 정보 식별 시 정보관 HITL 긴급 승인/차단 워크플로우 설계** [고급 · 3시간] |
+| --- | --- |
+| **목표** | 군사적 파급력이 큰 첩보에 대해 정보관이 원천 출처를 직접 역추적한 뒤 채택·차단·보류하는 HITL 긴급 검토 절차를 설계한다. |
+| **수행** | 엔진 결과는 모두 검토 대기로 등록하고 파급력·등급 순으로 정렬한다. 전달 경로를 끝까지 거슬러 원천 게시물을 확인한 기록이 없으면 채택·차단할 수 없게 하고, 파급력이 큰 건은 서로 다른 정보관 2인이 같은 조치에 동의해야 확정되도록 한다. 엔진·시스템 명의의 자동 처리를 차단하고 근거 기록을 강제하며, 처리 기한(15분)을 넘기면 자동 처리 대신 선임 정보관에게 상신한다. 지휘관 피드백까지 해시 체인 감사 로그에 남기고 위·변조를 검출한다. |
+| **산출물** | src/hitl/isr02_approval_workflow.py, docs/isr02_hitl_guide.md |
+| **평가** | **[필수] 긴급 검토·책임 추적** — 자동 채택·차단 0건, 규칙 위반 결정(자동 처리·역추적 전 결정·1인 확정) 차단, 대기시간과 처리 로깅 성공률 100%, 감사 로그 위·변조를 검출했는가. |
+
+| **미션 8. 선전전 폭증 모의 대량 SNS 스트림 데이터 유입 부하 시뮬레이션 테스트** [고급 · 3.5시간] | **미션 8. 선전전 폭증 모의 대량 SNS 스트림 데이터 유입 부하 시뮬레이션 테스트** [고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 선전 공작이 집중되는 상황을 모의해 초당 수천 건의 SNS 게시물 유입 부하 스트레스 테스트를 수행한다. |
+| **수행** | 평시 초당 1,000건과 500% 증가한 초당 6,000건 스트림, 손상 게시물 혼입, 처리 자원 축소 상황을 가상으로 주입한다. 마이크로 배치 처리, 유한 대기열과 초과분 보관 버퍼로 유실을 막고, 1초 안에 비울 수 없으면 이미지 분석을 뒤로 미루는 기능 축소 모드로 전환한다. 수신·처리·격리·잔여 건수를 대조해 유실률을 확인하고 최대 대기·지연, 메모리 변화, 단계별 병목을 측정해 개선 방안을 제시한다. |
+| **산출물** | tests/isr02_stress_test.py, 스트레스 테스트 분석 보고서 |
+| **평가** | **[선택] 대량 스트림 복원력** — 평시 대비 500% 부하에서 시스템 다운 0건, 데이터 유실률 0%(손상 게시물은 격리), 메모리 누수 없음, 기능 축소 모드가 정상 작동하는가. |
+
+**5단계. 사후검토 재보정 및 최종 통합**
+
+| **미션 9. AAR 기반 출처 오분류 사례 분석 및 가짜 정보 탐지 룰셋/가중치 재보정** [고급 · 3시간] | **미션 9. AAR 기반 출처 오분류 사례 분석 및 가짜 정보 탐지 룰셋/가중치 재보정** [고급 · 3시간] |
+| --- | --- |
+| **목표** | AAR 사후검토로 출처·진위 오분류 사례와 신종 변조 패턴을 분석하고 탐지 룰셋과 가중치를 재보정한다. |
+| **수행** | 평판 좋은 계정 사칭과 유사 문자 치환·보이지 않는 문자 삽입이 섞인 모의 운용 결과를 AAR 일지로 정리하고 미탐·오탐을 원인별로 분류한다. 유사 문자 복원·보이지 않는 문자 제거로 정규화 룰셋을 보강하고, 계정 평판 반영 여부와 판정 임계값을 격자 탐색해 종합 정확도가 가장 높은 설정을 고른다. 별도 자료로 회귀 시험을 하고 재발 오류와 지속 학습 연계 방안을 정리한다. |
+| **산출물** | docs/isr02_aar_report.md, configs/isr02_tuned_params.yaml |
+| **평가** | **[필수] AAR 원인 분석·재보정** — 원인별 오분류 분류 완료, 재보정 후 종합 정확도 10%p 이상 향상, 회귀 시험에서 성능 향상 유지, 재발 오류를 확인하고 지속 학습 대책을 제시했는가. |
+
+| **미션 10. SNS 전쟁 게시물 신뢰도 자동 분류 시스템 통합 및 정보전 대응 브리핑 패키지 완성** [최고급 · 3.5시간] | **미션 10. SNS 전쟁 게시물 신뢰도 자동 분류 시스템 통합 및 정보전 대응 브리핑 패키지 완성** [최고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 게시물 검증부터 정제, 이야기 군집, 조작 탐지, 신뢰도 등급, 정보관 검토 대기열, 모니터링 화면까지 시스템을 통합하고 정보전 대응 브리핑 패키지를 완성한다. |
+| **수행** | 재보정 설정으로 전체 과정을 한 번에 실행하는 통합 코드를 완성하고 손상 게시물이 자동 차단되는지 확인한다. 정확도·조작 탐지 재현율·사실 게시물 오경보·자동 처리 여부·감사 로그 무결성·등급 규칙·처리 지연·기능 커버리지 자체 점검을 모두 통과시키고, 처리 현황·성능·등급 분포·주요 조작 유형·한계와 인접 체계 연동 방향을 담은 브리핑 요약과 사용자 가이드를 작성한다. |
+| **산출물** | src/main_isr02.py, README.md, docs/isr02_final_report.pdf(md) |
+| **평가** | **[필수] 통합·브리핑** — 통합 파이프라인 실행 성공률 100%, 자체 점검 항목 전부 통과(기능 커버리지 85% 이상), 브리핑 수치가 실행 결과와 일치하는가. |
+
+**최종 판정**
+
+**판정 기준 :** 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.
+
+최종 판정 결과 : ( PASS / FAIL )
+
+평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)

scenario_md/ISR02-정보·감시·정찰(ISR)_OSINT 분석-SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류/ISR02_실습가이드.md

@@ -0,0 +1,271 @@
+**ISR02 실습가이드 - SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류**
+
+구    분 **실습가이드 [교육용가상자료]**
+
+**1. 실습 개요**
+
+본 실습은 가상 계정·가상 지역 코드로 만든 교육용 합성 SNS 게시물(텍스트와 32x32 이미지)로 중복·변조 탐지와 출처 신뢰도 자동 분류 시스템을 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(ISR02_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다. 신뢰도 등급과 '허위 의심'은 결론이 아니라 정보관 검토 우선순위라는 점을 결과 해석에 반영한다.
+
+| **과제** | ISR02 SNS 전쟁 게시물 중복·변조·출처 신뢰도 자동 분류 |
+| --- | --- |
+
+| **난이도·유형** | 중급 / 코딩형 |
+| --- | --- |
+
+| **예상 소요시간** | 미션 10개, 총 27.5시간 |
+| --- | --- |
+
+| **준비물** | ISR02_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
+| --- | --- |
+
+**2. 진행 방법**
+
+- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 게시물 생성 함수가 빠져 오류가 난다).
+
+- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 판정 결과와 성능 수치는 같게 나오며, 처리 속도·시간(ms, 건/초)은 실행 환경에 따라 달라진다.
+
+- 미션 4·5·6·8·9·10은 가상 게시물 수백~수만 건을 만들고 학습하므로 실행에 5~15초가 걸릴 수 있다.
+
+- 도전 과제는 코드 상단의 파라미터(가중치, 임계값, 용량 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
+
+- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.
+
+- 실제 SNS 게시물·계정·지명은 입력하지 않는다. 조작물은 탐지 관점에서만 다루며 생성·유포 방법은 실습 범위가 아니다.
+
+**3. 미션 진행 요약**
+
+| **미션** | **난이도·시간** | **핵심 확인 결과** |
+| --- | --- | --- |
+| **M1. 전장 SNS(텔레그램, X 등) 텍스트/이미지 게시물 수집 및 OSINT 원천 데이터셋 정의** | 초급
+1.5시간 | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출 |
+| **M2. 게시물 텍스트 불용어 정제, 이미지 해시(pHash) 추출 및 중복 제거 전처리 모듈 구현** | 초급~중급
+2시간 | 처리 속도 1,000건/초 이상, 오류율 0%, 결측 보정율 100% |
+| **M3. 게시물 유사도 기반 단순 복제본 탐지 및 1차 출처 분류 Baseline 알고리즘 구현** | 중급
+2.5시간 | 관계 판별 정확도 75% 이상(예시 98.3%) |
+| **M4. 생성형 AI 조작 이미지/텍스트 탐지 및 출처 계정 신뢰도 평가 모델 고도화** | 중급
+3시간 | 조작 탐지 재현율 85% 이상(예시 97.3%), 게시물당 200ms 이하 |
+| **M5. 가짜 정보(Disinformation) 오분류 방지 및 복합 신뢰도 지수 산출 엔진 개발** | 중급~고급
+3시간 | 오경보율 감축 40% 이상(예시 20.0% -> 0.9%, 95.6% 감축) |
+| **M6. SNS 전쟁 정보 타임라인 및 출처 신뢰도 네트워크 시각화 대시보드 구현** | 중급
+2.5시간 | 스트림 갱신 100ms 이내(예시 1.4ms), 렌더링 1초 이내 |
+| **M7. 전술적 파급력이 큰 가짜 정보 식별 시 정보관 HITL 긴급 승인/차단 워크플로우 설계** | 고급
+3시간 | 자동 채택·차단 0건, 규칙 위반 4건 차단(자동 처리·역추적 전 결정·허용 외 조치·2차 검토 불일치) |
+| **M8. 선전전 폭증 모의 대량 SNS 스트림 데이터 유입 부하 시뮬레이션 테스트** | 고급
+3.5시간 | 모든 상황 다운 0건, 유실률 0%(손상 게시물 345건 격리) |
+| **M9. AAR 기반 출처 오분류 사례 분석 및 가짜 정보 탐지 룰셋/가중치 재보정** | 고급
+3시간 | 원인별 분류 완료, 종합 정확도 +10%p 이상(예시 0.809 -> 0.911) |
+| **M10. SNS 전쟁 게시물 신뢰도 자동 분류 시스템 통합 및 정보전 대응 브리핑 패키지 완성** | 최고급
+3.5시간 | 자체 점검 10/10 통과, 기능 커버리지 100%(11/11) |
+
+**미션 1. 전장 SNS(텔레그램, X 등) 텍스트/이미지 게시물 수집 및 OSINT 원천 데이터셋 정의**
+
+| **난이도·시간** | 초급 · 1.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M1 코드를 실행해 정상 샘플 20건의 검증 결과를 확인한다.
+2) 오류 주입 결과 5건이 어떤 규칙에 걸렸는지 표로 정리한다.
+3) 수집 지연·위치 불확실성 필드와 평가 상태('unassessed')의 의미를 명세서에 적는다. |
+| --- | --- |
+
+| **확인할 결과** | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출
+필드 17개 + 전달 원본(forwarded_from) 명세 |
+| --- | --- |
+
+| **도전 과제** | SCHEMA의 fields에 조회수(view_count, 0 이상) 필드를 추가하고, 음수 값을 넣어 검출되는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 스키마 정의 코드, 데이터 명세서(필드·규칙·수집 경위·평가 상태 정의) |
+| --- | --- |
+
+**미션 2. 게시물 텍스트 불용어 정제, 이미지 해시(pHash) 추출 및 중복 제거 전처리 모듈 구현**
+
+| **난이도·시간** | 초급~중급 · 2시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M2 코드를 실행해 처리 속도, 오류율, 결측 보정 결과를 확인한다.
+2) 중복 제거 결과에서 재게시와 조직적 동시 게시가 얼마나 걸러졌는지 확인한다.
+3) 정제 전후 예시로 URL·멘션·이모지·전각 문자가 어떻게 처리되는지 설명한다.
+4) 단위 테스트 5종과 pHash 거리 그림을 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 처리 속도 1,000건/초 이상, 오류율 0%, 결측 보정율 100%
+중복 573건 -> 340건, 단위 테스트 5/5 통과 |
+| --- | --- |
+
+| **도전 과제** | 중복 판정의 해시 거리 기준(4)을 10으로 넓히면 제거 건수가 어떻게 바뀌는지 확인하고, 과도한 기준이 서로 다른 사진을 같은 것으로 묶는 위험을 토의한다. |
+| --- | --- |
+
+| **제출물** | 전처리 코드, 전처리 전후 데이터 요약, 단위 테스트 결과 |
+| --- | --- |
+
+**미션 3. 게시물 유사도 기반 단순 복제본 탐지 및 1차 출처 분류 Baseline 알고리즘 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M3 코드를 실행해 게시물 쌍 관계 판별 정확도와 혼동표를 확인한다.
+2) 재작성 기준(유사도) 표에서 정확도가 가장 높은 구간을 찾는다.
+3) 1차 출처 분류의 유형 정확도와 출처 일치율을 기록하고 일치율이 낮은 이유를 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 관계 판별 정확도 75% 이상(예시 98.3%)
+1차 출처 유형 정확도 85.5%, 출처 일치율 64.0%(한계 확인) |
+| --- | --- |
+
+| **도전 과제** | relation()에 '같은 지역 코드일 때만 재작성 인정' 조건을 추가해 출처 일치율이 개선되는지 확인한다. |
+| --- | --- |
+
+| **제출물** | Baseline 코드, 기본 추론 결과 보고서(혼동표, 출처 분류 결과, 한계) |
+| --- | --- |
+
+**미션 4. 생성형 AI 조작 이미지/텍스트 탐지 및 출처 계정 신뢰도 평가 모델 고도화**
+
+| **난이도·시간** | 중급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M4 코드를 실행해 계정 신뢰도만·내용 탐지만·결합 모델의 재현율과 오경보율을 비교한다.
+2) 조작 시나리오 10종 표에서 가장 약한 유형을 찾는다.
+3) 사실 게시물 오경보의 유형과 작성 계정 유형을 보고 오경보 유발 패턴을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 조작 탐지 재현율 85% 이상(예시 97.3%), 게시물당 200ms 이하
+시나리오 10종 통과, 오경보는 현지 목격자 계정의 재작성 글에 집중 |
+| --- | --- |
+
+| **도전 과제** | ACCOUNT 특징을 빼고 내용 특징만으로 학습하면 어떤 유형의 재현율이 떨어지는지 확인하고, 계정 평판에 기대는 위험(계정 탈취·사칭)을 토의한다. |
+| --- | --- |
+
+| **제출물** | 고도화 모델 코드, 시나리오 10종 탐지 시험 결과, 오경보 원인 분석 |
+| --- | --- |
+
+**미션 5. 가짜 정보(Disinformation) 오분류 방지 및 복합 신뢰도 지수 산출 엔진 개발**
+
+| **난이도·시간** | 중급~고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M5 코드를 실행해 신뢰도 가중치 매트릭스와 등급 분포를 확인한다.
+2) 기존 규칙과 엔진의 오경보율·조작 재현율을 비교한다.
+3) 허위 의심 기준 민감도 표와 점수 구성 그림으로 기준의 타당성을 판단한다. |
+| --- | --- |
+
+| **확인할 결과** | 오경보율 감축 40% 이상(예시 20.0% -> 0.9%, 95.6% 감축)
+등급 일관성 90% 이상(예시 98.5%), ROC-AUC 0.993 |
+| --- | --- |
+
+| **도전 과제** | WEIGHTS에서 '계정 평판'을 0.40, '독립 출처 교차확인'을 0.05로 바꾸면 사실 게시물 오경보가 어떻게 변하는지 확인하고 적정 가중치를 토의한다. |
+| --- | --- |
+
+| **제출물** | 신뢰도 엔진 코드, 기존 규칙 대비 비교표, 가중치 매트릭스와 등급 기준표 |
+| --- | --- |
+
+**미션 6. SNS 전쟁 정보 타임라인 및 출처 신뢰도 네트워크 시각화 대시보드 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M6 코드를 실행해 스트림 갱신 처리시간과 등급별 현황을 확인한다.
+2) 대시보드 4개 구성요소(유입 추이, 전파 네트워크, 계정 유형별 신뢰도, 위험 키워드)를 확인한다.
+3) 긴급 강조된 이야기(조직적 동시 게시 + 저신뢰)의 특징을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 스트림 갱신 100ms 이내(예시 1.4ms), 렌더링 1초 이내
+시각화 구성요소 4종, 긴급 강조 이야기 22개 |
+| --- | --- |
+
+| **도전 과제** | RISK_WORDS에 새 키워드를 추가하고, 위험 키워드 급증을 자동 강조하는 규칙(예: 직전 구간 대비 2배)을 설계해 본다. |
+| --- | --- |
+
+| **제출물** | 대시보드 코드, 모니터링 화면, 긴급 강조 기준과 개선안 |
+| --- | --- |
+
+**미션 7. 전술적 파급력이 큰 가짜 정보 식별 시 정보관 HITL 긴급 승인/차단 워크플로우 설계**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M7 코드를 실행해 검토 순서와 차단된 규칙 위반 사례를 확인한다.
+2) P0310의 원천 역추적 경로와 2인 확정 과정을 확인한다.
+3) 처리 기한(15분) 초과 건이 자동 처리되지 않고 상신되는지 확인한다.
+4) 감사 로그 변조 후 검증 결과를 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 자동 채택·차단 0건, 규칙 위반 4건 차단(자동 처리·역추적 전 결정·허용 외 조치·2차 검토 불일치)
+로깅 성공률 100%, 변조 위치(6번째 기록) 검출 |
+| --- | --- |
+
+| **도전 과제** | SLA_S를 300초로 줄이면 상신 대상이 어떻게 바뀌는지 확인하고, 지휘관 피드백을 다음 검토 순서에 반영하는 방법을 설계한다. |
+| --- | --- |
+
+| **제출물** | 긴급 검토 워크플로우 코드, HITL 절차 요약(역추적·2인 확정·처리 기한·근거 기록 요건) |
+| --- | --- |
+
+**미션 8. 선전전 폭증 모의 대량 SNS 스트림 데이터 유입 부하 시뮬레이션 테스트**
+
+| **난이도·시간** | 고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M8 코드를 실행해 정상·기능 축소 모드의 처리 용량을 확인한다.
+2) 상황별 수신·처리·격리·잔여·유실·다운과 최대 대기·지연을 확인한다.
+3) 처리 자원 축소 상황에서 초별 모드가 어떻게 바뀌는지 보고 병목 구간을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 모든 상황 다운 0건, 유실률 0%(손상 게시물 345건 격리)
+자원 1/4 상황에서 기능 축소 모드 작동, 병목은 이미지 해시 |
+| --- | --- |
+
+| **도전 과제** | QUEUE_CAP을 2000으로 줄이면 보관 버퍼 사용과 지연이 어떻게 바뀌는지 확인하고, 이미지 분석 비동기 분리 계획을 세운다. |
+| --- | --- |
+
+| **제출물** | 스트레스 시험 코드, 시험 결과표, 병목 분석과 개선 방안 |
+| --- | --- |
+
+**미션 9. AAR 기반 출처 오분류 사례 분석 및 가짜 정보 탐지 룰셋/가중치 재보정**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M9 코드를 실행해 초기 설정의 AAR 일지(미탐·오탐 원인)를 확인한다.
+2) 격자 탐색 상위 조합과 재보정값을 확인한다.
+3) 재보정 전후 정확도, 회귀 시험, 재발 오류를 비교한다. |
+| --- | --- |
+
+| **확인할 결과** | 원인별 분류 완료, 종합 정확도 +10%p 이상(예시 0.809 -> 0.911)
+회귀 시험 0.843 -> 0.901, 재발 오류와 지속 학습 대책 제시 |
+| --- | --- |
+
+| **도전 과제** | 사칭·유사 문자 게시물 일부를 학습 자료에 추가해 다시 학습(지속 학습)하면 재발 오류가 얼마나 줄어드는지 확인한다. |
+| --- | --- |
+
+| **제출물** | AAR 보고서(계획·결과·원인·개선), 재보정 파라미터, 회귀 시험 결과 |
+| --- | --- |
+
+**미션 10. SNS 전쟁 게시물 신뢰도 자동 분류 시스템 통합 및 정보전 대응 브리핑 패키지 완성**
+
+| **난이도·시간** | 최고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M10 코드를 실행해 자체 점검 10개 항목이 모두 PASS인지 확인한다.
+2) 손상 게시물 차단과 기능 커버리지를 확인한다.
+3) 브리핑 요약을 바탕으로 5분 분량 정보전 대응 브리핑 자료와 인접 체계 연동 확장 방안을 작성한다. |
+| --- | --- |
+
+| **확인할 결과** | 자체 점검 10/10 통과, 기능 커버리지 100%(11/11)
+종합 정확도 94.4%, 조작 탐지 재현율 93.2%, 오경보 4.5%, 자동 차단 0건 |
+| --- | --- |
+
+| **도전 과제** | CONFIG의 normalize를 False로 바꿔 실행하고 어떤 점검 항목과 수치가 달라지는지 확인해 브리핑의 '한계'에 반영한다. |
+| --- | --- |
+
+| **제출물** | 통합 코드, 정보전 대응 브리핑 자료, 최종 결과 보고서, 사용자 가이드 |
+| --- | --- |
+
+**4. 최종 점검표**
+
+| **점검 항목** | **확인** |
+| --- | --- |
+| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
+| 각 미션의 확인할 결과를 기록했다 | ( ) |
+| 도전 과제 결과와 이유를 기록했다 | ( ) |
+| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
+| 실제 SNS 게시물·계정·지명을 사용하지 않았다 | ( ) |
+| 채택·차단은 원천 역추적을 거친 정보관 결정으로 표현했다 | ( ) |