pbl02/scenario_md/ISR06-정보·감시·정찰(ISR)_정보 분석-다출처 ISR 보고서 신뢰도 등급·교차검증 절차/ISR06-정보·감시·정찰(ISR)_정보 분석-다출처 ISR 보고서 신뢰도 등급·교차검증 절차.md

**다출처 ISR 보고서 신뢰도 등급·교차검증 절차**

난 이 도 **중급**

| **프로젝트 목표** | 러시아-우크라이나 전쟁과 미국-이란 간 긴장 국면에서는 인간정보(HUMINT), 신호정보(SIGINT), 영상정보(IMINT), 공개출처정보(OSINT)가 동시에 쏟아지면서, 서로 어긋나는 첩보와 의도적으로 흘린 기만 정보, 한 출처를 여러 번 되풀이 인용한 보고가 판단을 흔드는 일이 반복되었다. 이런 상황에서는 출처가 얼마나 믿을 만한지와 정보 자체가 얼마나 정확한지를 따로 평가하고, 단일 출처만으로 결론을 내리지 않는 절차가 분석의 기본이 된다. 본 프로젝트에서는 교육용 가상 지역과 가상 첩보 보고를 사용해 다출처 보고서의 구조 분석, 출처 신뢰성 A~F와 정보 정확성 1~6을 결합한 등급 매트릭스 설계, 상충 정보 교차검증 기준, 승인·보류 판단 지침, 모의 교차검증, 기만 주입 스트레스 테스트, AAR, 보정과 1페이지 브리핑을 차례로 수행한다. 최종 목표는 근거·책임 직책·기록 요건이 분명한 다출처 ISR 신뢰도 등급화 및 교차검증 표준운용절차(SOP)를 문서로 완성하는 것이다. |
| --- | --- |

| **유의사항** | 모든 지역·출처·보고·시각·수치·직책 배치는 교육용 가상 자료이며 실제 부대명, 위치, 정보 수집 수단·능력, 실제 첩보 내용, 정보기관 정보는 사용하지 않는다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 본 과제는 정보 수집 방법이 아니라 이미 수집된 가상 보고의 신뢰도 평가와 승인·보류 판단 절차를 연습하는 문서 작업이며, 최종 판단은 사람(분석관·책임자)이 내린다. 실제 교전·작전 여부는 교전수칙과 지휘계통에 따르고, 교전수칙·국제법 쟁점은 법무 부서 검토로 연계한다. 이 자료의 등급 매트릭스와 권한 구분은 학습용 가상 기준이다. |
| --- | --- |

**1단계. 다출처 보고서 구조 분석 및 신뢰도 등급 매트릭스 설계**

| **미션 1. 다출처(HUMINT, SIGINT, OSINT, IMINT) ISR 첩보 보고서 구조 및 수집 체계 분석** [초급 · 1.5시간] | **미션 1. 다출처(HUMINT, SIGINT, OSINT, IMINT) ISR 첩보 보고서 구조 및 수집 체계 분석** [초급 · 1.5시간] |
| --- | --- |
| **목표** | HUMINT·SIGINT·IMINT·OSINT 다출처 첩보 보고서의 구조와 출처별 수집 환경의 차이를 분석하고, SOP 전체 문서 골격을 정의한다. |
| **수행** | 실습자료의 가상 첩보 보고 사례 5건을 읽고 각 보고가 어느 출처 유형인지, 보고서에 어떤 항목(출처 설명, 수집 시각, 내용, 신뢰도 표기, 한계)이 들어 있는지 비교표로 정리한다. 출처 유형마다 생기기 쉬운 약점(예: 인간정보의 전달 지연, 영상정보의 판독 한계, 공개출처의 조작 가능성)을 적는다. 지휘관이 가장 먼저 알아야 할 의제 순으로 SOP 8개 장의 목차를 배열한다. |
| **산출물** | docs/isr06_doc_framework.md 및 분석 개요서(출처별 보고서 구조 비교표, SOP 목차 골격) |
| **평가** | **[필수] 보고서 구조 분석·문서 골격** — 가상 보고 사례 5건 이상을 검토해 출처 유형별 구조와 약점을 비교했는가, SOP 목차(8개 장) 골격을 100% 정의하고 지휘관 결심 의제 순으로 배열했는가. |

| **미션 2. 다출처 첩보 신뢰도(출처 신뢰성·정보 정확성) 6단계 등급 매트릭스 설계** [초급~중급 · 2시간] | **미션 2. 다출처 첩보 신뢰도(출처 신뢰성·정보 정확성) 6단계 등급 매트릭스 설계** [초급~중급 · 2시간] |
| --- | --- |
| **목표** | 출처 신뢰성(A~F)과 정보 정확성(1~6)을 결합한 6x6 신뢰도 평가 매트릭스를 설계하고, 평가 지표와 편향 방지 장치를 함께 정한다. |
| **수행** | 출처 신뢰성 6단계(A~F)와 정보 정확성 6단계(1~6)의 판정 기준을 관찰 가능한 문장으로 작성하고, 두 축을 따로 평가한 뒤 결합 코드(예: B2)로 표기하는 방식을 정한다. 평가 지표를 10개 이상 정의하고 지표마다 확인 방법을 적는다. 가상 보고 5종에 조원이 각자 등급을 매겨 일치 여부를 비교하고, 불일치한 지점의 기준 문구를 고친다. 단일 출처 의존 경고와 교차검증 필수 규칙을 명시한다. |
| **산출물** | framework/isr06_source_reliability_matrix.md(6x6 신뢰도 매트릭스, 평가 지표표, 교차검증 필수 규칙) |
| **평가** | **[필수] 6단계 등급 매트릭스·평가 지표** — 신뢰도 기준 6단계(두 축 모두)를 완비하고 평가 지표 10개 이상을 정의했는가, 가상 보고 5종에 대한 조원 간 등급 일치가 4건 이상이고 단일 출처 의존 경고와 교차검증 필수 규칙을 명시했는가. |

**2단계. 상충 정보 교차검증 기준 수립 및 승인·보류 지침서 작성**

| **미션 3. 정보 출처별 상충 정보 식별 및 교차검증(Cross-validation) 세부 평가 기준 수립** [중급 · 2.5시간] | **미션 3. 정보 출처별 상충 정보 식별 및 교차검증(Cross-validation) 세부 평가 기준 수립** [중급 · 2.5시간] |
| --- | --- |
| **목표** | 서로 상충하는 첩보가 들어왔을 때 상충을 식별하고 우선순위와 검증 방법을 정하는 교차검증 세부 기준을 수립한다. |
| **수행** | 가상 상충 보고 쌍 4건을 읽고 상충이 시각, 위치, 규모, 주체 중 무엇에서 생겼는지 분류한다. 상충의 원인(출처 오류, 시차, 기만, 한 출처의 재인용)을 후보로 나열하고 확인 방법을 정한다. 보고서 판단을 흔드는 관측 공백·정보 공백 요인을 8개 이상 찾아 불확실성 영향도(높음·중간·낮음)를 매기고, 공백별 대체 수집 수단과 판단의 한계를 적는다. 결론에는 확신 수준을 과장하지 않는 표현 규칙을 둔다. |
| **산출물** | analysis/isr06_uncertainty_assessment.md(상충 분류표, 정보 공백·불확실성 영향도 매트릭스, 판단 한계 문서) |
| **평가** | **[필수] 교차검증 기준·불확실성 평가** — 정보 공백 요인 8개 이상과 영향도 매트릭스를 도출했는가, 상충 보고 4건에 원인 후보와 확인 방법을 적고 판단 한계와 대체 수집 수단을 명시했는가. |

| **미션 4. 단일 출처 단정 방지를 위한 다출처 승인/보류(Hold) 판단 지침서 초안 작성** [중급 · 3시간] | **미션 4. 단일 출처 단정 방지를 위한 다출처 승인/보류(Hold) 판단 지침서 초안 작성** [중급 · 3시간] |
| --- | --- |
| **목표** | 단일 출처만으로 결론을 내리지 않도록, 근거 항목과 가중치로 승인·보류(Hold)를 판정하는 다출처 판단 지침서 초안을 작성한다. |
| **수행** | 보고의 주장(어떤 주체가 어떤 행위를 했다는 귀속 판단 포함)을 뒷받침하거나 반박하는 근거를 12개 이상 항목화하고 항목별 가중치로 근거 종합 점수 산식을 정한다. 서로 다른 유형의 출처가 일치하는지, 반대 근거가 있는지, 확인 불가 항목이 몇 개인지를 점수에 반영한다. 점수 미달이거나 반대 근거가 하나라도 있으면 보류와 추가 수집 요청으로 가도록 절차를 쓰고 가상 사례 3종에 적용한다. 레드팀이 반박하게 하여 최소 증거 요건을 보완한다. 법적 쟁점은 법무 검토 연계 항목으로만 표시한다. |
| **산출물** | matrix/isr06_attribution_matrix.xlsx(md)(근거 매트릭스, 가중치 산식), 승인·보류 판단 지침서 초안 |
| **평가** | **[선택] 근거 항목·승인·보류 지침** — 근거 12개 이상 항목화와 가중치 산식을 100% 정립했는가, 사례 3종 적용 결과를 기록하고 레드팀 반박에 대응해 최소 증거 요건을 설정했는가. |

**3단계. 복합 시나리오 교차검증 모의 작성 및 보고·추적 서식 제작**

| **미션 5. 가상 전장 복합 시나리오 기반 다출처 ISR 보고서 교차검증 모의 작성 실습** [중급~고급 · 3시간] | **미션 5. 가상 전장 복합 시나리오 기반 다출처 ISR 보고서 교차검증 모의 작성 실습** [중급~고급 · 3시간] |
| --- | --- |
| **목표** | 가상 복합 전장 시나리오의 다출처 보고서를 교차 분석하고 종합 신뢰도 등급을 부여해 승인·보류 분기점과 책임 직책을 확정한다. |
| **수행** | M2~M4 기준을 출처 신뢰도, 교차검증 일치, 반대 근거, 판단 권한 순의 의사결정 트리로 묶고 분기점마다 조건과 책임 직책을 적는다. 판단이 애매한 경계선 보고 묶음 5종에 트리를 적용해 조별로 '승인·보류 유지·추가 수집 요청' 중 하나를 고르고 근거를 기록한다. 긴급 상황의 신속 승인은 확인 단계를 줄이는 방식이 아니라 사후 감사를 강화하는 방식으로 설계한다. |
| **산출물** | sop/isr06_approval_thresholds_sop.md(승인·보류 기준, 의사결정 트리), 모의 결심 기록지 |
| **평가** | **[필수] 분기점·책임 매핑·모의 교차검증** — 분기점 조건 100% 명시와 책임 직책 매핑을 완료했는가, 경계선 사례 5종 모두에 판단과 근거가 기록되고 교전수칙·인도주의 원칙 준수와 사람의 최종 판단을 지켰는가. |

| **미션 6. 지휘관 브리핑용 ISR 신뢰도 등급화 요약 차트 및 출처 추적 템플릿 제작** [중급 · 2.5시간] | **미션 6. 지휘관 브리핑용 ISR 신뢰도 등급화 요약 차트 및 출처 추적 템플릿 제작** [중급 · 2.5시간] |
| --- | --- |
| **목표** | 지휘관 브리핑용 신뢰도 등급화 요약 차트와, 출처별 근거를 사실·판단·조치·미확인으로 추적하는 기록 서식을 만든다. |
| **수행** | 한눈에 보는 요약 차트(주장, 종합 등급, 근거 출처 수, 반대 근거, 보류 여부)와 출처 추적 템플릿(출처 ID, 수집 시각, 원문 요약, 재인용 여부)을 만든다. 기록 서식은 사실, 판단과 근거, 취한 조치, 미확인 사항 칸을 분리하고 '확실', '아마', '틀림없이'처럼 혼동을 부르는 표현의 금지 목록과 대체 표현을 정한다. 가상 보고 3종을 옮겨 적어 분류가 일관되는지 확인하고 요약형과 상세형을 모두 구성한다. |
| **산출물** | templates/isr06_aar_fact_action_template.md(요약 차트, 출처 추적 템플릿, 요약형·상세형 기록 서식) |
| **평가** | **[선택] 요약 차트·출처 추적 서식** — 기록 분류 규칙을 100% 표준화하고 혼동 유발 단어 금지 목록을 포함했는가, 가상 보고 3종을 서식으로 옮겼을 때 사실·판단 혼동이 0건인가. |

**4단계. 기만 첩보 스트레스 테스트 및 AAR 원인 분석**

| **미션 7. 기만 첩보 주입 상황 모의 교차검증 스트레스 테스트 및 블라인드 검증** [고급 · 3시간] | **미션 7. 기만 첩보 주입 상황 모의 교차검증 스트레스 테스트 및 블라인드 검증** [고급 · 3시간] |
| --- | --- |
| **목표** | 기만 첩보와 출처 간 모순이 대량으로 주입되는 상황에서 분석이 흔들리지 않는지 스트레스 테스트로 확인하고 평가 루브릭을 만든다. |
| **수행** | 정해진 시간에 보고 카드가 연달아 투입되고 그중 일부는 기만(같은 출처의 재인용, 시각이 조작된 게시물, 사실을 섞은 허위 보고)인 조건에서 조별로 등급을 부여한다. 분석 수행을 출처 평가, 상충 식별, 기만 징후 인식, 보류 원칙 준수, 기록 5개 영역과 탁월·우수·보통·미흡 4등급으로 평가하는 루브릭을 만든다. 평가자 2명이 독립 채점해 일치율을 계산하고, 블라인드(정답 비공개) 방식으로 기만 보고 식별 결과를 점검한다. |
| **산출물** | rubric/isr06_evaluation_rubric.md(5영역 4등급 루브릭, 모의 채점표 예시) |
| **평가** | **[필수] 기만 스트레스·평가 루브릭** — 5개 영역 4등급 기준 정의율 100%, 평가자 2명의 채점 일치율 80% 이상, 기만 보고를 높은 등급으로 승인한 판단이 0건인가. |

| **미션 8. AAR을 통한 첩보 불일치 해결 실패 원인 분석 및 교차검증 루브릭 개선** [고급 · 3.5시간] | **미션 8. AAR을 통한 첩보 불일치 해결 실패 원인 분석 및 교차검증 루브릭 개선** [고급 · 3.5시간] |
| --- | --- |
| **목표** | AAR 사후검토로 정보 상충 해결 실패와 분석관 확증 편향 사례의 원인을 분석하고, 레드팀 비판으로 루브릭과 기준의 취약한 전제를 찾는다. |
| **수행** | 가상 AAR 일지 2건(상충 해결 실패 사례, 확증 편향 사례)을 시간순으로 재구성하고 원인을 사람·절차·정보·통신으로 나눈다. 레드팀은 기준서의 약한 전제(예: '신뢰성 A 출처는 틀리지 않는다')를 5건 이상 비판하고 작성 팀은 쟁점마다 반박 또는 수정안을 낸다. 보류가 지나치게 잦아 정보 지원이 늦어지는 반대 방향의 위험도 다루고 개정한 루브릭 문구를 정리한다. |
| **산출물** | reports/isr06_redteam_critique_report.md(AAR 원인 분석표, 레드팀 쟁점·대응표, 검토 회의록, 수정 반영 계획표) |
| **평가** | **[선택] AAR 원인·레드팀 검토** — 비판적 쟁점 5건 이상을 도출하고 쟁점별 반박·수정 대안을 100% 수립했는가, 취약한 전제에 경고 문구를 명시했는가. |

**5단계. 최종 보정·브리핑 및 SOP 최종 완성**

| **미션 9. 피드백 반영 다출처 보고서 최종 보정 및 정보 판단 신뢰성 검증** [고급 · 3시간] | **미션 9. 피드백 반영 다출처 보고서 최종 보정 및 정보 판단 신뢰성 검증** [고급 · 3시간] |
| --- | --- |
| **목표** | M7·M8 피드백으로 교차검증 보고서와 기준을 최종 보정하고 같은 사례로 재검증한 뒤, 지휘관 1페이지 브리핑으로 정리한다. |
| **수행** | 개선 전후 기준을 나란히 놓고 바뀐 조건과 이유(근거 미션)를 적는다. M5 경계선 사례와 M8 AAR 사례 7건에 개선 기준을 다시 적용해 판단 결과, 조원 간 일치, 판단 소요 시간 변화를 비교한다. 결론부터 쓰는(BLUF) 1페이지 브리핑에 핵심 결심 사항, 위험 요소(신호등 표시), 대안 3종을 담아 3분 안에 발표하고 질의에 답한다. |
| **산출물** | briefing/isr06_commander_1page_brief.md(pdf)(개선 전후 비교표, 재검증 결과표, 1페이지 브리핑) |
| **평가** | **[필수] 최종 보정·브리핑 검증** — 재검증 7건의 결과를 개선 전후 비교표로 제시했는가, 핵심 결심 사항·위험 요소·대안 3종이 A4 1페이지에 담기고 3분 안에 전달되었는가. |

| **미션 10. 다출처 ISR 신뢰도 등급화 및 교차검증 실무 표준운용절차(SOP) 완성** [최고급 · 3시간] | **미션 10. 다출처 ISR 신뢰도 등급화 및 교차검증 실무 표준운용절차(SOP) 완성** [최고급 · 3시간] |
| --- | --- |
| **목표** | 앞 미션의 결과물을 통합해 다출처 ISR 신뢰도 등급화 및 교차검증 표준운용절차(SOP)를 8개 장과 부록으로 완성한다. |
| **수행** | 목적·적용 범위, 용어 정의, 출처 유형과 보고서 구조, 신뢰도 등급화, 교차검증과 승인·보류, 기록·보고, 훈련·평가, 개정 관리의 8개 장과 부록(등급 매트릭스, 의사결정 트리, 기록 서식, 루브릭)을 편집한다. 모든 기준 옆에 근거(어느 미션 결과·어느 가상 자료인지)를 표기하고, 교리·법무·작전 역할로 나눈 조별 모의 심의의 지적 사항을 반영한다. 연 1회 개정 주기와 실무 의견 수렴 방법을 명시한다. |
| **산출물** | manual/isr06_standard_operational_manual.md(다출처 ISR 신뢰도 등급화·교차검증 SOP 최종본) |
| **평가** | **[필수] SOP 최종 완성** — 8개 장과 부록을 100% 완성하고 모든 기준에 근거(미션·가상 자료)를 표기했는가, 모의 심의 지적 사항을 반영하고 '최종 판단은 사람이 하며 실제 작전·교전 판단은 교전수칙·지휘계통에 따른다'는 문구를 명시했는가. |

**최종 판정**

**판정 기준 :** 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.

최종 판정 결과 : ( PASS / FAIL )

평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)