{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "# 📋 [ISR06] 다출처 ISR 보고서 신뢰도 등급·교차검증 절차\n",
        "### 실습 워크북 & SOP 가이드 (Google Colab / Jupyter)\n",
        "\n",
        "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/edunlab/milicontent2/blob/main/uploads/ISR06/ISR06_workbook.ipynb)\n",
        "\n",
        "---\n",
        "\n",
        "## 📌 1. 프로젝트 개요 및 배경\n",
        "\n",
        "| 항목 | 내용 |\n",
        "| :--- | :--- |\n",
        "| **과정 분류** | 정보·감시·정찰(ISR) (Level 2) |\n",
        "| **학습 소요 시간** | 10개 미션 (5일 / 총 27.0시간) |\n",
        "| **실습 유형** | 작전절차(SOP), 체크리스트, 모의훈련, AAR 사후검토 실습 |\n",
        "\n",
        "### 📖 프로젝트 목표\n",
        "러시아-우크라이나 전쟁과 미국-이란 간 긴장 국면에서는 인간정보(HUMINT), 신호정보(SIGINT), 영상정보(IMINT), 공개출처정보(OSINT)가 동시에 쏟아지면서, 서로 어긋나는 첩보와 의도적으로 흘린 기만 정보, 한 출처를 여러 번 되풀이 인용한 보고가 판단을 흔드는 일이 반복되었다. 이런 상황에서는 출처가 얼마나 믿을 만한지와 정보 자체가 얼마나 정확한지를 따로 평가하고, 단일 출처만으로 결론을 내리지 않는 절차가 분석의 기본이 된다. 본 프로젝트에서는 교육용 가상 지역과 가상 첩보 보고를 사용해 다출처 보고서의 구조 분석, 출처 신뢰성 A~F와 정보 정확성 1~6을 결합한 등급 매트릭스 설계, 상충 정보 교차검증 기준, 승인·보류 판단 지침, 모의 교차검증, 기만 주입 스트레스 테스트, AAR, 보정과 1페이지 브리핑을 차례로 수행한다. 최종 목표는 근거·책임 직책·기록 요건이 분명한 다출처 ISR 신뢰도 등급화 및 교차검증 표준운용절차(SOP)를 문서로 완성하는 것이다.\n",
        "\n",
        "> **⚠️ [교육용 가상 자료 원칙]**\n",
        "> - 본 워크북의 모든 자료는 안전 규정에 따라 **교육용 가상 자료**로 구성되어 있습니다.\n",
        "> - 실제 군사 기밀이나 부대 세부 인적·작전 정보는 포함되지 않습니다.\n",
        "\n",
        "---\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 01. 다출처(HUMINT, SIGINT, OSINT, IMINT) ISR 첩보 보고서 구조 및 수집 체계 분석\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "인간정보(HUMINT), 신호정보(SIGINT), 영상정보(IMINT), 오픈소스정보(OSINT) 다출처 첩보 보고서의 구조와 수집 환경을 분석한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **HUMINT·SIGINT·IMINT·OSINT 다출처 첩보 보고서의 구조와 출처별 수집 환경의 차이를 분석하고, SOP 전체 문서 골격을 정의한다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **실습자료의 가상 첩보 보고 사례 5건을 읽고 각 보고가 어느 출처 유형인지, 보고서에 어떤 항목(출처 설명, 수집 시각, 내용, 신뢰도 표기, 한계)이 들어 있는지 비교표로 정리하고 규격화하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `docs/isr06_doc_framework.md 및 분석 개요서` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "다출처(HUMINT, SIGINT, OSINT, IMINT) ISR 첩보 보고서 구조 및 수집 체계 분석**\n",
        "\n",
        "가. 제공 자료 - 가상 첩보 보고 사례 5건 [교육용가상자료]\n",
        "\n",
        "| **보고** | **유형** | **내용 요약** | **보고서에 있는 항목** | **눈에 띄는 한계** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **C1** | HUMINT | H-1: 'D일 오전 나-3 교량 북단에 군용 차량 10여 대가 정차했다' | 출처 코드, 접수 시각, 내용 | 관측 시각이 적히지 않음, 전달에 6시간 소요 |\n",
        "| **C2** | SIGINT | S-1: 가-4 일대 통신량이 평소의 3배로 증가(요약) | 수집 시각 구간, 요약, 수집 구역 | 통신 내용 불명, 통신량 증가의 원인 미기재 |\n",
        "| **C3** | IMINT | I-1: 나-3 교량 일대 차량형 물체 8개 판독(영상 시각 09:10) | 영상 시각, 해상도 등급, 판독 의견 | 구름 일부, 차량 종류는 판독 불가 |\n",
        "| **C4** | OSINT | O-1: 공개 게시물 '교량 앞에 군용 행렬'(사진 1장) | 게시 시각, 게시자 계정 설명 | 촬영 시각·장소 미확인, 이전 게시물 재사용 가능성 |\n",
        "| **C5** | HUMINT | H-2: 'H-1 말로는 교량 쪽이 위험하다고 한다' | 출처 코드, 접수 시각 | H-1을 전해 들은 2차 전달(독립 출처 아님) |\n",
        "\n",
        "나. 작성 서식 1 - 출처 유형별 보고서 구조·약점 비교표\n",
        "\n",
        "| **출처 유형** | **보고서에 꼭 있어야 할 항목** | **생기기 쉬운 약점** | **약점을 줄이는 방법** |\n",
        "| --- | --- | --- | --- |\n",
        "| **HUMINT** |  |  |  |\n",
        "| **SIGINT** |  |  |  |\n",
        "| **IMINT** |  |  |  |\n",
        "| **OSINT** |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - SOP 목차 골격(지휘관 결심 의제 순으로 배열)\n",
        "\n",
        "| **순서** | **장 제목** | **담을 핵심 내용** | **지휘관이 이 장에서 얻는 판단 정보** |\n",
        "| --- | --- | --- | --- |\n",
        "| **제1장** |  |  |  |\n",
        "| **제2장** |  |  |  |\n",
        "| **제3장** |  |  |  |\n",
        "| **제4장** |  |  |  |\n",
        "| **제5장** |  |  |  |\n",
        "| **제6장** |  |  |  |\n",
        "| **제7장** |  |  |  |\n",
        "| **제8장** |  |  |  |\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 가상 보고 사례 5건을 모두 검토하고 출처 유형을 구분했다 | ( ) |\n",
        "| 출처 유형 4가지 모두에 필수 항목과 약점을 적었다 | ( ) |\n",
        "| C5처럼 독립 출처가 아닌 재전달 보고를 찾아 표시했다 | ( ) |\n",
        "| SOP 목차 8개 장의 제목과 핵심 내용을 정의했다 | ( ) |\n",
        "| 목차를 지휘관이 먼저 알아야 할 의제 순으로 배열하고 이유를 한 줄로 적었다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 02. 다출처 첩보 신뢰도(출처 신뢰성·정보 정확성) 6단계 등급 매트릭스 설계\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "출처의 신뢰성(A~F) 및 정보의 정확성(1~6)을 결합한 6×6 다출처 신뢰도 평가 매트릭스를 설계한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **출처 신뢰성(A~F)과 정보 정확성(1~6)을 결합한 6x6 신뢰도 평가 매트릭스를 설계하고, 평가 지표와 편향 방지 장치를 함께 정한다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **출처 신뢰성 6단계(A~F)와 정보 정확성 6단계(1~6)의 판정 기준을 관찰 가능한 문장으로 작성하고, 두 축을 따로 평가한 뒤 결합 코드(예: B2)로 표기하는 방식을 정 수행하고 검증하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `framework/isr06_source_reliability_matrix.md` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "다출처 첩보 신뢰도(출처 신뢰성·정보 정확성) 6단계 등급 매트릭스 설계**\n",
        "\n",
        "가. 제공 자료 1 - 가상 보고 5종 [교육용가상자료]\n",
        "\n",
        "| **보고** | **출처** | **내용** | **출처 정보** | **정보 확인 상태** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **R1** | H-1(협조자, 과거 보고 8건 중 7건 적중) | D일 오전 나-3 교량 북단에 차량 10여 대 정차 | 직접 관측, 시각 미기재 | 다른 수단 확인 없음 |\n",
        "| **R2** | I-1(영상 판독팀) | 나-3 교량 일대 차량형 물체 8개(09:10) | 영상 해상도 보통, 구름 일부 | R1과 위치 일치 |\n",
        "| **R3** | O-1(공개 게시물, 계정 신원 불명) | 교량 앞 군용 행렬 사진 | 촬영 시각·장소 미확인 | 이전 게시물 재사용 가능성 |\n",
        "| **R4** | S-1(통신 요약) | 가-4 일대 통신량 증가 | 수집 구간만 기재 | 차량 이동과의 연관 미확인 |\n",
        "| **R5** | H-2(신규 협조자, 검증 이력 없음) | H-1의 말을 전해 들었다며 같은 내용 보고 | 2차 전달 | 독립 확인 아님 |\n",
        "\n",
        "가. 제공 자료 2 - 6x6 등급 틀. 단계 이름은 고정하고 판정 기준을 조별로 작성한다.\n",
        "\n",
        "| **출처 신뢰성** | **이름** | **판정 기준(조별 작성)** | **정보 정확성** | **이름** | **판정 기준(조별 작성)** |\n",
        "| --- | --- | --- | --- | --- | --- |\n",
        "| **A** | 완전 신뢰 |  | 1 | 확인됨 |  |\n",
        "| **B** | 대체로 신뢰 |  | 2 | 거의 확실 |  |\n",
        "| **C** | 다소 신뢰 |  | 3 | 가능성 있음 |  |\n",
        "| **D** | 대체로 불신 |  | 4 | 의심 |  |\n",
        "| **E** | 불신 |  | 5 | 가능성 낮음 |  |\n",
        "| **F** | 판단 불가 |  | 6 | 판단 불가 |  |\n",
        "\n",
        "나. 작성 서식 1 - 평가 지표(10개 이상, 예시 2개 포함)\n",
        "\n",
        "| **번호** | **평가 지표** | **어느 축에 쓰는가** | **확인 방법(관찰 가능한 기준)** |\n",
        "| --- | --- | --- | --- |\n",
        "| **1** | 출처의 과거 보고 적중 이력 | 출처 신뢰성 | 과거 보고 건수 대비 확인된 건수를 기록 |\n",
        "| **2** | 관측 시각이 기재되어 있는가 | 정보 정확성 | 보고서에 관측 시각 칸이 채워져 있으면 충족 |\n",
        "| **3** |  |  |  |\n",
        "| **4** |  |  |  |\n",
        "| **5** |  |  |  |\n",
        "| **6** |  |  |  |\n",
        "| **7** |  |  |  |\n",
        "| **8** |  |  |  |\n",
        "| **9** |  |  |  |\n",
        "| **10** |  |  |  |\n",
        "| **11** |  |  |  |\n",
        "| **12** |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - 등급 부여 일관성 시험(조원이 각자 등급을 매기고 비교. 예: B2)\n",
        "\n",
        "| **보고** | **조원 1** | **조원 2** | **조원 3** | **조원 4** | **일치 여부** | **불일치 원인** |\n",
        "| --- | --- | --- | --- | --- | --- | --- |\n",
        "| **R1** |  |  |  |  |  |  |\n",
        "| **R2** |  |  |  |  |  |  |\n",
        "| **R3** |  |  |  |  |  |  |\n",
        "| **R4** |  |  |  |  |  |  |\n",
        "| **R5** |  |  |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 3 - 교차검증 필수 규칙: 단일 출처 보고는 정확성 (   )단계 이하로 보고 서로 다른 유형의 출처 (   )개 이상의 독립 확인 전에는 판단 결과를 (   )로 기록한다. 같은 출처에서 나온 재전달·재인용은 독립 확인으로 세지 않는다.\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 출처 신뢰성 A~F와 정보 정확성 1~6의 판정 기준을 모두 작성했다 | ( ) |\n",
        "| 평가 지표를 10개 이상 정의하고 어느 축에 쓰는지 표시했다 | ( ) |\n",
        "| 가상 보고 5종에 대한 조원 등급이 4건 이상 일치했다(불일치 건은 원인과 수정 내용을 적었다) | ( ) |\n",
        "| 단일 출처 의존 경고와 교차검증 필수 규칙을 명시했다 | ( ) |\n",
        "| 신뢰성이 높은 출처도 틀릴 수 있음을 알리는 주의 문구를 넣었다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 03. 정보 출처별 상충 정보 식별 및 교차검증(Cross-validation) 세부 평가 기준 수립\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "서로 상충하는 첩보가 접수되었을 때 우선순위와 검증 기준을 규정한 교차검증(Cross-validation) 세부 지침을 수립한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **서로 상충하는 첩보가 들어왔을 때 상충을 식별하고 우선순위와 검증 방법을 정하는 교차검증 세부 기준을 수립한다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **가상 상충 보고 쌍 4건을 읽고 상충이 시각, 위치, 규모, 주체 중 무엇에서 생겼는지 분류 수행하고 검증하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `analysis/isr06_uncertainty_assessment.md` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "정보 출처별 상충 정보 식별 및 교차검증(Cross-validation) 세부 평가 기준 수립**\n",
        "\n",
        "가. 제공 자료 1 - 가상 상충 보고 쌍 4건 [교육용가상자료]\n",
        "\n",
        "| **쌍** | **보고 A** | **보고 B** | **상충 지점** |\n",
        "| --- | --- | --- | --- |\n",
        "| **K1** | H-1: 교량 북단에 차량 10여 대 정차(오전) | I-1: 같은 구역 차량형 물체 8개(09:10) | 수량(10여 대 대 8개) |\n",
        "| **K2** | I-2 드론: 다-2 도로에 이동 차량 없음(11:00) | H-3: 같은 도로에 차량 행렬 통과(11:00경) | 존재 여부 |\n",
        "| **K3** | O-1 게시물: 나-3 교량 앞 군용 행렬(사진) | I-1: 같은 시간대 교량 일대에 사진과 같은 규모 없음 | 시각·위치 |\n",
        "| **K4** | S-1: 가-4 통신량 증가를 '이동 준비' 가능성으로 판독 | H-2: 같은 부대가 '정비 중'이라고 보고 | 의미(주체의 의도) |\n",
        "\n",
        "가. 제공 자료 2 - 정보 공백 예시 3개(나머지 5개 이상은 조별로 찾는다)\n",
        "\n",
        "| **정보 공백 요인** | **발생 상황** | **대체 수집 수단(예)** |\n",
        "| --- | --- | --- |\n",
        "| **관측 시각 미기재** | 협조자 보고에 관측 시각이 없어 이동 시점 불명 | 협조자 재접촉으로 시각 확인 요청, 영상 시각과 대조 |\n",
        "| **영상 공백** | 구름·야간·드론 배터리 교체로 일정 구간 영상 없음 | 다른 시각 영상 확보, 지상 관측 보완 |\n",
        "| **단일 언어·단일 지역 편중** | 공개출처가 한쪽 매체에만 의존 | 다른 언어·매체 보고 대조 |\n",
        "\n",
        "나. 작성 서식 1 - 상충 분류와 원인 후보\n",
        "\n",
        "| **쌍** | **상충 유형(시각·위치·수량·주체·의미)** | **원인 후보(출처 오류, 시차, 기만, 재인용)** | **확인 방법** | **결론(승인·보류·추가 수집)** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **K1** |  |  |  |  |\n",
        "| **K2** |  |  |  |  |\n",
        "| **K3** |  |  |  |  |\n",
        "| **K4** |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - 정보 공백·불확실성 영향도 매트릭스(8개 이상)\n",
        "\n",
        "| **번호** | **정보 공백 요인** | **영향도(높음·중간·낮음)** | **영향을 받는 판단** | **대체 수집 수단** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **1** |  |  |  |  |\n",
        "| **2** |  |  |  |  |\n",
        "| **3** |  |  |  |  |\n",
        "| **4** |  |  |  |  |\n",
        "| **5** |  |  |  |  |\n",
        "| **6** |  |  |  |  |\n",
        "| **7** |  |  |  |  |\n",
        "| **8** |  |  |  |  |\n",
        "| **9** |  |  |  |  |\n",
        "| **10** |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 3 - 확신 표현 규칙과 판단의 한계: 근거가 한 출처뿐일 때 결론에 쓸 수 있는 표현은 (   ), 쓰면 안 되는 표현은 (   ). 이 평가로 판단할 수 없는 경우 3가지: 1) (   )  2) (   )  3) (   )\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 상충 보고 4건 모두에 상충 유형과 원인 후보를 2개 이상 적었다 | ( ) |\n",
        "| 정보 공백 요인을 8개 이상 찾고 각각의 영향도를 매겼다 | ( ) |\n",
        "| 정보 공백마다 대체 수집 수단을 1개 이상 적었다 | ( ) |\n",
        "| 과도한 확신을 막는 표현 규칙을 정했다 | ( ) |\n",
        "| 판단의 한계 3가지를 적었다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 04. 단일 출처 단정 방지를 위한 다출처 승인/보류(Hold) 판단 지침서 초안 작성\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "단일 출처 정보에 기반한 섣부른 작전 결심을 방지하기 위한 다출처 승인/보류(Hold) 판정 기준서를 작성한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **단일 출처만으로 결론을 내리지 않도록, 근거 항목과 가중치로 승인·보류(Hold)를 판정하는 다출처 판단 지침서 초안을 작성한다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **보고의 주장(어떤 주체가 어떤 행위를 했다는 귀속 판단 포함)을 뒷받침하거나 반박하는 근거를 12개 이상 항목화하고 항목별 가중치로 근거 종합 점수 산식을 정 수행하고 검증하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `matrix/isr06_attribution_matrix.xlsx(md)` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "단일 출처 단정 방지를 위한 다출처 승인/보류(Hold) 판단 지침서 초안 작성**\n",
        "\n",
        "가. 제공 자료 1 - 근거 항목 예시 4개(나머지 8개 이상은 조별로 추가)\n",
        "\n",
        "| **근거** | **지지 방향** | **설명** |\n",
        "| --- | --- | --- |\n",
        "| **서로 다른 유형 출처 2개 이상 일치** | 주장 지지 | HUMINT와 IMINT가 같은 위치·시각을 독립적으로 뒷받침 |\n",
        "| **같은 출처의 재인용** | 지지로 세지 않음 | R5처럼 H-1을 전해 들은 보고는 독립 근거가 아님 |\n",
        "| **보고 시각과 관측 시각의 차이가 큼** | 신뢰 감점 | 전달 지연이 길면 상황 변화 가능성 |\n",
        "| **반대 근거 존재** | 주장 반박 | 같은 시각 영상에 주장하는 내용이 없음 |\n",
        "\n",
        "가. 제공 자료 2 - 가상 판단 사례 3종(귀속 판단 포함) [교육용가상자료]\n",
        "\n",
        "| **사례** | **상황** |\n",
        "| --- | --- |\n",
        "| **S1** | '가상 적 부대 X가 나-3 교량을 통과했다'는 주장. H-1 직접 관측 1건, 영상 판독 1건(차량 종류 불명), 게시물 1건(재사용 의심). |\n",
        "| **S2** | '다-2 통신 방해는 가상 집단 Y의 소행'이라는 주장. 통신 요약 1건, 공개 게시물 2건(같은 계정군), 반대 정황 1건(자연 장애 가능). |\n",
        "| **S3** | '가상 보급 창고가 비어 있다'는 주장. 협조자 2명이 같은 내용을 전했으나 서로 같은 지인을 통해 들었다고 함. 영상 확인 없음. |\n",
        "\n",
        "나. 작성 서식 1 - 근거 매트릭스(12개 이상)와 사례 적용. 해당하면 가중치를 적고, 아니면 0, 확인 불가는 '?'로 적는다.\n",
        "\n",
        "| **번호** | **근거 항목** | **지지 방향** | **가중치** | **S1** | **S2** | **S3** |\n",
        "| --- | --- | --- | --- | --- | --- | --- |\n",
        "| **1** |  |  |  |  |  |  |\n",
        "| **2** |  |  |  |  |  |  |\n",
        "| **3** |  |  |  |  |  |  |\n",
        "| **4** |  |  |  |  |  |  |\n",
        "| **5** |  |  |  |  |  |  |\n",
        "| **6** |  |  |  |  |  |  |\n",
        "| **7** |  |  |  |  |  |  |\n",
        "| **8** |  |  |  |  |  |  |\n",
        "| **9** |  |  |  |  |  |  |\n",
        "| **10** |  |  |  |  |  |  |\n",
        "| **11** |  |  |  |  |  |  |\n",
        "| **12** |  |  |  |  |  |  |\n",
        "| **13** |  |  |  |  |  |  |\n",
        "| **14** |  |  |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - 근거 종합 점수 산식\n",
        "\n",
        "| 근거 종합 점수 = (지지 근거 가중치 합) - (반대 근거 가중치 합) - (확인 불가 '?' 개수 x ( ))\n",
        "규칙 1. 반대 근거가 1개라도 있으면 점수와 관계없이 '보류 유지 + 추가 수집 요청'\n",
        "규칙 2. 점수가 ( ) 미만이면 '보류 유지 + 추가 수집 요청'\n",
        "규칙 3. 서로 다른 유형의 독립 출처가 ( )개 미만이면 점수가 높아도 '승인' 불가\n",
        "규칙 4. 점수가 기준 이상이어도 승인은 사람(책임 직책)이 하며 점수가 결정을 대신하지 않는다\n",
        "사례 결과: S1 점수 ( ) 판단 ( ) / S2 점수 ( ) 판단 ( ) / S3 점수 ( ) 판단 ( ) |\n",
        "| --- |\n",
        "\n",
        "나. 작성 서식 3 - 승인·보류 판단 절차 초안\n",
        "\n",
        "| **단계** | **행동** | **담당(가상 직책)** | **시간 목표** | **기록할 항목** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **1 접수·등급** |  |  |  |  |\n",
        "| **2 교차검증** |  |  |  |  |\n",
        "| **3 점수·규칙 적용** |  |  |  |  |\n",
        "| **4 보류·추가 수집 요청** |  |  |  |  |\n",
        "| **5 승인·기록** |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 4 - 레드팀 반박 기록(법적 쟁점은 '법무 검토 필요'로만 표시)\n",
        "\n",
        "| **사례** | **레드팀 반박('이 근거만으로 단정할 수 있는가')** | **작성 팀 대응** | **보완한 최소 증거 요건** |\n",
        "| --- | --- | --- | --- |\n",
        "| **S1** |  |  |  |\n",
        "| **S2** |  |  |  |\n",
        "| **S3** |  |  |  |\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 근거 항목을 12개 이상 정의하고 지지 방향을 표시했다 | ( ) |\n",
        "| 점수 산식과 규칙 1~4를 빈칸 없이 정했다 | ( ) |\n",
        "| 사례 3종에 적용한 점수와 판단을 기록했다 | ( ) |\n",
        "| 재인용·재전달을 독립 근거로 세지 않는 규칙이 있다 | ( ) |\n",
        "| 레드팀 반박 3건 이상에 대응하고 최소 증거 요건을 보완했다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 05. 가상 전장 복합 시나리오 기반 다출처 ISR 보고서 교차검증 모의 작성 실습\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "복합 전장 시나리오 기반으로 다출처 보고서를 교차 분석하고 종합 신뢰도 등급을 부여하는 모의 분석 실습을 수행한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **가상 복합 전장 시나리오의 다출처 보고서를 교차 분석하고 종합 신뢰도 등급을 부여해 승인·보류 분기점과 책임 직책을 확정한다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **M2~M4 기준을 출처 신뢰도, 교차검증 일치, 반대 근거, 판단 권한 순의 의사결정 트리로 묶고 분기점마다 조건과 책임 직책을 적는다 과정을 진행하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `sop/isr06_approval_thresholds_sop.md` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "가상 전장 복합 시나리오 기반 다출처 ISR 보고서 교차검증 모의 작성 실습**\n",
        "\n",
        "가. 제공 자료 1 - 가상 복합 시나리오 전개 [교육용가상자료]\n",
        "\n",
        "| **시각** | **상황** |\n",
        "| --- | --- |\n",
        "| **06:30** | 사령부가 PIR(나-3 교량 통과 여부)에 대한 분석 보고를 08:00까지 요구한다. |\n",
        "| **07:40** | H-1 보고(R1) 접수. 관측 시각 미기재. |\n",
        "| **09:30** | I-1 영상 판독(R2) 접수. 구름 일부. H-1과 위치 일치. |\n",
        "| **10:20** | 공개 게시물(R3) 확산. 일부 매체가 인용 시작. |\n",
        "| **11:40** | 드론 I-2: 다-2 도로에 이동 차량 없음. H-3은 행렬 통과라고 보고. |\n",
        "\n",
        "가. 제공 자료 2 - 경계선 보고 묶음 5종\n",
        "\n",
        "| **묶음** | **상황** | **애매한 이유** |\n",
        "| --- | --- | --- |\n",
        "| **B1** | H-1 + I-1 일치하나 영상은 차량 종류 판독 불가 | 일치하지만 주체(적 부대) 확인이 안 됨 |\n",
        "| **B2** | I-1 + O-1 일치하나 O-1은 재사용 의심 게시물 | 독립 근거가 사실상 1개 |\n",
        "| **B3** | H-1 신뢰성 높음, 정확성 확인 수단 없음, 상급 부서 압박 | 신뢰성만으로 승인할 수 있는가 |\n",
        "| **B4** | I-2와 H-3 상충. 신뢰성 B 출처 둘이 서로 반대 | 출처 신뢰도로 상충을 해소할 수 없음 |\n",
        "| **B5** | 승인 권한 직책 부재 중, 재확인 책임자 미지정 | 권한자 부재 상황 |\n",
        "\n",
        "나. 작성 서식 1 - 의사결정 트리(빈칸을 채운다)\n",
        "\n",
        "| [분기 1] 보고에 출처 신뢰성·정보 정확성 등급이 모두 기재되어 있는가?\n",
        " 아니오 → 보류 유지 + 등급 보완 요청 (책임: ( ))\n",
        " 예 ↓\n",
        "[분기 2] 서로 다른 유형의 독립 출처가 ( )개 이상 같은 내용을 뒷받침하는가?\n",
        " 아니오 → 보류 유지 + 추가 수집 요청 (책임: ( ))\n",
        " 예 ↓\n",
        "[분기 3] 반대 근거 또는 미해소 상충이 있는가?\n",
        " 예 → 보류 유지 + 상충 해소 절차 (책임: ( ))\n",
        " 아니오 ↓\n",
        "[분기 4] 승인 권한 직책과 연락이 되는가?\n",
        " 아니오 → 보류 유지 + 대체 연락 경로 (책임: ( ))\n",
        " 예 → 사람의 승인 판단 (책임: ( )) |\n",
        "| --- |\n",
        "\n",
        "나. 작성 서식 2 - 분기점·책임 직책 매핑표\n",
        "\n",
        "| **분기점** | **판정 조건(수치·관찰 기준)** | **'예'일 때** | **'아니오'일 때** | **책임 직책(가상)** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **분기 1** |  |  |  |  |\n",
        "| **분기 2** |  |  |  |  |\n",
        "| **분기 3** |  |  |  |  |\n",
        "| **분기 4** |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 3 - 모의 결심 기록지(판단은 '승인·보류 유지·추가 수집 요청' 중 하나)\n",
        "\n",
        "| **묶음** | **멈춘 분기점** | **판단** | **근거(자료 인용)** | **책임 직책** | **조원 합의** |\n",
        "| --- | --- | --- | --- | --- | --- |\n",
        "| **B1** |  |  |  |  |  |\n",
        "| **B2** |  |  |  |  |  |\n",
        "| **B3** |  |  |  |  |  |\n",
        "| **B4** |  |  |  |  |  |\n",
        "| **B5** |  |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 4 - 긴급 신속 승인과 사후 감사\n",
        "\n",
        "| **항목** | **평시 절차** | **긴급 신속 절차** | **사후 감사 항목** |\n",
        "| --- | --- | --- | --- |\n",
        "| **교차검증 방법** |  |  |  |\n",
        "| **보고 형식** |  |  |  |\n",
        "| **기록 시점** |  |  |  |\n",
        "| **승인 권한** |  |  |  |\n",
        "\n",
        "| 긴급 신속 절차는 확인 단계를 건너뛰는 절차가 아니다. 보고 형식을 줄이고 기록을 사후에 보완할 수는 있으나 출처 등급, 독립 확인, 반대 근거 점검과 사람의 승인은 생략하지 않는다. 실제 교전·작전 판단은 교전수칙과 지휘계통에 따른다. |\n",
        "| --- |\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 의사결정 트리 4개 분기점의 조건을 수치·관찰 기준으로 명시했다 | ( ) |\n",
        "| 모든 분기점에 책임 직책을 매핑했다 | ( ) |\n",
        "| 경계선 묶음 5종 모두에 판단과 근거를 기록했다 | ( ) |\n",
        "| 어떤 묶음도 사람의 승인 없이 승인 판단으로 가는 경로가 없다 | ( ) |\n",
        "| 긴급 신속 절차에 사후 감사 항목을 넣었다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 06. 지휘관 브리핑용 ISR 신뢰도 등급화 요약 차트 및 출처 추적 템플릿 제작\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "지휘관 보고용 다출처 교차검증 요약 차트 및 출처별 근거 추적성 보고서 서식을 개발한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **지휘관 브리핑용 신뢰도 등급화 요약 차트와, 출처별 근거를 사실·판단·조치·미확인으로 추적하는 기록 서식을 만든다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **한눈에 보는 요약 차트(주장, 종합 등급, 근거 출처 수, 반대 근거, 보류 여부)와 출처 추적 템플릿(출처 ID, 수집 시각, 원문 요약, 재인용 여부) 작성하여 원인을 분석하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `templates/isr06_aar_fact_action_template.md` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "지휘관 브리핑용 ISR 신뢰도 등급화 요약 차트 및 출처 추적 템플릿 제작**\n",
        "\n",
        "가. 제공 자료 1 - 가상 분석 보고 3종(사실·판단·조치가 섞여 있다) [교육용가상자료]\n",
        "\n",
        "| **보고** | **원문** |\n",
        "| --- | --- |\n",
        "| **보고 1** | 08:10 분석반. 나-3 교량 북단에 적 차량 10여 대가 틀림없이 있음. H-1 말로는 아마 오늘 중 이동할 듯. 영상은 구름 때문에 일부만 봄. 사령부에 먼저 보고함. |\n",
        "| **보고 2** | 10:30 분석반. 공개 게시물은 거의 사실로 보임. 같은 사진이 여러 매체에 나오므로 확실함. 계정은 확인 안 됨. 일단 보류하지 않고 진행. |\n",
        "| **보고 3** | 11:50 분석반. 드론으로 다-2는 문제없음. H-3은 틀린 듯. 통신량 증가는 이동 준비로 판단됨. 상급 승인은 아직 안 받음. |\n",
        "\n",
        "가. 제공 자료 2 - 혼동 유발 표현 목록(예시 2개, 나머지는 조별 작성)\n",
        "\n",
        "| **금지 표현** | **문제점** | **대체 표현** |\n",
        "| --- | --- | --- |\n",
        "| **확실, 틀림없이** | 근거 없이 확신 수준을 높임 | '(출처 유형) (개수)개로 확인, 등급 ( )' |\n",
        "| **~인 듯, 아마** | 추측이 사실처럼 전달됨 | '판단: ~ 가능성 (근거: ~)' |\n",
        "| **거의 사실로 보임** |  |  |\n",
        "| **문제없음** |  |  |\n",
        "| **여러 매체에 나옴** |  |  |\n",
        "| **일단** |  |  |\n",
        "\n",
        "나. 작성 서식 1 - 지휘관 요약 차트(주장별 종합 등급)\n",
        "\n",
        "| **주장** | **종합 등급(예: B2)** | **독립 근거 출처 수** | **반대 근거** | **판단(승인·보류·추가 수집)** | **책임 직책** |\n",
        "| --- | --- | --- | --- | --- | --- |\n",
        "|  |  |  |  |  |  |\n",
        "|  |  |  |  |  |  |\n",
        "|  |  |  |  |  |  |\n",
        "|  |  |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - 출처 추적 템플릿\n",
        "\n",
        "| **출처 ID** | **유형** | **수집·관측 시각** | **접수 시각** | **원문 요약** | **재인용 여부(원 출처 ID)** |\n",
        "| --- | --- | --- | --- | --- | --- |\n",
        "|  |  |  |  |  |  |\n",
        "|  |  |  |  |  |  |\n",
        "|  |  |  |  |  |  |\n",
        "|  |  |  |  |  |  |\n",
        "|  |  |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 3 - 요약형 기록 서식(긴급 시)\n",
        "\n",
        "| **시각** | **확인된 사실** | **판단(근거)** | **조치** | **미확인 사항** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "|  |  |  |  |  |\n",
        "|  |  |  |  |  |\n",
        "|  |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 4 - 상세형 기록 서식(사후 분석용)\n",
        "\n",
        "| **기록 번호·시각** |  |\n",
        "| --- | --- |\n",
        "\n",
        "| **출처 ID·유형·등급(신뢰성/정확성)** |  |\n",
        "| --- | --- |\n",
        "\n",
        "| **확인된 사실(수단·개수)** |  |\n",
        "| --- | --- |\n",
        "\n",
        "| **판단과 근거** |  |\n",
        "| --- | --- |\n",
        "\n",
        "| **취한 조치(승인·보류 유지·추가 수집 요청)** |  |\n",
        "| --- | --- |\n",
        "\n",
        "| **미확인 사항과 확인 계획** |  |\n",
        "| --- | --- |\n",
        "\n",
        "| **판단 책임 직책·서명** |  |\n",
        "| --- | --- |\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 요약 차트에 종합 등급, 독립 근거 수, 반대 근거, 판단을 모두 넣었다 | ( ) |\n",
        "| 출처 추적 템플릿에 재인용 여부 칸이 있다 | ( ) |\n",
        "| 기록 서식의 사실·판단·조치·미확인 칸이 분리되어 있다 | ( ) |\n",
        "| 혼동 유발 표현을 6개 이상 정하고 대체 표현을 적었다 | ( ) |\n",
        "| 가상 보고 3종을 서식으로 옮겼고 사실 칸에 추측 표현이 0건이다 | ( ) |\n",
        "| 요약형과 상세형 두 서식을 모두 만들었다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 07. 기만 첩보 주입 상황 모의 교차검증 스트레스 테스트 및 블라인드 검증\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "기만 첩보 및 출처 간 모순 정보가 대량 주입되는 가상 스트레스 상황 하에서 분석 신뢰성을 검증한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **기만 첩보와 출처 간 모순이 대량으로 주입되는 상황에서 분석이 흔들리지 않는지 스트레스 테스트로 확인하고 평가 루브릭을 만든다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **정해진 시간에 보고 카드가 연달아 투입되고 그중 일부는 기만(같은 출처의 재인용, 시각이 조작된 게시물, 사실을 섞은 허위 보고)인 조건에서 조별로 등급을 부여 수행하고 검증하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `rubric/isr06_evaluation_rubric.md` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "기만 첩보 주입 상황 모의 교차검증 스트레스 테스트 및 블라인드 검증**\n",
        "\n",
        "가. 제공 자료 1 - 기만 스트레스 보고 카드 투입 순서(통제관용, 정답은 비공개) [교육용가상자료]\n",
        "\n",
        "| **경과 시간** | **투입 카드** | **내용** | **통제관 메모(평가자만)** |\n",
        "| --- | --- | --- | --- |\n",
        "| **0:00** | D0 | PIR 제시. 20분 안에 종합 등급 부여. | - |\n",
        "| **2:00** | D1 | H-1: 교량 북단에 차량 10여 대 | 정상(독립 확인 필요) |\n",
        "| **4:00** | D2 | H-2: H-1에게 들었다며 같은 내용 | 재전달(독립 근거 아님) |\n",
        "| **6:00** | D3 | O-1: 교량 앞 행렬 사진, 촬영 시각 미표기 | 기만 의심(재사용 사진) |\n",
        "| **9:00** | D4 | O-2: O-1 사진을 인용한 다른 계정 게시물 | 재인용(기만 증폭) |\n",
        "| **12:00** | D5 | I-1: 같은 시각 교량 일대 차량형 물체 3개 판독 | 정상(H-1과 수량 차이) |\n",
        "| **15:00** | D6 | S-1: 가상 통신 요약, 교량 방면 통신량 급증(출처 평소 신뢰 높음) | 일부 사실을 섞은 허위 보고 |\n",
        "| **18:00** | D7 | 상급 부서: '빨리 결론을 달라'는 압박 | 압박(보류 원칙 점검) |\n",
        "\n",
        "가. 제공 자료 2 - 역할: 분석 책임(조장) 1명, 기록자 1명, 평가자 2명(서로 상의 금지), 통제관(교관)은 카드를 시간에 맞춰 읽는다. 블라인드 점검: 학습자는 통제관 메모를 보지 않는다.\n",
        "\n",
        "나. 작성 서식 1 - 5영역 4등급 루브릭(예시 1행 포함)\n",
        "\n",
        "| **영역** | **탁월** | **우수** | **보통** | **미흡** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **보류 원칙 준수** | 압박에도 독립 근거가 부족하면 보류를 유지하고 추가 수집 요청을 즉시 보내며 근거를 기록함 | 보류를 유지하고 추가 수집을 요청함 | 보류는 유지했으나 추가 수집 요청이 늦음 | 압박에 따라 근거 없이 승인함 |\n",
        "| **출처 평가** |  |  |  |  |\n",
        "| **상충 식별** |  |  |  |  |\n",
        "| **기만 징후 인식** |  |  |  |  |\n",
        "| **기록** |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - 평가자 간 채점 일치 확인(탁월 4, 우수 3, 보통 2, 미흡 1)\n",
        "\n",
        "| **조 / 영역** | **출처 평가** | **상충 식별** | **기만 징후** | **보류 원칙** | **기록** | **일치 칸 수** |\n",
        "| --- | --- | --- | --- | --- | --- | --- |\n",
        "| **1조 (A / B)** | / | / | / | / | / | / 5 |\n",
        "| **2조 (A / B)** | / | / | / | / | / | / 5 |\n",
        "| **3조 (A / B)** | / | / | / | / | / | / 5 |\n",
        "| **4조 (A / B)** | / | / | / | / | / | / 5 |\n",
        "\n",
        "일치율 = 두 평가자 점수가 같은 칸 수 / 전체 칸 수 x 100 = (   )%  (목표 80% 이상). 점수 차이가 2점 이상인 칸은 루브릭 문구를 고친다.\n",
        "\n",
        "나. 작성 서식 3 - 기만 보고 처리 기록: 기만 의심 카드 (   )건 중 보류 또는 낮은 등급으로 처리 (   )건, 높은 등급으로 승인 (   )건\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 루브릭 5영역 x 4등급 20칸을 모두 관찰 가능한 행동으로 채웠다 | ( ) |\n",
        "| 평가자 2명이 서로 상의하지 않고 독립 채점했다 | ( ) |\n",
        "| 일치율을 계산했고 80% 이상이거나, 미만이면 루브릭을 고쳐 다시 채점했다 | ( ) |\n",
        "| 기만 보고를 높은 등급으로 승인한 판단이 0건이다 | ( ) |\n",
        "| 역량이 '미흡'인 영역에 보충 학습 방법을 1개 이상 적었다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 08. AAR을 통한 첩보 불일치 해결 실패 원인 분석 및 교차검증 루브릭 개선\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "AAR 사후검토를 통해 정보 상충 해결 실패 및 분석관 확증 편향 사례를 분석하고 루브릭을 개선한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **AAR 사후검토로 정보 상충 해결 실패와 분석관 확증 편향 사례의 원인을 분석하고, 레드팀 비판으로 루브릭과 기준의 취약한 전제를 찾는다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **가상 AAR 일지 2건(상충 해결 실패 사례, 확증 편향 사례)을 시간순으로 재구성하고 원인을 사람·절차·정보·통신으로 나눈다 과정을 진행하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `reports/isr06_redteam_critique_report.md` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "AAR을 통한 첩보 불일치 해결 실패 원인 분석 및 교차검증 루브릭 개선**\n",
        "\n",
        "가. 제공 자료 1 - 가상 AAR 일지 A(상충 해결 실패 사례) [교육용가상자료]\n",
        "\n",
        "| **시각** | **기록** |\n",
        "| --- | --- |\n",
        "| **08:10** | H-1(차량 10여 대)과 I-1(8개) 수량 차이 확인. 상충으로 분류하지 않고 '대체로 일치'로 기록. |\n",
        "| **09:00** | 드론 I-2 영상에서 다-2 도로 차량 없음. 담당 분석관이 'H-3은 오보'로 단정. |\n",
        "| **09:20** | H-3이 영상 촬영 이후 시각의 보고임이 뒤에 확인됨. 시차 가능성은 검토되지 않음. |\n",
        "| **09:40** | 상급 보고서에 '이동 확인'과 '이동 없음'이 한 문서에 함께 기재됨. |\n",
        "\n",
        "가. 제공 자료 2 - 가상 AAR 일지 B(확증 편향 사례) [교육용가상자료]\n",
        "\n",
        "| **시각** | **기록** |\n",
        "| --- | --- |\n",
        "| **10:00** | 분석관이 '교량 통과' 가설을 먼저 세움. 이후 일치하는 보고만 선별해 정리. |\n",
        "| **10:30** | 반대 정황(통신량 정상, 영상 차량 3개)이 있었으나 '일시적'이라며 주석 처리. |\n",
        "| **11:10** | 동료 분석관이 재검토를 제안했으나 일정 이유로 보류됨. |\n",
        "| **13:00** | 가상 후속 보고에서 교량 통과가 없었던 것으로 판명됨. |\n",
        "\n",
        "나. 작성 서식 1 - AAR 원인 분석표(비난 없이 사실 중심으로 작성)\n",
        "\n",
        "| **사례** | **무엇이 계획되었나** | **실제로 무슨 일이 있었나** | **원인(사람·절차·정보·통신)** | **개선안** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **A** |  |  |  |  |\n",
        "| **A** |  |  |  |  |\n",
        "| **B** |  |  |  |  |\n",
        "| **B** |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - 레드팀 쟁점·대응표(5건 이상, 예시 1건)\n",
        "\n",
        "| **번호** | **취약한 전제** | **레드팀 비판** | **작성 팀 반박 또는 수정안** | **경고 문구** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **1** | 신뢰성 A 출처는 틀리지 않는다 | 신뢰성이 높아도 관측 오류·전달 지연이 있다 | 신뢰성과 정확성을 따로 평가하고 정확성은 독립 확인으로 결정 | '신뢰성 A여도 단독 근거로 승인하지 않는다' |\n",
        "| **2** |  |  |  |  |\n",
        "| **3** |  |  |  |  |\n",
        "| **4** |  |  |  |  |\n",
        "| **5** |  |  |  |  |\n",
        "| **6** |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 3 - 반대 방향 위험 점검: 보류가 지나치게 잦을 때 생기는 위험(정보 지원 지연, 지휘관의 불신)과 이를 줄이는 방법(잠정 등급 보고, 시간 목표)을 3줄 이내로 적는다.\n",
        "\n",
        "나. 작성 서식 4 - 수정 반영 계획표\n",
        "\n",
        "| **번호** | **수정할 문서·조항** | **수정 내용** | **담당(가상 직책)** | **완료 기한** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **1** |  |  |  |  |\n",
        "| **2** |  |  |  |  |\n",
        "| **3** |  |  |  |  |\n",
        "| **4** |  |  |  |  |\n",
        "| **5** |  |  |  |  |\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| AAR 일지 2건을 시간순으로 재구성하고 계획과 실제의 차이를 적었다 | ( ) |\n",
        "| 원인을 사람·절차·정보·통신으로 분류하고 개인 비난 표현이 없다 | ( ) |\n",
        "| 레드팀 쟁점을 5건 이상 도출했다 | ( ) |\n",
        "| 모든 쟁점에 반박 또는 수정안을 적었다(100%) | ( ) |\n",
        "| 취약한 전제마다 경고 문구를 달았다 | ( ) |\n",
        "| 보류 과다에 따른 반대 방향 위험을 다뤘다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 09. 피드백 반영 다출처 보고서 최종 보정 및 정보 판단 신뢰성 검증\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "피드백을 반영하여 다출처 교차검증 보고서를 재작성하고 정보 판단의 정확도를 향상시킨다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **M7·M8 피드백으로 교차검증 보고서와 기준을 최종 보정하고 같은 사례로 재검증한 뒤, 지휘관 1페이지 브리핑으로 정리한다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **개선 전후 기준을 나란히 놓고 바뀐 조건과 이유(근거 미션)를 적는다 과정을 진행하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `briefing/isr06_commander_1page_brief.md(pdf)` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "피드백 반영 다출처 보고서 최종 보정 및 정보 판단 신뢰성 검증**\n",
        "\n",
        "가. 제공 자료 - 재검증 대상 7건: M5 경계선 묶음 B1~B5, M8 AAR 사례 A·B. 조별로 개선 전 기준과 개선 후 기준을 각각 적용한다.\n",
        "\n",
        "나. 작성 서식 1 - 기준 개선 전후 비교표\n",
        "\n",
        "| **항목** | **개선 전** | **개선 후** | **변경 이유(근거 미션)** |\n",
        "| --- | --- | --- | --- |\n",
        "| **등급 기준(신뢰성/정확성)** |  |  |  |\n",
        "| **독립 출처 요건** |  |  |  |\n",
        "| **상충 처리 규칙** |  |  |  |\n",
        "| **기만 징후 점검** |  |  |  |\n",
        "| **승인 권한** |  |  |  |\n",
        "| **긴급 절차** |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - 재검증 결과표\n",
        "\n",
        "| **사례** | **개선 전 판단** | **개선 후 판단** | **조원 일치(전 → 후)** | **판단 시간(분, 전 → 후)** | **비고** |\n",
        "| --- | --- | --- | --- | --- | --- |\n",
        "| **B1** |  |  |  |  |  |\n",
        "| **B2** |  |  |  |  |  |\n",
        "| **B3** |  |  |  |  |  |\n",
        "| **B4** |  |  |  |  |  |\n",
        "| **B5** |  |  |  |  |  |\n",
        "| **A** |  |  |  |  |  |\n",
        "| **B** |  |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 3 - 지휘관 1페이지 브리핑 틀(BLUF)\n",
        "\n",
        "| **결론(BLUF)** | (한 문장으로 PIR에 대한 현재 판단과 요청 사항) |\n",
        "| --- | --- |\n",
        "\n",
        "| **핵심 결심 사항** | 1) ( ) 2) ( ) |\n",
        "| --- | --- |\n",
        "\n",
        "| **위험 요소(신호등)** | 빨강: ( )\n",
        "노랑: ( )\n",
        "초록: ( ) |\n",
        "| --- | --- |\n",
        "\n",
        "| **대안 3종** | 대안 1 ( ) / 대안 2 ( ) / 대안 3 ( ) - 각 장단점 한 줄 |\n",
        "| --- | --- |\n",
        "\n",
        "| **건의** | ( ) |\n",
        "| --- | --- |\n",
        "\n",
        "| **근거** | 재검증 7건 결과 요약(일치율·판단 시간 변화), 종합 등급과 독립 근거 수 |\n",
        "| --- | --- |\n",
        "\n",
        "나. 작성 서식 4 - 브리핑 리허설 기록\n",
        "\n",
        "| **항목** | **목표** | **결과** |\n",
        "| --- | --- | --- |\n",
        "| 발표 시간 | 3분 이내 |  |\n",
        "| 분량 | A4 1페이지 |  |\n",
        "| 질의 응답 | 3건 이상 답변 |  |\n",
        "| 결론 먼저 제시 | 첫 문장 |  |\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 개선 전후 기준의 바뀐 조건과 이유를 모두 적었다 | ( ) |\n",
        "| 재검증 7건 모두 개선 전후 판단을 비교했다 | ( ) |\n",
        "| 브리핑이 결론부터 시작하고 A4 1페이지에 들어간다 | ( ) |\n",
        "| 위험 요소를 신호등으로 표시하고 대안 3종을 제시했다 | ( ) |\n",
        "| 3분 안에 발표하고 질의에 답했다 | ( ) |\n",
        "\n",
        "**\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "## 🎯 미션 10. 다출처 ISR 신뢰도 등급화 및 교차검증 실무 표준운용절차(SOP) 완성\n",
        "\n",
        "### 📋 미션 배경 및 지침\n",
        "#### 미션 배경 및 당위성\n",
        "\n",
        "다출처 ISR 보고서 신뢰도 등급화 및 교차검증 표준운용절차(SOP)를 완성한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, **앞 미션의 결과물을 통합해 다출처 ISR 신뢰도 등급화 및 교차검증 표준운용절차(SOP)를 8개 장과 부록으로 완성한다.** 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.\n",
        "\n",
        "이 문제를 해결하기 위해 본 미션에서는 **목적·적용 범위, 용어 정의, 출처 유형과 보고서 구조, 신뢰도 등급화, 교차검증과 승인·보류, 기록·보고, 훈련·평가, 개정 관리의 8개 장과 부록(등급 매트릭스, 의사결정 트리, 기록 서식, 루브릭)을 편집 수행하고 검증하는** 실습을 체계적으로 수행합니다.\n",
        "\n",
        "학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.\n",
        "\n",
        "**이번 결과물:** `manual/isr06_standard_operational_manual.md` 형태의 결과물을 완성한다.\n",
        "\n",
        "### 📑 실습자료 및 작성 양식\n",
        "다출처 ISR 신뢰도 등급화 및 교차검증 실무 표준운용절차(SOP) 완성**\n",
        "\n",
        "가. 제공 자료 1 - SOP 8개 장 구성과 가져올 결과물\n",
        "\n",
        "| **장** | **제목** | **포함 내용** | **가져올 결과물** |\n",
        "| --- | --- | --- | --- |\n",
        "| **1** | 목적과 적용 범위 | SOP의 목적, 적용 상황, 적용하지 않는 상황, 교전수칙과의 관계 | M1 |\n",
        "| **2** | 용어 정의 | 출처 신뢰성, 정보 정확성, 독립 출처, 교차검증, 보류, 기만 | M1~M3 |\n",
        "| **3** | 출처 유형과 보고서 구조 | HUMINT·SIGINT·IMINT·OSINT별 구조와 약점 | M1 |\n",
        "| **4** | 신뢰도 등급화 | 6x6 매트릭스, 평가 지표, 편향 방지 규칙 | M2 |\n",
        "| **5** | 교차검증과 승인·보류 | 상충 처리, 근거 점수, 의사결정 트리, 권한과 책임 | M3·M4·M5 |\n",
        "| **6** | 기록·보고 | 요약 차트, 출처 추적, 기록 서식, 표현 규칙, 브리핑 | M6·M9 |\n",
        "| **7** | 훈련·평가 | 스트레스 테스트, 루브릭, AAR, 레드팀 검토 | M7·M8 |\n",
        "| **8** | 개정 관리 | 개정 주기, 의견 수렴, 책임 직책, 이력 | M8·M9 |\n",
        "\n",
        "가. 제공 자료 2 - 모의 심의 역할 카드\n",
        "\n",
        "| **역할** | **검토 질문** |\n",
        "| --- | --- |\n",
        "| **교리 역할** | 출처 유형별 구조와 등급 정의가 일관되는가? 신병도 이해할 용어인가? 훈련 방법이 기준과 연결되는가? |\n",
        "| **법무 역할** | '최종 판단은 사람이, 교전수칙·지휘계통에 따라'가 모든 절차에 드러나는가? 법적 쟁점이 법무 검토로 연계되는가? |\n",
        "| **작전 역할** | 현장에서 20분 안에 쓸 수 있는가? 보류가 지나치게 잦아 정보 지원이 멈추지 않는가? 재확인 책임자가 분명한가? |\n",
        "\n",
        "나. 작성 서식 1 - 근거 표기 점검표(SOP 조항마다 작성)\n",
        "\n",
        "| **조항** | **기준 내용 요약** | **근거(미션·가상 자료)** | **표기 여부** |\n",
        "| --- | --- | --- | --- |\n",
        "| **1-1** |  |  |  |\n",
        "| **2-1** |  |  |  |\n",
        "| **3-1** |  |  |  |\n",
        "| **4-1** |  |  |  |\n",
        "| **5-1** |  |  |  |\n",
        "| **6-1** |  |  |  |\n",
        "| **7-1** |  |  |  |\n",
        "| **8-1** |  |  |  |\n",
        "\n",
        "나. 작성 서식 2 - 모의 심의 지적 사항 반영표\n",
        "\n",
        "| **번호** | **역할** | **지적 사항** | **반영 내용** | **반영 위치(장·조)** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **1** |  |  |  |  |\n",
        "| **2** |  |  |  |  |\n",
        "| **3** |  |  |  |  |\n",
        "| **4** |  |  |  |  |\n",
        "| **5** |  |  |  |  |\n",
        "| **6** |  |  |  |  |\n",
        "\n",
        "나. 작성 서식 3 - 개정 관리: 개정 주기 (   ), 의견 수렴 방법 (   ), 개정 책임 직책(가상) (   ), 개정 이력 기록 위치 (   )\n",
        "\n",
        "다. 점검표\n",
        "\n",
        "| **점검 항목** | **확인** |\n",
        "| --- | --- |\n",
        "| 8개 장과 부록을 모두 완성했다 | ( ) |\n",
        "| 모든 기준 조항에 근거(미션·가상 자료)를 표기했다 | ( ) |\n",
        "| 교리·법무·작전 역할의 지적 사항을 반영하고 반영 위치를 적었다 | ( ) |\n",
        "| '최종 판단은 사람이 하며 실제 작전·교전 판단은 교전수칙·지휘계통에 따른다'는 문구가 1장과 5장에 있다 | ( ) |\n",
        "| 연 1회 개정 주기와 의견 수렴 방법을 명시했다 | ( ) |\n",
        "| 실제 부대·위치·수집 수단·정보 내용을 쓰지 않았다 | ( ) |\n",
        "\n",
        "**4. 평가 채점표**\n",
        "\n",
        "미션별 평가 기준은 시나리오의 평가 항목과 같다. 평가자는 기준 충족 여부를 PASS/FAIL로 표시하고 FAIL이면 사유를 비고에 적는다.\n",
        "\n",
        "| **미션** | **구분** | **채점 기준** | **판정** | **비고** |\n",
        "| --- | --- | --- | --- | --- |\n",
        "| **M1** | 필수 | 보고서 구조 분석·문서 골격: 가상 보고 사례 5건 이상을 검토해 출처 유형별 구조와 약점을 비교했는가, SOP 목차(8개 장) 골격을 100% 정의하고 지휘관 결심 의제 순으로 배열했는가. | PASS / FAIL |  |\n",
        "| **M2** | 필수 | 6단계 등급 매트릭스·평가 지표: 신뢰도 기준 6단계(두 축 모두)를 완비하고 평가 지표 10개 이상을 정의했는가, 가상 보고 5종에 대한 조원 간 등급 일치가 4건 이상이고 단일 출처 의존 경고와 교차검증 필수 규칙을 명시했는가. | PASS / FAIL |  |\n",
        "| **M3** | 필수 | 교차검증 기준·불확실성 평가: 정보 공백 요인 8개 이상과 영향도 매트릭스를 도출했는가, 상충 보고 4건에 원인 후보와 확인 방법을 적고 판단 한계와 대체 수집 수단을 명시했는가. | PASS / FAIL |  |\n",
        "| **M4** | 선택 | 근거 항목·승인·보류 지침: 근거 12개 이상 항목화와 가중치 산식을 100% 정립했는가, 사례 3종 적용 결과를 기록하고 레드팀 반박에 대응해 최소 증거 요건을 설정했는가. | PASS / FAIL |  |\n",
        "| **M5** | 필수 | 분기점·책임 매핑·모의 교차검증: 분기점 조건 100% 명시와 책임 직책 매핑을 완료했는가, 경계선 사례 5종 모두에 판단과 근거가 기록되고 교전수칙·인도주의 원칙 준수와 사람의 최종 판단을 지켰는가. | PASS / FAIL |  |\n",
        "| **M6** | 선택 | 요약 차트·출처 추적 서식: 기록 분류 규칙을 100% 표준화하고 혼동 유발 단어 금지 목록을 포함했는가, 가상 보고 3종을 서식으로 옮겼을 때 사실·판단 혼동이 0건인가. | PASS / FAIL |  |\n",
        "| **M7** | 필수 | 기만 스트레스·평가 루브릭: 5개 영역 4등급 기준 정의율 100%, 평가자 2명의 채점 일치율 80% 이상, 기만 보고를 높은 등급으로 승인한 판단이 0건인가. | PASS / FAIL |  |\n",
        "| **M8** | 선택 | AAR 원인·레드팀 검토: 비판적 쟁점 5건 이상을 도출하고 쟁점별 반박·수정 대안을 100% 수립했는가, 취약한 전제에 경고 문구를 명시했는가. | PASS / FAIL |  |\n",
        "| **M9** | 필수 | 최종 보정·브리핑 검증: 재검증 7건의 결과를 개선 전후 비교표로 제시했는가, 핵심 결심 사항·위험 요소·대안 3종이 A4 1페이지에 담기고 3분 안에 전달되었는가. | PASS / FAIL |  |\n",
        "| **M10** | 필수 | SOP 최종 완성: 8개 장과 부록을 100% 완성하고 모든 기준에 근거(미션·가상 자료)를 표기했는가, 모의 심의 지적 사항을 반영하고 '최종 판단은 사람이 하며 실제 작전·교전 판단은 교전수칙·지휘계통에 따른다'는 문구를 명시했는가. | PASS / FAIL |  |\n",
        "\n",
        "| **판정 기준** | 필수 7개 미션(M1·M2·M3·M5·M7·M9·M10)이 모두 PASS여야 최종 PASS로 인정한다. 선택 미션(M4·M6·M8)은 가점·보완 의견에 반영한다. |\n",
        "| --- | --- |\n",
        "\n",
        "| **공통 감점** | 실제 부대명·위치·수집 수단·정보 내용·실존 인물 정보를 사용한 경우, 부대 자료를 외부 AI 서비스에 입력한 경우 해당 미션은 FAIL로 처리한다. |\n",
        "| --- | --- |\n",
        "\n",
        "| **주제 안전 기준** | 단일 출처만으로 승인하는 판단이 있거나 SOP에 사람의 최종 판단·교전수칙 우선 문구가 없으면 M5·M10은 FAIL로 처리한다. |\n",
        "| --- | --- |\n",
        "\n",
        "| **최종 판정 결과** | ( PASS / FAIL ) 평가자 서명: ( ) |\n",
        "| --- | --- |\n",
        "\n",
        "| 안전 원칙: 본 자료의 등급 매트릭스, 승인 권한 구분, 의사결정 트리는 학습용 가상 기준이다. 최종 판단은 사람이 내리며 실제 작전·교전 판단은 교전수칙과 지휘계통에 따른다. 실제 부대 자료를 입력하거나 부대 내에서 촬영하지 않는다. |\n",
        "| --- |\n",
        "\n"
      ]
    }
  ],
  "metadata": {
    "colab": {
      "provenance": []
    },
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}