시나리오 내용 반영

scenario_md/ISR01-정보·감시·정찰(ISR)_영상정보 분석-공개 위성영상 장비·차량 객체분류 정확도 평가/ISR01_실습가이드.md

@@ -0,0 +1,270 @@
+**ISR01 실습가이드 - 공개 위성영상 장비·차량 객체분류 정확도 평가**
+
+구    분 **실습가이드 [교육용가상자료]**
+
+**1. 실습 개요**
+
+본 실습은 코드로 만든 교육용 합성 위성영상(광학·SAR 32x32 조각)으로 장비·차량 객체분류 시스템을 미션 단위로 구현하고 정확도를 평가하는 과정이다. 미션마다 정답 코드(ISR01_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다. 실제 위성영상은 사용하지 않으며, 모든 식별 결과는 영상분석관 판독을 돕는 보조 정보로 해석한다.
+
+| **과제** | ISR01 공개 위성영상 장비·차량 객체분류 정확도 평가 |
+| --- | --- |
+
+| **난이도·유형** | 고급 / 코딩형 |
+| --- | --- |
+
+| **예상 소요시간** | 미션 10개, 총 27.5시간 |
+| --- | --- |
+
+| **준비물** | ISR01_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
+| --- | --- |
+
+**2. 진행 방법**
+
+- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 합성 영상 생성 함수가 빠져 오류가 난다).
+
+- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 분류 결과와 성능 수치는 같게 나오며, 처리 속도·시간(ms, 장/초)은 실행 환경에 따라 달라진다.
+
+- 미션 3~6, 8~10은 합성 영상 수백~천여 장을 만들고 학습하므로 실행에 10~20초가 걸릴 수 있다.
+
+- 도전 과제는 코드 상단의 파라미터(은폐 조건, 등급 기준, 임계값 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
+
+- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.
+
+- 실제 위성영상·촬영 위치·부대 정보는 입력하지 않는다. 합성 도형의 치수는 가상값이며 실제 장비 제원과 무관하다.
+
+**3. 미션 진행 요약**
+
+| **미션** | **난이도·시간** | **핵심 확인 결과** |
+| --- | --- | --- |
+| **M1. 상용 위성(광학/SAR) 영상 특성 분석 및 군용 장비/차량 메타데이터 규격 정의** | 초급
+1.5시간 | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출 |
+| **M2. 위성영상 해상도 표준화, 구름 차폐 제거 및 방위/스케일 정규화 전처리 모듈 구현** | 초급~중급
+2시간 | 처리 속도 1,000건/초 이상(예시 1,395장/초), 오류율 0%, 결측 보정율 100% |
+| **M3. 위성영상 내 기갑/포병 장비 객체 탐지 Baseline CNN/Vision 모델 구현** | 중급
+2.5시간 | 기본 시험셋 정확도 75% 이상(예시 96.5%) |
+| **M4. 위장막/차폐 환경 하 군용 장비 미세 특징 추출 및 정밀 객체분류 모델 고도화** | 중급
+3시간 | 군용 기종 식별 재현율 85% 이상(예시 97.3%), 1장당 200ms 이하 |
+| **M5. 위성 촬영 각도/그림자 영향에 따른 객체분류 신뢰도 점수 산출 및 오분류 필터 구현** | 중급~고급
+3시간 | 오분류율 감축 40% 이상(예시 3.2% -> 0.6%, 82.5% 감축) |
+| **M6. 위성영상 표적 탐지 위치 및 식별 확률 지도(Heatmap) 가시화 UI 구현** | 중급
+2.5시간 | 타일 한 줄 갱신 100ms 이내(예시 33ms), 렌더링 1초 이내 |
+| **M7. 고가치 표적(HVT) 식별 시 영상분석관 최종 판독(HITL) 및 교차 검증 절차 설계** | 고급
+3시간 | 자동 승인 0건, 규칙 위반 5건 차단(자동 확정·확대 판독 전 승인·허용 외 조치·교차 검증 전 승인·1인 승인) |
+| **M8. 악기상 및 저해상도 위성영상 대량 배치 처리 스트레스 테스트 및 한계치 도출** | 고급
+3.5시간 | 모든 상황 다운 0건, 유실률 0%(손상 타일 31장 격리) |
+| **M9. AAR 기반 모의 위장 표적 오판독 사례 분석 및 객체분류 모델 파라미터 재보정** | 고급
+3시간 | 원인별 오판독 분류 완료, 종합 정확도 +10%p 이상(예시 0.786 -> 0.990) |
+| **M10. 공개 위성영상 장비 객체분류 시스템 통합 및 전략 ISR 평가 브리핑 패키지 완성** | 최고급
+3.5시간 | 자체 점검 10/10 통과, 기능 커버리지 100%(12/12) |
+
+**미션 1. 상용 위성(광학/SAR) 영상 특성 분석 및 군용 장비/차량 메타데이터 규격 정의**
+
+| **난이도·시간** | 초급 · 1.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M1 코드를 실행해 정상 샘플 20건의 검증 결과를 확인한다.
+2) 오류 주입 결과 5건이 어떤 규칙에 걸렸는지 표로 정리한다.
+3) 출력된 기종 분류 기준과 라벨 status(auto_draft/analyst_verified)의 의미를 명세서에 적는다. |
+| --- | --- |
+
+| **확인할 결과** | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출
+필드 17개 명세, 기종 분류 기준 5종 정리 |
+| --- | --- |
+
+| **도전 과제** | SCHEMA의 sensor에 촬영 방위각(azimuth_deg, 0~360) 필드를 추가하고, 범위를 벗어난 값을 넣어 검출되는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 스키마 정의 코드, 데이터 명세서(필드·규칙·분류 기준·판독 상태 정의) |
+| --- | --- |
+
+**미션 2. 위성영상 해상도 표준화, 구름 차폐 제거 및 방위/스케일 정규화 전처리 모듈 구현**
+
+| **난이도·시간** | 초급~중급 · 2시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M2 코드를 실행해 처리 속도, 오류율, 결측치 보정율을 확인한다.
+2) 조건별 표에서 구름 조건의 밝은 픽셀이 얼마나 줄었는지, 방위 정규화가 어느 조건에서 약한지 확인한다.
+3) SAR를 함께 쓰면 밝은 민간 차량을 구름으로 오인하지 않는 이유를 설명한다.
+4) 단위 테스트 5종 통과 여부를 기록한다. |
+| --- | --- |
+
+| **확인할 결과** | 처리 속도 1,000건/초 이상(예시 1,395장/초), 오류율 0%, 결측 보정율 100%
+구름 픽셀 25.1% -> 2.1%, 단위 테스트 5/5 통과 |
+| --- | --- |
+
+| **도전 과제** | cloud_mask의 밝기 기준 185를 210으로 바꾸면 구름 조건 결과가 어떻게 변하는지 확인하고, 주간·흐림·저조도 조건별 권장 기준을 제안한다. |
+| --- | --- |
+
+| **제출물** | 전처리 코드, 전처리 전후 비교표, 단위 테스트 결과, 전후 비교 그림 |
+| --- | --- |
+
+**미션 3. 위성영상 내 기갑/포병 장비 객체 탐지 Baseline CNN/Vision 모델 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M3 코드를 실행해 규제 강도(C) 선택 과정과 기본 시험셋 정확도를 확인한다.
+2) 혼동행렬에서 가장 많이 틀린 기종 쌍을 찾는다.
+3) 은폐 조건 정확도가 크게 떨어지는 이유를 필터 반응 그림으로 설명한다. |
+| --- | --- |
+
+| **확인할 결과** | 기본 시험셋 정확도 75% 이상(예시 96.5%)
+은폐 조건 정확도 0.25~0.61로 한계 확인 |
+| --- | --- |
+
+| **도전 과제** | KERNELS에 다른 방향의 필터(예: 가로선 검출 [[-1,-1,-1],[2,2,2],[-1,-1,-1]])를 추가해 기본·은폐 조건 정확도가 어떻게 바뀌는지 기록한다. |
+| --- | --- |
+
+| **제출물** | Baseline 코드, 기본 추론 결과 보고서(혼동행렬, 은폐 조건 정확도) |
+| --- | --- |
+
+**미션 4. 위장막/차폐 환경 하 군용 장비 미세 특징 추출 및 정밀 객체분류 모델 고도화**
+
+| **난이도·시간** | 중급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M4 코드를 실행해 Baseline과 정밀 모델의 기종 식별 재현율·정확도를 비교한다.
+2) 은폐 조건 10종 표에서 가장 약한 조건을 찾는다.
+3) 중요 특징 상위 목록을 보고 SAR 특징이 왜 중요한지 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 군용 기종 식별 재현율 85% 이상(예시 97.3%), 1장당 200ms 이하
+은폐 조건 10종 통과, 최약 조건은 저해상도(0.87) |
+| --- | --- |
+
+| **도전 과제** | 학습 자료를 맑은 조건만(scen=("clean",))으로 바꿔 다시 학습하면 조건별 재현율이 어떻게 떨어지는지 확인하고 증강 학습의 효과를 설명한다. |
+| --- | --- |
+
+| **제출물** | 정밀 모델 코드, 은폐 조건 10종 시험 결과, 오분류 유발 패턴 분석 |
+| --- | --- |
+
+**미션 5. 위성 촬영 각도/그림자 영향에 따른 객체분류 신뢰도 점수 산출 및 오분류 필터 구현**
+
+| **난이도·시간** | 중급~고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M5 코드를 실행해 신뢰도 가중치 매트릭스를 확인한다.
+2) 기존 방식과 엔진의 오분류율, 판독 보류 건수를 비교한다.
+3) 등급별 실제 정답률과 임계값 민감도 표를 보고 High 기준의 타당성을 판단한다. |
+| --- | --- |
+
+| **확인할 결과** | 오분류율 감축 40% 이상(예시 3.2% -> 0.6%, 82.5% 감축)
+등급 일관성 90% 이상(예시 98.5%), ROC-AUC 0.961 |
+| --- | --- |
+
+| **도전 과제** | grade() 함수의 High 기준을 0.95로 올리면 자동 보고와 판독 보류 건수가 어떻게 바뀌는지 확인하고, 판독관 인원을 고려한 적정 기준을 토의한다. |
+| --- | --- |
+
+| **제출물** | 신뢰도 엔진 코드, 오분류 필터 전후 비교표, 신뢰도 가중치표, 등급 기준 설명 |
+| --- | --- |
+
+**미션 6. 위성영상 표적 탐지 위치 및 식별 확률 지도(Heatmap) 가시화 UI 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M6 코드를 실행해 타일 갱신 처리시간과 식별 목록을 확인한다.
+2) 분석 화면의 4개 구성요소(식별 오버레이, 밀집도, 기종 현황, 확률 분포)를 확인한다.
+3) 식별확률이 낮은 대상이 어떤 조건에서 나왔는지 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 타일 한 줄 갱신 100ms 이내(예시 33ms), 렌더링 1초 이내
+시각화 구성요소 4종, 실제 객체 17건 모두 식별 |
+| --- | --- |
+
+| **도전 과제** | 밀집도 계산의 가우시안 폭(24)을 12로 줄이면 밀집 지점 표시가 어떻게 바뀌는지 확인하고, 분석관 인지 부하를 줄이는 화면 개선안을 제시한다. |
+| --- | --- |
+
+| **제출물** | 분석 화면 코드, 화면 이미지, 식별 목록, 개선안 |
+| --- | --- |
+
+**미션 7. 고가치 표적(HVT) 식별 시 영상분석관 최종 판독(HITL) 및 교차 검증 절차 설계**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M7 코드를 실행해 HVT 우선 판독 순서와 차단된 규칙 위반 사례를 확인한다.
+2) 교차 검증 불일치(IMG0103)가 보류 후 상신되는 흐름을 확인한다.
+3) HVT 2인 판독이 동작하는지, 감사 로그 변조가 검출되는지 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 자동 승인 0건, 규칙 위반 5건 차단(자동 확정·확대 판독 전 승인·허용 외 조치·교차 검증 전 승인·1인 승인)
+로깅 성공률 100%, 변조 위치(6번째 기록) 검출 |
+| --- | --- |
+
+| **도전 과제** | HVT_TYPES에 'tank'를 추가하면 판독 순서와 2인 판독 부담이 어떻게 바뀌는지 확인하고, 지휘관 피드백 입력 양식(필수 항목)을 설계한다. |
+| --- | --- |
+
+| **제출물** | 판독 워크플로우 코드, HITL 판독 절차 요약(확대 판독·교차 검증·2인 판독·근거 기록 요건) |
+| --- | --- |
+
+**미션 8. 악기상 및 저해상도 위성영상 대량 배치 처리 스트레스 테스트 및 한계치 도출**
+
+| **난이도·시간** | 고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M8 코드를 실행해 상황별 수신·처리·격리·유실·다운을 확인한다.
+2) 메모리 반복 측정과 병목 구간 비율을 확인한다.
+3) 처리 예산 부족 시 정밀분류 지연(기능 축소) 표시를 확인하고 처리 한계치 환산값을 기록한다. |
+| --- | --- |
+
+| **확인할 결과** | 모든 상황 다운 0건, 유실률 0%(손상 타일 31장 격리)
+메모리 증가 5MB 이내, 병목은 전처리·특징 단계, 성능저하 모드 표시 |
+| --- | --- |
+
+| **도전 과제** | 처리 예산(150ms)을 50ms로 줄여 정밀분류 지연 건수를 확인하고, 시간당 목표 면적을 처리하기 위해 필요한 코어 수를 계산한다. |
+| --- | --- |
+
+| **제출물** | 스트레스 시험 코드, 시험 결과표, 병목 분석과 처리 한계치 |
+| --- | --- |
+
+**미션 9. AAR 기반 모의 위장 표적 오판독 사례 분석 및 객체분류 모델 파라미터 재보정**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M9 코드를 실행해 초기 설정의 AAR 일지(오판독 원인별 건수)를 확인한다.
+2) 모의 표적과 실제 장비의 SAR 반사 차이를 확인한다.
+3) 격자 탐색 결과와 재보정 전후 정확도, 회귀 시험, 재발 오류를 비교한다. |
+| --- | --- |
+
+| **확인할 결과** | 원인별 오판독 분류 완료, 종합 정확도 +10%p 이상(예시 0.786 -> 0.990)
+회귀 시험 0.790 -> 0.984, 재발 5건(위장·구름 조건 기종 혼동)과 대책 제시 |
+| --- | --- |
+
+| **도전 과제** | decide()의 SAR 일치성 규칙을 '모의표적 미학습' 모델에 적용하도록 바꾸고(예: civil 판정에도 적용) 정확도가 어떻게 달라지는지 비교한다. |
+| --- | --- |
+
+| **제출물** | AAR 보고서(계획·결과·원인·개선), 재보정 파라미터, 회귀 시험 결과 |
+| --- | --- |
+
+**미션 10. 공개 위성영상 장비 객체분류 시스템 통합 및 전략 ISR 평가 브리핑 패키지 완성**
+
+| **난이도·시간** | 최고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M10 코드를 실행해 자체 점검 10개 항목이 모두 PASS인지 확인한다.
+2) 손상 타일·메타데이터 오류 차단과 기능 커버리지를 확인한다.
+3) 브리핑 요약을 바탕으로 5분 분량 전략 ISR 평가 브리핑 자료와 인접 체계 연동 확장 방안을 작성한다. |
+| --- | --- |
+
+| **확인할 결과** | 자체 점검 10/10 통과, 기능 커버리지 100%(12/12)
+종합 정확도 96.6%, 모의 표적 적발 100.0%, 판독 대기 251건, 자동 승인 0건 |
+| --- | --- |
+
+| **도전 과제** | CONFIG의 train_with_decoy를 False로 바꿔 실행하고 어떤 점검 항목이 실패하는지 확인해 브리핑의 '한계' 항목에 반영한다. |
+| --- | --- |
+
+| **제출물** | 통합 코드, 전략 ISR 평가 브리핑 자료, 최종 결과 보고서, 사용자 가이드 |
+| --- | --- |
+
+**4. 최종 점검표**
+
+| **점검 항목** | **확인** |
+| --- | --- |
+| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
+| 각 미션의 확인할 결과를 기록했다 | ( ) |
+| 도전 과제 결과와 이유를 기록했다 | ( ) |
+| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
+| 실제 위성영상·위치·장비 제원을 사용하지 않았다 | ( ) |
+| 식별 결과를 영상분석관 판독 보조 정보로 표현했다 | ( ) |