**ISR01 실습가이드 - 공개 위성영상 장비·차량 객체분류 정확도 평가**

구    분 **실습가이드 [교육용가상자료]**

**1. 실습 개요**

본 실습은 코드로 만든 교육용 합성 위성영상(광학·SAR 32x32 조각)으로 장비·차량 객체분류 시스템을 미션 단위로 구현하고 정확도를 평가하는 과정이다. 미션마다 정답 코드(ISR01_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다. 실제 위성영상은 사용하지 않으며, 모든 식별 결과는 영상분석관 판독을 돕는 보조 정보로 해석한다.

| **과제** | ISR01 공개 위성영상 장비·차량 객체분류 정확도 평가 |
| --- | --- |

| **난이도·유형** | 고급 / 코딩형 |
| --- | --- |

| **예상 소요시간** | 미션 10개, 총 27.5시간 |
| --- | --- |

| **준비물** | ISR01_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
| --- | --- |

**2. 진행 방법**

- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 합성 영상 생성 함수가 빠져 오류가 난다).

- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 분류 결과와 성능 수치는 같게 나오며, 처리 속도·시간(ms, 장/초)은 실행 환경에 따라 달라진다.

- 미션 3~6, 8~10은 합성 영상 수백~천여 장을 만들고 학습하므로 실행에 10~20초가 걸릴 수 있다.

- 도전 과제는 코드 상단의 파라미터(은폐 조건, 등급 기준, 임계값 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.

- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.

- 실제 위성영상·촬영 위치·부대 정보는 입력하지 않는다. 합성 도형의 치수는 가상값이며 실제 장비 제원과 무관하다.

**3. 미션 진행 요약**

| **미션** | **난이도·시간** | **핵심 확인 결과** |
| --- | --- | --- |
| **M1. 상용 위성(광학/SAR) 영상 특성 분석 및 군용 장비/차량 메타데이터 규격 정의** | 초급
1.5시간 | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출 |
| **M2. 위성영상 해상도 표준화, 구름 차폐 제거 및 방위/스케일 정규화 전처리 모듈 구현** | 초급~중급
2시간 | 처리 속도 1,000건/초 이상(예시 1,395장/초), 오류율 0%, 결측 보정율 100% |
| **M3. 위성영상 내 기갑/포병 장비 객체 탐지 Baseline CNN/Vision 모델 구현** | 중급
2.5시간 | 기본 시험셋 정확도 75% 이상(예시 96.5%) |
| **M4. 위장막/차폐 환경 하 군용 장비 미세 특징 추출 및 정밀 객체분류 모델 고도화** | 중급
3시간 | 군용 기종 식별 재현율 85% 이상(예시 97.3%), 1장당 200ms 이하 |
| **M5. 위성 촬영 각도/그림자 영향에 따른 객체분류 신뢰도 점수 산출 및 오분류 필터 구현** | 중급~고급
3시간 | 오분류율 감축 40% 이상(예시 3.2% -> 0.6%, 82.5% 감축) |
| **M6. 위성영상 표적 탐지 위치 및 식별 확률 지도(Heatmap) 가시화 UI 구현** | 중급
2.5시간 | 타일 한 줄 갱신 100ms 이내(예시 33ms), 렌더링 1초 이내 |
| **M7. 고가치 표적(HVT) 식별 시 영상분석관 최종 판독(HITL) 및 교차 검증 절차 설계** | 고급
3시간 | 자동 승인 0건, 규칙 위반 5건 차단(자동 확정·확대 판독 전 승인·허용 외 조치·교차 검증 전 승인·1인 승인) |
| **M8. 악기상 및 저해상도 위성영상 대량 배치 처리 스트레스 테스트 및 한계치 도출** | 고급
3.5시간 | 모든 상황 다운 0건, 유실률 0%(손상 타일 31장 격리) |
| **M9. AAR 기반 모의 위장 표적 오판독 사례 분석 및 객체분류 모델 파라미터 재보정** | 고급
3시간 | 원인별 오판독 분류 완료, 종합 정확도 +10%p 이상(예시 0.786 -> 0.990) |
| **M10. 공개 위성영상 장비 객체분류 시스템 통합 및 전략 ISR 평가 브리핑 패키지 완성** | 최고급
3.5시간 | 자체 점검 10/10 통과, 기능 커버리지 100%(12/12) |

**미션 1. 상용 위성(광학/SAR) 영상 특성 분석 및 군용 장비/차량 메타데이터 규격 정의**

| **난이도·시간** | 초급 · 1.5시간 |
| --- | --- |

| **진행 순서** | 1) M1 코드를 실행해 정상 샘플 20건의 검증 결과를 확인한다.
2) 오류 주입 결과 5건이 어떤 규칙에 걸렸는지 표로 정리한다.
3) 출력된 기종 분류 기준과 라벨 status(auto_draft/analyst_verified)의 의미를 명세서에 적는다. |
| --- | --- |

| **확인할 결과** | 정상 샘플 오류 0건, 주입 오류 5종 모두 검출
필드 17개 명세, 기종 분류 기준 5종 정리 |
| --- | --- |

| **도전 과제** | SCHEMA의 sensor에 촬영 방위각(azimuth_deg, 0~360) 필드를 추가하고, 범위를 벗어난 값을 넣어 검출되는지 확인한다. |
| --- | --- |

| **제출물** | 스키마 정의 코드, 데이터 명세서(필드·규칙·분류 기준·판독 상태 정의) |
| --- | --- |

**미션 2. 위성영상 해상도 표준화, 구름 차폐 제거 및 방위/스케일 정규화 전처리 모듈 구현**

| **난이도·시간** | 초급~중급 · 2시간 |
| --- | --- |

| **진행 순서** | 1) M2 코드를 실행해 처리 속도, 오류율, 결측치 보정율을 확인한다.
2) 조건별 표에서 구름 조건의 밝은 픽셀이 얼마나 줄었는지, 방위 정규화가 어느 조건에서 약한지 확인한다.
3) SAR를 함께 쓰면 밝은 민간 차량을 구름으로 오인하지 않는 이유를 설명한다.
4) 단위 테스트 5종 통과 여부를 기록한다. |
| --- | --- |

| **확인할 결과** | 처리 속도 1,000건/초 이상(예시 1,395장/초), 오류율 0%, 결측 보정율 100%
구름 픽셀 25.1% -> 2.1%, 단위 테스트 5/5 통과 |
| --- | --- |

| **도전 과제** | cloud_mask의 밝기 기준 185를 210으로 바꾸면 구름 조건 결과가 어떻게 변하는지 확인하고, 주간·흐림·저조도 조건별 권장 기준을 제안한다. |
| --- | --- |

| **제출물** | 전처리 코드, 전처리 전후 비교표, 단위 테스트 결과, 전후 비교 그림 |
| --- | --- |

**미션 3. 위성영상 내 기갑/포병 장비 객체 탐지 Baseline CNN/Vision 모델 구현**

| **난이도·시간** | 중급 · 2.5시간 |
| --- | --- |

| **진행 순서** | 1) M3 코드를 실행해 규제 강도(C) 선택 과정과 기본 시험셋 정확도를 확인한다.
2) 혼동행렬에서 가장 많이 틀린 기종 쌍을 찾는다.
3) 은폐 조건 정확도가 크게 떨어지는 이유를 필터 반응 그림으로 설명한다. |
| --- | --- |

| **확인할 결과** | 기본 시험셋 정확도 75% 이상(예시 96.5%)
은폐 조건 정확도 0.25~0.61로 한계 확인 |
| --- | --- |

| **도전 과제** | KERNELS에 다른 방향의 필터(예: 가로선 검출 [[-1,-1,-1],[2,2,2],[-1,-1,-1]])를 추가해 기본·은폐 조건 정확도가 어떻게 바뀌는지 기록한다. |
| --- | --- |

| **제출물** | Baseline 코드, 기본 추론 결과 보고서(혼동행렬, 은폐 조건 정확도) |
| --- | --- |

**미션 4. 위장막/차폐 환경 하 군용 장비 미세 특징 추출 및 정밀 객체분류 모델 고도화**

| **난이도·시간** | 중급 · 3시간 |
| --- | --- |

| **진행 순서** | 1) M4 코드를 실행해 Baseline과 정밀 모델의 기종 식별 재현율·정확도를 비교한다.
2) 은폐 조건 10종 표에서 가장 약한 조건을 찾는다.
3) 중요 특징 상위 목록을 보고 SAR 특징이 왜 중요한지 정리한다. |
| --- | --- |

| **확인할 결과** | 군용 기종 식별 재현율 85% 이상(예시 97.3%), 1장당 200ms 이하
은폐 조건 10종 통과, 최약 조건은 저해상도(0.87) |
| --- | --- |

| **도전 과제** | 학습 자료를 맑은 조건만(scen=("clean",))으로 바꿔 다시 학습하면 조건별 재현율이 어떻게 떨어지는지 확인하고 증강 학습의 효과를 설명한다. |
| --- | --- |

| **제출물** | 정밀 모델 코드, 은폐 조건 10종 시험 결과, 오분류 유발 패턴 분석 |
| --- | --- |

**미션 5. 위성 촬영 각도/그림자 영향에 따른 객체분류 신뢰도 점수 산출 및 오분류 필터 구현**

| **난이도·시간** | 중급~고급 · 3시간 |
| --- | --- |

| **진행 순서** | 1) M5 코드를 실행해 신뢰도 가중치 매트릭스를 확인한다.
2) 기존 방식과 엔진의 오분류율, 판독 보류 건수를 비교한다.
3) 등급별 실제 정답률과 임계값 민감도 표를 보고 High 기준의 타당성을 판단한다. |
| --- | --- |

| **확인할 결과** | 오분류율 감축 40% 이상(예시 3.2% -> 0.6%, 82.5% 감축)
등급 일관성 90% 이상(예시 98.5%), ROC-AUC 0.961 |
| --- | --- |

| **도전 과제** | grade() 함수의 High 기준을 0.95로 올리면 자동 보고와 판독 보류 건수가 어떻게 바뀌는지 확인하고, 판독관 인원을 고려한 적정 기준을 토의한다. |
| --- | --- |

| **제출물** | 신뢰도 엔진 코드, 오분류 필터 전후 비교표, 신뢰도 가중치표, 등급 기준 설명 |
| --- | --- |

**미션 6. 위성영상 표적 탐지 위치 및 식별 확률 지도(Heatmap) 가시화 UI 구현**

| **난이도·시간** | 중급 · 2.5시간 |
| --- | --- |

| **진행 순서** | 1) M6 코드를 실행해 타일 갱신 처리시간과 식별 목록을 확인한다.
2) 분석 화면의 4개 구성요소(식별 오버레이, 밀집도, 기종 현황, 확률 분포)를 확인한다.
3) 식별확률이 낮은 대상이 어떤 조건에서 나왔는지 정리한다. |
| --- | --- |

| **확인할 결과** | 타일 한 줄 갱신 100ms 이내(예시 33ms), 렌더링 1초 이내
시각화 구성요소 4종, 실제 객체 17건 모두 식별 |
| --- | --- |

| **도전 과제** | 밀집도 계산의 가우시안 폭(24)을 12로 줄이면 밀집 지점 표시가 어떻게 바뀌는지 확인하고, 분석관 인지 부하를 줄이는 화면 개선안을 제시한다. |
| --- | --- |

| **제출물** | 분석 화면 코드, 화면 이미지, 식별 목록, 개선안 |
| --- | --- |

**미션 7. 고가치 표적(HVT) 식별 시 영상분석관 최종 판독(HITL) 및 교차 검증 절차 설계**

| **난이도·시간** | 고급 · 3시간 |
| --- | --- |

| **진행 순서** | 1) M7 코드를 실행해 HVT 우선 판독 순서와 차단된 규칙 위반 사례를 확인한다.
2) 교차 검증 불일치(IMG0103)가 보류 후 상신되는 흐름을 확인한다.
3) HVT 2인 판독이 동작하는지, 감사 로그 변조가 검출되는지 확인한다. |
| --- | --- |

| **확인할 결과** | 자동 승인 0건, 규칙 위반 5건 차단(자동 확정·확대 판독 전 승인·허용 외 조치·교차 검증 전 승인·1인 승인)
로깅 성공률 100%, 변조 위치(6번째 기록) 검출 |
| --- | --- |

| **도전 과제** | HVT_TYPES에 'tank'를 추가하면 판독 순서와 2인 판독 부담이 어떻게 바뀌는지 확인하고, 지휘관 피드백 입력 양식(필수 항목)을 설계한다. |
| --- | --- |

| **제출물** | 판독 워크플로우 코드, HITL 판독 절차 요약(확대 판독·교차 검증·2인 판독·근거 기록 요건) |
| --- | --- |

**미션 8. 악기상 및 저해상도 위성영상 대량 배치 처리 스트레스 테스트 및 한계치 도출**

| **난이도·시간** | 고급 · 3.5시간 |
| --- | --- |

| **진행 순서** | 1) M8 코드를 실행해 상황별 수신·처리·격리·유실·다운을 확인한다.
2) 메모리 반복 측정과 병목 구간 비율을 확인한다.
3) 처리 예산 부족 시 정밀분류 지연(기능 축소) 표시를 확인하고 처리 한계치 환산값을 기록한다. |
| --- | --- |

| **확인할 결과** | 모든 상황 다운 0건, 유실률 0%(손상 타일 31장 격리)
메모리 증가 5MB 이내, 병목은 전처리·특징 단계, 성능저하 모드 표시 |
| --- | --- |

| **도전 과제** | 처리 예산(150ms)을 50ms로 줄여 정밀분류 지연 건수를 확인하고, 시간당 목표 면적을 처리하기 위해 필요한 코어 수를 계산한다. |
| --- | --- |

| **제출물** | 스트레스 시험 코드, 시험 결과표, 병목 분석과 처리 한계치 |
| --- | --- |

**미션 9. AAR 기반 모의 위장 표적 오판독 사례 분석 및 객체분류 모델 파라미터 재보정**

| **난이도·시간** | 고급 · 3시간 |
| --- | --- |

| **진행 순서** | 1) M9 코드를 실행해 초기 설정의 AAR 일지(오판독 원인별 건수)를 확인한다.
2) 모의 표적과 실제 장비의 SAR 반사 차이를 확인한다.
3) 격자 탐색 결과와 재보정 전후 정확도, 회귀 시험, 재발 오류를 비교한다. |
| --- | --- |

| **확인할 결과** | 원인별 오판독 분류 완료, 종합 정확도 +10%p 이상(예시 0.786 -> 0.990)
회귀 시험 0.790 -> 0.984, 재발 5건(위장·구름 조건 기종 혼동)과 대책 제시 |
| --- | --- |

| **도전 과제** | decide()의 SAR 일치성 규칙을 '모의표적 미학습' 모델에 적용하도록 바꾸고(예: civil 판정에도 적용) 정확도가 어떻게 달라지는지 비교한다. |
| --- | --- |

| **제출물** | AAR 보고서(계획·결과·원인·개선), 재보정 파라미터, 회귀 시험 결과 |
| --- | --- |

**미션 10. 공개 위성영상 장비 객체분류 시스템 통합 및 전략 ISR 평가 브리핑 패키지 완성**

| **난이도·시간** | 최고급 · 3.5시간 |
| --- | --- |

| **진행 순서** | 1) M10 코드를 실행해 자체 점검 10개 항목이 모두 PASS인지 확인한다.
2) 손상 타일·메타데이터 오류 차단과 기능 커버리지를 확인한다.
3) 브리핑 요약을 바탕으로 5분 분량 전략 ISR 평가 브리핑 자료와 인접 체계 연동 확장 방안을 작성한다. |
| --- | --- |

| **확인할 결과** | 자체 점검 10/10 통과, 기능 커버리지 100%(12/12)
종합 정확도 96.6%, 모의 표적 적발 100.0%, 판독 대기 251건, 자동 승인 0건 |
| --- | --- |

| **도전 과제** | CONFIG의 train_with_decoy를 False로 바꿔 실행하고 어떤 점검 항목이 실패하는지 확인해 브리핑의 '한계' 항목에 반영한다. |
| --- | --- |

| **제출물** | 통합 코드, 전략 ISR 평가 브리핑 자료, 최종 결과 보고서, 사용자 가이드 |
| --- | --- |

**4. 최종 점검표**

| **점검 항목** | **확인** |
| --- | --- |
| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
| 각 미션의 확인할 결과를 기록했다 | ( ) |
| 도전 과제 결과와 이유를 기록했다 | ( ) |
| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
| 실제 위성영상·위치·장비 제원을 사용하지 않았다 | ( ) |
| 식별 결과를 영상분석관 판독 보조 정보로 표현했다 | ( ) |