pbl02/scenario_md/ISR01-정보·감시·정찰(ISR)_영상정보 분석-공개 위성영상 장비·차량 객체분류 정확도 평가/ISR01-정보·감시·정찰(ISR)_영상정보 분석-공개 위성영상 장비·차량 객체분류 정확도 평가.md

**공개 위성영상 장비·차량 객체분류 정확도 평가**

난 이 도 **고급**

| **프로젝트 목표** | 러시아-우크라이나 전쟁에서는 상용·공개 위성영상이 대량으로 공개되면서 영상에서 장비와 차량을 빠르게 분류하는 능력과 함께, 위장막·수목 차폐·구름·모의 위장 표적 때문에 생기는 오판독을 걸러내는 능력이 중요해졌다. 본 프로젝트에서는 실제 위성영상 대신 코드로 만든 교육용 합성 영상(광학·SAR 한 쌍)을 사용해 메타데이터 스키마 정의, 해상도·구름·방위 정규화 전처리, Baseline 분류, 은폐 조건 대응 정밀 분류, 신뢰도 점수와 오분류 필터, 식별 확률 지도 화면, 고가치 표적 판독 승인(HITL), 대량 타일 부하 시험, AAR 재보정, 최종 통합까지 단계별로 구현한다. 최종 목표는 모델 정확도를 조건별로 정직하게 평가하고, 확신이 낮거나 중요한 식별 결과는 반드시 영상분석관의 판독을 거치도록 설계하는 것이다. |
| --- | --- |

| **유의사항** | 모든 영상은 코드 안에서 추상 도형으로 만든 교육용 합성 자료이며 실제 위성영상, 촬영 위치, 부대명, 장비 제원은 사용하지 않는다. 도형의 길이·포신 등은 분류 학습을 위한 가상 치수로 실제 장비와 무관하다. 부대 내 촬영이나 부대 자료·영상의 외부 AI 서비스 입력은 금지하며, 공개 영상을 실습에 쓰더라도 출처·라이선스를 확인한다. 식별 결과와 신뢰도 등급은 판독 보조 정보이며 최종 판독과 활용 판단은 영상분석관 검토와 지휘계통을 따른다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다. |
| --- | --- |

**1단계. 위성영상 메타데이터 정의 및 영상 전처리**

| **미션 1. 상용 위성(광학/SAR) 영상 특성 분석 및 군용 장비/차량 메타데이터 규격 정의** [초급 · 1.5시간] | **미션 1. 상용 위성(광학/SAR) 영상 특성 분석 및 군용 장비/차량 메타데이터 규격 정의** [초급 · 1.5시간] |
| --- | --- |
| **목표** | 공개·상용 광학 및 SAR 위성영상의 해상도, 촬영 조건, 출처 메타데이터와 군용 장비·차량(전차, 자주포, 트럭) 분류 기준을 정리해 데이터셋 스키마와 검증기를 만든다. |
| **수행** | 영상 출처(제공처·라이선스·촬영 시각), 센서(광학/SAR, 지상 해상도, 비스듬 촬영 각도, 태양 고도, 구름 비율), 전술 파라미터(기상, 위치 오차, 전달 지연), 객체 라벨(기종, 위치, 방위, 은폐 상태, 판독 상태) 필드를 정의한다. 라벨은 자동 초안('auto_draft')으로 생성되고 영상분석관 판독 후에만 'analyst_verified'가 되도록 한다. 가상 샘플 20건을 검증하고 형식·허용값·범위·누락 오류 5종을 일부러 넣어 모두 검출되는지 확인한 뒤 명세서로 정리한다. |
| **산출물** | data/schema/isr01_input_schema.json, docs/isr01_data_spec.md |
| **평가** | **[필수] 데이터 구조화·검증** — 스키마 필드 정의 완성도 100%, 정상 샘플 검증 오류 0건, 주입한 오류 5종을 모두 검출하고 기종 분류 기준과 누락된 전술 파라미터를 보완했는가. |

| **미션 2. 위성영상 해상도 표준화, 구름 차폐 제거 및 방위/스케일 정규화 전처리 모듈 구현** [초급~중급 · 2시간] | **미션 2. 위성영상 해상도 표준화, 구름 차폐 제거 및 방위/스케일 정규화 전처리 모듈 구현** [초급~중급 · 2시간] |
| --- | --- |
| **목표** | 구름 차폐, 비스듬 촬영 왜곡, 해상도 차이, 결측 픽셀을 보정하고 객체 방위와 축척을 정규화하는 위성영상 전처리 파이프라인을 구축한다. |
| **수행** | 지상 해상도와 촬영 각도 메타데이터로 영상을 표준 해상도(0.5m/픽셀, 가상 기준)로 재표본화하고, 광학에서 밝고 매끈하지만 SAR에는 반사가 없는 영역을 구름으로 찾아 배경값으로 채운다. 결측 픽셀을 보정하고, 객체 마스크의 주축을 구해 가로 방향으로 회전한 뒤 0~1로 정규화한다. 처리 속도와 오류율, 조건별 구름 픽셀 감소와 방위 정규화 성공률을 측정하고 단위 테스트 5종으로 정합성을 확인한다. |
| **산출물** | src/preprocess/isr01_preprocessor.py, 전처리 전후 비교표, 단위 테스트 결과 |
| **평가** | **[필수] 전처리 구현·효과 검증** — 처리 속도 1,000건/초 이상, 전처리 오류율 0%, 결측치 보정율 100%, 단위 테스트 5종을 통과했는가. |

**2단계. 장비 분류 Baseline 구현 및 은폐 대응 정밀 모델 고도화**

| **미션 3. 위성영상 내 기갑/포병 장비 객체 탐지 Baseline CNN/Vision 모델 구현** [중급 · 2.5시간] | **미션 3. 위성영상 내 기갑/포병 장비 객체 탐지 Baseline CNN/Vision 모델 구현** [중급 · 2.5시간] |
| --- | --- |
| **목표** | 위성영상 속 주요 군용 장비와 차량을 1차 식별하는 Baseline 합성곱(CNN) 방식 분류 모델을 구현한다. |
| **수행** | Sobel·Laplacian·대각선·평균 필터로 이루어진 합성곱 필터 뱅크, ReLU, 최대 풀링으로 간이 CNN 특징을 만들고 로지스틱 회귀 분류기를 학습한다. 규제 강도를 검증 자료로 1차 조정하고, 은폐 없는 기본 시험셋에서 정확도·혼동행렬·1장당 판단 시간을 측정한다. 위장막·수목 차폐·저해상도 조건에서 정확도가 얼마나 떨어지는지 확인해 한계를 정리한다. |
| **산출물** | src/models/isr01_baseline_model.py, 기본 추론 결과 보고서(혼동행렬·조건별 정확도) |
| **평가** | **[필수] Baseline 구현·성능 측정** — 기본 데이터셋 분류 정확도 75% 이상, 판단 근거(필터 반응)와 은폐 조건에서의 한계를 수치로 설명했는가. |

| **미션 4. 위장막/차폐 환경 하 군용 장비 미세 특징 추출 및 정밀 객체분류 모델 고도화** [중급 · 3시간] | **미션 4. 위장막/차폐 환경 하 군용 장비 미세 특징 추출 및 정밀 객체분류 모델 고도화** [중급 · 3시간] |
| --- | --- |
| **목표** | 위장막 설치, 수목 차폐, 부분 은폐 상태의 장비에서도 기종을 식별하도록 미세 특징을 추출하는 정밀 분류 모델로 고도화한다. |
| **수행** | 객체 모양(전체 길이·차체 길이·포신 돌출·포탑 위치), 윤곽 방향 히스토그램(HOG), 위장막과 구름에 강한 SAR 반사 통계, 투영 윤곽 특징을 결합하고 은폐 조건 10종을 섞은 증강 자료로 랜덤 포레스트를 학습한다. 조건 10종별 군용 장비 기종 식별 재현율과 1장당 처리 지연을 측정하고, 혼동이 많은 기종 쌍과 중요 특징을 분석해 특징 공간 개선 방향을 정리한다. |
| **산출물** | src/models/isr01_advanced_detector.py, 은폐 조건 10종 시험 결과 |
| **평가** | **[선택] 은폐 대응 정밀 분류** — 군용 장비 기종 식별 재현율 85% 이상, 처리 지연 200ms 이하, 은폐 조건 10종 시험을 통과하고 오분류 유발 패턴을 제시했는가. |

**3단계. 신뢰도 기반 오분류 필터 및 식별 확률 가시화**

| **미션 5. 위성 촬영 각도/그림자 영향에 따른 객체분류 신뢰도 점수 산출 및 오분류 필터 구현** [중급~고급 · 3시간] | **미션 5. 위성 촬영 각도/그림자 영향에 따른 객체분류 신뢰도 점수 산출 및 오분류 필터 구현** [중급~고급 · 3시간] |
| --- | --- |
| **목표** | 센서 해상도 한계, 촬영 각도, 태양 고도(그림자), 구름 영향을 반영해 분류 결과의 신뢰도 점수를 계산하고 오분류를 걸러내는 엔진을 개발한다. |
| **수행** | 분류 확률의 최댓값·차이·엔트로피와 구름 비율, 해상도, 촬영 각도, 태양 고도, SAR 반사 세기를 품질 지표로 삼아 별도 보정 자료에서 '분류가 맞을 확률'을 학습하고 그 계수를 신뢰도 가중치 매트릭스로 공개한다. High만 자동 보고하고 Medium·Low는 판독 보류로 돌려 기존 방식과 오분류율을 비교하며, ROC-AUC, 임계값 민감도, 픽셀 잡음에 대한 등급 일관성을 확인한다. |
| **산출물** | src/verification/isr01_confidence_engine.py, 오분류 필터 전후 비교표, 신뢰도 가중치표 |
| **평가** | **[필수] 오분류 감축·신뢰도 일관성** — 오분류(오경보)율 40% 이상 감축, 신뢰도 등급 산출 일관성 90% 이상, 등급별 실제 정답률로 High/Medium/Low 기준의 타당성을 설명했는가. |

| **미션 6. 위성영상 표적 탐지 위치 및 식별 확률 지도(Heatmap) 가시화 UI 구현** [중급 · 2.5시간] | **미션 6. 위성영상 표적 탐지 위치 및 식별 확률 지도(Heatmap) 가시화 UI 구현** [중급 · 2.5시간] |
| --- | --- |
| **목표** | 식별된 장비의 위치·기종·식별 확률과 집결지 밀집도를 지도에 겹쳐 보여 주는 위성 ISR 영상분석 화면을 구현한다. |
| **수행** | 가상 광역 영상(타일 10x10)을 한 줄씩 받아 판독하는 갱신 흐름을 모의하고 처리시간을 잰다. 식별 결과를 기종별 표식과 확률 크기로 겹쳐 그리고, 군용 식별 위치를 확률로 가중해 밀집도 지도(Heatmap)를 만든다. 기종별 현황과 식별 확률 분포를 더해 4개 구성요소를 야간 작전용 어두운 화면으로 표시하고, 확률이 낮은 순으로 분석관 우선 확인 목록을 출력한다. |
| **산출물** | src/ui/isr01_dashboard.py, 분석 화면, 식별 목록 |
| **평가** | **[선택] 식별 확률 가시화** — 갱신 1초 이내·처리 응답 100ms 이내, 시각화 구성요소 4종 이상, 밀집 지점과 확인 우선 대상이 직관적으로 구분되는가. |

**4단계. 고가치 표적 판독 승인 체계 및 대량 처리 검증**

| **미션 7. 고가치 표적(HVT) 식별 시 영상분석관 최종 판독(HITL) 및 교차 검증 절차 설계** [고급 · 3시간] | **미션 7. 고가치 표적(HVT) 식별 시 영상분석관 최종 판독(HITL) 및 교차 검증 절차 설계** [고급 · 3시간] |
| --- | --- |
| **목표** | 고가치 표적(HVT) 후보가 식별되면 영상분석관이 고해상도 확대 판독과 교차 검증을 거쳐 최종 승인하는 HITL 판독 워크플로우를 설계한다. |
| **수행** | 모델 식별 결과는 모두 판독 대기로 등록하고 HVT 후보를 우선 정렬한다. 확대 판독 기록 없이는 승인할 수 없게 하고, HVT는 다른 출처(SAR·다른 촬영 회차) 교차 검증이 일치하고 서로 다른 분석관 2인이 판독해야 승인되도록 한다. 모델·시스템 명의의 자동 확정을 차단하고 근거 기록을 강제하며, 보류 기한이 지나면 선임 판독관에게 상신한다. 지휘관 피드백까지 해시 체인 감사 로그에 남기고 위·변조를 검출한다. |
| **산출물** | src/hitl/isr01_approval_workflow.py, docs/isr01_hitl_guide.md |
| **평가** | **[필수] 판독 승인·책임 추적** — 자동 승인 0건, 규칙 위반 결정(자동 확정·확대 판독 전 승인·교차 검증 불일치·1인 승인) 차단, 대기시간과 승인/반려 로깅 성공률 100%, 감사 로그 위·변조를 검출했는가. |

| **미션 8. 악기상 및 저해상도 위성영상 대량 배치 처리 스트레스 테스트 및 한계치 도출** [고급 · 3.5시간] | **미션 8. 악기상 및 저해상도 위성영상 대량 배치 처리 스트레스 테스트 및 한계치 도출** [고급 · 3.5시간] |
| --- | --- |
| **목표** | 대면적 위성영상 타일을 대량 배치로 처리해 추론 병목과 처리 한계치, 기능 축소 작동을 검증한다. |
| **수행** | 평시 대비 500% 증가한 타일, 악기상·저해상도 타일, 손상 타일(잘림·전송 오류·빈 영상) 혼입, 처리 예산 부족 상황을 가상으로 주입한다. 수신·처리·격리 건수를 대조해 유실 여부를 확인하고, 같은 배치를 반복 처리하며 메모리 증가를 추적한다. 단계별 누적 시간으로 병목을 찾고, 예산을 넘기면 정밀 분류를 미루고 '객체 유무'만 먼저 표시하는 기능 축소 모드를 확인한다. 측정 처리량으로 시간당 처리 가능 면적을 환산한다. |
| **산출물** | tests/isr01_stress_test.py, 스트레스 테스트 분석 보고서 |
| **평가** | **[선택] 대량 처리 복원력** — 평시 대비 500% 부하에서 시스템 다운 0건, 데이터 유실률 0%(손상 타일은 격리), 메모리 누수 없음, 성능저하 모드와 처리 한계치를 제시했는가. |

**5단계. 사후검토 재보정 및 최종 통합**

| **미션 9. AAR 기반 모의 위장 표적 오판독 사례 분석 및 객체분류 모델 파라미터 재보정** [고급 · 3시간] | **미션 9. AAR 기반 모의 위장 표적 오판독 사례 분석 및 객체분류 모델 파라미터 재보정** [고급 · 3시간] |
| --- | --- |
| **목표** | AAR 사후검토로 모의 위장 표적 오판독 사례를 분석하고 분류 모델의 특징 가중치와 판정 임계값을 재보정한다. |
| **수행** | 모의 위장 표적이 섞인 판독 훈련 결과를 AAR 일지로 정리하고 오판독을 원인(모의 표적 오판독, 기종 혼동과 조건)별로 분류한다. 모의 표적과 실제 장비의 SAR 반사 차이를 근거로 원인을 규명하고, 모의 표적 학습 추가 여부와 SAR-광학 일치성 임계값을 격자 탐색해 종합 정확도가 가장 높은 설정을 고른다. 별도 자료로 회귀 시험을 하고 재발 오류와 남은 과제를 정리한다. |
| **산출물** | docs/isr01_aar_report.md, configs/isr01_tuned_params.yaml |
| **평가** | **[필수] AAR 원인 분석·재보정** — 원인별 오판독 분류 완료, 재보정 후 종합 정확도 10%p 이상 향상, 회귀 시험에서 성능 유지, 재발 오류를 확인하고 대책을 제시했는가. |

| **미션 10. 공개 위성영상 장비 객체분류 시스템 통합 및 전략 ISR 평가 브리핑 패키지 완성** [최고급 · 3.5시간] | **미션 10. 공개 위성영상 장비 객체분류 시스템 통합 및 전략 ISR 평가 브리핑 패키지 완성** [최고급 · 3.5시간] |
| --- | --- |
| **목표** | 메타데이터 검증부터 전처리, 정밀 분류, 신뢰도 엔진, 판독 대기열, 분석 화면까지 시스템을 통합 검증하고 전략 ISR 평가 브리핑 패키지를 완성한다. |
| **수행** | 재보정 설정으로 전체 과정을 한 번에 실행하는 통합 코드를 완성하고 손상 타일과 메타데이터 오류가 자동 차단되는지 확인한다. 정확도·기종 식별 재현율·모의 표적 적발·자동 승인 여부·감사 로그 무결성·처리 지연·기능 커버리지 자체 점검을 모두 통과시키고, 처리 현황·성능·판독 대기·신뢰도의 의미·한계와 인접 체계 연동 방향을 담은 브리핑 요약과 사용자 가이드를 작성한다. |
| **산출물** | src/main_isr01.py, README.md, docs/isr01_final_report.pdf(md) |
| **평가** | **[필수] 통합·브리핑** — 통합 파이프라인 실행 성공률 100%, 자체 점검 항목 전부 통과(기능 커버리지 85% 이상), 브리핑 수치가 실행 결과와 일치하는가. |

**최종 판정**

**판정 기준 :** 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.

최종 판정 결과 : ( PASS / FAIL )

평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)