270 lines
15 KiB
Markdown
270 lines
15 KiB
Markdown
**OPS02 실습가이드 - 다중 센서 경보 중복 항적 통합 시뮬레이터**
|
|
|
|
구 분 **실습가이드 [교육용가상자료]**
|
|
|
|
**1. 실습 개요**
|
|
|
|
본 실습은 가상 방어 지역의 가상 센서 4기(레이더 2, EO/IR 1, 음향 1)가 내는 교육용 경보 데이터로 다중 센서 중복 항적 통합 시뮬레이터를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(OPS02_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.
|
|
|
|
| **과제** | OPS02 다중 센서 경보 중복 항적 통합 시뮬레이터 |
|
|
| --- | --- |
|
|
|
|
| **난이도·유형** | 고급 / 코딩형 |
|
|
| --- | --- |
|
|
|
|
| **예상 소요시간** | 미션 10개, 총 27.5시간 |
|
|
| --- | --- |
|
|
|
|
| **준비물** | OPS02_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
|
|
| --- | --- |
|
|
|
|
**2. 진행 방법**
|
|
|
|
- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 경보 생성·추적기 함수가 빠져 오류가 난다).
|
|
|
|
- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 정확도·건수는 같게 나오며, 처리 속도·지연(ms)과 기능 축소 스캔 수만 실행기 성능에 따라 달라진다.
|
|
|
|
- 미션 5·6·8·9는 실행에 10~30초가 걸린다. 실행 중 다시 누르지 않는다.
|
|
|
|
- 도전 과제는 코드의 파라미터(게이트, 가중치, 시나리오 조건 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
|
|
|
|
- 그래프 글자는 영문, 표·출력은 한글이다. 좌표는 원점 기준 동·북 km의 가상 좌표다.
|
|
|
|
- 실제 부대 위치·센서 제원·배치 정보는 입력하지 않는다. 항적 통합·분리는 조작관이 확정하며 실제 교전 판단은 교전수칙·지휘계통에 따른다.
|
|
|
|
**3. 미션 진행 요약**
|
|
|
|
| **미션** | **난이도·시간** | **핵심 확인 결과** |
|
|
| --- | --- | --- |
|
|
| **M1. 다종 센서(레이더·EO/IR·음향) 연동 규격 분석 및 중복 항적 데이터셋 스키마 설계** | 초급
|
|
1.5시간 | 샘플 검증 오류 0건, 주입 오류 6종 모두 검출, 필드 17개 정의 |
|
|
| **M2. 이종 센서 시각 동기화(Time-sync) 및 공간 좌표계(ENU/ECEF) 변환 전처리 구현** | 초급~중급
|
|
2시간 | 처리 속도 수만 건/초(목표 1,000건/초 달성), 단위 시험 6/6 통과 |
|
|
| **M3. 최단거리 매칭 기반 단일 항적-센서 경보 1차 융합(Fusion) 알고리즘 구현** | 중급
|
|
2.5시간 | 마할라노비스 3.0 통합 정확도 94.1%(목표 75% 달성), 유클리드 1.0km 89.3% |
|
|
| **M4. 칼만 필터(Kalman Filter) 기반 다중 센서 경보 중복 항적 추적 및 궤적 통합 고도화** | 중급
|
|
3시간 | 평균 재현율 100%, 시나리오 10/10 통과, 스캔당 지연 최대 약 13ms(목표 200ms 이하) |
|
|
| **M5. 센서별 오탐 가중치 반영 및 항적 통합 신뢰도 지수 산출 엔진 개발** | 중급~고급
|
|
3시간 | 경보 중 거짓 항적 56.7% -> 2.6%(감축 95%, 목표 40% 달성) |
|
|
| **M6. 다중 센서 융합 항적 및 센서별 원시 경보 비교 전술 상황판(COP) 대시보드 구현** | 중급
|
|
2.5시간 | 패널 4종 40회 갱신, 갱신 최대 1초 이내, 선택 응답 1ms 미만 |
|
|
| **M7. 중복 항적 강제 분리 및 통합 확정을 위한 조작관 HITL 검토/승인 체계 구축** | 고급
|
|
3시간 | 자동 적용 0건, 규칙 위반 차단 5건, 로깅 성공률 100% |
|
|
| **M8. 다수 센서 통신 단절 및 전자전 재밍 환경 모의 항적 융합 한계치 스트레스 테스트** | 고급
|
|
3.5시간 | 융합 한계: 레이더 2대 재밍 x6(0.675), RDR-A 단절+RDR-B 재밍 x6(0.634) |
|
|
| **M9. AAR 일지 기반 항적 왜곡/분할(Track Split) 오류 분석 및 융합 임계값 최적화** | 고급
|
|
3시간 | 초기 평균 항적 정확도 33.8%, 오류 47건, 주원인은 확정 규칙(+52.8%p) |
|
|
| **M10. 다중 센서 중복 항적 통합 시뮬레이터 최종 빌드 및 통합 방공망 브리핑 패키지 완성** | 최고급
|
|
3.5시간 | 자체 점검 10/10 통과, E2E 성공률 100%, 함수 커버리지 100% |
|
|
|
|
**미션 1. 다종 센서(레이더·EO/IR·음향) 연동 규격 분석 및 중복 항적 데이터셋 스키마 설계**
|
|
|
|
| **난이도·시간** | 초급 · 1.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M1 코드를 실행해 경보·전술 파라미터·통합 항적 샘플 검증 결과를 확인한다.
|
|
2) 오류 주입 6건이 어떤 규칙에 걸렸는지 표로 정리한다.
|
|
3) 가상 센서 등록부와 '비행체 1개당 동시 경보 수'를 보고 통합 스키마가 필요한 이유를 적는다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 샘플 검증 오류 0건, 주입 오류 6종 모두 검출, 필드 17개 정의
|
|
비행체 1개당 같은 초에 평균 2.9개 센서 경보 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | 통합 항적 스키마에 위협 등급(threat_level, enum: LOW/MID/HIGH) 필드를 추가하고 허용되지 않은 값을 넣어 검출되는지 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 스키마 정의 코드, 데이터 명세서(필드·규칙·센서 등록부) |
|
|
| --- | --- |
|
|
|
|
**미션 2. 이종 센서 시각 동기화(Time-sync) 및 공간 좌표계(ENU/ECEF) 변환 전처리 구현**
|
|
|
|
| **난이도·시간** | 초급~중급 · 2시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M2 코드를 실행해 처리 속도와 센서별 시계 오차 추정값을 확인한다.
|
|
2) 고속 표적의 동기화 전후 위치 편향 표를 보고 시계 오차가 위치 오차로 바뀌는 이유를 설명한다.
|
|
3) 단위 시험 6종의 PASS 여부를 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 처리 속도 수만 건/초(목표 1,000건/초 달성), 단위 시험 6/6 통과
|
|
시계 오차 추정 오차 0.01초 이하, ACU-D 편향 -179m -> -33m |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | heartbeat 주기를 10초에서 30초로 늘리면(코드의 t % 10) 시계 오차 추정 정확도가 어떻게 바뀌는지 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 전처리 코드, 동기화 전후 비교표, 단위 시험 결과 |
|
|
| --- | --- |
|
|
|
|
**미션 3. 최단거리 매칭 기반 단일 항적-센서 경보 1차 융합(Fusion) 알고리즘 구현**
|
|
|
|
| **난이도·시간** | 중급 · 2.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M3 코드를 실행해 유클리드·마할라노비스 방식의 통합 정확도를 비교한다.
|
|
2) 게이트 민감도 결과로 게이트가 작을 때와 클 때의 문제를 정리한다.
|
|
3) 스캔 25초 융합 결과 예시에서 묶음 근거(결합 거리)를 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 마할라노비스 3.0 통합 정확도 94.1%(목표 75% 달성), 유클리드 1.0km 89.3%
|
|
동기화 생략 0.881 -> 적용 0.947 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | 유클리드 게이트를 0.6km와 2.5km로 바꿔 분할·혼합이 어떻게 달라지는지 결과 예시로 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | Baseline 코드, 추론 결과 보고서(방식·게이트 비교, 한계) |
|
|
| --- | --- |
|
|
|
|
**미션 4. 칼만 필터(Kalman Filter) 기반 다중 센서 경보 중복 항적 추적 및 궤적 통합 고도화**
|
|
|
|
| **난이도·시간** | 중급 · 3시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M4 코드를 실행해 복합 위협 시나리오 10종 결과표를 확인한다.
|
|
2) 재현율·분할·거짓 항적·위치 오차·지연을 시나리오별로 기록한다.
|
|
3) 거짓 항적과 실제 항적의 수명·스캔당 보고·센서 수를 비교해 오경보 유발 패턴을 정리한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 평균 재현율 100%, 시나리오 10/10 통과, 스캔당 지연 최대 약 13ms(목표 200ms 이하)
|
|
거짓 항적 12개: 평균 수명 10s·스캔당 보고 1.0건(실제 60s·3.1건) |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | run_tracker에 confirm=(4, 6)을 넘겨 실행하고 거짓 항적 수와 재현율 변화를 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 고도화 추적 코드, 복합 위협 시나리오 결과표, 거짓 항적 패턴 분석 |
|
|
| --- | --- |
|
|
|
|
**미션 5. 센서별 오탐 가중치 반영 및 항적 통합 신뢰도 지수 산출 엔진 개발**
|
|
|
|
| **난이도·시간** | 중급~고급 · 3시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M5 코드를 실행해 기상별 센서 신뢰도 가중치 매트릭스를 확인한다.
|
|
2) 모든 확정 항적 경보 방식과 High 경보 방식의 오경보율을 비교한다.
|
|
3) 등급별 항적 수, 특징 가중치, 임계값 민감도, 등급 일관성을 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 경보 중 거짓 항적 56.7% -> 2.6%(감축 95%, 목표 40% 달성)
|
|
실제 항적 High 97.4%, ROC-AUC 0.998, 등급 일관성 99.8% |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | BASE_W의 EO/IR 가중치를 0.8에서 0.4로 낮춰 기만 항적 등급과 오경보율이 어떻게 바뀌는지 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 신뢰도 엔진 코드, 가중치 매트릭스, 오경보 필터링 전후 비교표 |
|
|
| --- | --- |
|
|
|
|
**미션 6. 다중 센서 융합 항적 및 센서별 원시 경보 비교 전술 상황판(COP) 대시보드 구현**
|
|
|
|
| **난이도·시간** | 중급 · 2.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M6 코드를 실행해 상황판 4개 패널을 확인한다.
|
|
2) 화면 갱신 시간, 항적 선택 응답 시간, 표시 항목 감소율을 기록한다.
|
|
3) 방어 지역 접근 긴급 강조가 처음 발생한 시각과 Med로 표시된 거짓 항적을 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 패널 4종 40회 갱신, 갱신 최대 1초 이내, 선택 응답 1ms 미만
|
|
표시 항목 23.9개 -> 7.2개(인지 부하 70% 감소), 긴급 강조 첫 발생 t=27s |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | ALERT_R을 4km에서 6km로 늘려 긴급 강조 스캔 수가 어떻게 바뀌는지 보고, 적정 강조 반경을 토의한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 상황판 코드, 상황판 화면 캡처, 응답성·인지 부하 측정 결과 |
|
|
| --- | --- |
|
|
|
|
**미션 7. 중복 항적 강제 분리 및 통합 확정을 위한 조작관 HITL 검토/승인 체계 구축**
|
|
|
|
| **난이도·시간** | 고급 · 3시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M7 코드를 실행해 검토 순서와 자동 적용 0건을 확인한다.
|
|
2) 차단된 규칙 위반 5건(ID 누락, 허용되지 않은 조치, 단일 센서 분리, 근거 부족 통합, 근거 부족)을 표로 정리한다.
|
|
3) 처리 결과표, 항적 상태 변화, 감사 로그 검증·변조 검출 결과를 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 자동 적용 0건, 규칙 위반 차단 5건, 로깅 성공률 100%
|
|
보류 기한 초과 C03 상신, 7번째 기록 변조 검출(False, 7) |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | 방어 지역 3km 이내 충돌은 2인 확인을 요구하도록 decide 규칙을 추가하고 차단 결과를 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | HITL 체계 코드, HITL 가이드(충돌 유형·결정 기준·상신·책임 분계) |
|
|
| --- | --- |
|
|
|
|
**미션 8. 다수 센서 통신 단절 및 전자전 재밍 환경 모의 항적 융합 한계치 스트레스 테스트**
|
|
|
|
| **난이도·시간** | 고급 · 3.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M8 코드를 실행해 단절·재밍 조건별 융합 성능 표를 확인한다.
|
|
2) 항적 정확도 80% 미만 조건을 융합 한계로 정한다.
|
|
3) 부하 시험 표의 유실·다운·기능 축소 스캔과 병목 프로파일을 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 융합 한계: 레이더 2대 재밍 x6(0.675), RDR-A 단절+RDR-B 재밍 x6(0.634)
|
|
트래픽 4.9배: 다운 0건·유실 0%, 병목은 _merge |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | run_load의 degrade_ms를 50으로 낮춰 기능 축소 스캔 수와 재현율 변화를 보고 기능 축소의 득실을 토의한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 스트레스 시험 코드, 분석 보고서(한계 표·부하 결과·병목·Fail-safe 동작) |
|
|
| --- | --- |
|
|
|
|
**미션 9. AAR 일지 기반 항적 왜곡/분할(Track Split) 오류 분석 및 융합 임계값 최적화**
|
|
|
|
| **난이도·시간** | 고급 · 3시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M9 코드를 실행해 AAR 일지 4건의 오류(분할·거짓 항적·병합 오류) 집계를 확인한다.
|
|
2) 파라미터 하나씩 바꾼 원인 검증 결과에서 주원인과 기각된 가설을 구분한다.
|
|
3) 재보정 파라미터(yaml)와 회귀 시험 결과를 AAR 보고서 표로 정리한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 초기 평균 항적 정확도 33.8%, 오류 47건, 주원인은 확정 규칙(+52.8%p)
|
|
새 시나리오 29.7% -> 92.1%(+62.4%p), 재발 0건, 거짓 항적 23 -> 1건 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | 격자에 gate 5.99를 다시 넣어 탐색하고 최종 파라미터와 회귀 결과가 달라지는지 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | AAR 보고서, 재보정 파라미터 yaml, 회귀 시험 결과 |
|
|
| --- | --- |
|
|
|
|
**미션 10. 다중 센서 중복 항적 통합 시뮬레이터 최종 빌드 및 통합 방공망 브리핑 패키지 완성**
|
|
|
|
| **난이도·시간** | 최고급 · 3.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M10 코드를 실행해 자체 점검 10항목과 함수 커버리지를 확인한다.
|
|
2) 차단 메시지 4건의 사유와 통합 항적 표를 확인한다.
|
|
3) 브리핑 요약 5줄의 수치가 위 결과와 일치하는지 대조한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 자체 점검 10/10 통과, E2E 성공률 100%, 함수 커버리지 100%
|
|
경보 1,655건 -> 통합 항적 10개(High 8 / Med 2), 재현율 100%, 분할 0건 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | CONFIG의 high min_rps를 1.5에서 2.5로 올려 실행하고 Med 검토 대기 건수 변화를 브리핑에 반영한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 통합 실행 코드, README(실행 방법), 최종 보고서와 브리핑 요약 |
|
|
| --- | --- |
|
|
|
|
**4. 최종 점검표**
|
|
|
|
| **점검 항목** | **확인** |
|
|
| --- | --- |
|
|
| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
|
|
| 각 미션의 확인할 결과를 기록했다 | ( ) |
|
|
| 도전 과제 결과와 이유를 기록했다 | ( ) |
|
|
| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
|
|
| 실제 부대 위치·센서 제원·배치 정보를 사용하지 않았다 | ( ) |
|
|
| 항적 통합·분리는 조작관 확정, 교전 판단은 교전수칙·지휘계통에 따름을 명시했다 | ( ) |
|