시나리오 내용 반영

scenario_md/QLT03-품질·규격·검사_제원검증-군수품 제원정보 이상치 자동검증 Tool/QLT03_실습가이드.md

@@ -0,0 +1,267 @@
+**QLT03 실습가이드 - 군수품 제원정보 이상치 자동검증 Tool**
+
+구    분 **실습가이드 [교육용가상자료]**
+
+**1. 실습 개요**
+
+본 실습은 교육용 가상 외관 사진(난수로 그린 64x64 합성 이미지)으로 장비의 균열·부식·파손·누유를 판정하고 손상도와 정비 등급을 산정하는 AI 외관 검사 도구를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(QLT03_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꾸는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.
+
+| **과제** | QLT03 군수품 제원정보 이상치 자동검증 Tool |
+| --- | --- |
+
+| **난이도·유형** | 고급 / 데이터분석형 |
+| --- | --- |
+
+| **예상 소요시간** | 미션 10개, 총 28.5시간 |
+| --- | --- |
+
+| **준비물** | QLT03_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
+| --- | --- |
+
+**2. 진행 방법**
+
+- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 사진 생성 함수가 빠져 오류가 난다).
+
+- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 같은 값이 나와야 한다(처리 시간·로딩 시간 수치는 환경에 따라 다르다).
+
+- 도전 과제는 코드 상단의 파라미터(신뢰도 기준, 단가, 진흙 비율, 임계값 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
+
+- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다. M4~M10은 사진 수백 장의 특징 추출과 모델 학습으로 실행에 15~30초가 걸릴 수 있다.
+
+- 실제 장비·부대 사진은 입력하지 않는다. 판정과 정비 등급은 검사 보조이며 최종 정비 등급은 검사관과 정비감독관의 결재에 따른다.
+
+**3. 미션 진행 요약**
+
+| **미션** | **난이도·시간** | **핵심 확인 결과** |
+| --- | --- | --- |
+| **M1. 장비 외관 결함(균열, 부식, 파손, 누유) 고해상도 사진 데이터셋 및 라벨링 정의** | 초급
+1.5시간 | 데이터 사전 피처 24개(목표 20개 이상), 정상 샘플 20건 검증 오류 0건 |
+| **M2. 이미지 조도 보정, 해상도 표준화 및 결함 영역(Bounding Box) 전처리 모듈 구현** | 초급~중급
+2시간 | 정제 규칙 11종(목표 10종 이상), 정합성 검증 12/12 통과(100%) |
+| **M3. 외관 결함 유무 1차 판별 Baseline 비전 모델 구현** | 중급
+2.5시간 | Baseline 정확도 86.0%·재현율 92.2%, 면적 2% 미만 작은 결함 재현율 74% |
+| **M4. 세그멘테이션(Mask R-CNN) 기반 결함 면적/깊이 정밀 측정 및 손상도 자동 판정 모델 고도화** | 중급
+3시간 | 분할 IoU 균열 0.89·부식 0.74·파손 0.61·누유 0.94, 면적 MAPE 20.8% -> 10.2% |
+| **M5. 정비 등급(현장정비/야전정비/창정비) 자동 분류 및 판정 신뢰도 지수 산출 엔진 개발** | 중급~고급
+3.5시간 | MAE 개선 73.4%, RMSE 개선 55.1%(목표 20% 이상), R2 0.946(목표 0.85 이상) |
+| **M6. 장비 결함 사진 업로드 및 손상 부위 시각화 판정 인터페이스 구현** | 중급~고급
+3시간 | 기여도 상위 3개 자동 산출 300건 중 300건(100%) |
+| **M7. 외관 판정 결과에 대한 검사관 수동 보정 및 최종 정비 등급 HITL 승인 절차 설계** | 고급
+3.5시간 | 평상 절감 59.5%·저조도 28.2%(목표 15% 이상), 진흙 20%는 -7.9%로 미달 |
+| **M8. 오염물/진흙 혼입 사진 대량 판정 스트레스 테스트 및 한계치 도출** | 고급
+3시간 | 진흙 0%: 자동 처리 73%·경보 정확도 100%, 5%부터 93%로 95% 미달 |
+| **M9. AAR 기반 외관 오판 사례 분석 및 컴퓨터 비전 모델 파라미터 재보정** | 고급
+3시간 | 오판 61장 중 오염 가림 48%, 보류 구간 등급 일치율 81.9% -> 85.3%, 장당 오판 손실 2.19 -> 2.02만원 |
+| **M10. 장비 결함 사진 기반 AI 외관 검사 및 손상도 자동 판정 도구 통합 완성** | 최고급
+3.5시간 | 자체 점검 8/8 PASS, 운영 문서 12/12(100%), 챌린저 승격(MAE 8.79 -> 6.86) |
+
+**미션 1. 장비 외관 결함(균열, 부식, 파손, 누유) 고해상도 사진 데이터셋 및 라벨링 정의**
+
+| **난이도·시간** | 초급 · 1.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M1 코드를 실행해 결함 유형별 라벨링 기준과 데이터 사전의 피처 수를 확인한다.
+2) 정상 샘플 검증 결과와 데이터 사전의 그룹(사진·제원·라벨·결과)별 필드를 읽는다.
+3) 업무 프로세스 맵에서 검사관 확인 단계를 표시한다. |
+| --- | --- |
+
+| **확인할 결과** | 데이터 사전 피처 24개(목표 20개 이상), 정상 샘플 20건 검증 오류 0건
+예측 대상 4종(결함 면적, 깊이, 손상도, 정비 등급) |
+| --- | --- |
+
+| **도전 과제** | 데이터 사전에 '촬영 거리' 같은 필드를 하나 추가하고 실제 데이터와 대조해 누락으로 표시되는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 데이터 사전, 라벨링 기준, 업무 프로세스 맵 |
+| --- | --- |
+
+**미션 2. 이미지 조도 보정, 해상도 표준화 및 결함 영역(Bounding Box) 전처리 모듈 구현**
+
+| **난이도·시간** | 초급~중급 · 2시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M2 코드를 실행해 원천 사진 158장과 주입된 오류, 정제 규칙 11종의 처리 건수를 확인한다.
+2) 정합성 검증 12항목이 모두 통과하는지 확인한다.
+3) 긴급 점검 사진 6장이 보존되었는지와 정제 전후 밝기·제원 통계를 비교한다. |
+| --- | --- |
+
+| **확인할 결과** | 정제 규칙 11종(목표 10종 이상), 정합성 검증 12/12 통과(100%)
+정제 후 사진 150장, 긴급 점검 6장 유지, 정제 박스 평균 IoU 0.99 |
+| --- | --- |
+
+| **도전 과제** | R7 조명 보정 기준(평균 밝기 0.3)을 0.4로 바꿔 보정 대상 사진 수가 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 정제 모듈 코드, 정제 규칙 로그, 정합성 검증 결과, 전후 통계 비교표 |
+| --- | --- |
+
+**미션 3. 외관 결함 유무 1차 판별 Baseline 비전 모델 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M3 코드를 실행해 Baseline의 정확도·재현율과 결함 유형별 재현율을 확인한다.
+2) 작은 결함과 저조도 사진에서 성능이 어떻게 떨어지는지 읽는다.
+3) 상관 상위 피처, 제원 불일치 후보, 파레토 A등급 조합을 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | Baseline 정확도 86.0%·재현율 92.2%, 면적 2% 미만 작은 결함 재현율 74%
+유의 피처 7개(목표 5개 이상), EDA 차트 8종, 제원 불일치 후보 47대 |
+| --- | --- |
+
+| **도전 과제** | Baseline 로지스틱 회귀의 규제 강도 C를 0.5에서 5로 바꿔 성능 변화를 확인하고 한계가 해소되는지 설명한다. |
+| --- | --- |
+
+| **제출물** | Baseline 성능표, EDA 차트 8종, 상관표, 제원 불일치 표, 파레토 결과 |
+| --- | --- |
+
+**미션 4. 세그멘테이션(Mask R-CNN) 기반 결함 면적/깊이 정밀 측정 및 손상도 자동 판정 모델 고도화**
+
+| **난이도·시간** | 중급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M4 코드를 실행해 결함 유형별 분할 IoU와 면적 측정 오차를 확인한다.
+2) 깊이와 손상도 점수의 오차를 면적만 쓰는 기준 모델과 비교한다.
+3) 변수군 제거 실험에서 제거 시 오차가 가장 크게 늘어나는 변수군을 찾는다. |
+| --- | --- |
+
+| **확인할 결과** | 분할 IoU 균열 0.89·부식 0.74·파손 0.61·누유 0.94, 면적 MAPE 20.8% -> 10.2%
+손상도 MAPE 8.8%(목표 25% 이하, 기준 30.8%), 깊이 MAPE 28.0% |
+| --- | --- |
+
+| **도전 과제** | 깊이 추정 MAPE가 손상도보다 큰 이유를 사진 한 장으로는 깊이가 직접 보이지 않는 점과 연결해 설명한다. |
+| --- | --- |
+
+| **제출물** | 분할 성능표, 면적 보정 결과, 깊이·손상도 오차표, 변수군 제거 결과 |
+| --- | --- |
+
+**미션 5. 정비 등급(현장정비/야전정비/창정비) 자동 분류 및 판정 신뢰도 지수 산출 엔진 개발**
+
+| **난이도·시간** | 중급~고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M5 코드를 실행해 기준 모델과 제안 엔진의 MAE·RMSE·R2를 비교한다.
+2) 등급 혼동행렬에서 과소 판정(실제보다 낮게) 건수를 확인한다.
+3) 신뢰도 구간별 일치율과 저조도·진흙 사진의 평균 신뢰도를 읽는다. |
+| --- | --- |
+
+| **확인할 결과** | MAE 개선 73.4%, RMSE 개선 55.1%(목표 20% 이상), R2 0.946(목표 0.85 이상)
+등급 일치율 93.3%, 신뢰도 80 이상 234장(78%) 일치율 100%, 진흙 가림 사진은 80 이상 0% |
+| --- | --- |
+
+| **도전 과제** | 자동 통과 기준 신뢰도를 80에서 70으로 낮추면 자동 통과 비율과 일치율이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 성능 비교표, 혼동행렬, 신뢰도 보정표, 상황별 성능표 |
+| --- | --- |
+
+**미션 6. 장비 결함 사진 업로드 및 손상 부위 시각화 판정 인터페이스 구현**
+
+| **난이도·시간** | 중급~고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M6 코드를 실행해 업로드 사진 8장의 판정 결과표와 처리 상태(검사 대기·재촬영)를 확인한다.
+2) 그래프에서 노란 윤곽(손상 부위)과 붉은 박스가 결함 위치와 맞는지 본다.
+3) 자연어 설명의 주요 요인과 부호(+는 손상도를 높인 요인, -는 낮춘 요인)를 읽는다. |
+| --- | --- |
+
+| **확인할 결과** | 기여도 상위 3개 자동 산출 300건 중 300건(100%)
+업로드 8장 중 유형 판정 7장 일치, 손상 부위 IoU 0.64~0.98, 저조도 사진은 재촬영 요구 |
+| --- | --- |
+
+| **도전 과제** | 재촬영 기준 mud 0.03을 0.01로 바꿔 재촬영 요구 사진이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 업로드 판정표, 시각화 그래프, 기여도 표, 자연어 설명 |
+| --- | --- |
+
+**미션 7. 외관 판정 결과에 대한 검사관 수동 보정 및 최종 정비 등급 HITL 승인 절차 설계**
+
+| **난이도·시간** | 고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M7 코드를 실행해 시나리오별 전수 정밀 판독 관행과 HITL 운영안의 비용·절감률을 확인한다.
+2) 신뢰도 기준 T와 검사관 한도에 따른 비용 변화를 읽는다.
+3) AI 판정 8건이 모두 검사대기인지, 권한 우회 시도 10건이 모두 차단되는지, 감사 로그 위·변조가 검출되는지 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 평상 절감 59.5%·저조도 28.2%(목표 15% 이상), 진흙 20%는 -7.9%로 미달
+자동 확정 0건, 권한 우회 차단 10/10(100%), 감사 로그 25건 위·변조 검출 |
+| --- | --- |
+
+| **도전 과제** | 검사관 오류율 P_HUMAN을 8%에서 3%로 낮춰 관행 비용과 절감률이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 최적화 코드, 비용 비교표, 민감도, 결재 이력, 차단 로그 |
+| --- | --- |
+
+**미션 8. 오염물/진흙 혼입 사진 대량 판정 스트레스 테스트 및 한계치 도출**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M8 코드를 실행해 진흙 비율별 등급 일치율·재촬영 요구율·자동 처리 비율·경보 정확도를 확인한다.
+2) 게이트가 없을 때와 있을 때 신뢰도 80 이상 사진의 경보 정확도를 비교한다.
+3) 흐림·잡음·저조도+진흙 조건과 대량 처리 시간, 대시보드 로딩 시간을 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 진흙 0%: 자동 처리 73%·경보 정확도 100%, 5%부터 93%로 95% 미달
+대시보드 로딩 0.1초 안팎(목표 2초 이내), 흐림 사진 자동 처리 경보 정확도 91% |
+| --- | --- |
+
+| **도전 과제** | 경보를 등급 2 이상에서 등급 3(창정비)만으로 바꿔 경보 정확도와 자동 처리 비율이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 진흙 스윕 표, 복합 열화 표, 처리 시간·로딩 시간, 한계치 요약 |
+| --- | --- |
+
+**미션 9. AAR 기반 외관 오판 사례 분석 및 컴퓨터 비전 모델 파라미터 재보정**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M9 코드를 실행해 운영 로그 오판의 원인 분류와 과소·과대 판정 건수를 확인한다.
+2) 분할 임계값 IoU 재보정과 등급 경계 이동의 손실 변화를 읽는다.
+3) 보류 구간 B의 전후 성능표와 ROI 3대 지표, 장수 민감도를 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 오판 61장 중 오염 가림 48%, 보류 구간 등급 일치율 81.9% -> 85.3%, 장당 오판 손실 2.19 -> 2.02만원
+연 절감 5,140만원, 판독 시간 단축률 30.8%, 투자 회수 5.8개월 |
+| --- | --- |
+
+| **도전 과제** | 연 판정 사진 수 N_YR을 20000장에서 10000장으로 바꿔 절감액과 회수 기간이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 재보정 코드, 원인별 오판표, 전후 비교표, 3대 지표와 민감도 |
+| --- | --- |
+
+**미션 10. 장비 결함 사진 기반 AI 외관 검사 및 손상도 자동 판정 도구 통합 완성**
+
+| **난이도·시간** | 최고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M10 코드를 실행해 정합성, 분포 변화(PSI), 챔피언/챌린저 판정 결과를 확인한다.
+2) 신규 240장의 처리 구분(간이 승인 후보·정밀 판독·재촬영)과 제원 환류 후보 수를 확인한다.
+3) 자체 점검표와 브리핑 요약이 앞의 수치와 일치하는지 대조한다. |
+| --- | --- |
+
+| **확인할 결과** | 자체 점검 8/8 PASS, 운영 문서 12/12(100%), 챌린저 승격(MAE 8.79 -> 6.86)
+처리 구분 간이 승인 후보 112·정밀 판독 86·재촬영 42장, 자동 확정 0건 |
+| --- | --- |
+
+| **도전 과제** | 코드의 승격 기준 0.03(MAE 3% 개선)을 0.15로 높여 승격 판정이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 통합 파이프라인 코드, 처리 구분 표, 자체 점검표, 인터페이스 명세, 브리핑 요약 |
+| --- | --- |
+
+**4. 최종 점검표**
+
+| **점검 항목** | **확인** |
+| --- | --- |
+| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
+| 각 미션의 확인할 결과를 기록했다 | ( ) |
+| 도전 과제 결과와 이유를 기록했다 | ( ) |
+| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
+| 실제 장비·부대 사진과 장비 코드를 사용하지 않았다 | ( ) |
+| 최종 정비 등급은 검사관 확정과 결재를 따름을 명시했다 | ( ) |