pbl02/scenario_md/QLT03-품질·규격·검사_제원검증-군수품 제원정보 이상치 자동검증 Tool/QLT03_실습가이드.md

QLT03 실습가이드 - 군수품 제원정보 이상치 자동검증 Tool

구 분 실습가이드 [교육용가상자료]

1. 실습 개요

본 실습은 교육용 가상 외관 사진(난수로 그린 64x64 합성 이미지)으로 장비의 균열·부식·파손·누유를 판정하고 손상도와 정비 등급을 산정하는 AI 외관 검사 도구를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(QLT03_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꾸는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.

과제	QLT03 군수품 제원정보 이상치 자동검증 Tool

난이도·유형	고급 / 데이터분석형

예상 소요시간	미션 10개, 총 28.5시간

준비물	QLT03_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서

2. 진행 방법

• 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 사진 생성 함수가 빠져 오류가 난다).

• 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 같은 값이 나와야 한다(처리 시간·로딩 시간 수치는 환경에 따라 다르다).

• 도전 과제는 코드 상단의 파라미터(신뢰도 기준, 단가, 진흙 비율, 임계값 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.

• 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다. M4M10은 사진 수백 장의 특징 추출과 모델 학습으로 실행에 1530초가 걸릴 수 있다.

• 실제 장비·부대 사진은 입력하지 않는다. 판정과 정비 등급은 검사 보조이며 최종 정비 등급은 검사관과 정비감독관의 결재에 따른다.

3. 미션 진행 요약

미션	난이도·시간	핵심 확인 결과
M1. 장비 외관 결함(균열, 부식, 파손, 누유) 고해상도 사진 데이터셋 및 라벨링 정의	초급
1.5시간	데이터 사전 피처 24개(목표 20개 이상), 정상 샘플 20건 검증 오류 0건
M2. 이미지 조도 보정, 해상도 표준화 및 결함 영역(Bounding Box) 전처리 모듈 구현	초급~중급
2시간	정제 규칙 11종(목표 10종 이상), 정합성 검증 12/12 통과(100%)
M3. 외관 결함 유무 1차 판별 Baseline 비전 모델 구현	중급
2.5시간	Baseline 정확도 86.0%·재현율 92.2%, 면적 2% 미만 작은 결함 재현율 74%
M4. 세그멘테이션(Mask R-CNN) 기반 결함 면적/깊이 정밀 측정 및 손상도 자동 판정 모델 고도화	중급
3시간	분할 IoU 균열 0.89·부식 0.74·파손 0.61·누유 0.94, 면적 MAPE 20.8% -> 10.2%
M5. 정비 등급(현장정비/야전정비/창정비) 자동 분류 및 판정 신뢰도 지수 산출 엔진 개발	중급~고급
3.5시간	MAE 개선 73.4%, RMSE 개선 55.1%(목표 20% 이상), R2 0.946(목표 0.85 이상)
M6. 장비 결함 사진 업로드 및 손상 부위 시각화 판정 인터페이스 구현	중급~고급
3시간	기여도 상위 3개 자동 산출 300건 중 300건(100%)
M7. 외관 판정 결과에 대한 검사관 수동 보정 및 최종 정비 등급 HITL 승인 절차 설계	고급
3.5시간	평상 절감 59.5%·저조도 28.2%(목표 15% 이상), 진흙 20%는 -7.9%로 미달
M8. 오염물/진흙 혼입 사진 대량 판정 스트레스 테스트 및 한계치 도출	고급
3시간	진흙 0%: 자동 처리 73%·경보 정확도 100%, 5%부터 93%로 95% 미달
M9. AAR 기반 외관 오판 사례 분석 및 컴퓨터 비전 모델 파라미터 재보정	고급
3시간	오판 61장 중 오염 가림 48%, 보류 구간 등급 일치율 81.9% -> 85.3%, 장당 오판 손실 2.19 -> 2.02만원
M10. 장비 결함 사진 기반 AI 외관 검사 및 손상도 자동 판정 도구 통합 완성	최고급
3.5시간	자체 점검 8/8 PASS, 운영 문서 12/12(100%), 챌린저 승격(MAE 8.79 -> 6.86)

미션 1. 장비 외관 결함(균열, 부식, 파손, 누유) 고해상도 사진 데이터셋 및 라벨링 정의

난이도·시간	초급 · 1.5시간

| 진행 순서 | 1) M1 코드를 실행해 결함 유형별 라벨링 기준과 데이터 사전의 피처 수를 확인한다. 2) 정상 샘플 검증 결과와 데이터 사전의 그룹(사진·제원·라벨·결과)별 필드를 읽는다.

3) 업무 프로세스 맵에서 검사관 확인 단계를 표시한다.

| 확인할 결과 | 데이터 사전 피처 24개(목표 20개 이상), 정상 샘플 20건 검증 오류 0건

예측 대상 4종(결함 면적, 깊이, 손상도, 정비 등급)

도전 과제	데이터 사전에 '촬영 거리' 같은 필드를 하나 추가하고 실제 데이터와 대조해 누락으로 표시되는지 확인한다.

제출물	데이터 사전, 라벨링 기준, 업무 프로세스 맵

미션 2. 이미지 조도 보정, 해상도 표준화 및 결함 영역(Bounding Box) 전처리 모듈 구현

난이도·시간	초급~중급 · 2시간

| 진행 순서 | 1) M2 코드를 실행해 원천 사진 158장과 주입된 오류, 정제 규칙 11종의 처리 건수를 확인한다. 2) 정합성 검증 12항목이 모두 통과하는지 확인한다.

3) 긴급 점검 사진 6장이 보존되었는지와 정제 전후 밝기·제원 통계를 비교한다.

| 확인할 결과 | 정제 규칙 11종(목표 10종 이상), 정합성 검증 12/12 통과(100%)

정제 후 사진 150장, 긴급 점검 6장 유지, 정제 박스 평균 IoU 0.99

도전 과제	R7 조명 보정 기준(평균 밝기 0.3)을 0.4로 바꿔 보정 대상 사진 수가 어떻게 달라지는지 확인한다.

제출물	정제 모듈 코드, 정제 규칙 로그, 정합성 검증 결과, 전후 통계 비교표

미션 3. 외관 결함 유무 1차 판별 Baseline 비전 모델 구현

난이도·시간	중급 · 2.5시간

| 진행 순서 | 1) M3 코드를 실행해 Baseline의 정확도·재현율과 결함 유형별 재현율을 확인한다. 2) 작은 결함과 저조도 사진에서 성능이 어떻게 떨어지는지 읽는다.

3) 상관 상위 피처, 제원 불일치 후보, 파레토 A등급 조합을 확인한다.

| 확인할 결과 | Baseline 정확도 86.0%·재현율 92.2%, 면적 2% 미만 작은 결함 재현율 74%

유의 피처 7개(목표 5개 이상), EDA 차트 8종, 제원 불일치 후보 47대

도전 과제	Baseline 로지스틱 회귀의 규제 강도 C를 0.5에서 5로 바꿔 성능 변화를 확인하고 한계가 해소되는지 설명한다.

제출물	Baseline 성능표, EDA 차트 8종, 상관표, 제원 불일치 표, 파레토 결과

미션 4. 세그멘테이션(Mask R-CNN) 기반 결함 면적/깊이 정밀 측정 및 손상도 자동 판정 모델 고도화

난이도·시간	중급 · 3시간

| 진행 순서 | 1) M4 코드를 실행해 결함 유형별 분할 IoU와 면적 측정 오차를 확인한다. 2) 깊이와 손상도 점수의 오차를 면적만 쓰는 기준 모델과 비교한다.

3) 변수군 제거 실험에서 제거 시 오차가 가장 크게 늘어나는 변수군을 찾는다.

| 확인할 결과 | 분할 IoU 균열 0.89·부식 0.74·파손 0.61·누유 0.94, 면적 MAPE 20.8% -> 10.2%

손상도 MAPE 8.8%(목표 25% 이하, 기준 30.8%), 깊이 MAPE 28.0%

도전 과제	깊이 추정 MAPE가 손상도보다 큰 이유를 사진 한 장으로는 깊이가 직접 보이지 않는 점과 연결해 설명한다.

제출물	분할 성능표, 면적 보정 결과, 깊이·손상도 오차표, 변수군 제거 결과

미션 5. 정비 등급(현장정비/야전정비/창정비) 자동 분류 및 판정 신뢰도 지수 산출 엔진 개발

난이도·시간	중급~고급 · 3.5시간

| 진행 순서 | 1) M5 코드를 실행해 기준 모델과 제안 엔진의 MAE·RMSE·R2를 비교한다. 2) 등급 혼동행렬에서 과소 판정(실제보다 낮게) 건수를 확인한다.

3) 신뢰도 구간별 일치율과 저조도·진흙 사진의 평균 신뢰도를 읽는다.

| 확인할 결과 | MAE 개선 73.4%, RMSE 개선 55.1%(목표 20% 이상), R2 0.946(목표 0.85 이상)

등급 일치율 93.3%, 신뢰도 80 이상 234장(78%) 일치율 100%, 진흙 가림 사진은 80 이상 0%

도전 과제	자동 통과 기준 신뢰도를 80에서 70으로 낮추면 자동 통과 비율과 일치율이 어떻게 달라지는지 확인한다.

제출물	성능 비교표, 혼동행렬, 신뢰도 보정표, 상황별 성능표

미션 6. 장비 결함 사진 업로드 및 손상 부위 시각화 판정 인터페이스 구현

난이도·시간	중급~고급 · 3시간

| 진행 순서 | 1) M6 코드를 실행해 업로드 사진 8장의 판정 결과표와 처리 상태(검사 대기·재촬영)를 확인한다. 2) 그래프에서 노란 윤곽(손상 부위)과 붉은 박스가 결함 위치와 맞는지 본다.

3) 자연어 설명의 주요 요인과 부호(+는 손상도를 높인 요인, -는 낮춘 요인)를 읽는다.

| 확인할 결과 | 기여도 상위 3개 자동 산출 300건 중 300건(100%)

업로드 8장 중 유형 판정 7장 일치, 손상 부위 IoU 0.64~0.98, 저조도 사진은 재촬영 요구

도전 과제	재촬영 기준 mud 0.03을 0.01로 바꿔 재촬영 요구 사진이 어떻게 달라지는지 확인한다.

제출물	업로드 판정표, 시각화 그래프, 기여도 표, 자연어 설명

미션 7. 외관 판정 결과에 대한 검사관 수동 보정 및 최종 정비 등급 HITL 승인 절차 설계

난이도·시간	고급 · 3.5시간

| 진행 순서 | 1) M7 코드를 실행해 시나리오별 전수 정밀 판독 관행과 HITL 운영안의 비용·절감률을 확인한다. 2) 신뢰도 기준 T와 검사관 한도에 따른 비용 변화를 읽는다.

3) AI 판정 8건이 모두 검사대기인지, 권한 우회 시도 10건이 모두 차단되는지, 감사 로그 위·변조가 검출되는지 확인한다.

| 확인할 결과 | 평상 절감 59.5%·저조도 28.2%(목표 15% 이상), 진흙 20%는 -7.9%로 미달

자동 확정 0건, 권한 우회 차단 10/10(100%), 감사 로그 25건 위·변조 검출

도전 과제	검사관 오류율 P_HUMAN을 8%에서 3%로 낮춰 관행 비용과 절감률이 어떻게 달라지는지 확인한다.

제출물	최적화 코드, 비용 비교표, 민감도, 결재 이력, 차단 로그

미션 8. 오염물/진흙 혼입 사진 대량 판정 스트레스 테스트 및 한계치 도출

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M8 코드를 실행해 진흙 비율별 등급 일치율·재촬영 요구율·자동 처리 비율·경보 정확도를 확인한다. 2) 게이트가 없을 때와 있을 때 신뢰도 80 이상 사진의 경보 정확도를 비교한다.

3) 흐림·잡음·저조도+진흙 조건과 대량 처리 시간, 대시보드 로딩 시간을 확인한다.

| 확인할 결과 | 진흙 0%: 자동 처리 73%·경보 정확도 100%, 5%부터 93%로 95% 미달

대시보드 로딩 0.1초 안팎(목표 2초 이내), 흐림 사진 자동 처리 경보 정확도 91%

도전 과제	경보를 등급 2 이상에서 등급 3(창정비)만으로 바꿔 경보 정확도와 자동 처리 비율이 어떻게 달라지는지 확인한다.

제출물	진흙 스윕 표, 복합 열화 표, 처리 시간·로딩 시간, 한계치 요약

미션 9. AAR 기반 외관 오판 사례 분석 및 컴퓨터 비전 모델 파라미터 재보정

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M9 코드를 실행해 운영 로그 오판의 원인 분류와 과소·과대 판정 건수를 확인한다. 2) 분할 임계값 IoU 재보정과 등급 경계 이동의 손실 변화를 읽는다.

3) 보류 구간 B의 전후 성능표와 ROI 3대 지표, 장수 민감도를 확인한다.

| 확인할 결과 | 오판 61장 중 오염 가림 48%, 보류 구간 등급 일치율 81.9% -> 85.3%, 장당 오판 손실 2.19 -> 2.02만원

연 절감 5,140만원, 판독 시간 단축률 30.8%, 투자 회수 5.8개월

도전 과제	연 판정 사진 수 N_YR을 20000장에서 10000장으로 바꿔 절감액과 회수 기간이 어떻게 달라지는지 확인한다.

제출물	재보정 코드, 원인별 오판표, 전후 비교표, 3대 지표와 민감도

미션 10. 장비 결함 사진 기반 AI 외관 검사 및 손상도 자동 판정 도구 통합 완성

난이도·시간	최고급 · 3.5시간

| 진행 순서 | 1) M10 코드를 실행해 정합성, 분포 변화(PSI), 챔피언/챌린저 판정 결과를 확인한다. 2) 신규 240장의 처리 구분(간이 승인 후보·정밀 판독·재촬영)과 제원 환류 후보 수를 확인한다.

3) 자체 점검표와 브리핑 요약이 앞의 수치와 일치하는지 대조한다.

| 확인할 결과 | 자체 점검 8/8 PASS, 운영 문서 12/12(100%), 챌린저 승격(MAE 8.79 -> 6.86)

처리 구분 간이 승인 후보 112·정밀 판독 86·재촬영 42장, 자동 확정 0건

도전 과제	코드의 승격 기준 0.03(MAE 3% 개선)을 0.15로 높여 승격 판정이 어떻게 달라지는지 확인한다.

제출물	통합 파이프라인 코드, 처리 구분 표, 자체 점검표, 인터페이스 명세, 브리핑 요약

4. 최종 점검표

점검 항목	확인
미션 1~10 코드가 모두 오류 없이 실행되었다	( )
각 미션의 확인할 결과를 기록했다	( )
도전 과제 결과와 이유를 기록했다	( )
브리핑 수치가 실행 결과와 일치한다	( )
실제 장비·부대 사진과 장비 코드를 사용하지 않았다	( )
최종 정비 등급은 검사관 확정과 결재를 따름을 명시했다	( )