pbl02/scenario_md/QLT03-품질·규격·검사_제원검증-군수품 제원정보 이상치 자동검증 Tool/QLT03-품질·규격·검사_제원검증-군수품 제원정보 이상치 자동검증 Tool.md

군수품 제원정보 이상치 자동검증 Tool

난 이 도 고급

프로젝트 목표

군수장비의 외관 검사는 검사관의 눈과 경험에 크게 의존해 판정 편차가 생기고 검사 병목이 되기 쉽다. 본 프로젝트는 규격·제원 정합성과 검사 병목, 이상 신호, 설명 근거, 품질 개선 효과를 함께 익히도록, 교육용 가상 외관 사진(균열·부식·파손·누유)을 코드로 만들어 결함 판정과 손상도·정비 등급 산정을 자동화한다. 학습자는 사진 데이터셋과 제원 기록 정의, 조명 보정·해상도 표준화·박스 정제, 1차 판별 Baseline, 분할 기반 면적·깊이·손상도 모델, 정비 등급 분류와 신뢰도 지수, 사진 업로드 판정 화면과 근거 설명, 검사관 수동 보정과 결재(HITL), 진흙 혼입 스트레스 시험, AAR 재보정과 ROI, 재학습 파이프라인 통합을 차례로 수행한다. 최종 목표는 사진으로 결함과 손상도를 판정하고 사진 판정과 관리 기록의 불일치를 이상 신호로 환류하되, 최종 정비 등급은 검사관이 확정하는 AI 외관 검사 도구를 완성하는 것이다.

유의사항	모든 사진은 코드가 난수로 그린 64x64 합성 이미지이며 실제 장비·부대·위치 사진이 아니다. 장비 관리 기록과 장비 코드, 단가도 교육용 가상 자료이다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 결함 판정과 정비 등급은 검사 보조 수단이며 최종 정비 등급과 정비 가부는 검사관과 정비감독관의 결재에 따른다. 결함 있는 장비의 분해·조작 절차는 다루지 않는다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다.

1단계. 외관 결함 사진 데이터셋 정의 및 전처리

미션 1. 장비 외관 결함(균열, 부식, 파손, 누유) 고해상도 사진 데이터셋 및 라벨링 정의 [초급 · 1.5시간]	미션 1. 장비 외관 결함(균열, 부식, 파손, 누유) 고해상도 사진 데이터셋 및 라벨링 정의 [초급 · 1.5시간]
목표	장비 외관 결함(균열·부식·파손·누유) 사진 데이터셋과 라벨링 기준을 정의하고, 검사 업무 프로세스 맵과 피처 데이터 사전을 만든다.
수행	사진, 장비 제원(관리 기록), 결함 라벨, 판정 결과의 스키마와 허용값을 정하고 결함 유형별 라벨링 기준을 문장으로 정리한다. 원천 컬럼과 파생 피처를 구분한 데이터 사전을 작성해 실제 생성 데이터와 대조하며, 가상 샘플로 제원 정합성을 검증한다. 사진 접수부터 판정 환류까지 업무 프로세스를 단계별 담당·입력·산출·소요시간으로 정리한다.
산출물	docs/qlt03_logistics_domain_spec.md 및 데이터 딕셔너리
평가	[필수] 프로세스 맵·피처 정의 — 업무 프로세스 맵이 작성되고 피처 20개 이상이 정의되며, 데이터 사전과 실제 데이터 컬럼의 누락이 0건인가. 라벨링 기준이 명확하고 실무 검사 흐름과 일치하는가.

미션 2. 이미지 조도 보정, 해상도 표준화 및 결함 영역(Bounding Box) 전처리 모듈 구현 [초급~중급 · 2시간]	미션 2. 이미지 조도 보정, 해상도 표준화 및 결함 영역(Bounding Box) 전처리 모듈 구현 [초급~중급 · 2시간]
목표	조명 보정, 해상도 표준화, 결함 영역(Bounding Box) 정제를 포함한 사진·제원 전처리 모듈을 구현한다.
수행	해상도, 밝기, 표기가 제각각인 가상 원천 사진과 제원·박스 라벨에 정제 규칙 10종 이상을 순서대로 적용한다. 중복 사진 제거, ID·날짜·단위 통일, 해상도 표준화, 조명 보정, 박스 형식 통일과 클리핑, 제원 결측 보정을 수행하고 긴급 점검 사진은 화질이 나빠도 삭제하지 않고 보존한다. 정합성 검증과 정제 전후 통계를 비교한다.
산출물	src/etl/qlt03_data_cleansing.py 및 정제 품질 보고서
평가	[필수] 정제 규칙·정합성 검증 — 정제 규칙 10종 이상이 적용되고 정합성 검증 통과율이 100%이며, 긴급 점검 사진 같은 군수 특수 예외 데이터가 보존되고 정제 전후 통계가 비교되었는가.

2단계. 결함 판별 Baseline 및 분할 기반 손상도 모델

미션 3. 외관 결함 유무 1차 판별 Baseline 비전 모델 구현 [중급 · 2.5시간]	미션 3. 외관 결함 유무 1차 판별 Baseline 비전 모델 구현 [중급 · 2.5시간]
목표	밝기 분포와 평균 색만 쓰는 외관 결함 유무 1차 판별 Baseline 비전 모델을 구현하고 EDA로 한계와 핵심 관리 대상을 찾는다.
수행	밝기 히스토그램과 채널 평균으로 로지스틱 회귀 Baseline을 학습해 정확도·재현율을 측정하고, 작은 결함과 저조도 사진에서의 한계를 확인한다. 8종 EDA 차트, 결함 유무와의 상관계수·p-value, 사진 판정과 관리 기록 등급의 불일치 분석, 정비 공수 파레토(ABC)를 수행해 핵심 발견점을 정리한다.
산출물	notebooks/qlt03_eda_analysis.ipynb 및 EDA 요약 리포트
평가	[필수] Baseline 판별·EDA 핵심 발견 — EDA 시각화 차트 8종 이상이 생성되고 유의미한 상관 피처 5개 이상이 도출되며, Baseline의 한계(작은 결함·조명 의존)와 제원 불일치 후보가 군수 의사결정에 직관적으로 설명되는가.

미션 4. 세그멘테이션(Mask R-CNN) 기반 결함 면적/깊이 정밀 측정 및 손상도 자동 판정 모델 고도화 [중급 · 3시간]	미션 4. 세그멘테이션(Mask R-CNN) 기반 결함 면적/깊이 정밀 측정 및 손상도 자동 판정 모델 고도화 [중급 · 3시간]
목표	분할 기반으로 결함 면적과 깊이를 측정하고 손상도를 자동 판정하는 모델을 만들어 기준 오차를 측정한다.
수행	조명 보정 후 임계값 분할(Mask R-CNN 대체)로 결함 마스크를 만들고 정답 마스크와의 IoU·Dice로 정밀도를 평가한다. 면적을 유형별 선형 보정하고 깊이와 손상도 점수를 학습해 오차(MAPE)를 측정하며, 면적만 쓰는 기준 모델과 비교한다. 분할 면적·명암·색·가장자리·조명 변수군을 하나씩 제거해 피처 설계가 타당한지 점검한다.
산출물	src/features/qlt03_feature_engineering.py 및 기준 모델
평가	[선택] 파생 피처·기준 모델 MAPE — 분할에서 만든 파생 피처가 10개 이상이고 손상도 판정 MAPE가 25% 이하이며, 변수군 제거 결과로 피처 설계의 논리성이 검사관에게 납득되는가.

3단계. 정비 등급 판정 엔진 및 업로드 판정 인터페이스

미션 5. 정비 등급(현장정비/야전정비/창정비) 자동 분류 및 판정 신뢰도 지수 산출 엔진 개발 [중급~고급 · 3.5시간]	미션 5. 정비 등급(현장정비/야전정비/창정비) 자동 분류 및 판정 신뢰도 지수 산출 엔진 개발 [중급~고급 · 3.5시간]
목표	손상도와 결함 유형 확률로 정비 등급(현장정비·야전정비·창정비)을 자동 분류하고 판정 신뢰도 지수를 산출하는 엔진을 개발한다.
수행	분할 특징과 유형 확률로 손상도를 회귀하고 경계값으로 정비 등급을 정해 기준 모델(밝기 히스토그램 회귀)과 MAE·RMSE·R2를 비교한다. 혼동행렬에서 창정비를 낮게 판정하는 과소 판정을 따로 센다. 분류 확률, 등급 경계까지 거리, 사진 품질, 오염 의심 상한으로 신뢰도 지수(0~100)를 만들고 구간별 실제 일치율로 보정을 확인하며 저조도·진흙 사진 성능을 비교한다.
산출물	src/models/qlt03_advanced_model.py
평가	[필수] 오차율 개선·R2 — 기준 모델 대비 MAE와 RMSE가 각각 20% 이상 개선되고 R2가 0.85 이상이며, 신뢰도 지수가 높을수록 실제 일치율이 높고 저조도·진흙 사진에서 낮은 신뢰도로 걸러지는가.

미션 6. 장비 결함 사진 업로드 및 손상 부위 시각화 판정 인터페이스 구현 [중급~고급 · 3시간]	미션 6. 장비 결함 사진 업로드 및 손상 부위 시각화 판정 인터페이스 구현 [중급~고급 · 3시간]
목표	장비 결함 사진을 업로드하면 손상 부위를 시각화해 판정과 근거를 보여 주는 인터페이스를 구현한다.
수행	업로드 사진 한 장에서 결함 유형, 면적(mm2), 깊이, 손상도, 정비 등급, 신뢰도와 손상 부위 윤곽·박스를 계산해 화면에 겹쳐 표시한다. 오염·저조도 사진은 재촬영 요구로 안내하고 모든 결과는 검사 대기로만 등록한다. 변수군을 평균값으로 대체하는 방식으로 판정 건마다 기여도 상위 3개를 산출하고 자연어 설명으로 변환하며, 표시 박스와 정답 마스크의 겹침을 확인한다.
산출물	src/explainability/qlt03_xai_explainer.py 및 XAI 리포트
평가	[선택] 기여도 상위 3개 자동 산출 — 판정 건당 기여도 상위 3개 인자가 100% 자동 산출되고, 판정 화면과 자연어 설명이 검사관·정비 담당자가 신뢰하고 조치할 수 있을 만큼 명확한가.

4단계. 검사관 보정·승인 체계 및 오염 사진 스트레스 시험

미션 7. 외관 판정 결과에 대한 검사관 수동 보정 및 최종 정비 등급 HITL 승인 절차 설계 [고급 · 3.5시간]	미션 7. 외관 판정 결과에 대한 검사관 수동 보정 및 최종 정비 등급 HITL 승인 절차 설계 [고급 · 3.5시간]
목표	AI 외관 판정에 대한 검사관 수동 보정과 최종 정비 등급 승인 HITL 절차를 설계하고 검사 운영 비용을 최적화한다.
수행	신뢰도 기준으로 간이 승인과 정밀 판독을 나누는 운영안을 전수 정밀 판독 관행과 비교해 비용(판독·과소·과대 판정 손실)을 계산하고, 신뢰도 기준과 검사관 일일 한도에 따른 민감도를 본다. AI 판정은 모두 검사대기로 등록하고 검사관의 검토·수동 보정(사유 필수) 뒤 정비감독관이, 창정비 또는 보정 건은 품질보증관까지 결재하게 한다. 권한 우회 시도 10건 차단, 반려 후 재등록 연결, 확정 후 변경 금지, 해시 체인 감사 로그를 구현한다.
산출물	src/optimization/qlt03_simulator.py
평가	[필수] 비용 절감·인간 승인 — 최적화 적용 시 비용 15% 이상 절감이 시나리오로 확인되고 검사관 한도 등 현실 제약이 반영되며, 자동 확정 0건, 권한 우회 시도 차단율 100%, 감사 로그 무결성과 위·변조 검출이 확인되었는가.

미션 8. 오염물/진흙 혼입 사진 대량 판정 스트레스 테스트 및 한계치 도출 [고급 · 3시간]	미션 8. 오염물/진흙 혼입 사진 대량 판정 스트레스 테스트 및 한계치 도출 [고급 · 3시간]
목표	오염물·진흙이 섞인 사진을 대량 판정하는 스트레스 테스트를 수행하고 판정 한계치를 도출한다.
수행	진흙 혼입 비율을 0~50%로 올린 사진 묶음과 흐림·센서 잡음·저조도+진흙 결합 조건에서 등급 일치율, 재촬영 요구율, 자동 처리 비율, 경보 정확도를 측정하고 품질 게이트의 효과를 비교한다. 사진 1장당 처리 시간으로 대량 일괄 판정 시간을 예상하고 결과 건수별 대시보드 로딩 시간을 측정해 한계치와 대응(재촬영·검사관 확인)을 정리한다.
산출물	src/dashboard/qlt03_app.py (Streamlit/Dash 등)
평가	[선택] 로딩 시간·경보 정확도 — 대시보드 로딩 시간이 2초 이내이고 품질 게이트를 통과한 사진의 경보 정확도가 95% 이상인 조건과 미달하는 한계 조건(진흙 비율, 흐림)이 제시되며, 요약·신뢰도 낮은 목록 우선 표시 같은 화면 위계가 설명되는가.

5단계. AAR 재보정 및 통합 패키지

미션 9. AAR 기반 외관 오판 사례 분석 및 컴퓨터 비전 모델 파라미터 재보정 [고급 · 3시간]	미션 9. AAR 기반 외관 오판 사례 분석 및 컴퓨터 비전 모델 파라미터 재보정 [고급 · 3시간]
목표	AAR로 외관 오판 사례를 분석하고 컴퓨터 비전 모델 파라미터를 재보정하며 도입 효과를 정량화한다.
수행	운영 분포(저조도·진흙·정상 혼합)의 판정 로그에서 오판을 오염 가림·저조도·작은 결함·유형 혼동·경계 근처로 분류한다. 분할 임계값을 IoU 기준으로 재보정하고 운영 사진을 추가 학습하며 과소 판정 손실을 반영한 등급 경계 이동을 검토해 재보정에 쓰지 않은 보류 구간에서 전후를 비교한다. 비용 절감액, 판독 시간 단축률, 투자 회수 기간을 산식과 민감도로 산출한다.
산출물	reports/qlt03_roi_analysis.md
평가	[필수] 3대 정량 효과 지표 — 비용 절감액, 시간 단축률, 투자 회수 기간 3대 지표가 산출되고 보류 구간에서 오판 손실 감소가 확인되며, 가정값과 산식이 공개되어 추정의 객관성과 재정·기획 부서 설득력이 확보되었는가.

미션 10. 장비 결함 사진 기반 AI 외관 검사 및 손상도 자동 판정 도구 통합 완성 [최고급 · 3.5시간]	미션 10. 장비 결함 사진 기반 AI 외관 검사 및 손상도 자동 판정 도구 통합 완성 [최고급 · 3.5시간]
목표	장비 결함 사진 기반 AI 외관 검사와 손상도 판정 도구를 통합하고 자동 재학습·운영 문서·자체 점검을 갖춘다.
수행	신규 사진 240장을 추가해 정합성을 검증하고 분포 변화(PSI)를 점검한 뒤 챌린저 모델을 학습해 검증 MAE가 3% 이상 개선될 때만 승격한다. 신규 사진의 결함·손상도·정비 등급을 산출해 검사 대기(간이 승인 후보·정밀 판독)와 재촬영 요구로 분리하며 자동 확정은 하지 않는다. 사진 판정과 관리 기록 등급이 크게 다른 장비를 제원 수정 요청 후보로 환류하고, 운영 문서 완비율, 인터페이스 명세, 자체 점검표, 브리핑 요약을 출력한다.
산출물	docs/qlt03_operations_guide.md 및 pipeline/qlt03_retrain.py
평가	[필수] 재학습 파이프라인·문서 완비 — 자동 재학습 파이프라인이 오류 없이 실행되고 운영 문서 100% 완비, 자체 점검 전 항목 PASS이며, 오염 사진 재촬영 분리와 자동 확정 0건, 제원 불일치 환류가 브리핑으로 정리되었는가.

최종 판정

판정 기준 : 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.

최종 판정 결과 : ( PASS / FAIL )

평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)