pbl02/scenario_md/QLT05-품질·규격·검사_검사실적-외주정비 품질검사 실적·병목 분석/QLT05-품질·규격·검사_검사실적-외주정비 품질검사 실적·병목 분석.md

외주정비 품질검사 실적·병목 분석

난 이 도 중급

프로젝트 목표

해외 사례에서 국방 감사기관이 외주정비 검사실적을 분석한 결과, 검사 대기가 길어지는 병목과 정비 직후 재발하는 결함이 품질 문제의 주요 단서로 지적된 바 있다. 야전에서도 장비 결함이 품질결함보고(QDR)의 비정형 서술로 쌓이지만 부위, 치명도, 원인이 사람마다 다르게 적혀 다발 결함과 책임 소재를 가려내기 어렵다. 본 프로젝트는 외주정비 품질검사 실적과 QDR 텍스트를 연결해 병목과 품질 취약점을 데이터로 찾는 것을 목표로, 교육용 가상 QDR와 가상 외주정비 업체 자료를 코드로 만들어 분석한다. QDR 데이터 스키마 정의, 서술 텍스트 정제와 부위·결함 라벨링, 빈도 Baseline과 파레토·상관 분석, 토픽 모델링과 월간 건수 예측, 치명도 기반 취약성 지수, 설명가능한 발생 현황 화면, 품질관 승인(HITL) 기반 하자 구상·설계 변경 시뮬레이터, 10년치 대용량 일괄 분석, AAR 원인 분류 룰 재튜닝, 재학습을 포함한 통합 도구까지 단계별로 구현한다. 최종 목표는 다발 결함 부위와 외주정비 병목을 근거와 함께 식별하되, 제조사 하자 구상과 설계 변경 소요 제기는 품질관이 근거를 보고 결정하도록 지원하는 것이다.

유의사항	모든 QDR, 정비 업체(외주A~D), 제조사, 검사 실적, 비용 단가는 코드 안에서 만든 교육용 가상 자료이며 실제 부대명, 업체명, 장비 제원, 검사 실적은 사용하지 않는다. 해외 감사 사례는 문제 구조를 참고하는 용도이며 사례의 실제 수치나 기관 자료는 사용하지 않는다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 취약성 지수, 원인 분류, 후보 제안은 품질 판단 보조 정보이며 제조사 하자 구상과 설계 변경 소요 제기, 업체 시정 요구는 품질관이 승인하고 실제 조치는 관련 규정과 계약 절차를 따른다. 비용 절감액 등 금액은 가정 단가로 계산한 상대 비교값으로 예산 근거로 쓰지 않는다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다.

1단계. QDR 데이터 정의 및 서술 텍스트 정제

미션 1. 야전 장비 품질결함보고(QDR, Quality Deficiency Report) 데이터 스키마 분석 [초급 · 1.5시간]	미션 1. 야전 장비 품질결함보고(QDR, Quality Deficiency Report) 데이터 스키마 분석 [초급 · 1.5시간]
목표	야전 장비 품질결함보고(QDR)의 보고 정보, 결함 서술 텍스트, 외주정비·검사 실적, 조치 결과 데이터 스키마와 데이터 딕셔너리, 결함 분석 업무 프로세스 맵을 정의한다.
수행	결함 발견부터 QDR 작성, 접수·검토, 검사·판정, 원인 분석, 조치, 실적 집계, 다발 결함 식별, 사후검토까지 업무 흐름을 단계별로 정리하고 보고·텍스트·검사·결과 묶음으로 피처 20개 이상을 정의한다. 예측 대상(원인 구분, 조치 비용, 월간 건수, 취약성 지수)을 명확히 하고 장비 식별코드·보급 분류군은 국방 표준 코드 형식을 모사한 가상 코드로 둔다. 가상 QDR 표본을 검증기로 점검하고 오류를 일부러 넣어 검출되는지 확인한다.
산출물	docs/qlt05_logistics_domain_spec.md, 데이터 딕셔너리
평가	[필수] QDR 데이터 정의 — 업무 프로세스 맵 작성 완료, 피처 20개 이상 정의, 정상 표본 검증 오류 0건, 군수 실무 프로세스와 일치하고 분석 목표가 명확한가.

미션 2. 비정형 결함 서술 텍스트 정제, 장비 부위별/결함 유형별 라벨링 전처리 구현 [초급~중급 · 2시간]	미션 2. 비정형 결함 서술 텍스트 정제, 장비 부위별/결함 유형별 라벨링 전처리 구현 [초급~중급 · 2시간]
목표	비정형 결함 서술 텍스트를 정제하고 장비 부위별·결함 유형별로 라벨링하는 전처리 모듈을 구현한다.
수행	중복 QDR 제거, 부대 코드와 일자 표기 통일, 전각·특수문자·공백 정규화, 약어(T/M 등) 확장, 사전 기반 오타 교정, 음수 대기일 결측 처리, KNN 결측 보정, 부위·결함 유형 키워드 라벨링 등 정제 규칙 10종을 적용한다. 대기일 0일 긴급 보고처럼 이상값으로 보여도 군수 예외인 기록은 지우지 않고 표시만 한다. 정제 전후 라벨링 정확도와 기술통계를 비교한다.
산출물	src/etl/qlt05_data_cleansing.py, 정제 품질 보고서
평가	[필수] 서술 정제·라벨링 — 정제 규칙 10종 적용, 정합성 검증 통과율 100%, 긴급 보고 예외 보존, 정제 후 부위·결함 라벨링 정확도가 향상되었는가.

2단계. 빈도 Baseline 분석 및 토픽 모델링 기반 취약점 군집화

미션 3. 빈도 분석 기반 1차 다발 결함 부품 도출 Baseline 알고리즘 구현 [중급 · 2.5시간]	미션 3. 빈도 분석 기반 1차 다발 결함 부품 도출 Baseline 알고리즘 구현 [중급 · 2.5시간]
목표	빈도 분석 기반 1차 다발 결함 부위 도출 Baseline을 구현하고, 탐색적 분석으로 빈도 기준의 한계와 외주정비 검사 병목, 핵심 관리 대상을 찾는다.
수행	학습 기간 건수 상위 5개 부위를 다발 결함 부위로 지정해 검증 기간 적중률과 치명도 가중 지수 순위와의 차이를 확인한다. 월간 QDR 건수와 훈련 강도, 검사 대기일 등 피처의 스피어만 상관계수·p-value를 계산하고 업체별 검사 대기·재검사율·정비 품질 원인 비중을 비교하며 EDA 차트 8종 이상을 그린다. 조치 비용 파레토(ABC) 분석으로 상위 20% 부위를 식별한다.
산출물	notebooks/qlt05_eda_analysis.ipynb, EDA 요약 리포트
평가	[필수] 빈도 Baseline·EDA — EDA 차트 8종 이상, 유의한 상관 피처 5개 이상(p<0.05), 파레토 상위 20% 부위 식별, 외주 병목 등 핵심 발견점이 품질 의사결정에 직관적인가.

미션 4. 텍스트 임베딩 및 토픽 모델링 기반 장비 구조적 품질 취약점 자동 군집화 모델 고도화 [중급 · 3시간]	미션 4. 텍스트 임베딩 및 토픽 모델링 기반 장비 구조적 품질 취약점 자동 군집화 모델 고도화 [중급 · 3시간]
목표	텍스트 임베딩(TF-IDF)과 토픽 모델링(NMF)으로 장비 구조적 품질 취약점을 자동 군집화하고, 부위별 월간 QDR 건수 기준 모델을 파생 피처로 고도화한다.
수행	결함 서술의 핵심 문장을 TF-IDF로 벡터화하고 NMF 토픽 36개로 군집화해 부위·결함 라벨과의 일치도(NMI)를 확인한다. 토픽별 건수, Critical 비중, 설계 취약 비중으로 취약 군집을 순위화한다. 지연값, 훈련 강도, 계절, 직전 치명도·검사 대기 등 파생 피처 10개 이상으로 월간 건수 모델을 만들어 시계열 교차검증 MAPE를 평가하고 순열 중요도로 피처를 줄인다.
산출물	src/features/qlt05_feature_engineering.py, 기준 모델
평가	[선택] 토픽 군집·파생 피처 — 파생 피처 10개 이상, 기준 모델 MAPE 25% 이하, 시계열 교차검증 적용, 피처 설계가 품질 실무에서 납득 가능한가.

3단계. 치명도 기반 취약성 지수 및 설명가능한 발생 현황 화면

미션 5. 결함 치명도(Critical/Major/Minor) 기반 종합 품질 취약성 지수 산출 엔진 개발 [중급~고급 · 3.5시간]	미션 5. 결함 치명도(Critical/Major/Minor) 기반 종합 품질 취약성 지수 산출 엔진 개발 [중급~고급 · 3.5시간]
목표	결함 치명도(Critical/Major/Minor)를 분류하고 치명도 가중 종합 품질 취약성 지수를 부위별로 산출·예측하는 엔진을 개발한다.
수행	키워드 규칙과 TF-IDF 로지스틱 회귀의 치명도 분류 정확도와 Critical 재현율을 비교하고 신뢰도 구간별 실제 정확도를 점검한다. 치명도 가중(1, 3, 9) 월간 부위별 취약성 지수를 릿지 중심 모델과 부스팅·랜덤 포레스트 잔차 보정 후보로 예측하며, 확장 윈도 내부 검증으로 선택해 학습 기간 평균 기준 모델과 Hold-out에서 MAE, RMSE, R2를 비교한다.
산출물	src/models/qlt05_advanced_model.py
평가	[필수] 취약성 지수 엔진 — 기준 모델 대비 MAE/RMSE 20% 이상 개선, R2 0.85 이상, 불규칙한 월별 변동에서도 예측이 안정적인가.

미션 6. 야전 QDR 발생 현황 및 장비 부위별 결함 집중도 히트맵 대시보드 구현 [중급~고급 · 3시간]	미션 6. 야전 QDR 발생 현황 및 장비 부위별 결함 집중도 히트맵 대시보드 구현 [중급~고급 · 3시간]
목표	야전 QDR 발생 현황과 부위별 결함 집중도를 히트맵·경보로 구성하고, 예측 건마다 기여도 상위 3개 인자와 자연어 요약을 자동 산출하는 설명가능성(XAI) 모듈을 구현한다.
수행	치명도 분류 모델의 서술 단어·부위·결함 유형 기여도를 계산해 건마다 상위 3개 근거를 뽑고, 1순위 근거를 제거했을 때 확률이 내려가는지로 유효성을 점검한다. 점검 카드(부위, 결함, 치명도, 근거 문장)와 최근 6개월 부위별 히트맵, 월평균 대비 집중도 경보를 출력한다.
산출물	src/explainability/qlt05_xai_explainer.py, XAI 리포트
평가	[선택] 발생 현황·설명가능성 — 예측 건당 기여도 상위 3개 인자 자동 산출률 100%, 군수 장교와 군무원이 신뢰하고 조치할 수 있도록 근거와 현황이 명확한가.

4단계. 품질관 검토(HITL) 및 10년치 대용량 일괄 분석

미션 7. 제조사 하자 구상 및 설계 변경 소요 제기를 위한 품질관 HITL 검토 모듈 설계 [고급 · 3.5시간]	미션 7. 제조사 하자 구상 및 설계 변경 소요 제기를 위한 품질관 HITL 검토 모듈 설계 [고급 · 3.5시간]
목표	제조사 하자 구상과 설계 변경 소요 제기(외주정비 시정 요구 포함)를 위해 품질관이 근거를 검토·승인하는 HITL 모듈을 설계하고 효과를 시뮬레이션으로 검증한다.
수행	최근 12개월 QDR의 부위별 원인 비중으로 하자 구상, 설계 변경, 외주정비 시정 후보를 제안하고 승인 대기열에 올린다. 품질관의 승인·반려·무응답(조치 보류 후 분기 회의 재상정)을 사유와 함께 해시 체인 감사 로그에 남기고, 개별 사후 수리 대비 24개월 비용 절감률과 승인 지연·처리 용량·전시 전환 민감도를 분석한다.
산출물	src/optimization/qlt05_simulator.py
평가	[필수] 품질관 검토(HITL) — 개별 사후 수리 대비 비용 15% 이상 절감, 자동 승인 0건, 결정 로깅률 100%, 처리 용량·지연 등 현실 제약과 시나리오별 대안이 적절한가.

미션 8. 10년치 대용량 야전 QDR 텍스트 데이터 일괄 분석 스트레스 테스트 [고급 · 3시간]	미션 8. 10년치 대용량 야전 QDR 텍스트 데이터 일괄 분석 스트레스 테스트 [고급 · 3시간]
목표	10년(120개월)치 대용량 야전 QDR 텍스트를 일괄 분석하는 스트레스 시험을 수행해 처리 시간, 화면 구성 시간, 경보 정확도를 확인한다.
수행	가상 QDR 약 6만 건에 빈 서술, 인코딩 깨짐, 과대 길이 레코드를 섞어 1~10년 단위로 주입해 격리·유실 건수와 분석 시간을 센다. 정규화·라벨링·월별 집계 후 훈련 강도로 보정한 급증 경보의 정확도·재현율·정밀도를 이벤트 기준으로 계산하고, 집계표에서 대시보드 화면을 구성하는 시간과 필터 응답 시간을 잰다.
산출물	src/dashboard/qlt05_app.py(Streamlit/Dash 구성은 스트레스 시험 결과로 대체), 스트레스 시험 결과표
평가	[선택] 대용량 일괄 분석 — 대시보드 화면 구성 2초 이내, 경보 발령 정확도 95% 이상, 불량 레코드 격리와 유실 0건이 확인되었는가.

5단계. AAR 원인 분류 룰 재튜닝 및 통합 도구 완성

미션 9. AAR 기반 결함 원인 오분류 분석 및 텍스트 마이닝 룰셋 재튜닝 [고급 · 3시간]	미션 9. AAR 기반 결함 원인 오분류 분석 및 텍스트 마이닝 룰셋 재튜닝 [고급 · 3시간]
목표	AAR 기반으로 결함 원인 오분류 사례를 분석하고 텍스트 마이닝 룰셋을 보조 규칙으로 재튜닝해 효과를 지표로 산출한다.
수행	AAR 기간 원인 분류 오류를 원인 단서 없음과 단서-실제 원인 불일치로 나누고 대표 사례를 정리한다. 미상으로 남은 건에 외주 정비 후 경과일·업체·결함 유형을 쓰는 결정 트리 보조 규칙을 AAR 기간에서 학습하고 확신이 낮으면 미상으로 남긴다. 검증 기간에서 정확도와 재현율을 비교하고 비용 절감, 확인 시간 단축, 제조·정비 책임 건 식별 증가의 3대 지표를 가정 단가로 계산해 로드맵을 정리한다.
산출물	reports/qlt05_roi_analysis.md
평가	[필수] AAR·룰셋 재튜닝 — 비용 절감액, 시간 단축률 등 3대 정량 효과 지표 산출, 검증 기간 정확도 개선, 추정 산식이 객관적이고 기획 부서를 설득할 수 있는가.

미션 10. 야전 장비 결함 보고(QDR) 데이터 분석 및 품질 취약점 식별 도구 통합 완성 [최고급 · 3.5시간]	미션 10. 야전 장비 결함 보고(QDR) 데이터 분석 및 품질 취약점 식별 도구 통합 완성 [최고급 · 3.5시간]
목표	QDR 검증·정제부터 치명도 분류, 취약성 지수·경보, 원인 분류, 승인 대기 후보 제안, 재학습까지 한 파일로 통합하고 자체 점검과 브리핑 요약을 출력하는 도구를 완성한다.
수행	지난달·이번 달 실적으로 챔피언 모델과 도전자 모델을 학습해 검증 정확도를 비교하고 비슷하거나 나을 때만 교체한다. 운용 QDR의 손상 서술은 수동 확인으로 분리하고 모델 장애 시 키워드 규칙으로 대체하는 동작을 시험한다. 월별 경보, 취약성 지수 상위 부위, 하자 구상·설계 변경·외주정비 시정 후보(승인 대기)를 만들고 자체 점검, 운영 문서 7개 장 완비 여부, 품질 담당 장교 브리핑 요약을 출력한다.
산출물	docs/qlt05_operations_guide.md, pipeline/qlt05_retrain.py
평가	[필수] 통합 도구 완성 — 자동 재학습 파이프라인 정상 실행, 최종 문서 100% 완비, 자체 점검 전 항목 통과, 군수 정보체계 연동 인터페이스 방안이 있어 지속 운영이 가능한가.

최종 판정

판정 기준 : 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.

최종 판정 결과 : ( PASS / FAIL )

평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)