pbl02/scenario_md/QLT02-품질·규격·검사_품질예측-규격·구매요구·납기 연계 품질예측 모델/QLT02-품질·규격·검사_품질예측-규격·구매요구·납기 연계 품질예측 모델.md

규격·구매요구·납기 연계 품질예측 모델

난 이 도 고급

프로젝트 목표

미국 국방부(DoD) 품질보증 부서는 구매요구서의 규격, 계약 납기, 업체 이력과 수령검사 결과를 연결해 불량 로트를 미리 가려내는 품질예측 방식을 공개 자료로 소개해 왔다. 본 프로젝트는 이 사례를 바탕으로 구매요구-계약-납품-수령검사-사후 확정으로 이어지는 교육용 가상 로트 자료를 코드로 만들어, 규격·제원 정합성, 검사 병목, 하자와의 연결, 이상 신호, 설명 근거, 품질 개선 효과를 차례로 분석한다. 학습자는 데이터셋 정의, 결측 정제와 업체 이력 인코딩, 샘플링 판정 Baseline과 탐색적 분석, 은닉 결함 패턴 식별, 품질 위험 지수와 조기경보, 대시보드와 설명 근거, 검사관 재검사(HITL), 대량 불량 납품 스트레스 시험, AAR 재보정, 자동 재학습 통합을 수행한다. 최종 목표는 불량 로트가 부대로 불출되기 전에 위험을 경보하고, 최종 합부 판정은 품질 검사관이 근거를 보고 내리도록 하는 품질 조기경보 체계를 완성하는 것이다.

유의사항	모든 업체·품목·로트·검사 수치는 코드 안에서 만든 교육용 가상 자료이며 실제 업체명, 계약 정보, 부대명, 장비 제원은 사용하지 않는다. FSC·NIIN은 형식만 본뜬 가상 코드다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 위험 지수와 경보는 판단 보조이며 로트의 합부 판정은 품질 검사관이 내리고, 업체 제재 등 행정 조치는 관련 규정과 지휘계통에 따른다. 비용 단가는 교육용 가정값이다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다.

1단계. 검사 불량 데이터 정의 및 전처리

미션 1. 군수품 수입/수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함) 데이터셋 정의 [초급 · 1.5시간]	미션 1. 군수품 수입/수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함) 데이터셋 정의 [초급 · 1.5시간]
목표	군수품 수입·수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함)을 구매요구-계약-납품-검사 흐름에 맞춰 데이터셋으로 정의한다.
수행	업무 프로세스 맵(구매요구, 계약, 납품, 수령검사, 불출·사용, 사후 확정)을 그리고 단계별로 생기는 데이터를 정리한다. 로트 번호, 업체, 가상 FSC·NIIN 코드, 규격 등급, 납기, 표본 수, 유형별 불량 수, 치수 편차 등 20개 이상 필드의 형식·허용값을 데이터 딕셔너리로 만든다. 교차검증 규칙(불량 유형 합 일치 등)으로 가상 샘플을 검증한다.
산출물	docs/qlt02_logistics_domain_spec.md 및 데이터 딕셔너리
평가	[필수] 도메인 분석·데이터 정의 — 업무 프로세스 맵 작성, 피처(필드) 20개 이상 정의, 국방 표준 코드 형식(FSC·NIIN) 반영, 분석 목표가 한 문장으로 명확히 제시되었는가.

미션 2. 검사 측정치 결측치 정제, 납품업체별 불량 이력 인코딩 전처리 모듈 구현 [초급~중급 · 2시간]	미션 2. 검사 측정치 결측치 정제, 납품업체별 불량 이력 인코딩 전처리 모듈 구현 [초급~중급 · 2시간]
목표	검사 측정치 결측을 정제하고 납품업체별 불량 이력을 정보 누수 없이 인코딩하는 전처리 모듈을 구현한다.
수행	중복 로트, 업체 코드 표기, 날짜 형식, 재고번호 형식, 범위 오류 등 정제 규칙 10종을 적용하고 치수 측정 결측은 KNN으로 보간한다. 긴급 불출처럼 군수 특수 예외 기록은 삭제하지 않고 표시해 보존한다. 업체 불량 이력은 현재 로트 이전 기록만으로 계산하고, 정제 전후 기술통계와 정합성 검증 통과율을 비교한다.
산출물	src/etl/qlt02_data_cleansing.py 및 정제 품질 보고서
평가	[필수] 정제·정합성 검증 — 정제 규칙 10종 적용, 정합성 검증 통과율 100%, 특수 예외 기록 보존, 업체 이력 인코딩의 정보 누수 방지가 확인되었는가.

2단계. 로트 판정 Baseline 및 은닉 결함 패턴 식별

미션 3. 불량률 통계 기반 1차 로트(Lot) 합격/불합격 판정 Baseline 알고리즘 구현 [중급 · 2.5시간]	미션 3. 불량률 통계 기반 1차 로트(Lot) 합격/불합격 판정 Baseline 알고리즘 구현 [중급 · 2.5시간]
목표	표본 불량 수가 합격판정수 이하이면 합격시키는 통계적 샘플링 기반 로트 합격/불합격 판정 Baseline을 구현하고, 탐색적 분석으로 불량 관련 요인을 찾는다.
수행	로트 크기별 표본 수와 합격판정수로 판정한 뒤 확정 불량률과 비교해 오합격·오불합격을 측정한다. 규격 등급, 규격 불일치, 납기 지연, 업체, 품목군별 차트 8종을 그리고 상관계수와 p-value로 유의한 요인을 고른다. 업체 파레토(ABC) 분석으로 집중 관리 대상을 정하고 핵심 발견점을 문서화한다.
산출물	notebooks/qlt02_eda_analysis.ipynb 및 EDA 요약 리포트
평가	[필수] Baseline 판정·EDA — Baseline 판정 혼동표와 오판정률 제시, EDA 차트 8종 이상, 통계적으로 유의한 상관 피처 5개 이상, 파레토 상위 관리 업체가 도출되었는가.

미션 4. 다변량 분석 및 머신러닝 기반 은닉 품질 결함 패턴 식별 모델 고도화 [중급 · 3시간]	미션 4. 다변량 분석 및 머신러닝 기반 은닉 품질 결함 패턴 식별 모델 고도화 [중급 · 3시간]
목표	다변량 분석으로 단일 요인에서 드러나지 않는 은닉 품질 결함 패턴(규격 x 납기 상호작용, 업체 품질 추세)을 식별하는 피처와 기준 모델을 만든다.
수행	표본 불량률, 지연 비율, 정밀 규격 x 촉박 납기, 치수 편차/공차, 업체 최근 추세 등 파생 피처 10개 이상을 만든다. Ridge 기준 모델로 로트 확정 불량률을 예측하고 시계열 교차검증으로 과적합을 점검한다. 순열 중요도로 영향이 작은 피처를 줄이고, 상호작용·추세 피처 유무에 따른 오차 차이로 은닉 패턴을 확인한다.
산출물	src/features/qlt02_feature_engineering.py 및 기준 모델
평가	[선택] 피처 설계·기준 모델 — 파생 피처 10개 이상, 시계열 교차검증 기준 모델 MAPE 25% 이하, 피처 중요도 기반 차원 축소와 은닉 패턴 2개 이상의 근거가 제시되었는가.

3단계. 품질 위험 지수 조기경보 및 대시보드 설명 근거

미션 5. 로트별 품질 위험 지수(Quality Risk Score) 산출 및 조기경보 엔진 개발 [중급~고급 · 3.5시간]	미션 5. 로트별 품질 위험 지수(Quality Risk Score) 산출 및 조기경보 엔진 개발 [중급~고급 · 3.5시간]
목표	앙상블 모델로 로트별 확정 불량률을 예측해 품질 위험 지수(0~100)와 경보 등급을 산출하는 조기경보 엔진을 개발한다.
수행	그래디언트 부스팅과 랜덤 포레스트를 묶은 앙상블을 앞 18개월로 학습하고 최근 6개월 hold-out에서 기준 모델과 MAE·RMSE·R2를 비교한다. 예측 불량률이 허용 불량률 5%를 넘을 확률을 위험 지수로 바꿔 경보·주의·정상 등급을 매긴다. 등급별 실제 불량 비율과 샘플링 오합격 로트 포착 수를 확인한다.
산출물	src/models/qlt02_advanced_model.py
평가	[필수] 위험 지수·예측 성능 — 기준 모델 대비 MAE 또는 RMSE 20% 이상 개선, R2 0.85 이상, 위험 등급별 실제 불량 비율이 단조롭게 구분되는가.

미션 6. 수입 검사 불량 추세 및 고위험 납품업체 모니터링 품질 대시보드 구현 [중급~고급 · 3시간]	미션 6. 수입 검사 불량 추세 및 고위험 납품업체 모니터링 품질 대시보드 구현 [중급~고급 · 3시간]
목표	수입 검사 불량 추세와 고위험 납품업체를 모니터링하는 품질 대시보드를 만들고, 경보 로트마다 기여도 상위 3개 인자를 설명한다.
수행	월별 표본 불량률과 관리한계, 업체별 평균 위험 지수와 추세(악화·유지), 위험 지수 분포, 대표 로트의 기여도 워터폴을 2x2 대시보드로 그린다. 요인을 7개 군(업체 이력, 규격 변경·불일치, 정밀 규격, 납기, 표본검사, 구매요구 조건, 품목군)으로 묶어 섀플리 기여도를 정확히 계산하고, 상위 3개 인자와 조치 제안을 자연어 문장으로 만든다.
산출물	src/explainability/qlt02_xai_explainer.py 및 XAI 리포트
평가	[선택] 대시보드·설명 근거 — 경보 로트 상위 3개 인자 자동 산출률 100%, 기여도 합이 예측값과 일치(가법성), 자연어 설명과 조치 제안, 대시보드 4개 패널이 제시되었는가.

4단계. 검사관 재검사 승인 체계 및 대량 불량 스트레스 시험

미션 7. 합부 판정 경계선 품목에 대한 품질 검사관 정밀 재검사(HITL) 워크플로우 설계 [고급 · 3.5시간]	미션 7. 합부 판정 경계선 품목에 대한 품질 검사관 정밀 재검사(HITL) 워크플로우 설계 [고급 · 3.5시간]
목표	합부 판정 경계선에 있는 로트를 자동 확정하지 않고 품질 검사관 정밀 재검사로 넘기는 인간 개입(HITL) 워크플로우를 설계하고, 한정된 검사 시간을 최적 배분한다.
수행	표본 불량 수가 합격판정수 근처이거나 위험 확률이 중간인 로트를 재검사 대기열에 등록한다. 월 가용 검사 시간 안에서 기대 순편익이 큰 로트를 고르는 0-1 정수계획(MIP)과 현행 선착순 방식을 실제 확정 결과로 비교한다. 최초 검사자 재배정 금지, 판정 근거 기록, 해시 이력을 적용하고 물량 증가·검사 시간 감소에 대한 민감도를 분석한다.
산출물	src/optimization/qlt02_simulator.py
평가	[필수] 재검사 승인·최적 배분 — 경계선 로트 자동 확정 0건, 최적화 적용 시 현행 대비 품질비용 15% 이상 절감, 검사관 판정 근거 기록, 돌발 수요 민감도 분석이 제시되었는가.

미션 8. 불량 부품 대량 납품 가상 주입 시 조기경보 신속성 스트레스 테스트 [고급 · 3시간]	미션 8. 불량 부품 대량 납품 가상 주입 시 조기경보 신속성 스트레스 테스트 [고급 · 3시간]
목표	평소 품질이 좋던 업체가 불량 부품을 대량 납품하는 상황을 가상으로 주입해 조기경보의 정확도와 신속성, 대시보드 갱신 성능을 시험한다.
수행	우수 업체 V03에 불량 로트 위주의 대량 납품 60로트와 손상 레코드 12건을 주입한다. 손상 레코드는 격리하고, 로트 경보 정확도와 업체 단위 누적합(CUSUM) 경보가 몇 번째 로트에서 울리는지 측정한다. 로트 수를 1배·10배·50배로 늘려 대시보드 갱신 시간을 잰다.
산출물	src/dashboard/qlt02_app.py (Streamlit/Dash 등)
평가	[선택] 조기경보 스트레스 시험 — 대시보드 갱신 시간 2초 이내, 대량 납품 주입 로트 경보 정확도 95% 이상, 업체 경보 신속성과 평시 오경보 수, 손상 레코드 격리가 확인되었는가.

5단계. 사후검토 재보정 및 최종 통합

미션 9. AAR 기반 불량 오판정 사례 분석 및 검사 샘플링 파라미터 재보정 [고급 · 3시간]	미션 9. AAR 기반 불량 오판정 사례 분석 및 검사 샘플링 파라미터 재보정 [고급 · 3시간]
목표	고정 샘플링 기준의 불량 오판정 사례를 사후검토(AAR)로 분석하고, 위험 등급별 샘플링 파라미터를 재보정해 정량 효과를 산출한다.
수행	학습 구간의 오합격·오불합격 사례를 경계선 불량률, 업체 이력 미반영, 정밀 규격 기준 동일 등 원인으로 분류한다. 입고 전 정보(업체 이력, 납기, 규격 변경 등)로 위험 등급을 나누고 등급별 표본 크기와 합격판정수를 비용 최소 기준으로 다시 정한다. 검증 구간에서 비용 절감액, 검사 시간 단축률, 불량품 유출 감소율을 산식과 함께 제시한다.
산출물	reports/qlt02_roi_analysis.md
평가	[필수] AAR 원인분석·재보정 효과 — 오판정 원인 분류, 등급별 샘플링 기준 재보정, 비용 절감액·시간 단축률·유출 감소율 3대 정량 효과 지표와 산식·가정이 제시되었는가.

미션 10. 군수품 수령 검사 불량 패턴 분석 및 품질 조기경보 시스템 통합 패키지 완성 [최고급 · 3.5시간]	미션 10. 군수품 수령 검사 불량 패턴 분석 및 품질 조기경보 시스템 통합 패키지 완성 [최고급 · 3.5시간]
목표	데이터 검증부터 재학습, 배포 판정, 월간 조기경보까지 이어지는 자동 재학습 파이프라인으로 품질 조기경보 시스템을 통합한다.
수행	손상·중복 레코드를 격리하는 검증 단계, 피처 생성, 분포 변화(PSI) 점검을 거쳐 도전 모델을 재학습한다. 최근 3개월 hold-out에서 현행 모델과 MAE·R2·경보 재현율을 비교하는 배포 게이트로 배포 여부를 정하고, 최신 월 조기경보와 고위험 업체를 출력한다. 자체 점검표, 운영 가이드 목차, 브리핑 요약을 정리한다.
산출물	docs/qlt02_operations_guide.md 및 pipeline/qlt02_retrain.py
평가	[필수] 통합 실행·자체 점검 — 자동 재학습 파이프라인이 오류 없이 실행되고 배포 게이트 판정이 기록되며, 자체 점검 전 항목 PASS, 운영 가이드 100% 완비, 브리핑 요약이 실행 결과와 일치하는가.

최종 판정

판정 기준 : 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.

최종 판정 결과 : ( PASS / FAIL )

평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)