시나리오 내용 반영

scenario_md/QLT02-품질·규격·검사_품질예측-규격·구매요구·납기 연계 품질예측 모델/QLT02-품질·규격·검사_품질예측-규격·구매요구·납기 연계 품질예측 모델.md

@@ -0,0 +1,97 @@
+**규격·구매요구·납기 연계 품질예측 모델**
+
+난 이 도 **고급**
+
+| **프로젝트 목표** | 미국 국방부(DoD) 품질보증 부서는 구매요구서의 규격, 계약 납기, 업체 이력과 수령검사 결과를 연결해 불량 로트를 미리 가려내는 품질예측 방식을 공개 자료로 소개해 왔다. 본 프로젝트는 이 사례를 바탕으로 구매요구-계약-납품-수령검사-사후 확정으로 이어지는 교육용 가상 로트 자료를 코드로 만들어, 규격·제원 정합성, 검사 병목, 하자와의 연결, 이상 신호, 설명 근거, 품질 개선 효과를 차례로 분석한다. 학습자는 데이터셋 정의, 결측 정제와 업체 이력 인코딩, 샘플링 판정 Baseline과 탐색적 분석, 은닉 결함 패턴 식별, 품질 위험 지수와 조기경보, 대시보드와 설명 근거, 검사관 재검사(HITL), 대량 불량 납품 스트레스 시험, AAR 재보정, 자동 재학습 통합을 수행한다. 최종 목표는 불량 로트가 부대로 불출되기 전에 위험을 경보하고, 최종 합부 판정은 품질 검사관이 근거를 보고 내리도록 하는 품질 조기경보 체계를 완성하는 것이다. |
+| --- | --- |
+
+| **유의사항** | 모든 업체·품목·로트·검사 수치는 코드 안에서 만든 교육용 가상 자료이며 실제 업체명, 계약 정보, 부대명, 장비 제원은 사용하지 않는다. FSC·NIIN은 형식만 본뜬 가상 코드다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 위험 지수와 경보는 판단 보조이며 로트의 합부 판정은 품질 검사관이 내리고, 업체 제재 등 행정 조치는 관련 규정과 지휘계통에 따른다. 비용 단가는 교육용 가정값이다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다. |
+| --- | --- |
+
+**1단계. 검사 불량 데이터 정의 및 전처리**
+
+| **미션 1. 군수품 수입/수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함) 데이터셋 정의** [초급 · 1.5시간] | **미션 1. 군수품 수입/수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함) 데이터셋 정의** [초급 · 1.5시간] |
+| --- | --- |
+| **목표** | 군수품 수입·수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함)을 구매요구-계약-납품-검사 흐름에 맞춰 데이터셋으로 정의한다. |
+| **수행** | 업무 프로세스 맵(구매요구, 계약, 납품, 수령검사, 불출·사용, 사후 확정)을 그리고 단계별로 생기는 데이터를 정리한다. 로트 번호, 업체, 가상 FSC·NIIN 코드, 규격 등급, 납기, 표본 수, 유형별 불량 수, 치수 편차 등 20개 이상 필드의 형식·허용값을 데이터 딕셔너리로 만든다. 교차검증 규칙(불량 유형 합 일치 등)으로 가상 샘플을 검증한다. |
+| **산출물** | docs/qlt02_logistics_domain_spec.md 및 데이터 딕셔너리 |
+| **평가** | **[필수] 도메인 분석·데이터 정의** — 업무 프로세스 맵 작성, 피처(필드) 20개 이상 정의, 국방 표준 코드 형식(FSC·NIIN) 반영, 분석 목표가 한 문장으로 명확히 제시되었는가. |
+
+| **미션 2. 검사 측정치 결측치 정제, 납품업체별 불량 이력 인코딩 전처리 모듈 구현** [초급~중급 · 2시간] | **미션 2. 검사 측정치 결측치 정제, 납품업체별 불량 이력 인코딩 전처리 모듈 구현** [초급~중급 · 2시간] |
+| --- | --- |
+| **목표** | 검사 측정치 결측을 정제하고 납품업체별 불량 이력을 정보 누수 없이 인코딩하는 전처리 모듈을 구현한다. |
+| **수행** | 중복 로트, 업체 코드 표기, 날짜 형식, 재고번호 형식, 범위 오류 등 정제 규칙 10종을 적용하고 치수 측정 결측은 KNN으로 보간한다. 긴급 불출처럼 군수 특수 예외 기록은 삭제하지 않고 표시해 보존한다. 업체 불량 이력은 현재 로트 이전 기록만으로 계산하고, 정제 전후 기술통계와 정합성 검증 통과율을 비교한다. |
+| **산출물** | src/etl/qlt02_data_cleansing.py 및 정제 품질 보고서 |
+| **평가** | **[필수] 정제·정합성 검증** — 정제 규칙 10종 적용, 정합성 검증 통과율 100%, 특수 예외 기록 보존, 업체 이력 인코딩의 정보 누수 방지가 확인되었는가. |
+
+**2단계. 로트 판정 Baseline 및 은닉 결함 패턴 식별**
+
+| **미션 3. 불량률 통계 기반 1차 로트(Lot) 합격/불합격 판정 Baseline 알고리즘 구현** [중급 · 2.5시간] | **미션 3. 불량률 통계 기반 1차 로트(Lot) 합격/불합격 판정 Baseline 알고리즘 구현** [중급 · 2.5시간] |
+| --- | --- |
+| **목표** | 표본 불량 수가 합격판정수 이하이면 합격시키는 통계적 샘플링 기반 로트 합격/불합격 판정 Baseline을 구현하고, 탐색적 분석으로 불량 관련 요인을 찾는다. |
+| **수행** | 로트 크기별 표본 수와 합격판정수로 판정한 뒤 확정 불량률과 비교해 오합격·오불합격을 측정한다. 규격 등급, 규격 불일치, 납기 지연, 업체, 품목군별 차트 8종을 그리고 상관계수와 p-value로 유의한 요인을 고른다. 업체 파레토(ABC) 분석으로 집중 관리 대상을 정하고 핵심 발견점을 문서화한다. |
+| **산출물** | notebooks/qlt02_eda_analysis.ipynb 및 EDA 요약 리포트 |
+| **평가** | **[필수] Baseline 판정·EDA** — Baseline 판정 혼동표와 오판정률 제시, EDA 차트 8종 이상, 통계적으로 유의한 상관 피처 5개 이상, 파레토 상위 관리 업체가 도출되었는가. |
+
+| **미션 4. 다변량 분석 및 머신러닝 기반 은닉 품질 결함 패턴 식별 모델 고도화** [중급 · 3시간] | **미션 4. 다변량 분석 및 머신러닝 기반 은닉 품질 결함 패턴 식별 모델 고도화** [중급 · 3시간] |
+| --- | --- |
+| **목표** | 다변량 분석으로 단일 요인에서 드러나지 않는 은닉 품질 결함 패턴(규격 x 납기 상호작용, 업체 품질 추세)을 식별하는 피처와 기준 모델을 만든다. |
+| **수행** | 표본 불량률, 지연 비율, 정밀 규격 x 촉박 납기, 치수 편차/공차, 업체 최근 추세 등 파생 피처 10개 이상을 만든다. Ridge 기준 모델로 로트 확정 불량률을 예측하고 시계열 교차검증으로 과적합을 점검한다. 순열 중요도로 영향이 작은 피처를 줄이고, 상호작용·추세 피처 유무에 따른 오차 차이로 은닉 패턴을 확인한다. |
+| **산출물** | src/features/qlt02_feature_engineering.py 및 기준 모델 |
+| **평가** | **[선택] 피처 설계·기준 모델** — 파생 피처 10개 이상, 시계열 교차검증 기준 모델 MAPE 25% 이하, 피처 중요도 기반 차원 축소와 은닉 패턴 2개 이상의 근거가 제시되었는가. |
+
+**3단계. 품질 위험 지수 조기경보 및 대시보드 설명 근거**
+
+| **미션 5. 로트별 품질 위험 지수(Quality Risk Score) 산출 및 조기경보 엔진 개발** [중급~고급 · 3.5시간] | **미션 5. 로트별 품질 위험 지수(Quality Risk Score) 산출 및 조기경보 엔진 개발** [중급~고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 앙상블 모델로 로트별 확정 불량률을 예측해 품질 위험 지수(0~100)와 경보 등급을 산출하는 조기경보 엔진을 개발한다. |
+| **수행** | 그래디언트 부스팅과 랜덤 포레스트를 묶은 앙상블을 앞 18개월로 학습하고 최근 6개월 hold-out에서 기준 모델과 MAE·RMSE·R2를 비교한다. 예측 불량률이 허용 불량률 5%를 넘을 확률을 위험 지수로 바꿔 경보·주의·정상 등급을 매긴다. 등급별 실제 불량 비율과 샘플링 오합격 로트 포착 수를 확인한다. |
+| **산출물** | src/models/qlt02_advanced_model.py |
+| **평가** | **[필수] 위험 지수·예측 성능** — 기준 모델 대비 MAE 또는 RMSE 20% 이상 개선, R2 0.85 이상, 위험 등급별 실제 불량 비율이 단조롭게 구분되는가. |
+
+| **미션 6. 수입 검사 불량 추세 및 고위험 납품업체 모니터링 품질 대시보드 구현** [중급~고급 · 3시간] | **미션 6. 수입 검사 불량 추세 및 고위험 납품업체 모니터링 품질 대시보드 구현** [중급~고급 · 3시간] |
+| --- | --- |
+| **목표** | 수입 검사 불량 추세와 고위험 납품업체를 모니터링하는 품질 대시보드를 만들고, 경보 로트마다 기여도 상위 3개 인자를 설명한다. |
+| **수행** | 월별 표본 불량률과 관리한계, 업체별 평균 위험 지수와 추세(악화·유지), 위험 지수 분포, 대표 로트의 기여도 워터폴을 2x2 대시보드로 그린다. 요인을 7개 군(업체 이력, 규격 변경·불일치, 정밀 규격, 납기, 표본검사, 구매요구 조건, 품목군)으로 묶어 섀플리 기여도를 정확히 계산하고, 상위 3개 인자와 조치 제안을 자연어 문장으로 만든다. |
+| **산출물** | src/explainability/qlt02_xai_explainer.py 및 XAI 리포트 |
+| **평가** | **[선택] 대시보드·설명 근거** — 경보 로트 상위 3개 인자 자동 산출률 100%, 기여도 합이 예측값과 일치(가법성), 자연어 설명과 조치 제안, 대시보드 4개 패널이 제시되었는가. |
+
+**4단계. 검사관 재검사 승인 체계 및 대량 불량 스트레스 시험**
+
+| **미션 7. 합부 판정 경계선 품목에 대한 품질 검사관 정밀 재검사(HITL) 워크플로우 설계** [고급 · 3.5시간] | **미션 7. 합부 판정 경계선 품목에 대한 품질 검사관 정밀 재검사(HITL) 워크플로우 설계** [고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 합부 판정 경계선에 있는 로트를 자동 확정하지 않고 품질 검사관 정밀 재검사로 넘기는 인간 개입(HITL) 워크플로우를 설계하고, 한정된 검사 시간을 최적 배분한다. |
+| **수행** | 표본 불량 수가 합격판정수 근처이거나 위험 확률이 중간인 로트를 재검사 대기열에 등록한다. 월 가용 검사 시간 안에서 기대 순편익이 큰 로트를 고르는 0-1 정수계획(MIP)과 현행 선착순 방식을 실제 확정 결과로 비교한다. 최초 검사자 재배정 금지, 판정 근거 기록, 해시 이력을 적용하고 물량 증가·검사 시간 감소에 대한 민감도를 분석한다. |
+| **산출물** | src/optimization/qlt02_simulator.py |
+| **평가** | **[필수] 재검사 승인·최적 배분** — 경계선 로트 자동 확정 0건, 최적화 적용 시 현행 대비 품질비용 15% 이상 절감, 검사관 판정 근거 기록, 돌발 수요 민감도 분석이 제시되었는가. |
+
+| **미션 8. 불량 부품 대량 납품 가상 주입 시 조기경보 신속성 스트레스 테스트** [고급 · 3시간] | **미션 8. 불량 부품 대량 납품 가상 주입 시 조기경보 신속성 스트레스 테스트** [고급 · 3시간] |
+| --- | --- |
+| **목표** | 평소 품질이 좋던 업체가 불량 부품을 대량 납품하는 상황을 가상으로 주입해 조기경보의 정확도와 신속성, 대시보드 갱신 성능을 시험한다. |
+| **수행** | 우수 업체 V03에 불량 로트 위주의 대량 납품 60로트와 손상 레코드 12건을 주입한다. 손상 레코드는 격리하고, 로트 경보 정확도와 업체 단위 누적합(CUSUM) 경보가 몇 번째 로트에서 울리는지 측정한다. 로트 수를 1배·10배·50배로 늘려 대시보드 갱신 시간을 잰다. |
+| **산출물** | src/dashboard/qlt02_app.py (Streamlit/Dash 등) |
+| **평가** | **[선택] 조기경보 스트레스 시험** — 대시보드 갱신 시간 2초 이내, 대량 납품 주입 로트 경보 정확도 95% 이상, 업체 경보 신속성과 평시 오경보 수, 손상 레코드 격리가 확인되었는가. |
+
+**5단계. 사후검토 재보정 및 최종 통합**
+
+| **미션 9. AAR 기반 불량 오판정 사례 분석 및 검사 샘플링 파라미터 재보정** [고급 · 3시간] | **미션 9. AAR 기반 불량 오판정 사례 분석 및 검사 샘플링 파라미터 재보정** [고급 · 3시간] |
+| --- | --- |
+| **목표** | 고정 샘플링 기준의 불량 오판정 사례를 사후검토(AAR)로 분석하고, 위험 등급별 샘플링 파라미터를 재보정해 정량 효과를 산출한다. |
+| **수행** | 학습 구간의 오합격·오불합격 사례를 경계선 불량률, 업체 이력 미반영, 정밀 규격 기준 동일 등 원인으로 분류한다. 입고 전 정보(업체 이력, 납기, 규격 변경 등)로 위험 등급을 나누고 등급별 표본 크기와 합격판정수를 비용 최소 기준으로 다시 정한다. 검증 구간에서 비용 절감액, 검사 시간 단축률, 불량품 유출 감소율을 산식과 함께 제시한다. |
+| **산출물** | reports/qlt02_roi_analysis.md |
+| **평가** | **[필수] AAR 원인분석·재보정 효과** — 오판정 원인 분류, 등급별 샘플링 기준 재보정, 비용 절감액·시간 단축률·유출 감소율 3대 정량 효과 지표와 산식·가정이 제시되었는가. |
+
+| **미션 10. 군수품 수령 검사 불량 패턴 분석 및 품질 조기경보 시스템 통합 패키지 완성** [최고급 · 3.5시간] | **미션 10. 군수품 수령 검사 불량 패턴 분석 및 품질 조기경보 시스템 통합 패키지 완성** [최고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 데이터 검증부터 재학습, 배포 판정, 월간 조기경보까지 이어지는 자동 재학습 파이프라인으로 품질 조기경보 시스템을 통합한다. |
+| **수행** | 손상·중복 레코드를 격리하는 검증 단계, 피처 생성, 분포 변화(PSI) 점검을 거쳐 도전 모델을 재학습한다. 최근 3개월 hold-out에서 현행 모델과 MAE·R2·경보 재현율을 비교하는 배포 게이트로 배포 여부를 정하고, 최신 월 조기경보와 고위험 업체를 출력한다. 자체 점검표, 운영 가이드 목차, 브리핑 요약을 정리한다. |
+| **산출물** | docs/qlt02_operations_guide.md 및 pipeline/qlt02_retrain.py |
+| **평가** | **[필수] 통합 실행·자체 점검** — 자동 재학습 파이프라인이 오류 없이 실행되고 배포 게이트 판정이 기록되며, 자체 점검 전 항목 PASS, 운영 가이드 100% 완비, 브리핑 요약이 실행 결과와 일치하는가. |
+
+**최종 판정**
+
+**판정 기준 :** 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.
+
+최종 판정 결과 : ( PASS / FAIL )
+
+평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)

scenario_md/QLT02-품질·규격·검사_품질예측-규격·구매요구·납기 연계 품질예측 모델/QLT02_실습가이드.md

@@ -0,0 +1,267 @@
+**QLT02 실습가이드 - 규격·구매요구·납기 연계 품질예측 모델**
+
+구    분 **실습가이드 [교육용가상자료]**
+
+**1. 실습 개요**
+
+본 실습은 교육용 가상 로트 자료로 규격·구매요구·납기 정보와 수령검사 결과를 연결한 품질예측·조기경보 체계를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(QLT02_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꾸는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.
+
+| **과제** | QLT02 규격·구매요구·납기 연계 품질예측 모델 |
+| --- | --- |
+
+| **난이도·유형** | 고급 / 데이터분석형 |
+| --- | --- |
+
+| **예상 소요시간** | 미션 10개, 총 28.5시간 |
+| --- | --- |
+
+| **준비물** | QLT02_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
+| --- | --- |
+
+**2. 진행 방법**
+
+- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 로트 생성 함수가 빠져 오류가 난다).
+
+- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 같은 값이 나와야 한다(실행 시간 수치는 환경에 따라 다르다).
+
+- 도전 과제는 코드 상단의 파라미터(경보 기준, 검사 가용 시간, 비용 가정 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
+
+- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.
+
+- 실제 업체·계약·검사 자료는 입력하지 않는다. 위험 지수는 판단 보조이며 최종 합부 판정은 품질 검사관이 내린다.
+
+**3. 미션 진행 요약**
+
+| **미션** | **난이도·시간** | **핵심 확인 결과** |
+| --- | --- | --- |
+| **M1. 군수품 수입/수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함) 데이터셋 정의** | 초급
+1.5시간 | 피처(필드) 25개 정의(목표 20개 이상), 프로세스 맵 6단계 |
+| **M2. 검사 측정치 결측치 정제, 납품업체별 불량 이력 인코딩 전처리 모듈 구현** | 초급~중급
+2시간 | 정합성 검증 정제 전 1/10 -> 정제 후 10/10(100%) |
+| **M3. 불량률 통계 기반 1차 로트(Lot) 합격/불합격 판정 Baseline 알고리즘 구현** | 중급
+2.5시간 | Baseline 판정 정확도 90.6%, 오합격 28.0% |
+| **M4. 다변량 분석 및 머신러닝 기반 은닉 품질 결함 패턴 식별 모델 고도화** | 중급
+3시간 | 파생 피처 20개, 기준 모델 평균 검증 MAPE 18.9%(목표 25% 이하) |
+| **M5. 로트별 품질 위험 지수(Quality Risk Score) 산출 및 조기경보 엔진 개발** | 중급~고급
+3.5시간 | MAE 23.5%, RMSE 45.2% 개선, R2 0.941(목표 0.85 이상) |
+| **M6. 수입 검사 불량 추세 및 고위험 납품업체 모니터링 품질 대시보드 구현** | 중급~고급
+3시간 | 경보 로트 59건 상위 3개 인자 자동 산출률 100% |
+| **M7. 합부 판정 경계선 품목에 대한 품질 검사관 정밀 재검사(HITL) 워크플로우 설계** | 고급
+3.5시간 | 경계선 57건 재검사 대기열, 자동 확정 0건 |
+| **M8. 불량 부품 대량 납품 가상 주입 시 조기경보 신속성 스트레스 테스트** | 고급
+3시간 | 주입 로트 경보 정확도 98.3%, 전체 구간 94.2%(목표 95%에 근접) |
+| **M9. AAR 기반 불량 오판정 사례 분석 및 검사 샘플링 파라미터 재보정** | 고급
+3시간 | 품질비용 181.3백만원(43.6%) 절감, 검사 시간 71.4% 단축 |
+| **M10. 군수품 수령 검사 불량 패턴 분석 및 품질 조기경보 시스템 통합 패키지 완성** | 최고급
+3.5시간 | 도전 모델 v1.1 배포(R2 0.938, MAE 0.788 -> 0.707%p) |
+
+**미션 1. 군수품 수입/수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함) 데이터셋 정의**
+
+| **난이도·시간** | 초급 · 1.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M1 코드를 실행해 업무 프로세스 맵 6단계와 단계별 생성 데이터를 확인한다.
+2) 데이터 딕셔너리에서 필드별 형식·허용값과 가상 FSC·NIIN 형식을 확인한다.
+3) 교차검증 규칙으로 걸러진 오류 샘플을 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 피처(필드) 25개 정의(목표 20개 이상), 프로세스 맵 6단계
+교차검증 규칙 4종 적용 |
+| --- | --- |
+
+| **도전 과제** | 데이터 딕셔너리에 '검사 장비 교정일' 필드를 추가하고, 교정 기한이 지난 장비로 검사한 기록을 잡는 규칙을 만들어 본다. |
+| --- | --- |
+
+| **제출물** | 데이터 딕셔너리, 프로세스 맵, 검증 결과 |
+| --- | --- |
+
+**미션 2. 검사 측정치 결측치 정제, 납품업체별 불량 이력 인코딩 전처리 모듈 구현**
+
+| **난이도·시간** | 초급~중급 · 2시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M2 코드를 실행해 정제 전 정합성 검증 실패 항목을 확인한다.
+2) 정제 규칙 10종의 적용 건수와 KNN 보간 결과를 확인한다.
+3) 업체 이력 인코딩 표에서 이전 로트만 쓰는 이유(정보 누수 방지)를 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 정합성 검증 정제 전 1/10 -> 정제 후 10/10(100%)
+정제 규칙 10종 적용, 긴급 불출 기록 보존 |
+| --- | --- |
+
+| **도전 과제** | KNN 보간의 이웃 수(k)를 3과 10으로 바꿔 보간값의 기술통계가 어떻게 달라지는지 비교한다. |
+| --- | --- |
+
+| **제출물** | 정제 모듈 코드, 정제 품질 보고서(전후 통계 비교) |
+| --- | --- |
+
+**미션 3. 불량률 통계 기반 1차 로트(Lot) 합격/불합격 판정 Baseline 알고리즘 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M3 코드를 실행해 Baseline 판정 혼동표와 오합격·오불합격률을 확인한다.
+2) 상관 검정 표에서 p<0.05인 요인을 고른다.
+3) 파레토 ABC 등급과 핵심 발견점을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | Baseline 판정 정확도 90.6%, 오합격 28.0%
+유의 상관 피처 7개, EDA 차트 8종, A등급 업체 V12·V11·V10 |
+| --- | --- |
+
+| **도전 과제** | 합격판정수를 한 단계 엄격하게(c-1) 바꿔 오합격과 오불합격이 어떻게 달라지는지 비교한다. |
+| --- | --- |
+
+| **제출물** | Baseline 판정 코드, EDA 차트, 핵심 발견점 요약 |
+| --- | --- |
+
+**미션 4. 다변량 분석 및 머신러닝 기반 은닉 품질 결함 패턴 식별 모델 고도화**
+
+| **난이도·시간** | 중급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M4 코드를 실행해 파생 피처 목록과 시계열 교차검증 MAPE를 확인한다.
+2) 순열 중요도 상위 피처와 차원 축소 결과를 확인한다.
+3) 규격 x 납기 교차표와 업체 추세로 은닉 패턴을 설명한다. |
+| --- | --- |
+
+| **확인할 결과** | 파생 피처 20개, 기준 모델 평균 검증 MAPE 18.9%(목표 25% 이하)
+정밀 규격 x 촉박 납기 불량률 5.7배(은닉 패턴) |
+| --- | --- |
+
+| **도전 과제** | 상호작용 피처(prec_x_short)를 빼고 실행해 검증 MAPE가 얼마나 나빠지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 피처 엔지니어링 코드, 교차검증 결과표, 은닉 패턴 설명 |
+| --- | --- |
+
+**미션 5. 로트별 품질 위험 지수(Quality Risk Score) 산출 및 조기경보 엔진 개발**
+
+| **난이도·시간** | 중급~고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M5 코드를 실행해 hold-out 성능 비교표를 확인한다.
+2) 위험 등급별 실제 불량 로트 비율을 확인한다.
+3) 샘플링에서 오합격된 불량 로트를 조기경보가 몇 건 잡았는지 기록한다. |
+| --- | --- |
+
+| **확인할 결과** | MAE 23.5%, RMSE 45.2% 개선, R2 0.941(목표 0.85 이상)
+경보 등급 실제 불량 비율 95.1%, 정상 등급 2.2% |
+| --- | --- |
+
+| **도전 과제** | 경보 기준을 70점에서 60점으로 낮춰 경보 수와 불량 포착률의 변화를 비교한다. |
+| --- | --- |
+
+| **제출물** | 앙상블 모델 코드, 성능 비교표, 위험 등급별 결과 |
+| --- | --- |
+
+**미션 6. 수입 검사 불량 추세 및 고위험 납품업체 모니터링 품질 대시보드 구현**
+
+| **난이도·시간** | 중급~고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M6 코드를 실행해 월별 관리한계 초과 월과 업체별 위험 현황표를 확인한다.
+2) 경보 로트의 요인군별 평균 기여도를 확인한다.
+3) 자동 설명 예시 문장과 조치 제안이 타당한지 검토한다. |
+| --- | --- |
+
+| **확인할 결과** | 경보 로트 59건 상위 3개 인자 자동 산출률 100%
+고위험 업체 V12·V10, 규격 불일치 경보 로트 '규격' 기여 양수 100% |
+| --- | --- |
+
+| **도전 과제** | GROUPS에서 '납기 지연·촉박' 군을 '납기 지연'과 '촉박 납기'로 나눠 설명 문장이 어떻게 바뀌는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 대시보드 화면, XAI 설명 결과, 자연어 요약 예시 |
+| --- | --- |
+
+**미션 7. 합부 판정 경계선 품목에 대한 품질 검사관 정밀 재검사(HITL) 워크플로우 설계**
+
+| **난이도·시간** | 고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M7 코드를 실행해 경계선 로트 선별 기준과 대기열 등록 수를 확인한다.
+2) 재검사 없음·선착순·MIP 방식의 품질비용과 놓친 불량 로트를 비교한다.
+3) 검사관 재검사 기록과 민감도 분석 표를 해석한다. |
+| --- | --- |
+
+| **확인할 결과** | 경계선 57건 재검사 대기열, 자동 확정 0건
+MIP 배분으로 현행 대비 품질비용 65.8% 절감(목표 15% 이상) |
+| --- | --- |
+
+| **도전 과제** | CAP_HOURS를 12와 48로 바꿔 선착순 대비 절감률이 어떻게 변하는지 확인하고 이유를 설명한다. |
+| --- | --- |
+
+| **제출물** | 재검사 워크플로우·최적화 코드, 방식 비교표, 민감도 분석표 |
+| --- | --- |
+
+**미션 8. 불량 부품 대량 납품 가상 주입 시 조기경보 신속성 스트레스 테스트**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M8 코드를 실행해 주입 내용과 손상 레코드 격리 결과를 확인한다.
+2) 스트레스 구간 전체와 주입 로트의 경보 정확도를 구분해 기록한다.
+3) CUSUM 업체 경보 시점과 대시보드 갱신 시간을 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 주입 로트 경보 정확도 98.3%, 전체 구간 94.2%(목표 95%에 근접)
+CUSUM 6번째 로트에서 업체 경보, 6만여 로트 갱신 0.2초 내외 |
+| --- | --- |
+
+| **도전 과제** | CUSUM 파라미터(k 배수, 한계값 hlim)를 바꿔 경보 신속성과 평시 오경보의 균형을 비교한다. |
+| --- | --- |
+
+| **제출물** | 스트레스 시험 코드, 경보 정확도·신속성 결과, 갱신 시간 표 |
+| --- | --- |
+
+**미션 9. AAR 기반 불량 오판정 사례 분석 및 검사 샘플링 파라미터 재보정**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M9 코드를 실행해 오합격·오불합격 원인 분류를 확인한다.
+2) 입고 전 위험 등급과 등급별 재보정 샘플링 기준(n, c)을 확인한다.
+3) 3대 정량 효과 지표와 산식, 가정 단가를 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 품질비용 181.3백만원(43.6%) 절감, 검사 시간 71.4% 단축
+불량품 유출 25.5% 감소, 오합격 19건 -> 5건 |
+| --- | --- |
+
+| **도전 과제** | MISS_FACTOR를 1.5와 6으로 바꿔 재보정 기준(n, c)과 효과 지표가 어떻게 달라지는지 비교한다. |
+| --- | --- |
+
+| **제출물** | AAR 원인 분석표, 재보정 기준표, ROI 분석 결과 |
+| --- | --- |
+
+**미션 10. 군수품 수령 검사 불량 패턴 분석 및 품질 조기경보 시스템 통합 패키지 완성**
+
+| **난이도·시간** | 최고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M10 코드를 실행해 데이터 검증 격리 결과와 PSI 분포 변화를 확인한다.
+2) 모델 레지스트리와 배포 게이트 판정을 확인한다.
+3) 최신 월 조기경보, 자체 점검표, 브리핑 요약 수치를 대조한다. |
+| --- | --- |
+
+| **확인할 결과** | 도전 모델 v1.1 배포(R2 0.938, MAE 0.788 -> 0.707%p)
+최신 월 경보 9건·주의 2건, 자체 점검 7/7 PASS |
+| --- | --- |
+
+| **도전 과제** | 배포 게이트의 R2 기준을 0.95로 올려 배포 판정이 바뀌는지 확인하고, 기준 설정의 장단점을 토의한다. |
+| --- | --- |
+
+| **제출물** | 재학습 파이프라인 코드, 레지스트리·게이트 결과, 운영 가이드 목차, 브리핑 요약 |
+| --- | --- |
+
+**4. 최종 점검표**
+
+| **점검 항목** | **확인** |
+| --- | --- |
+| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
+| 각 미션의 확인할 결과를 기록했다 | ( ) |
+| 도전 과제 결과와 이유를 기록했다 | ( ) |
+| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
+| 실제 업체·계약·부대 자료를 사용하지 않았다 | ( ) |
+| 최종 합부 판정은 검사관이 내린다는 원칙을 명시했다 | ( ) |