pbl02/scenario_md/QLT02-품질·규격·검사_품질예측-규격·구매요구·납기 연계 품질예측 모델/QLT02_실습가이드.md

QLT02 실습가이드 - 규격·구매요구·납기 연계 품질예측 모델

구 분 실습가이드 [교육용가상자료]

1. 실습 개요

본 실습은 교육용 가상 로트 자료로 규격·구매요구·납기 정보와 수령검사 결과를 연결한 품질예측·조기경보 체계를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(QLT02_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꾸는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.

과제	QLT02 규격·구매요구·납기 연계 품질예측 모델

난이도·유형	고급 / 데이터분석형

예상 소요시간	미션 10개, 총 28.5시간

준비물	QLT02_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서

2. 진행 방법

• 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 로트 생성 함수가 빠져 오류가 난다).

• 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 같은 값이 나와야 한다(실행 시간 수치는 환경에 따라 다르다).

• 도전 과제는 코드 상단의 파라미터(경보 기준, 검사 가용 시간, 비용 가정 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.

• 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.

• 실제 업체·계약·검사 자료는 입력하지 않는다. 위험 지수는 판단 보조이며 최종 합부 판정은 품질 검사관이 내린다.

3. 미션 진행 요약

미션	난이도·시간	핵심 확인 결과
M1. 군수품 수입/수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함) 데이터셋 정의	초급
1.5시간	피처(필드) 25개 정의(목표 20개 이상), 프로세스 맵 6단계
M2. 검사 측정치 결측치 정제, 납품업체별 불량 이력 인코딩 전처리 모듈 구현	초급~중급
2시간	정합성 검증 정제 전 1/10 -> 정제 후 10/10(100%)
M3. 불량률 통계 기반 1차 로트(Lot) 합격/불합격 판정 Baseline 알고리즘 구현	중급
2.5시간	Baseline 판정 정확도 90.6%, 오합격 28.0%
M4. 다변량 분석 및 머신러닝 기반 은닉 품질 결함 패턴 식별 모델 고도화	중급
3시간	파생 피처 20개, 기준 모델 평균 검증 MAPE 18.9%(목표 25% 이하)
M5. 로트별 품질 위험 지수(Quality Risk Score) 산출 및 조기경보 엔진 개발	중급~고급
3.5시간	MAE 23.5%, RMSE 45.2% 개선, R2 0.941(목표 0.85 이상)
M6. 수입 검사 불량 추세 및 고위험 납품업체 모니터링 품질 대시보드 구현	중급~고급
3시간	경보 로트 59건 상위 3개 인자 자동 산출률 100%
M7. 합부 판정 경계선 품목에 대한 품질 검사관 정밀 재검사(HITL) 워크플로우 설계	고급
3.5시간	경계선 57건 재검사 대기열, 자동 확정 0건
M8. 불량 부품 대량 납품 가상 주입 시 조기경보 신속성 스트레스 테스트	고급
3시간	주입 로트 경보 정확도 98.3%, 전체 구간 94.2%(목표 95%에 근접)
M9. AAR 기반 불량 오판정 사례 분석 및 검사 샘플링 파라미터 재보정	고급
3시간	품질비용 181.3백만원(43.6%) 절감, 검사 시간 71.4% 단축
M10. 군수품 수령 검사 불량 패턴 분석 및 품질 조기경보 시스템 통합 패키지 완성	최고급
3.5시간	도전 모델 v1.1 배포(R2 0.938, MAE 0.788 -> 0.707%p)

미션 1. 군수품 수입/수령 검사 불량 기록(규격 미달, 치수 오차, 외관 결함) 데이터셋 정의

난이도·시간	초급 · 1.5시간

| 진행 순서 | 1) M1 코드를 실행해 업무 프로세스 맵 6단계와 단계별 생성 데이터를 확인한다. 2) 데이터 딕셔너리에서 필드별 형식·허용값과 가상 FSC·NIIN 형식을 확인한다.

3) 교차검증 규칙으로 걸러진 오류 샘플을 확인한다.

| 확인할 결과 | 피처(필드) 25개 정의(목표 20개 이상), 프로세스 맵 6단계

교차검증 규칙 4종 적용

도전 과제	데이터 딕셔너리에 '검사 장비 교정일' 필드를 추가하고, 교정 기한이 지난 장비로 검사한 기록을 잡는 규칙을 만들어 본다.

제출물	데이터 딕셔너리, 프로세스 맵, 검증 결과

미션 2. 검사 측정치 결측치 정제, 납품업체별 불량 이력 인코딩 전처리 모듈 구현

난이도·시간	초급~중급 · 2시간

| 진행 순서 | 1) M2 코드를 실행해 정제 전 정합성 검증 실패 항목을 확인한다. 2) 정제 규칙 10종의 적용 건수와 KNN 보간 결과를 확인한다.

3) 업체 이력 인코딩 표에서 이전 로트만 쓰는 이유(정보 누수 방지)를 정리한다.

| 확인할 결과 | 정합성 검증 정제 전 1/10 -> 정제 후 10/10(100%)

정제 규칙 10종 적용, 긴급 불출 기록 보존

도전 과제	KNN 보간의 이웃 수(k)를 3과 10으로 바꿔 보간값의 기술통계가 어떻게 달라지는지 비교한다.

제출물	정제 모듈 코드, 정제 품질 보고서(전후 통계 비교)

미션 3. 불량률 통계 기반 1차 로트(Lot) 합격/불합격 판정 Baseline 알고리즘 구현

난이도·시간	중급 · 2.5시간

| 진행 순서 | 1) M3 코드를 실행해 Baseline 판정 혼동표와 오합격·오불합격률을 확인한다. 2) 상관 검정 표에서 p<0.05인 요인을 고른다.

3) 파레토 ABC 등급과 핵심 발견점을 정리한다.

| 확인할 결과 | Baseline 판정 정확도 90.6%, 오합격 28.0%

유의 상관 피처 7개, EDA 차트 8종, A등급 업체 V12·V11·V10

도전 과제	합격판정수를 한 단계 엄격하게(c-1) 바꿔 오합격과 오불합격이 어떻게 달라지는지 비교한다.

제출물	Baseline 판정 코드, EDA 차트, 핵심 발견점 요약

미션 4. 다변량 분석 및 머신러닝 기반 은닉 품질 결함 패턴 식별 모델 고도화

난이도·시간	중급 · 3시간

| 진행 순서 | 1) M4 코드를 실행해 파생 피처 목록과 시계열 교차검증 MAPE를 확인한다. 2) 순열 중요도 상위 피처와 차원 축소 결과를 확인한다.

3) 규격 x 납기 교차표와 업체 추세로 은닉 패턴을 설명한다.

| 확인할 결과 | 파생 피처 20개, 기준 모델 평균 검증 MAPE 18.9%(목표 25% 이하)

정밀 규격 x 촉박 납기 불량률 5.7배(은닉 패턴)

도전 과제	상호작용 피처(prec_x_short)를 빼고 실행해 검증 MAPE가 얼마나 나빠지는지 확인한다.

제출물	피처 엔지니어링 코드, 교차검증 결과표, 은닉 패턴 설명

미션 5. 로트별 품질 위험 지수(Quality Risk Score) 산출 및 조기경보 엔진 개발

난이도·시간	중급~고급 · 3.5시간

| 진행 순서 | 1) M5 코드를 실행해 hold-out 성능 비교표를 확인한다. 2) 위험 등급별 실제 불량 로트 비율을 확인한다.

3) 샘플링에서 오합격된 불량 로트를 조기경보가 몇 건 잡았는지 기록한다.

| 확인할 결과 | MAE 23.5%, RMSE 45.2% 개선, R2 0.941(목표 0.85 이상)

경보 등급 실제 불량 비율 95.1%, 정상 등급 2.2%

도전 과제	경보 기준을 70점에서 60점으로 낮춰 경보 수와 불량 포착률의 변화를 비교한다.

제출물	앙상블 모델 코드, 성능 비교표, 위험 등급별 결과

미션 6. 수입 검사 불량 추세 및 고위험 납품업체 모니터링 품질 대시보드 구현

난이도·시간	중급~고급 · 3시간

| 진행 순서 | 1) M6 코드를 실행해 월별 관리한계 초과 월과 업체별 위험 현황표를 확인한다. 2) 경보 로트의 요인군별 평균 기여도를 확인한다.

3) 자동 설명 예시 문장과 조치 제안이 타당한지 검토한다.

| 확인할 결과 | 경보 로트 59건 상위 3개 인자 자동 산출률 100%

고위험 업체 V12·V10, 규격 불일치 경보 로트 '규격' 기여 양수 100%

도전 과제	GROUPS에서 '납기 지연·촉박' 군을 '납기 지연'과 '촉박 납기'로 나눠 설명 문장이 어떻게 바뀌는지 확인한다.

제출물	대시보드 화면, XAI 설명 결과, 자연어 요약 예시

미션 7. 합부 판정 경계선 품목에 대한 품질 검사관 정밀 재검사(HITL) 워크플로우 설계

난이도·시간	고급 · 3.5시간

| 진행 순서 | 1) M7 코드를 실행해 경계선 로트 선별 기준과 대기열 등록 수를 확인한다. 2) 재검사 없음·선착순·MIP 방식의 품질비용과 놓친 불량 로트를 비교한다.

3) 검사관 재검사 기록과 민감도 분석 표를 해석한다.

| 확인할 결과 | 경계선 57건 재검사 대기열, 자동 확정 0건

MIP 배분으로 현행 대비 품질비용 65.8% 절감(목표 15% 이상)

도전 과제	CAP_HOURS를 12와 48로 바꿔 선착순 대비 절감률이 어떻게 변하는지 확인하고 이유를 설명한다.

제출물	재검사 워크플로우·최적화 코드, 방식 비교표, 민감도 분석표

미션 8. 불량 부품 대량 납품 가상 주입 시 조기경보 신속성 스트레스 테스트

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M8 코드를 실행해 주입 내용과 손상 레코드 격리 결과를 확인한다. 2) 스트레스 구간 전체와 주입 로트의 경보 정확도를 구분해 기록한다.

3) CUSUM 업체 경보 시점과 대시보드 갱신 시간을 확인한다.

| 확인할 결과 | 주입 로트 경보 정확도 98.3%, 전체 구간 94.2%(목표 95%에 근접)

CUSUM 6번째 로트에서 업체 경보, 6만여 로트 갱신 0.2초 내외

도전 과제	CUSUM 파라미터(k 배수, 한계값 hlim)를 바꿔 경보 신속성과 평시 오경보의 균형을 비교한다.

제출물	스트레스 시험 코드, 경보 정확도·신속성 결과, 갱신 시간 표

미션 9. AAR 기반 불량 오판정 사례 분석 및 검사 샘플링 파라미터 재보정

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M9 코드를 실행해 오합격·오불합격 원인 분류를 확인한다. 2) 입고 전 위험 등급과 등급별 재보정 샘플링 기준(n, c)을 확인한다.

3) 3대 정량 효과 지표와 산식, 가정 단가를 정리한다.

| 확인할 결과 | 품질비용 181.3백만원(43.6%) 절감, 검사 시간 71.4% 단축

불량품 유출 25.5% 감소, 오합격 19건 -> 5건

도전 과제	MISS_FACTOR를 1.5와 6으로 바꿔 재보정 기준(n, c)과 효과 지표가 어떻게 달라지는지 비교한다.

제출물	AAR 원인 분석표, 재보정 기준표, ROI 분석 결과

미션 10. 군수품 수령 검사 불량 패턴 분석 및 품질 조기경보 시스템 통합 패키지 완성

난이도·시간	최고급 · 3.5시간

| 진행 순서 | 1) M10 코드를 실행해 데이터 검증 격리 결과와 PSI 분포 변화를 확인한다. 2) 모델 레지스트리와 배포 게이트 판정을 확인한다.

3) 최신 월 조기경보, 자체 점검표, 브리핑 요약 수치를 대조한다.

| 확인할 결과 | 도전 모델 v1.1 배포(R2 0.938, MAE 0.788 -> 0.707%p)

최신 월 경보 9건·주의 2건, 자체 점검 7/7 PASS

도전 과제	배포 게이트의 R2 기준을 0.95로 올려 배포 판정이 바뀌는지 확인하고, 기준 설정의 장단점을 토의한다.

제출물	재학습 파이프라인 코드, 레지스트리·게이트 결과, 운영 가이드 목차, 브리핑 요약

4. 최종 점검표

점검 항목	확인
미션 1~10 코드가 모두 오류 없이 실행되었다	( )
각 미션의 확인할 결과를 기록했다	( )
도전 과제 결과와 이유를 기록했다	( )
브리핑 수치가 실행 결과와 일치한다	( )
실제 업체·계약·부대 자료를 사용하지 않았다	( )
최종 합부 판정은 검사관이 내린다는 원칙을 명시했다	( )