pbl02/scenario_md/QLT05-품질·규격·검사_검사실적-외주정비 품질검사 실적·병목 분석/QLT05_실습가이드.md

QLT05 실습가이드 - 외주정비 품질검사 실적·병목 분석

구 분 실습가이드 [교육용가상자료]

1. 실습 개요

본 실습은 교육용 가상 야전 장비 품질결함보고(QDR) 텍스트와 가상 외주정비 검사 실적으로 다발 결함 부위와 외주정비 병목을 찾고 품질 취약점을 식별하는 도구를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(QLT05_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.

과제	QLT05 외주정비 품질검사 실적·병목 분석

난이도·유형	중급 / 데이터분석형

예상 소요시간	미션 10개, 총 28.5시간

준비물	QLT05_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서

2. 진행 방법

• 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 QDR 생성 함수와 텍스트 처리 함수가 빠져 오류가 난다).

• 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 같은 값이 나오지만, 처리 시간(초·ms)은 실행 환경에 따라 달라진다. M4, M5, M8은 실행에 10~20초 걸릴 수 있다.

• 도전 과제는 코드의 파라미터(토픽 수 K, 경보 기준, 회수율, 확신 기준 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.

• 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.

• 실제 부대·업체·장비·검사 실적은 입력하지 않는다. 하자 구상, 설계 변경 소요 제기, 업체 시정 요구는 품질관 승인 사항이며, 금액은 가정 단가에 따른 상대 비교값이다.

3. 미션 진행 요약

미션	난이도·시간	핵심 확인 결과
M1. 야전 장비 품질결함보고(QDR, Quality Deficiency Report) 데이터 스키마 분석	초급
1.5시간	피처 22개(목표 20개 이상), 표본 20건 검증 오류 0건
M2. 비정형 결함 서술 텍스트 정제, 장비 부위별/결함 유형별 라벨링 전처리 구현	초급~중급
2시간	정합성 검증 10/10 통과(통과율 100%)
M3. 빈도 분석 기반 1차 다발 결함 부품 도출 Baseline 알고리즘 구현	중급
2.5시간	Baseline 상위 5가 검증 기간 건수 상위 5와 5/5 일치하나 치명도 가중 지수와는 4/5(조향 장치 누락)
M4. 텍스트 임베딩 및 토픽 모델링 기반 장비 구조적 품질 취약점 자동 군집화 모델 고도화	중급
3시간	NMI 부위 0.45·결함 0.60·부위+결함 0.63, 토픽 36개
M5. 결함 치명도(Critical/Major/Minor) 기반 종합 품질 취약성 지수 산출 엔진 개발	중급~고급
3.5시간	치명도 정확도 72.0% -> 87.2%, Critical 재현율 34.7% -> 69.0%
M6. 야전 QDR 발생 현황 및 장비 부위별 결함 집중도 히트맵 대시보드 구현	중급~고급
3시간	예측 6,823건 모두 상위 3개 인자 산출(산출률 100%), 근거 유효성 100%
M7. 제조사 하자 구상 및 설계 변경 소요 제기를 위한 품질관 HITL 검토 모듈 설계	고급
3.5시간	비용 절감률 15.0%(목표 15% 이상, 근소하게 달성), 승인 12·반려 1건, 자동 승인 0건
M8. 10년치 대용량 야전 QDR 텍스트 데이터 일괄 분석 스트레스 테스트	고급
3시간	10년치 약 6.2만 건 분석 2초 안팎, 격리 622건·유실 0건
M9. AAR 기반 결함 원인 오분류 분석 및 텍스트 마이닝 룰셋 재튜닝	고급
3시간	AAR 오분류 39.7%(단서 없음 89%), 검증 정확도 61.7% -> 66.2%, 정비 품질 재현율 62% -> 79%
M10. 야전 장비 결함 보고(QDR) 데이터 분석 및 품질 취약점 식별 도구 통합 완성	최고급
3.5시간	재학습 정상 실행(챔피언 0.867, 도전자 0.865로 교체), 자체 점검 8/8 통과

미션 1. 야전 장비 품질결함보고(QDR, Quality Deficiency Report) 데이터 스키마 분석

난이도·시간	초급 · 1.5시간

| 진행 순서 | 1) M1 코드를 실행해 데이터 딕셔너리(보고·텍스트·검사·결과)와 피처 수를 확인한다. 2) 업무 프로세스 맵 9단계에서 각 단계의 입력·출력 데이터를 정리한다.

3) 오류 주입 결과에서 각 오류가 어떤 규칙(형식·허용값·길이·누락·자료형·범위)에 걸렸는지 표로 정리한다.

| 확인할 결과 | 피처 22개(목표 20개 이상), 표본 20건 검증 오류 0건

주입 오류 6건 모두 검출

도전 과제	검사 묶음에 '검사관 수(inspectors, 1~10)' 필드를 추가하고 범위 밖 값을 넣어 검출되는지 확인한다.

제출물	스키마·딕셔너리 코드, 도메인 분석서(프로세스 맵·예측 대상)

미션 2. 비정형 결함 서술 텍스트 정제, 장비 부위별/결함 유형별 라벨링 전처리 구현

난이도·시간	초급~중급 · 2시간

| 진행 순서 | 1) M2 코드를 실행해 정제 규칙 10종별 처리 건수를 확인한다. 2) R4~R6(텍스트 정규화·약어·오타)이 부위·결함 라벨링 정확도에 주는 영향을 정제 전후로 비교한다.

3) R10(긴급 보고 보존)이 일반 이상값 처리와 어떻게 다른지 설명하고 기술통계 표를 정리한다.

| 확인할 결과 | 정합성 검증 10/10 통과(통과율 100%)

라벨링 정확도 부위 98.5% -> 100%, 결함 96.8% -> 100%, 긴급 보고 40건 보존

도전 과제	KNNImputer의 n_neighbors를 5에서 2로 바꿔 보정된 검사 대기일 평균이 어떻게 달라지는지 확인한다.

제출물	정제 모듈 코드, 정제 품질 보고서(규칙·건수·전후 통계)

미션 3. 빈도 분석 기반 1차 다발 결함 부품 도출 Baseline 알고리즘 구현

난이도·시간	중급 · 2.5시간

| 진행 순서 | 1) M3 코드를 실행해 Baseline의 검증 기간 적중률과 치명도 가중 순위와의 차이를 확인한다. 2) 상관분석과 업체별 검사 실적 표에서 유의한 피처와 외주B의 특징을 정리한다.

3) 파레토 표와 EDA 차트 8종으로 핵심 발견점 3가지를 쓴다.

| 확인할 결과 | Baseline 상위 5가 검증 기간 건수 상위 5와 5/5 일치하나 치명도 가중 지수와는 4/5(조향 장치 누락)

유의 피처 5개, 외주B 대기 8.4일(타 4.5일), EDA 차트 8종

도전 과제	Baseline의 대상 부위 수를 5개에서 3개로 줄여(top_base) 월별 적중률과 Critical 누락 비중이 어떻게 변하는지 확인한다.

제출물	Baseline·EDA 코드, EDA 요약 리포트(핵심 발견점)

미션 4. 텍스트 임베딩 및 토픽 모델링 기반 장비 구조적 품질 취약점 자동 군집화 모델 고도화

난이도·시간	중급 · 3시간

| 진행 순서 | 1) M4 코드를 실행해 토픽 군집의 NMI와 취약 군집 상위 5를 확인한다. 2) 파생 피처 목록과 시계열 교차검증 폴드별 MAPE, 전월값 기준과의 차이를 확인한다.

3) 피처 중요도와 차원 축소 결과를 정리한다.

| 확인할 결과 | NMI 부위 0.45·결함 0.60·부위+결함 0.63, 토픽 36개

파생 피처 14개, 교차검증 평균 MAPE 19.5%(목표 25% 이하)

도전 과제	NMF 토픽 수 K를 36에서 24로 줄여 NMI와 취약 군집 해석이 어떻게 달라지는지 확인한다.

제출물	피처·토픽 코드, 기준 모델 성능표

미션 5. 결함 치명도(Critical/Major/Minor) 기반 종합 품질 취약성 지수 산출 엔진 개발

난이도·시간	중급~고급 · 3.5시간

| 진행 순서 | 1) M5 코드를 실행해 키워드 규칙과 텍스트 모델의 치명도 정확도·Critical 재현율을 비교한다. 2) 신뢰도 구간별 정확도 표로 보정 상태를 점검한다.

3) 취약성 지수 예측 표(기준·전월값·릿지·선택 모델)와 카드를 읽고 개선율을 계산한다.

| 확인할 결과 | 치명도 정확도 72.0% -> 87.2%, Critical 재현율 34.7% -> 69.0%

MAE 38.0%, RMSE 41.4% 개선(목표 20% 이상), R2 0.857(목표 0.85 이상)

도전 과제	내부 검증 후보 ridge alpha (1, 10)에 100을 추가해 선택된 alpha와 Hold-out R2가 달라지는지 확인한다.

제출물	취약성 지수 엔진 코드, 성능 비교표, 취약성 카드

미션 6. 야전 QDR 발생 현황 및 장비 부위별 결함 집중도 히트맵 대시보드 구현

난이도·시간	중급~고급 · 3시간

| 진행 순서 | 1) M6 코드를 실행해 상위 3개 인자 산출률과 근거 유효성을 확인한다. 2) 점검 카드 3건(Critical·Major·Minor)에서 근거 단어와 요약 문장을 읽고 납득 가능한지 판단한다.

3) 히트맵 표와 집중도 경보를 읽고 계절 변동과 실제 급증을 구분하는 방법을 정리한다.

| 확인할 결과 | 예측 6,823건 모두 상위 3개 인자 산출(산출률 100%), 근거 유효성 100%

정확도 87.6%, 집중도 경보 19건(계절 영향 포함)

도전 과제	경보 기준 배수 1.4를 1.8로 올려 경보 건수가 어떻게 달라지는지 확인한다.

제출물	XAI 코드, XAI 리포트(카드 예시와 근거 유효성)

미션 7. 제조사 하자 구상 및 설계 변경 소요 제기를 위한 품질관 HITL 검토 모듈 설계

난이도·시간	고급 · 3.5시간

| 진행 순서 | 1) M7 코드를 실행해 개별 사후 수리, 품질관 승인, 전부 적용(비교용)의 비용을 비교한다. 2) 감사 로그 무결성 검사와 변조 탐지, 반려 사유, 무응답 재상정 기록을 확인한다.

3) 승인 지연·처리 용량·전시 전환 민감도 표를 읽고 대안(승인 기한 단축, 분기 회의 주기)을 정리한다.

| 확인할 결과 | 비용 절감률 15.0%(목표 15% 이상, 근소하게 달성), 승인 12·반려 1건, 자동 승인 0건

결정 로깅률 100%, 변조는 seq 3에서 탐지

도전 과제	RECOVER(하자 구상 회수율)를 0.8에서 0.5로 낮춰 절감률이 목표 아래로 내려가는지 확인하고 이유를 설명한다.

제출물	HITL 시뮬레이터 코드, 민감도 분석표, 워크플로우 설명

미션 8. 10년치 대용량 야전 QDR 텍스트 데이터 일괄 분석 스트레스 테스트

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M8 코드를 실행해 기간별(1·3·6·10년) 분석 시간과 격리·유실 건수를 확인한다. 2) 라벨링 정확도와 급증 경보 정확도·재현율·정밀도를 목표와 비교한다.

3) 화면 구성·필터 응답 시간과 운용 기준(야간 배치, 격리율 5% 초과 시 점검)을 정리한다.

| 확인할 결과 | 10년치 약 6.2만 건 분석 2초 안팎, 격리 622건·유실 0건

경보 정확도 99.8%(목표 95% 이상), 재현율 90%, 화면 구성 수 ms

도전 과제	make_input의 bad(불량 비율)를 0.01에서 0.08로 높여 격리 건수와 운용 기준(격리율 5%) 적용 여부를 확인한다.

제출물	스트레스 시험 코드, 결과표, 운용 기준

미션 9. AAR 기반 결함 원인 오분류 분석 및 텍스트 마이닝 룰셋 재튜닝

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M9 코드를 실행해 AAR 기간 오분류 건수와 원인(단서 없음·불일치) 비율을 확인한다. 2) 결정 트리 보조 규칙을 읽고 미상 건에 왜 그 원인을 주는지 설명한다.

3) 정확도·재현율 변화와 3대 정량 효과 지표, 도입 로드맵을 ROI 보고서에 옮긴다.

| 확인할 결과 | AAR 오분류 39.7%(단서 없음 89%), 검증 정확도 61.7% -> 66.2%, 정비 품질 재현율 62% -> 79%

비용 10.8% 절감, 확인 시간 20.1% 단축, 책임 건 식별 +16%

도전 과제	CONF(확신 기준)를 0.45에서 0.6으로 올려 정확도와 수작업 확인 시간이 어떻게 달라지는지 확인한다.

제출물	AAR·재튜닝 코드, ROI 분석 보고서(지표·로드맵)

미션 10. 야전 장비 결함 보고(QDR) 데이터 분석 및 품질 취약점 식별 도구 통합 완성

난이도·시간	최고급 · 3.5시간

| 진행 순서 | 1) M10 코드를 실행해 재학습 결과(챔피언·도전자 정확도, 교체 여부)를 확인한다. 2) 자체 점검 통과 수와 운영 문서 작성률, 모델 장애 시 대체 동작을 확인한다.

3) 출력된 브리핑 요약으로 5분 분량 품질 담당 장교 브리핑 자료를 만든다.

| 확인할 결과 | 재학습 정상 실행(챔피언 0.867, 도전자 0.865로 교체), 자체 점검 8/8 통과

운영 문서 7개 장 100%, 후보 3건 승인 대기(자동 승인 0건)

도전 과제	CONFIG의 retrain_tolerance를 0.005에서 0으로 바꿔 도전자가 근소하게 나쁠 때 교체되지 않는지 확인한다.

제출물	통합 코드, 운영 지침서, 재학습 파이프라인 설명, 브리핑 자료

4. 최종 점검표

점검 항목	확인
미션 1~10 코드가 모두 오류 없이 실행되었다	( )
각 미션의 확인할 결과를 기록했다	( )
도전 과제 결과와 이유를 기록했다	( )
브리핑 수치가 실행 결과와 일치한다	( )
실제 부대·업체·장비·검사 실적을 사용하지 않았다	( )
하자 구상·설계 변경·업체 시정은 품질관 승인 사항으로 설계했다	( )