시나리오 내용 반영

scenario_md/QLT05-품질·규격·검사_검사실적-외주정비 품질검사 실적·병목 분석/QLT05-품질·규격·검사_검사실적-외주정비 품질검사 실적·병목 분석.md

@@ -0,0 +1,97 @@
+**외주정비 품질검사 실적·병목 분석**
+
+난 이 도 **중급**
+
+| **프로젝트 목표** | 해외 사례에서 국방 감사기관이 외주정비 검사실적을 분석한 결과, 검사 대기가 길어지는 병목과 정비 직후 재발하는 결함이 품질 문제의 주요 단서로 지적된 바 있다. 야전에서도 장비 결함이 품질결함보고(QDR)의 비정형 서술로 쌓이지만 부위, 치명도, 원인이 사람마다 다르게 적혀 다발 결함과 책임 소재를 가려내기 어렵다. 본 프로젝트는 외주정비 품질검사 실적과 QDR 텍스트를 연결해 병목과 품질 취약점을 데이터로 찾는 것을 목표로, 교육용 가상 QDR와 가상 외주정비 업체 자료를 코드로 만들어 분석한다. QDR 데이터 스키마 정의, 서술 텍스트 정제와 부위·결함 라벨링, 빈도 Baseline과 파레토·상관 분석, 토픽 모델링과 월간 건수 예측, 치명도 기반 취약성 지수, 설명가능한 발생 현황 화면, 품질관 승인(HITL) 기반 하자 구상·설계 변경 시뮬레이터, 10년치 대용량 일괄 분석, AAR 원인 분류 룰 재튜닝, 재학습을 포함한 통합 도구까지 단계별로 구현한다. 최종 목표는 다발 결함 부위와 외주정비 병목을 근거와 함께 식별하되, 제조사 하자 구상과 설계 변경 소요 제기는 품질관이 근거를 보고 결정하도록 지원하는 것이다. |
+| --- | --- |
+
+| **유의사항** | 모든 QDR, 정비 업체(외주A~D), 제조사, 검사 실적, 비용 단가는 코드 안에서 만든 교육용 가상 자료이며 실제 부대명, 업체명, 장비 제원, 검사 실적은 사용하지 않는다. 해외 감사 사례는 문제 구조를 참고하는 용도이며 사례의 실제 수치나 기관 자료는 사용하지 않는다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 취약성 지수, 원인 분류, 후보 제안은 품질 판단 보조 정보이며 제조사 하자 구상과 설계 변경 소요 제기, 업체 시정 요구는 품질관이 승인하고 실제 조치는 관련 규정과 계약 절차를 따른다. 비용 절감액 등 금액은 가정 단가로 계산한 상대 비교값으로 예산 근거로 쓰지 않는다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다. |
+| --- | --- |
+
+**1단계. QDR 데이터 정의 및 서술 텍스트 정제**
+
+| **미션 1. 야전 장비 품질결함보고(QDR, Quality Deficiency Report) 데이터 스키마 분석** [초급 · 1.5시간] | **미션 1. 야전 장비 품질결함보고(QDR, Quality Deficiency Report) 데이터 스키마 분석** [초급 · 1.5시간] |
+| --- | --- |
+| **목표** | 야전 장비 품질결함보고(QDR)의 보고 정보, 결함 서술 텍스트, 외주정비·검사 실적, 조치 결과 데이터 스키마와 데이터 딕셔너리, 결함 분석 업무 프로세스 맵을 정의한다. |
+| **수행** | 결함 발견부터 QDR 작성, 접수·검토, 검사·판정, 원인 분석, 조치, 실적 집계, 다발 결함 식별, 사후검토까지 업무 흐름을 단계별로 정리하고 보고·텍스트·검사·결과 묶음으로 피처 20개 이상을 정의한다. 예측 대상(원인 구분, 조치 비용, 월간 건수, 취약성 지수)을 명확히 하고 장비 식별코드·보급 분류군은 국방 표준 코드 형식을 모사한 가상 코드로 둔다. 가상 QDR 표본을 검증기로 점검하고 오류를 일부러 넣어 검출되는지 확인한다. |
+| **산출물** | docs/qlt05_logistics_domain_spec.md, 데이터 딕셔너리 |
+| **평가** | **[필수] QDR 데이터 정의** — 업무 프로세스 맵 작성 완료, 피처 20개 이상 정의, 정상 표본 검증 오류 0건, 군수 실무 프로세스와 일치하고 분석 목표가 명확한가. |
+
+| **미션 2. 비정형 결함 서술 텍스트 정제, 장비 부위별/결함 유형별 라벨링 전처리 구현** [초급~중급 · 2시간] | **미션 2. 비정형 결함 서술 텍스트 정제, 장비 부위별/결함 유형별 라벨링 전처리 구현** [초급~중급 · 2시간] |
+| --- | --- |
+| **목표** | 비정형 결함 서술 텍스트를 정제하고 장비 부위별·결함 유형별로 라벨링하는 전처리 모듈을 구현한다. |
+| **수행** | 중복 QDR 제거, 부대 코드와 일자 표기 통일, 전각·특수문자·공백 정규화, 약어(T/M 등) 확장, 사전 기반 오타 교정, 음수 대기일 결측 처리, KNN 결측 보정, 부위·결함 유형 키워드 라벨링 등 정제 규칙 10종을 적용한다. 대기일 0일 긴급 보고처럼 이상값으로 보여도 군수 예외인 기록은 지우지 않고 표시만 한다. 정제 전후 라벨링 정확도와 기술통계를 비교한다. |
+| **산출물** | src/etl/qlt05_data_cleansing.py, 정제 품질 보고서 |
+| **평가** | **[필수] 서술 정제·라벨링** — 정제 규칙 10종 적용, 정합성 검증 통과율 100%, 긴급 보고 예외 보존, 정제 후 부위·결함 라벨링 정확도가 향상되었는가. |
+
+**2단계. 빈도 Baseline 분석 및 토픽 모델링 기반 취약점 군집화**
+
+| **미션 3. 빈도 분석 기반 1차 다발 결함 부품 도출 Baseline 알고리즘 구현** [중급 · 2.5시간] | **미션 3. 빈도 분석 기반 1차 다발 결함 부품 도출 Baseline 알고리즘 구현** [중급 · 2.5시간] |
+| --- | --- |
+| **목표** | 빈도 분석 기반 1차 다발 결함 부위 도출 Baseline을 구현하고, 탐색적 분석으로 빈도 기준의 한계와 외주정비 검사 병목, 핵심 관리 대상을 찾는다. |
+| **수행** | 학습 기간 건수 상위 5개 부위를 다발 결함 부위로 지정해 검증 기간 적중률과 치명도 가중 지수 순위와의 차이를 확인한다. 월간 QDR 건수와 훈련 강도, 검사 대기일 등 피처의 스피어만 상관계수·p-value를 계산하고 업체별 검사 대기·재검사율·정비 품질 원인 비중을 비교하며 EDA 차트 8종 이상을 그린다. 조치 비용 파레토(ABC) 분석으로 상위 20% 부위를 식별한다. |
+| **산출물** | notebooks/qlt05_eda_analysis.ipynb, EDA 요약 리포트 |
+| **평가** | **[필수] 빈도 Baseline·EDA** — EDA 차트 8종 이상, 유의한 상관 피처 5개 이상(p<0.05), 파레토 상위 20% 부위 식별, 외주 병목 등 핵심 발견점이 품질 의사결정에 직관적인가. |
+
+| **미션 4. 텍스트 임베딩 및 토픽 모델링 기반 장비 구조적 품질 취약점 자동 군집화 모델 고도화** [중급 · 3시간] | **미션 4. 텍스트 임베딩 및 토픽 모델링 기반 장비 구조적 품질 취약점 자동 군집화 모델 고도화** [중급 · 3시간] |
+| --- | --- |
+| **목표** | 텍스트 임베딩(TF-IDF)과 토픽 모델링(NMF)으로 장비 구조적 품질 취약점을 자동 군집화하고, 부위별 월간 QDR 건수 기준 모델을 파생 피처로 고도화한다. |
+| **수행** | 결함 서술의 핵심 문장을 TF-IDF로 벡터화하고 NMF 토픽 36개로 군집화해 부위·결함 라벨과의 일치도(NMI)를 확인한다. 토픽별 건수, Critical 비중, 설계 취약 비중으로 취약 군집을 순위화한다. 지연값, 훈련 강도, 계절, 직전 치명도·검사 대기 등 파생 피처 10개 이상으로 월간 건수 모델을 만들어 시계열 교차검증 MAPE를 평가하고 순열 중요도로 피처를 줄인다. |
+| **산출물** | src/features/qlt05_feature_engineering.py, 기준 모델 |
+| **평가** | **[선택] 토픽 군집·파생 피처** — 파생 피처 10개 이상, 기준 모델 MAPE 25% 이하, 시계열 교차검증 적용, 피처 설계가 품질 실무에서 납득 가능한가. |
+
+**3단계. 치명도 기반 취약성 지수 및 설명가능한 발생 현황 화면**
+
+| **미션 5. 결함 치명도(Critical/Major/Minor) 기반 종합 품질 취약성 지수 산출 엔진 개발** [중급~고급 · 3.5시간] | **미션 5. 결함 치명도(Critical/Major/Minor) 기반 종합 품질 취약성 지수 산출 엔진 개발** [중급~고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 결함 치명도(Critical/Major/Minor)를 분류하고 치명도 가중 종합 품질 취약성 지수를 부위별로 산출·예측하는 엔진을 개발한다. |
+| **수행** | 키워드 규칙과 TF-IDF 로지스틱 회귀의 치명도 분류 정확도와 Critical 재현율을 비교하고 신뢰도 구간별 실제 정확도를 점검한다. 치명도 가중(1, 3, 9) 월간 부위별 취약성 지수를 릿지 중심 모델과 부스팅·랜덤 포레스트 잔차 보정 후보로 예측하며, 확장 윈도 내부 검증으로 선택해 학습 기간 평균 기준 모델과 Hold-out에서 MAE, RMSE, R2를 비교한다. |
+| **산출물** | src/models/qlt05_advanced_model.py |
+| **평가** | **[필수] 취약성 지수 엔진** — 기준 모델 대비 MAE/RMSE 20% 이상 개선, R2 0.85 이상, 불규칙한 월별 변동에서도 예측이 안정적인가. |
+
+| **미션 6. 야전 QDR 발생 현황 및 장비 부위별 결함 집중도 히트맵 대시보드 구현** [중급~고급 · 3시간] | **미션 6. 야전 QDR 발생 현황 및 장비 부위별 결함 집중도 히트맵 대시보드 구현** [중급~고급 · 3시간] |
+| --- | --- |
+| **목표** | 야전 QDR 발생 현황과 부위별 결함 집중도를 히트맵·경보로 구성하고, 예측 건마다 기여도 상위 3개 인자와 자연어 요약을 자동 산출하는 설명가능성(XAI) 모듈을 구현한다. |
+| **수행** | 치명도 분류 모델의 서술 단어·부위·결함 유형 기여도를 계산해 건마다 상위 3개 근거를 뽑고, 1순위 근거를 제거했을 때 확률이 내려가는지로 유효성을 점검한다. 점검 카드(부위, 결함, 치명도, 근거 문장)와 최근 6개월 부위별 히트맵, 월평균 대비 집중도 경보를 출력한다. |
+| **산출물** | src/explainability/qlt05_xai_explainer.py, XAI 리포트 |
+| **평가** | **[선택] 발생 현황·설명가능성** — 예측 건당 기여도 상위 3개 인자 자동 산출률 100%, 군수 장교와 군무원이 신뢰하고 조치할 수 있도록 근거와 현황이 명확한가. |
+
+**4단계. 품질관 검토(HITL) 및 10년치 대용량 일괄 분석**
+
+| **미션 7. 제조사 하자 구상 및 설계 변경 소요 제기를 위한 품질관 HITL 검토 모듈 설계** [고급 · 3.5시간] | **미션 7. 제조사 하자 구상 및 설계 변경 소요 제기를 위한 품질관 HITL 검토 모듈 설계** [고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 제조사 하자 구상과 설계 변경 소요 제기(외주정비 시정 요구 포함)를 위해 품질관이 근거를 검토·승인하는 HITL 모듈을 설계하고 효과를 시뮬레이션으로 검증한다. |
+| **수행** | 최근 12개월 QDR의 부위별 원인 비중으로 하자 구상, 설계 변경, 외주정비 시정 후보를 제안하고 승인 대기열에 올린다. 품질관의 승인·반려·무응답(조치 보류 후 분기 회의 재상정)을 사유와 함께 해시 체인 감사 로그에 남기고, 개별 사후 수리 대비 24개월 비용 절감률과 승인 지연·처리 용량·전시 전환 민감도를 분석한다. |
+| **산출물** | src/optimization/qlt05_simulator.py |
+| **평가** | **[필수] 품질관 검토(HITL)** — 개별 사후 수리 대비 비용 15% 이상 절감, 자동 승인 0건, 결정 로깅률 100%, 처리 용량·지연 등 현실 제약과 시나리오별 대안이 적절한가. |
+
+| **미션 8. 10년치 대용량 야전 QDR 텍스트 데이터 일괄 분석 스트레스 테스트** [고급 · 3시간] | **미션 8. 10년치 대용량 야전 QDR 텍스트 데이터 일괄 분석 스트레스 테스트** [고급 · 3시간] |
+| --- | --- |
+| **목표** | 10년(120개월)치 대용량 야전 QDR 텍스트를 일괄 분석하는 스트레스 시험을 수행해 처리 시간, 화면 구성 시간, 경보 정확도를 확인한다. |
+| **수행** | 가상 QDR 약 6만 건에 빈 서술, 인코딩 깨짐, 과대 길이 레코드를 섞어 1~10년 단위로 주입해 격리·유실 건수와 분석 시간을 센다. 정규화·라벨링·월별 집계 후 훈련 강도로 보정한 급증 경보의 정확도·재현율·정밀도를 이벤트 기준으로 계산하고, 집계표에서 대시보드 화면을 구성하는 시간과 필터 응답 시간을 잰다. |
+| **산출물** | src/dashboard/qlt05_app.py(Streamlit/Dash 구성은 스트레스 시험 결과로 대체), 스트레스 시험 결과표 |
+| **평가** | **[선택] 대용량 일괄 분석** — 대시보드 화면 구성 2초 이내, 경보 발령 정확도 95% 이상, 불량 레코드 격리와 유실 0건이 확인되었는가. |
+
+**5단계. AAR 원인 분류 룰 재튜닝 및 통합 도구 완성**
+
+| **미션 9. AAR 기반 결함 원인 오분류 분석 및 텍스트 마이닝 룰셋 재튜닝** [고급 · 3시간] | **미션 9. AAR 기반 결함 원인 오분류 분석 및 텍스트 마이닝 룰셋 재튜닝** [고급 · 3시간] |
+| --- | --- |
+| **목표** | AAR 기반으로 결함 원인 오분류 사례를 분석하고 텍스트 마이닝 룰셋을 보조 규칙으로 재튜닝해 효과를 지표로 산출한다. |
+| **수행** | AAR 기간 원인 분류 오류를 원인 단서 없음과 단서-실제 원인 불일치로 나누고 대표 사례를 정리한다. 미상으로 남은 건에 외주 정비 후 경과일·업체·결함 유형을 쓰는 결정 트리 보조 규칙을 AAR 기간에서 학습하고 확신이 낮으면 미상으로 남긴다. 검증 기간에서 정확도와 재현율을 비교하고 비용 절감, 확인 시간 단축, 제조·정비 책임 건 식별 증가의 3대 지표를 가정 단가로 계산해 로드맵을 정리한다. |
+| **산출물** | reports/qlt05_roi_analysis.md |
+| **평가** | **[필수] AAR·룰셋 재튜닝** — 비용 절감액, 시간 단축률 등 3대 정량 효과 지표 산출, 검증 기간 정확도 개선, 추정 산식이 객관적이고 기획 부서를 설득할 수 있는가. |
+
+| **미션 10. 야전 장비 결함 보고(QDR) 데이터 분석 및 품질 취약점 식별 도구 통합 완성** [최고급 · 3.5시간] | **미션 10. 야전 장비 결함 보고(QDR) 데이터 분석 및 품질 취약점 식별 도구 통합 완성** [최고급 · 3.5시간] |
+| --- | --- |
+| **목표** | QDR 검증·정제부터 치명도 분류, 취약성 지수·경보, 원인 분류, 승인 대기 후보 제안, 재학습까지 한 파일로 통합하고 자체 점검과 브리핑 요약을 출력하는 도구를 완성한다. |
+| **수행** | 지난달·이번 달 실적으로 챔피언 모델과 도전자 모델을 학습해 검증 정확도를 비교하고 비슷하거나 나을 때만 교체한다. 운용 QDR의 손상 서술은 수동 확인으로 분리하고 모델 장애 시 키워드 규칙으로 대체하는 동작을 시험한다. 월별 경보, 취약성 지수 상위 부위, 하자 구상·설계 변경·외주정비 시정 후보(승인 대기)를 만들고 자체 점검, 운영 문서 7개 장 완비 여부, 품질 담당 장교 브리핑 요약을 출력한다. |
+| **산출물** | docs/qlt05_operations_guide.md, pipeline/qlt05_retrain.py |
+| **평가** | **[필수] 통합 도구 완성** — 자동 재학습 파이프라인 정상 실행, 최종 문서 100% 완비, 자체 점검 전 항목 통과, 군수 정보체계 연동 인터페이스 방안이 있어 지속 운영이 가능한가. |
+
+**최종 판정**
+
+**판정 기준 :** 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.
+
+최종 판정 결과 : ( PASS / FAIL )
+
+평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)

scenario_md/QLT05-품질·규격·검사_검사실적-외주정비 품질검사 실적·병목 분석/QLT05_실습가이드.md

@@ -0,0 +1,267 @@
+**QLT05 실습가이드 - 외주정비 품질검사 실적·병목 분석**
+
+구    분 **실습가이드 [교육용가상자료]**
+
+**1. 실습 개요**
+
+본 실습은 교육용 가상 야전 장비 품질결함보고(QDR) 텍스트와 가상 외주정비 검사 실적으로 다발 결함 부위와 외주정비 병목을 찾고 품질 취약점을 식별하는 도구를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(QLT05_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.
+
+| **과제** | QLT05 외주정비 품질검사 실적·병목 분석 |
+| --- | --- |
+
+| **난이도·유형** | 중급 / 데이터분석형 |
+| --- | --- |
+
+| **예상 소요시간** | 미션 10개, 총 28.5시간 |
+| --- | --- |
+
+| **준비물** | QLT05_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
+| --- | --- |
+
+**2. 진행 방법**
+
+- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 QDR 생성 함수와 텍스트 처리 함수가 빠져 오류가 난다).
+
+- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 같은 값이 나오지만, 처리 시간(초·ms)은 실행 환경에 따라 달라진다. M4, M5, M8은 실행에 10~20초 걸릴 수 있다.
+
+- 도전 과제는 코드의 파라미터(토픽 수 K, 경보 기준, 회수율, 확신 기준 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
+
+- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.
+
+- 실제 부대·업체·장비·검사 실적은 입력하지 않는다. 하자 구상, 설계 변경 소요 제기, 업체 시정 요구는 품질관 승인 사항이며, 금액은 가정 단가에 따른 상대 비교값이다.
+
+**3. 미션 진행 요약**
+
+| **미션** | **난이도·시간** | **핵심 확인 결과** |
+| --- | --- | --- |
+| **M1. 야전 장비 품질결함보고(QDR, Quality Deficiency Report) 데이터 스키마 분석** | 초급
+1.5시간 | 피처 22개(목표 20개 이상), 표본 20건 검증 오류 0건 |
+| **M2. 비정형 결함 서술 텍스트 정제, 장비 부위별/결함 유형별 라벨링 전처리 구현** | 초급~중급
+2시간 | 정합성 검증 10/10 통과(통과율 100%) |
+| **M3. 빈도 분석 기반 1차 다발 결함 부품 도출 Baseline 알고리즘 구현** | 중급
+2.5시간 | Baseline 상위 5가 검증 기간 건수 상위 5와 5/5 일치하나 치명도 가중 지수와는 4/5(조향 장치 누락) |
+| **M4. 텍스트 임베딩 및 토픽 모델링 기반 장비 구조적 품질 취약점 자동 군집화 모델 고도화** | 중급
+3시간 | NMI 부위 0.45·결함 0.60·부위+결함 0.63, 토픽 36개 |
+| **M5. 결함 치명도(Critical/Major/Minor) 기반 종합 품질 취약성 지수 산출 엔진 개발** | 중급~고급
+3.5시간 | 치명도 정확도 72.0% -> 87.2%, Critical 재현율 34.7% -> 69.0% |
+| **M6. 야전 QDR 발생 현황 및 장비 부위별 결함 집중도 히트맵 대시보드 구현** | 중급~고급
+3시간 | 예측 6,823건 모두 상위 3개 인자 산출(산출률 100%), 근거 유효성 100% |
+| **M7. 제조사 하자 구상 및 설계 변경 소요 제기를 위한 품질관 HITL 검토 모듈 설계** | 고급
+3.5시간 | 비용 절감률 15.0%(목표 15% 이상, 근소하게 달성), 승인 12·반려 1건, 자동 승인 0건 |
+| **M8. 10년치 대용량 야전 QDR 텍스트 데이터 일괄 분석 스트레스 테스트** | 고급
+3시간 | 10년치 약 6.2만 건 분석 2초 안팎, 격리 622건·유실 0건 |
+| **M9. AAR 기반 결함 원인 오분류 분석 및 텍스트 마이닝 룰셋 재튜닝** | 고급
+3시간 | AAR 오분류 39.7%(단서 없음 89%), 검증 정확도 61.7% -> 66.2%, 정비 품질 재현율 62% -> 79% |
+| **M10. 야전 장비 결함 보고(QDR) 데이터 분석 및 품질 취약점 식별 도구 통합 완성** | 최고급
+3.5시간 | 재학습 정상 실행(챔피언 0.867, 도전자 0.865로 교체), 자체 점검 8/8 통과 |
+
+**미션 1. 야전 장비 품질결함보고(QDR, Quality Deficiency Report) 데이터 스키마 분석**
+
+| **난이도·시간** | 초급 · 1.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M1 코드를 실행해 데이터 딕셔너리(보고·텍스트·검사·결과)와 피처 수를 확인한다.
+2) 업무 프로세스 맵 9단계에서 각 단계의 입력·출력 데이터를 정리한다.
+3) 오류 주입 결과에서 각 오류가 어떤 규칙(형식·허용값·길이·누락·자료형·범위)에 걸렸는지 표로 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 피처 22개(목표 20개 이상), 표본 20건 검증 오류 0건
+주입 오류 6건 모두 검출 |
+| --- | --- |
+
+| **도전 과제** | 검사 묶음에 '검사관 수(inspectors, 1~10)' 필드를 추가하고 범위 밖 값을 넣어 검출되는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 스키마·딕셔너리 코드, 도메인 분석서(프로세스 맵·예측 대상) |
+| --- | --- |
+
+**미션 2. 비정형 결함 서술 텍스트 정제, 장비 부위별/결함 유형별 라벨링 전처리 구현**
+
+| **난이도·시간** | 초급~중급 · 2시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M2 코드를 실행해 정제 규칙 10종별 처리 건수를 확인한다.
+2) R4~R6(텍스트 정규화·약어·오타)이 부위·결함 라벨링 정확도에 주는 영향을 정제 전후로 비교한다.
+3) R10(긴급 보고 보존)이 일반 이상값 처리와 어떻게 다른지 설명하고 기술통계 표를 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 정합성 검증 10/10 통과(통과율 100%)
+라벨링 정확도 부위 98.5% -> 100%, 결함 96.8% -> 100%, 긴급 보고 40건 보존 |
+| --- | --- |
+
+| **도전 과제** | KNNImputer의 n_neighbors를 5에서 2로 바꿔 보정된 검사 대기일 평균이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 정제 모듈 코드, 정제 품질 보고서(규칙·건수·전후 통계) |
+| --- | --- |
+
+**미션 3. 빈도 분석 기반 1차 다발 결함 부품 도출 Baseline 알고리즘 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M3 코드를 실행해 Baseline의 검증 기간 적중률과 치명도 가중 순위와의 차이를 확인한다.
+2) 상관분석과 업체별 검사 실적 표에서 유의한 피처와 외주B의 특징을 정리한다.
+3) 파레토 표와 EDA 차트 8종으로 핵심 발견점 3가지를 쓴다. |
+| --- | --- |
+
+| **확인할 결과** | Baseline 상위 5가 검증 기간 건수 상위 5와 5/5 일치하나 치명도 가중 지수와는 4/5(조향 장치 누락)
+유의 피처 5개, 외주B 대기 8.4일(타 4.5일), EDA 차트 8종 |
+| --- | --- |
+
+| **도전 과제** | Baseline의 대상 부위 수를 5개에서 3개로 줄여(top_base) 월별 적중률과 Critical 누락 비중이 어떻게 변하는지 확인한다. |
+| --- | --- |
+
+| **제출물** | Baseline·EDA 코드, EDA 요약 리포트(핵심 발견점) |
+| --- | --- |
+
+**미션 4. 텍스트 임베딩 및 토픽 모델링 기반 장비 구조적 품질 취약점 자동 군집화 모델 고도화**
+
+| **난이도·시간** | 중급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M4 코드를 실행해 토픽 군집의 NMI와 취약 군집 상위 5를 확인한다.
+2) 파생 피처 목록과 시계열 교차검증 폴드별 MAPE, 전월값 기준과의 차이를 확인한다.
+3) 피처 중요도와 차원 축소 결과를 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | NMI 부위 0.45·결함 0.60·부위+결함 0.63, 토픽 36개
+파생 피처 14개, 교차검증 평균 MAPE 19.5%(목표 25% 이하) |
+| --- | --- |
+
+| **도전 과제** | NMF 토픽 수 K를 36에서 24로 줄여 NMI와 취약 군집 해석이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 피처·토픽 코드, 기준 모델 성능표 |
+| --- | --- |
+
+**미션 5. 결함 치명도(Critical/Major/Minor) 기반 종합 품질 취약성 지수 산출 엔진 개발**
+
+| **난이도·시간** | 중급~고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M5 코드를 실행해 키워드 규칙과 텍스트 모델의 치명도 정확도·Critical 재현율을 비교한다.
+2) 신뢰도 구간별 정확도 표로 보정 상태를 점검한다.
+3) 취약성 지수 예측 표(기준·전월값·릿지·선택 모델)와 카드를 읽고 개선율을 계산한다. |
+| --- | --- |
+
+| **확인할 결과** | 치명도 정확도 72.0% -> 87.2%, Critical 재현율 34.7% -> 69.0%
+MAE 38.0%, RMSE 41.4% 개선(목표 20% 이상), R2 0.857(목표 0.85 이상) |
+| --- | --- |
+
+| **도전 과제** | 내부 검증 후보 ridge alpha (1, 10)에 100을 추가해 선택된 alpha와 Hold-out R2가 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 취약성 지수 엔진 코드, 성능 비교표, 취약성 카드 |
+| --- | --- |
+
+**미션 6. 야전 QDR 발생 현황 및 장비 부위별 결함 집중도 히트맵 대시보드 구현**
+
+| **난이도·시간** | 중급~고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M6 코드를 실행해 상위 3개 인자 산출률과 근거 유효성을 확인한다.
+2) 점검 카드 3건(Critical·Major·Minor)에서 근거 단어와 요약 문장을 읽고 납득 가능한지 판단한다.
+3) 히트맵 표와 집중도 경보를 읽고 계절 변동과 실제 급증을 구분하는 방법을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 예측 6,823건 모두 상위 3개 인자 산출(산출률 100%), 근거 유효성 100%
+정확도 87.6%, 집중도 경보 19건(계절 영향 포함) |
+| --- | --- |
+
+| **도전 과제** | 경보 기준 배수 1.4를 1.8로 올려 경보 건수가 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | XAI 코드, XAI 리포트(카드 예시와 근거 유효성) |
+| --- | --- |
+
+**미션 7. 제조사 하자 구상 및 설계 변경 소요 제기를 위한 품질관 HITL 검토 모듈 설계**
+
+| **난이도·시간** | 고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M7 코드를 실행해 개별 사후 수리, 품질관 승인, 전부 적용(비교용)의 비용을 비교한다.
+2) 감사 로그 무결성 검사와 변조 탐지, 반려 사유, 무응답 재상정 기록을 확인한다.
+3) 승인 지연·처리 용량·전시 전환 민감도 표를 읽고 대안(승인 기한 단축, 분기 회의 주기)을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 비용 절감률 15.0%(목표 15% 이상, 근소하게 달성), 승인 12·반려 1건, 자동 승인 0건
+결정 로깅률 100%, 변조는 seq 3에서 탐지 |
+| --- | --- |
+
+| **도전 과제** | RECOVER(하자 구상 회수율)를 0.8에서 0.5로 낮춰 절감률이 목표 아래로 내려가는지 확인하고 이유를 설명한다. |
+| --- | --- |
+
+| **제출물** | HITL 시뮬레이터 코드, 민감도 분석표, 워크플로우 설명 |
+| --- | --- |
+
+**미션 8. 10년치 대용량 야전 QDR 텍스트 데이터 일괄 분석 스트레스 테스트**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M8 코드를 실행해 기간별(1·3·6·10년) 분석 시간과 격리·유실 건수를 확인한다.
+2) 라벨링 정확도와 급증 경보 정확도·재현율·정밀도를 목표와 비교한다.
+3) 화면 구성·필터 응답 시간과 운용 기준(야간 배치, 격리율 5% 초과 시 점검)을 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 10년치 약 6.2만 건 분석 2초 안팎, 격리 622건·유실 0건
+경보 정확도 99.8%(목표 95% 이상), 재현율 90%, 화면 구성 수 ms |
+| --- | --- |
+
+| **도전 과제** | make_input의 bad(불량 비율)를 0.01에서 0.08로 높여 격리 건수와 운용 기준(격리율 5%) 적용 여부를 확인한다. |
+| --- | --- |
+
+| **제출물** | 스트레스 시험 코드, 결과표, 운용 기준 |
+| --- | --- |
+
+**미션 9. AAR 기반 결함 원인 오분류 분석 및 텍스트 마이닝 룰셋 재튜닝**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M9 코드를 실행해 AAR 기간 오분류 건수와 원인(단서 없음·불일치) 비율을 확인한다.
+2) 결정 트리 보조 규칙을 읽고 미상 건에 왜 그 원인을 주는지 설명한다.
+3) 정확도·재현율 변화와 3대 정량 효과 지표, 도입 로드맵을 ROI 보고서에 옮긴다. |
+| --- | --- |
+
+| **확인할 결과** | AAR 오분류 39.7%(단서 없음 89%), 검증 정확도 61.7% -> 66.2%, 정비 품질 재현율 62% -> 79%
+비용 10.8% 절감, 확인 시간 20.1% 단축, 책임 건 식별 +16% |
+| --- | --- |
+
+| **도전 과제** | CONF(확신 기준)를 0.45에서 0.6으로 올려 정확도와 수작업 확인 시간이 어떻게 달라지는지 확인한다. |
+| --- | --- |
+
+| **제출물** | AAR·재튜닝 코드, ROI 분석 보고서(지표·로드맵) |
+| --- | --- |
+
+**미션 10. 야전 장비 결함 보고(QDR) 데이터 분석 및 품질 취약점 식별 도구 통합 완성**
+
+| **난이도·시간** | 최고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M10 코드를 실행해 재학습 결과(챔피언·도전자 정확도, 교체 여부)를 확인한다.
+2) 자체 점검 통과 수와 운영 문서 작성률, 모델 장애 시 대체 동작을 확인한다.
+3) 출력된 브리핑 요약으로 5분 분량 품질 담당 장교 브리핑 자료를 만든다. |
+| --- | --- |
+
+| **확인할 결과** | 재학습 정상 실행(챔피언 0.867, 도전자 0.865로 교체), 자체 점검 8/8 통과
+운영 문서 7개 장 100%, 후보 3건 승인 대기(자동 승인 0건) |
+| --- | --- |
+
+| **도전 과제** | CONFIG의 retrain_tolerance를 0.005에서 0으로 바꿔 도전자가 근소하게 나쁠 때 교체되지 않는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 통합 코드, 운영 지침서, 재학습 파이프라인 설명, 브리핑 자료 |
+| --- | --- |
+
+**4. 최종 점검표**
+
+| **점검 항목** | **확인** |
+| --- | --- |
+| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
+| 각 미션의 확인할 결과를 기록했다 | ( ) |
+| 도전 과제 결과와 이유를 기록했다 | ( ) |
+| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
+| 실제 부대·업체·장비·검사 실적을 사용하지 않았다 | ( ) |
+| 하자 구상·설계 변경·업체 시정은 품질관 승인 사항으로 설계했다 | ( ) |