MNT04 실습가이드 - 고장실적·수리부속 소모 기반 PBL 품목관리
구 분 실습가이드 [교육용가상자료]
1. 실습 개요
본 실습은 교육용 가상 기동체 48대의 엔진·구동계 진동, 온도, 압력 센서 자료로 이상 징후를 감지하고 잔존수명과 수리부속 소요를 예고하는 예지정비 도구를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(MNT04_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.
| 과제 |
MNT04 고장실적·수리부속 소모 기반 PBL 품목관리 |
| 준비물 |
MNT04_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
2. 진행 방법
-
정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 센서 자료 생성 함수가 빠져 오류가 난다).
-
실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 같은 값이 나오지만, 처리 시간(초)은 실행 환경에 따라 달라진다.
-
도전 과제는 코드 상단의 파라미터(임계 분위수, 경보 연속 일수, 정기 교체 주기, 점검 단가 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
-
그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다. M4, M5, M10은 실행에 20~30초 걸릴 수 있다.
-
실제 부대·장비·정비 실적은 입력하지 않는다. 조기 입고와 정비 시행은 검사관 승인 사항이며, 금액은 가정 단가에 따른 상대 비교값이다.
3. 미션 진행 요약
| 미션 |
난이도·시간 |
핵심 확인 결과 |
| M1. 헬기/기갑 엔진 및 구동계 진동, 온도, 압력 센서 시계열 데이터셋 정의 |
초급 |
|
| 1.5시간 |
피처 22개(목표 20개 이상), 표본 20건 검증 오류 0건 |
|
| M2. 고주파 센서 신호 잡음 제거, FFT 변환 및 주요 특징량(RMS, Kurtosis) 전처리 구현 |
초급~중급 |
|
| 2시간 |
정합성 검증 10/10 통과(통과율 100%) |
|
| M3. 임계값 초과 기반 1차 센서 이상 징후 감지 Baseline 알고리즘 구현 |
중급 |
|
| 2.5시간 |
Baseline 탐지율 25.3%, 정밀도 90.3%, 고부하일 오경보율 28.6% |
|
| M4. 오토인코더(Autoencoder)/LSTM 기반 미세 진동 변화 감지 예지정비(PdM) 모델 고도화 |
중급 |
|
| 3시간 |
오토인코더 탐지율 79.2%·오경보율 0.0%(Baseline 22.7%·1.7%), 미세 구간 2.0% -> 32.4% |
|
| M5. 부품 고장 임박 시점(RUL) 예측 및 상태 기반 이상 신뢰도 점수 엔진 개발 |
중급~고급 |
|
| 3.5시간 |
MAE 76.0%, RMSE 70.9% 개선(목표 20% 이상), R2 0.909(목표 0.85 이상) |
|
| M6. 장비 센서 상태 실시간 모니터링 및 결함 징후 경보 대시보드 구현 |
중급~고급 |
|
| 3시간 |
경보 1,327건 모두 상위 3개 인자 산출(산출률 100%), 근거 유효성 98.9% |
|
| M7. 예방 정비 조기 입고 결정을 위한 항공/기갑 검사관 HITL 승인 모듈 설계 |
고급 |
|
| 3.5시간 |
비용 절감률 15.3%(목표 15% 이상), 승인 126·반려 7·무응답 11건, 자동 승인 0건 |
|
| M8. 장시간 비행/기동 센서 데이터 대용량 스트림 주입 스트레스 테스트 |
고급 |
|
| 3시간 |
1,000건 정상 945·격리 55·유실 0, 처리 0.1초 이내(목표 2초 이내) |
|
| M9. AAR 기반 예지정비 오경보 분석 및 이상 감지 임계 파라미터 재보정 |
고급 |
|
| 3시간 |
AAR 기간 오경보 9건(고부하 운용일 22%) -> 재보정 후 4건, 검증 기간 16 -> 10건, 미탐 0대 유지 |
|
| M10. 항공/기갑 장비 예지정비(PdM) 센서 데이터 이상 징후 감지 시스템 통합 완성 |
최고급 |
|
| 3.5시간 |
재학습 정상 실행(챔피언 F1 0.868, 도전자 0.837로 챔피언 유지), 자체 점검 8/8 통과 |
|
미션 1. 헬기/기갑 엔진 및 구동계 진동, 온도, 압력 센서 시계열 데이터셋 정의
| 진행 순서 | 1) M1 코드를 실행해 데이터 딕셔너리(센서·특징·고장·부품)와 피처 수를 확인한다.
2) 업무 프로세스 맵 10단계에서 각 단계의 입력·출력 데이터를 정리한다.
| 3) 오류 주입 결과에서 각 오류가 어떤 규칙(형식·범위·허용값·누락·자료형)에 걸렸는지 표로 정리한다. |
|
| 확인할 결과 | 피처 22개(목표 20개 이상), 표본 20건 검증 오류 0건
| 도전 과제 |
센서 묶음에 '진동 가속도 최댓값(vib_peak, 0~20)' 필드를 추가하고 범위 밖 값을 넣어 검출되는지 확인한다. |
| 제출물 |
스키마·딕셔너리 코드, 도메인 분석서(프로세스 맵·예측 대상) |
미션 2. 고주파 센서 신호 잡음 제거, FFT 변환 및 주요 특징량(RMS, Kurtosis) 전처리 구현
| 진행 순서 | 1) M2 코드를 실행해 정제 규칙 10종별 처리 건수를 확인한다.
2) R7(스파이크 제거)과 R8(저역통과)이 어떤 오류에 적용되는지, R10(긴급 점검 보존)이 일반 이상값과 어떻게 다른지 설명한다.
| 3) 정제 전후 RMS·첨도 오차 표와 기술통계 표를 정리한다. |
|
| 확인할 결과 | 정합성 검증 10/10 통과(통과율 100%)
| 중복 80건 제거, 긴급 점검 11건 보존, RMS 오차 0.267 -> 0.116, 첨도 8.31 -> 0.86 |
|
| 도전 과제 |
KNNImputer의 n_neighbors를 5에서 2로 바꿔 보정된 온도·압력 평균이 어떻게 달라지는지 확인한다. |
| 제출물 |
정제 모듈 코드, 정제 품질 보고서(규칙·건수·전후 통계) |
미션 3. 임계값 초과 기반 1차 센서 이상 징후 감지 Baseline 알고리즘 구현
| 진행 순서 | 1) M3 코드를 실행해 Baseline의 탐지율·정밀도·고부하일 오경보율을 확인한다.
2) 상관분석 표에서 유의한 피처를 고르고 EDA 차트 8종에서 열화 징후를 찾는다.
| 3) 파레토 표에서 A등급 부품과 상위 20% 비중을 확인해 핵심 발견점 3가지를 쓴다. |
|
| 확인할 결과 | Baseline 탐지율 25.3%, 정밀도 90.3%, 고부하일 오경보율 28.6%
| 유의 피처 9개, EDA 차트 8종, 상위 20% 품목(구동 기어 세트)이 소모 비용의 46% |
|
| 도전 과제 |
TH의 rms 임계값을 1.25에서 1.0으로 낮춰 탐지율과 고부하일 오경보율이 어떻게 변하는지 확인한다. |
| 제출물 |
Baseline·EDA 코드, EDA 요약 리포트(핵심 발견점) |
미션 4. 오토인코더(Autoencoder)/LSTM 기반 미세 진동 변화 감지 예지정비(PdM) 모델 고도화
| 진행 순서 | 1) M4 코드를 실행해 파생 피처 목록과 오토인코더·Baseline 비교(탐지율·오경보율·확보 시간)를 확인한다.
2) 미세 변화 구간(열화 0.1~0.3) 탐지율 차이를 확인하고 이유를 설명한다.
| 3) 교차검증 폴드별 MAPE, 피처 중요도, 차원 축소 결과를 정리한다. |
|
| 확인할 결과 | 오토인코더 탐지율 79.2%·오경보율 0.0%(Baseline 22.7%·1.7%), 미세 구간 2.0% -> 32.4%
| 파생 피처 14개, 교차검증 평균 MAPE 22.7%(목표 25% 이하) |
|
| 도전 과제 |
AE 클래스의 q(정상 분위수)를 0.99에서 0.95로 낮춰 탐지율과 오경보율이 어떻게 달라지는지 확인한다. |
| 제출물 |
피처·오토인코더 코드, 기준 모델 성능표 |
미션 5. 부품 고장 임박 시점(RUL) 예측 및 상태 기반 이상 신뢰도 점수 엔진 개발
| 진행 순서 | 1) M5 코드를 실행해 기준 모델, 단일 모델 3종, 앙상블의 MAE·RMSE·R2를 비교한다.
2) 열화 단계별(30일 이내·30~90일·90일 이상) 오차 표를 읽고 어느 구간이 어려운지 설명한다.
| 3) 신뢰도 구간별 실제 열화 비율 표와 점검 카드 3건을 확인한다. |
|
| 확인할 결과 | MAE 76.0%, RMSE 70.9% 개선(목표 20% 이상), R2 0.909(목표 0.85 이상)
| 신뢰도 ECE 0.065, 선택 하이퍼파라미터 GBR depth=4, ridge alpha=1 |
|
| 도전 과제 |
하이퍼파라미터 탐색 목록의 ridge alpha (1, 10)에 100을 추가해 선택값과 검증 MAE가 달라지는지 확인한다. |
| 제출물 |
RUL 모델 코드, 성능 비교표, 점검 카드 예시 |
미션 6. 장비 센서 상태 실시간 모니터링 및 결함 징후 경보 대시보드 구현
| 진행 순서 | 1) M6 코드를 실행해 상위 3개 인자 산출률과 근거 유효성을 확인한다.
2) 점검 카드 4건(베어링·기어·오일 펌프·냉각 팬 모터)에서 근거와 의심 부품이 맞는지 확인한다.
| 3) 운용 상태표의 정상·주의·경보 대수를 읽고 경보 화면의 정렬 기준을 정한다. |
|
| 확인할 결과 | 경보 1,327건 모두 상위 3개 인자 산출(산출률 100%), 근거 유효성 98.9%
| 의심 부품 정확도 99.3%, 기준일 상태표 경보 11대 |
|
| 도전 과제 |
경보 판정의 연속 일수 k를 2에서 1로 바꿔 경보 건수가 어떻게 달라지는지 확인한다. |
| 제출물 |
XAI 코드, XAI 리포트(카드 예시와 근거 유효성) |
미션 7. 예방 정비 조기 입고 결정을 위한 항공/기갑 검사관 HITL 승인 모듈 설계
| 진행 순서 | 1) M7 코드를 실행해 정기 교체, 검사관 승인 방식, 전부 적용(비교용)의 비용을 비교한다.
2) 감사 로그 무결성 검사와 변조 탐지, 반려 사유 예를 확인한다.
| 3) 승인 후 입고 지연과 가동 강도 급증 민감도 표를 읽고 대안(승인 기한, 대기 정비 슬롯)을 정리한다. |
|
| 확인할 결과 | 비용 절감률 15.3%(목표 15% 이상), 승인 126·반려 7·무응답 11건, 자동 승인 0건
| 결정 로깅률 100%, 변조는 seq 5에서 탐지 |
|
| 도전 과제 |
PERIOD(정기 교체 주기)를 90에서 110으로 바꿔 절감률이 어떻게 달라지는지 확인하고 이유를 설명한다. |
| 제출물 |
HITL 시뮬레이터 코드, 민감도 분석표, 워크플로우 설명 |
미션 8. 장시간 비행/기동 센서 데이터 대용량 스트림 주입 스트레스 테스트
| 진행 순서 | 1) M8 코드를 실행해 1,000건 주입 결과(정상·격리·유실, 처리 시간)를 확인한다.
2) 경보 정확도·재현율·정밀도와 회색 구간(열화 초기) 처리 방식을 확인한다.
| 3) 규모별 처리량 표와 운용 기준(격리율 20% 초과 시 센서 점검, 축소 모드)을 정리한다. |
|
| 확인할 결과 | 1,000건 정상 945·격리 55·유실 0, 처리 0.1초 이내(목표 2초 이내)
| 경보 정확도 98.0%(목표 95% 이상), 상태 화면 구성 0.03초, 100,000건 처리 수 초 이내 |
|
| 도전 과제 |
make_stream의 bad_rate를 0.06에서 0.25로 높여 격리 건수와 운용 기준(격리율 20%) 적용 여부를 확인한다. |
| 제출물 |
스트레스 시험 코드, 결과표, 기능 축소 운용 기준 |
미션 9. AAR 기반 예지정비 오경보 분석 및 이상 감지 임계 파라미터 재보정
| 진행 순서 | 1) M9 코드를 실행해 AAR 기간 오경보 건수와 원인 분류 비율을 확인한다.
2) 재보정 전후의 AAR 기간·검증 기간 오경보와 고장 전 확보 시간을 비교표로 정리한다.
| 3) 3대 정량 효과 지표와 도입 로드맵을 ROI 보고서에 옮긴다. |
|
| 확인할 결과 | AAR 기간 오경보 9건(고부하 운용일 22%) -> 재보정 후 4건, 검증 기간 16 -> 10건, 미탐 0대 유지
| 비용 10.9% 절감, 불필요 점검 37.5% 단축, 확보 시간 60 -> 57일 |
|
| 도전 과제 |
LATE_COST를 0.15에서 0.5로 올려 재보정 파라미터가 어떻게 달라지는지 확인한다. |
| 제출물 |
AAR·재보정 코드, ROI 분석 보고서(지표·로드맵) |
미션 10. 항공/기갑 장비 예지정비(PdM) 센서 데이터 이상 징후 감지 시스템 통합 완성
| 진행 순서 | 1) M10 코드를 실행해 재학습 결과(챔피언·도전자 F1, 교체 여부)를 확인한다.
2) 자체 점검 통과 수와 운영 문서 작성률, 모델 장애 시 대체 동작을 확인한다.
| 3) 출력된 브리핑 요약으로 5분 분량 정비 담당 장교 브리핑 자료를 만든다. |
|
| 확인할 결과 | 재학습 정상 실행(챔피언 F1 0.868, 도전자 0.837로 챔피언 유지), 자체 점검 8/8 통과
| 운영 문서 7개 장 100%, 입고 제안 31건 승인 대기(자동 승인 0건) |
|
| 도전 과제 |
CONFIG의 retrain_tolerance를 0.02에서 0.05로 올려 도전자 교체 여부가 바뀌는지 확인한다. |
| 제출물 |
통합 코드, 운영 지침서, 재학습 파이프라인 설명, 브리핑 자료 |
4. 최종 점검표
| 점검 항목 |
확인 |
| 미션 1~10 코드가 모두 오류 없이 실행되었다 |
( ) |
| 각 미션의 확인할 결과를 기록했다 |
( ) |
| 도전 과제 결과와 이유를 기록했다 |
( ) |
| 브리핑 수치가 실행 결과와 일치한다 |
( ) |
| 실제 부대·장비·정비 실적을 사용하지 않았다 |
( ) |
| 조기 입고와 정비 시행은 검사관 승인 사항으로 설계했다 |
( ) |