pbl02/scenario_md/STR01-전략·성과·예산관리_성과관리-데이터 기반 핵심성과지표 추세·목표 관리/STR01-전략·성과·예산관리_성과관리-데이터 기반 핵심성과지표 추세·목표 관리.md

데이터 기반 핵심성과지표 추세·목표 관리

난 이 도 중급

프로젝트 목표

미국 국방부(DoD) 예산실(Comptroller)은 성과관리 체계를 통해 핵심 성과지표를 정의하고 계획 대비 편차를 추적하며 마감 위험을 가시화해 왔다. 이 공개 사례의 학습 초점은 업무 지표 정의, 계획 대비 편차 분석, 마감 위험 가시화, 반복 집계 경감, 성과 측정이다. 본 프로젝트는 군수 분야의 핵심성과지표로 기준 보급일수(DOS)를 정하고, 교육용 가상 부대 20개의 5대 보급품 재고와 소모 자료를 코드로 만들어 목표 대비 추세와 결핍 위험 일자를 관리한다. 학습자는 KPI 스키마 정의, 데이터 정제, Baseline과 탐색적 분석, 결핍 일자 예측, 3단계 조기경보, 지도형 대시보드와 설명, 군수처장 승인 체계, 충격 시나리오 시험, AAR 임계 재보정, 자동 재학습 파이프라인을 차례로 수행한다. 최종 목표는 반복 집계에 드는 시간을 줄이면서 결핍 위험을 미리 알리고 물자 전환 결정은 반드시 사람이 승인하도록 하는 KPI 추세·목표 관리 도구를 완성하는 것이다.

유의사항	모든 부대, 보급품 재고와 소모량, 기준 보급일수 목표, 기상·작전 템포 자료는 코드 안에서 만든 교육용 가상 자료이며 실제 부대명, 보유량, 소요, 작전 정보는 사용하지 않는다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 충격 시나리오는 추상적인 가상 모델이며 실제 작전 계획과 무관하고, 결핍 경보와 예측은 판단 보조이며 물자 전환과 보급 결정은 군수처장의 승인과 지휘계통에 따른다. 비용 단가와 효과 산식은 교육용 가정값이다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다.

1단계. KPI 스키마 정의 및 군수 데이터 정제

미션 1. 부대별 5대 핵심 보급품(식량, 피복, 유류, 탄약, 수리부속) 재고 및 기준 보급일수(DOS) 스키마 정의 [초급 · 1.5시간]	미션 1. 부대별 5대 핵심 보급품(식량, 피복, 유류, 탄약, 수리부속) 재고 및 기준 보급일수(DOS) 스키마 정의 [초급 · 1.5시간]
목표	5대 핵심 보급품(식량, 피복, 유류, 탄약, 수리부속)의 재고와 기준 보급일수(DOS) 핵심성과지표(KPI)의 스키마와 데이터 딕셔너리를 정의하고 KPI 보고 업무 프로세스 맵을 작성한다.
수행	교육용 가상 부대 20개의 일일 재고·소모·보급 원장을 만들어 필드, 형식, 허용값, 의미를 데이터 딕셔너리로 정리한다. DOS = 재고 / 최근 7일 평균 소모량, 목표 대비 편차와 달성률을 KPI로 정의하고, 분석에 쓸 피처 목록을 20개 이상 만든다. 부대 보고 수신부터 처장 승인까지 현행 KPI 보고 업무를 11단계로 그려 AS-IS/TO-BE 소요시간을 비교한다.
산출물	docs/str01_logistics_domain_spec.md 및 데이터 딕셔너리
평가	[필수] 스키마·프로세스 맵 — 업무 프로세스 맵이 작성 완료되고 피처 목록 20개 이상이 정의되었으며, 군수 실무 프로세스와 일치하고 분석 목표가 명확한가.

미션 2. 부대별 일일 소모율 정규화 및 재고 변동 데이터 전처리 모듈 구현 [초급~중급 · 2시간]	미션 2. 부대별 일일 소모율 정규화 및 재고 변동 데이터 전처리 모듈 구현 [초급~중급 · 2시간]
목표	부대별 일일 소모율을 정규화하고 재고 변동 데이터를 정제하는 전처리 모듈을 구현하며, 군수 특수 예외는 보존한다.
수행	중복, 누락 일자, 소모량 결측, 단위 혼용, 음수 재고, 품목명 오타, 태그 없는 이상 급증을 일부러 섞은 가상 원장을 만들어 정제 규칙 10종을 적용한다. 긴급 불출과 비계획 정비로 태그된 급증은 이상치로 깎지 않고 보존한다. 정제 후 정합성 검증 10항목의 통과율과 원본 복원 품질을 정제 품질 보고서로 출력한다.
산출물	src/etl/str01_data_cleansing.py 및 정제 품질 보고서
평가	[필수] 정제 규칙·특수 예외 보존 — 데이터 정제 규칙 10종을 적용하고 정합성 검증 통과율 100%이며, 긴급 불출·비계획 정비 같은 군수 특수 예외가 삭제되지 않고 보존되는가.

2단계. Baseline DOS와 결핍 위험 일자 예측

미션 3. 단순 잔여 DOS 계산 및 1차 기준 미달 부대 식별 Baseline 알고리즘 구현 [중급 · 2.5시간]	미션 3. 단순 잔여 DOS 계산 및 1차 기준 미달 부대 식별 Baseline 알고리즘 구현 [중급 · 2.5시간]
목표	재고와 최근 소모량으로 단순 DOS를 계산해 기준 미달 부대를 식별하는 Baseline을 만들고, 탐색적 분석(EDA)으로 의미 있는 피처를 찾는다.
수행	목표 DOS 대비 달성률이 50% 미만인 부대·품목을 1차 기준 미달로 식별한다. 결핍 위험 일수와 피처의 상관을 계산하고 EDA 차트 8종(분포, 추이, 템포-소모, 기상 효과, 재고 궤적, 품목별 달성률, 미달 비율 추이, 상관)을 만든다. 결과에서 군수 의사결정에 쓸 인사이트를 문장으로 정리한다.
산출물	notebooks/str01_eda_analysis.ipynb 및 EDA 요약 리포트
평가	[필수] Baseline DOS·EDA — EDA 시각화 차트 8종 이상을 생성하고 결핍 위험 일수와 유의미한 상관이 있는 피처를 5개 이상 도출했으며, 인사이트가 군수 의사결정에 직관적인가.

미션 4. 작전 템포 변동 및 기상 악화 연계 부대별 결핍 위험 일자(Stockout Date) 정밀 예측 고도화 [중급 · 3시간]	미션 4. 작전 템포 변동 및 기상 악화 연계 부대별 결핍 위험 일자(Stockout Date) 정밀 예측 고도화 [중급 · 3시간]
목표	작전 템포 변동과 기상 예보를 반영한 파생 피처로 부대별 결핍 위험 일자(Stockout Date)를 예측하는 기준 모델을 만든다.
수행	사전 계획 템포, 다음 7일 악천후 예보, 최근 소모 추세, 보급 후 경과일 같은 파생 피처 13개를 설계하고 이유를 한 줄씩 설명한다. 릿지 회귀 기준 모델과 단순 DOS 방식을 MAPE로 비교하고, 계획 템포 +30%와 악천후 50%를 가정했을 때 예측이 얼마나 바뀌는지 시나리오로 확인한다.
산출물	src/features/str01_feature_engineering.py 및 기준 모델
평가	[선택] 파생 피처·기준 모델 — 파생 피처 10개 이상을 생성하고 기준 모델 MAPE 25% 이하를 달성했으며, 피처 설계가 군수 실무에서 납득 가능한 논리를 갖는가.

3단계. 조기경보 엔진 및 지도형 대시보드·설명

미션 5. 결핍 심각도 지수 산출 및 다단계 결핍 조기경보(주의/경계/심각) 엔진 개발 [중급~고급 · 3.5시간]	미션 5. 결핍 심각도 지수 산출 및 다단계 결핍 조기경보(주의/경계/심각) 엔진 개발 [중급~고급 · 3.5시간]
목표	결핍 심각도 지수를 산출하고 주의·경계·심각 3단계 결핍 조기경보 엔진을 개발한다.
수행	그래디언트 부스팅 모델로 결핍 위험 일수를 예측해 기준 모델과 MAE, RMSE, R2를 비교한다. 예상 결핍 일수와 목표 재고 대비 재고 비율로 0~100 결핍 심각도 지수를 만들고, 예상 일수 구간별로 주의, 경계, 심각 경보를 발령한다. 혼동표로 등급 정확도, 미탐률, 오탐률과 템포 급변 구간의 안정성을 확인한다.
산출물	src/models/str01_advanced_model.py
평가	[필수] 심각도 지수·3단계 경보 — 기준 모델 대비 MAE/RMSE 오차율 20% 이상 개선, R2 0.85 이상이며, 템포가 불규칙하게 변하는 구간에서도 예측이 안정적인가.

미션 6. 군단/사단 관할 부대 보급 수준(DOS) 실시간 현황 지도 및 경보 대시보드 구현 [중급~고급 · 3시간]	미션 6. 군단/사단 관할 부대 보급 수준(DOS) 실시간 현황 지도 및 경보 대시보드 구현 [중급~고급 · 3시간]
목표	관할 부대의 DOS 현황을 가상 지도와 경보 색상으로 보여 주는 대시보드를 구현하고, 경보마다 예측에 기여한 인자를 설명한다.
수행	20개 부대를 격자형 가상 지도에 배치해 부대별 최악 경보 등급을 색으로 표시하고, 3개 시점의 갱신 결과를 출력한다. 경보 건마다 각 피처를 평균값으로 바꿨을 때 예측이 변하는 정도를 계산해 기여도 상위 3개 인자를 자동으로 설명하고, 설명이 실제로 예측에 영향을 주는지 점검한다.
산출물	src/explainability/str01_xai_explainer.py 및 XAI 리포트
평가	[선택] 현황 지도·XAI 설명 — 주요 예측 건당 기여도 상위 3개 인자 자동 산출률 100%이며, 군수 장교와 군무원이 신뢰하고 조치할 수 있게 설명이 명확한가.

4단계. 정책 시뮬레이션·군수처장 승인 체계 및 충격 시나리오 시험

미션 7. 결핍 부대 긴급 물자 전환 결정을 위한 군수처장 HITL 승인 워크플로우 설계 [고급 · 3.5시간]	미션 7. 결핍 부대 긴급 물자 전환 결정을 위한 군수처장 HITL 승인 워크플로우 설계 [고급 · 3.5시간]
목표	예측 기반 보급 정책의 효과를 시뮬레이션으로 비교하고, 결핍 부대에 대한 긴급 물자 전환은 군수처장 승인으로만 집행하는 HITL 워크플로우를 설계한다.
수행	고정 목표 재고 정책과 예측 기반 동적 목표 정책을 같은 50일 자료로 재현해 결핍량, 재고 회전, 비용을 비교한다. 경계 이하 부대에 다음 보급일까지 버틸 물량을 여유 부대에서 옮기거나 보급소 예비로 충당하는 제안을 만들고, 군수처장의 승인·반려와 결정 근거 기재를 거쳐야만 집행하게 한다. 자동 승인, 권한 없는 승인 등 우회 시도를 차단하고 감사 이력을 해시로 검증한다.
산출물	src/optimization/str01_simulator.py
평가	[필수] 정책 시뮬레이션·군수처장 HITL — 최적화 적용 시 비용 15% 절감 또는 재고 회전율 20% 향상을 보이고, 군수 제약(보급 주기, 안전 재고 유지)과 시나리오별 대안이 적절하게 반영되며 자동 집행이 없는가.

미션 8. 전면전 발발 모의 전 부대 보급품 동시 급감 스트레스 시뮬레이션 [고급 · 3시간]	미션 8. 전면전 발발 모의 전 부대 보급품 동시 급감 스트레스 시뮬레이션 [고급 · 3시간]
목표	전 부대의 소모가 동시에 늘고 보급이 줄어드는 가상 충격 시나리오로 경보 엔진의 스트레스 시뮬레이션을 수행한다.
수행	소모를 1.5배, 2배, 3배로 키우고 보급량을 절반으로 줄이는 충격을 12일간 가정해 재고를 다시 계산한다. 모델만 쓸 때와 단기 소모 기반 안전장치를 더했을 때의 경보 발령 정확도와 미탐률을 비교하고, 상황판 1회 갱신 시간을 50회 반복 측정한다. 이는 교육용 가상 모델이며 실제 작전 계획과 무관하다.
산출물	src/dashboard/str01_app.py (Streamlit/Dash 등)
평가	[선택] 충격 시나리오·로딩 시간 — 대시보드 로딩 시간 2초 이내, 경보 발령 정확도 95% 이상이며, 의사결정 지원에 맞게 경보 위계가 시각적으로 분명한가.

5단계. AAR 경보 임계 재보정 및 통합·자동 재학습

미션 9. AAR 기반 결핍 경보 지연 원인 분석 및 경보 임계 파라미터 재보정 [고급 · 3시간]	미션 9. AAR 기반 결핍 경보 지연 원인 분석 및 경보 임계 파라미터 재보정 [고급 · 3시간]
목표	AAR 사례의 결핍 경보 지연 원인을 분석하고 경보 임계 파라미터를 재보정한다.
수행	실제 결핍(재고 0 진입) 사건 48건에 대해 기존 단순 DOS 경보의 정시·지연·미탐을 분류하고 원인을 템포 급변, 추정 오차, 임계 과소로 나눈다. 예측 기반 경보의 임계를 보정 기간에서 격자 탐색으로 정하고 검증 기간에서 확인한다. 비용 절감액, 시간 단축률, 결핍 사건 감소율의 3대 효과 지표를 가정 단가와 산식으로 산출한다.
산출물	reports/str01_roi_analysis.md
평가	[필수] 경보 지연 분석·ROI — 비용 절감액, 시간 단축률 등 3대 정량 효과 지표를 산출하고, 추정 산식과 가정이 객관적이어서 군 재정·군수 기획 부서를 설득할 수 있는가.

미션 10. 전술 부대 보급 수준(DOS) 실시간 모니터링 및 결핍 경보 시스템 통합 완성 [최고급 · 3.5시간]	미션 10. 전술 부대 보급 수준(DOS) 실시간 모니터링 및 결핍 경보 시스템 통합 완성 [최고급 · 3.5시간]
목표	데이터 검증부터 예측, 경보, 승인 대기 분리, 가시화까지 이어지는 DOS 모니터링·결핍 경보 시스템과 자동 재학습 파이프라인을 완성한다.
수행	환경 점검 후 데이터를 검증하고 피처를 만들어 예측·경보를 산출한다. 경계 이상 건과 이미 재고가 0인 건을 모두 군수처장 승인 대기로 분리하며 자동 집행하지 않는다. 주기마다 도전 모델을 학습해 보류 구간 성능이 2% 이상 좋아질 때만 교체하는 재학습 파이프라인을 4회 실행하고, 운영 가이드 9장 목차와 자체 점검표, 브리핑 요약을 출력한다.
산출물	docs/str01_operations_guide.md 및 pipeline/str01_retrain.py
평가	[필수] 통합 모니터링·자동 재학습 — 자동 재학습 파이프라인이 정상 실행되고 최종 문서가 100% 완비되었으며, 운영이 지속 가능하고 군수 정보체계와 연동하기 쉬운 구조인가.

최종 판정

판정 기준 : 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.

최종 판정 결과 : ( PASS / FAIL )

평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)