pbl02/scenario_md/STR01-전략·성과·예산관리_성과관리-데이터 기반 핵심성과지표 추세·목표 관리/STR01_실습가이드.md

STR01 실습가이드 - 데이터 기반 핵심성과지표 추세·목표 관리

구 분 실습가이드 [교육용가상자료]

1. 실습 개요

본 실습은 교육용 가상 부대 20개의 5대 보급품 재고·소모 자료로 기준 보급일수(DOS) 핵심성과지표를 정의하고, 추세·목표 대비 편차·결핍 위험 일자를 관리하는 데이터 분석 도구를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(STR01_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꾸는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.

과제	STR01 데이터 기반 핵심성과지표 추세·목표 관리

난이도·유형	중급 / 데이터분석형

예상 소요시간	미션 10개, 총 28.5시간

준비물	STR01_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서

2. 진행 방법

• 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 원장 생성 함수가 빠져 오류가 난다).

• 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 같은 값이 나와야 한다(실행 시간 수치는 환경에 따라 다르다). M5 이후 코드는 모델 학습 때문에 수 초에서 20초 정도 걸릴 수 있다.

• 도전 과제는 코드 상단의 파라미터(경보 구간, 목표 DOS, 충격 배율 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.

• 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.

• 실제 부대 위치·보유량·작전 정보는 입력하지 않는다. 결핍 경보와 예측은 판단 보조이며 물자 전환 결정은 군수처장 승인과 지휘계통에 따른다.

3. 미션 진행 요약

미션	난이도·시간	핵심 확인 결과
M1. 부대별 5대 핵심 보급품(식량, 피복, 유류, 탄약, 수리부속) 재고 및 기준 보급일수(DOS) 스키마 정의	초급
1.5시간	데이터 딕셔너리 11개 필드, 스키마 위반 0건, 피처 24개
M2. 부대별 일일 소모율 정규화 및 재고 변동 데이터 전처리 모듈 구현	초급~중급
2시간	정제 규칙 10종 적용, 정합성 검증 통과율 100%(10/10)
M3. 단순 잔여 DOS 계산 및 1차 기준 미달 부대 식별 Baseline 알고리즘 구현	중급
2.5시간	달성률 50% 미만 29건(29%), 25% 미만 13건
M4. 작전 템포 변동 및 기상 악화 연계 부대별 결핍 위험 일자(Stockout Date) 정밀 예측 고도화	중급
3시간	파생 피처 13개, 기준 모델 MAPE 10.6%(단순 DOS 16.2%, 목표 25% 이하 달성)
M5. 결핍 심각도 지수 산출 및 다단계 결핍 조기경보(주의/경계/심각) 엔진 개발	중급~고급
3.5시간	MAE 0.566 -> 0.420(25.8% 개선), RMSE 25.9% 개선, R2 0.978
M6. 군단/사단 관할 부대 보급 수준(DOS) 실시간 현황 지도 및 경보 대시보드 구현	중급~고급
3시간	102일차 경보 45건 모두 상위 3개 인자 설명 산출(100%)
M7. 결핍 부대 긴급 물자 전환 결정을 위한 군수처장 HITL 승인 워크플로우 설계	고급
3.5시간	재고 회전 지표 33.4% 향상, 비용 48.3% 절감(가정 단가), 결핍량 83.9% 감소
M8. 전면전 발발 모의 전 부대 보급품 동시 급감 스트레스 시뮬레이션	고급
3시간	보강 경보 발령 정확도 최저 96.0%(목표 95% 이상), 2배 이상 충격에서 미탐 1% 이하
M9. AAR 기반 결핍 경보 지연 원인 분석 및 경보 임계 파라미터 재보정	고급
3시간	기존 경보 정시 37·지연 9·미탐 2건 -> 예측 기반(임계 2.5일) 검증 기간 미탐 0건
M10. 전술 부대 보급 수준(DOS) 실시간 모니터링 및 결핍 경보 시스템 통합 완성	최고급
3.5시간	자체 점검 8/8 PASS, 100건 모두 분류(예측 95 + 이미 결핍 5), 승인 대기 24건(자동 집행 0건)

미션 1. 부대별 5대 핵심 보급품(식량, 피복, 유류, 탄약, 수리부속) 재고 및 기준 보급일수(DOS) 스키마 정의

난이도·시간	초급 · 1.5시간

| 진행 순서 | 1) M1 코드를 실행해 데이터 딕셔너리와 스키마 검증 결과를 확인한다. 2) 100일째 품목별 DOS 달성률 표에서 목표에 못 미치는 품목을 확인한다.

3) 피처 목록과 업무 프로세스 맵(AS-IS/TO-BE)을 확인한다.

| 확인할 결과 | 데이터 딕셔너리 11개 필드, 스키마 위반 0건, 피처 24개

프로세스 11단계, 집계 AS-IS 535분 -> TO-BE 34분(94% 단축 예상, 가정값)

도전 과제	품목별 목표 DOS(ITEMS의 세 번째 값)를 바꿔 달성률과 미달 부대 수가 어떻게 달라지는지 확인한다.

제출물	데이터 딕셔너리, KPI 정의, 피처 목록, 프로세스 맵

미션 2. 부대별 일일 소모율 정규화 및 재고 변동 데이터 전처리 모듈 구현

난이도·시간	초급~중급 · 2시간

| 진행 순서 | 1) M2 코드를 실행해 주입된 오염 종류와 건수를 확인한다. 2) 정제 규칙 R1~R10의 적용 건수를 확인한다.

3) 정합성 검증 10항목 결과와 특수 예외 보존 건수를 확인한다.

| 확인할 결과 | 정제 규칙 10종 적용, 정합성 검증 통과율 100%(10/10)

긴급불출·비계획정비 40건 보존, 일반 행 복원 오차 0.6% 수준

도전 과제	R5의 상한 배수(3배)를 2배로 바꿔 복원 오차와 특수 예외 보존 여부가 어떻게 달라지는지 확인한다.

제출물	정제 코드, 정제 품질 보고서(규칙별 건수, 검증 결과)

미션 3. 단순 잔여 DOS 계산 및 1차 기준 미달 부대 식별 Baseline 알고리즘 구현

난이도·시간	중급 · 2.5시간

| 진행 순서 | 1) M3 코드를 실행해 100일째 기준 미달 부대와 품목을 확인한다. 2) 결핍 위험 일수와 상관이 큰 피처를 확인한다.

3) EDA 차트 8종을 확인하고 인사이트를 한 문장씩 적는다.

| 확인할 결과 | 달성률 50% 미만 29건(29%), 25% 미만 13건

|r| 0.3 이상 피처 7개(dos3, dos7, fill 등), 차트 8종

도전 과제	기준 미달 기준(0.5)을 0.7로 바꿔 미달 건수와 부대 순위가 어떻게 바뀌는지 확인한다.

제출물	Baseline 결과표, EDA 차트, 인사이트 정리

미션 4. 작전 템포 변동 및 기상 악화 연계 부대별 결핍 위험 일자(Stockout Date) 정밀 예측 고도화

난이도·시간	중급 · 3시간

| 진행 순서 | 1) M4 코드를 실행해 파생 피처 13개와 설계 이유를 확인한다. 2) 단순 DOS와 릿지 기준 모델의 MAPE를 비교한다.

3) 결핍 위험 일자 예측 표와 가정 시나리오 결과를 확인한다.

| 확인할 결과 | 파생 피처 13개, 기준 모델 MAPE 10.6%(단순 DOS 16.2%, 목표 25% 이하 달성)

계획 템포 +30%, 악천후 50% 가정 시 예측 결핍 일수 평균 -1.11일

도전 과제	피처 목록에서 plan7과 plan_ratio를 제외하고 MAPE가 얼마나 나빠지는지 확인해 계획 정보의 가치를 설명한다.

제출물	피처 설계 표, 모델 성능 비교표, 가정 시나리오 결과

미션 5. 결핍 심각도 지수 산출 및 다단계 결핍 조기경보(주의/경계/심각) 엔진 개발

난이도·시간	중급~고급 · 3.5시간

| 진행 순서 | 1) M5 코드를 실행해 기준 모델과 고도화 모델의 성능 비교표를 확인한다. 2) 3단계 경보 혼동표와 미탐·오탐률을 확인한다.

3) 심각도 지수 상위 경보 예시를 확인한다.

| 확인할 결과 | MAE 0.566 -> 0.420(25.8% 개선), RMSE 25.9% 개선, R2 0.978

등급 정확도 92.0%(기준 모델 88.2%), 경계 이상 미탐률 6.2%

도전 과제	경보 구간(2.5/4.5/7.5일)을 3/5/8일로 바꿔 미탐과 오탐이 어떻게 달라지는지 확인한다.

제출물	모델 비교표, 혼동표, 심각도 지수 설명

미션 6. 군단/사단 관할 부대 보급 수준(DOS) 실시간 현황 지도 및 경보 대시보드 구현

난이도·시간	중급~고급 · 3시간

| 진행 순서 | 1) M6 코드를 실행해 100~102일차 경보 분포 갱신을 확인한다. 2) 경보 건별 기여도 상위 3개 인자 설명을 확인한다.

3) 가상 격자 지도 그래프의 색상 의미를 확인한다.

| 확인할 결과 | 102일차 경보 45건 모두 상위 3개 인자 설명 산출(100%)

설명 타당성 점검 100%, 경보 분포 100일차 심각 8·경계 11·주의 29

도전 과제	경보 설명에서 1순위 인자가 바뀌는 사례(예: 악천후 예보가 높은 건)를 찾아 이유를 기록한다.

제출물	대시보드 출력, 지도 그래프, XAI 설명표

미션 7. 결핍 부대 긴급 물자 전환 결정을 위한 군수처장 HITL 승인 워크플로우 설계

난이도·시간	고급 · 3.5시간

| 진행 순서 | 1) M7 코드를 실행해 두 정책의 결핍량, 회전 지표, 비용 비교표를 확인한다. 2) 긴급 전환 제안 건수와 부대 간 전환·보급소 예비 구분을 확인한다.

3) 승인·반려 결과와 우회 시도 8건의 차단 사유를 확인한다.

| 확인할 결과 | 재고 회전 지표 33.4% 향상, 비용 48.3% 절감(가정 단가), 결핍량 83.9% 감소

제안 17건, 우회 시도 8건 모두 차단, 감사 이력 해시 검증 일치

도전 과제	동적 목표의 일수(d_b)를 6.5에서 5.0으로 줄이고 결핍량과 회전 지표의 변화를 확인한다.

제출물	시뮬레이션 비교표, 승인 흐름 출력, 우회 시도 결과

미션 8. 전면전 발발 모의 전 부대 보급품 동시 급감 스트레스 시뮬레이션

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M8 코드를 실행해 충격 배율별(1.0~3.0배) 경보 정확도와 미탐을 확인한다. 2) 모델만 쓸 때와 안전장치를 더했을 때를 비교한다.

3) 상황판 1회 갱신 시간(평균·최대)을 확인한다.

| 확인할 결과 | 보강 경보 발령 정확도 최저 96.0%(목표 95% 이상), 2배 이상 충격에서 미탐 1% 이하

상황판 갱신 평균 약 50ms(목표 2초 이내, 환경에 따라 다름)

도전 과제	충격 지속 기간(span)을 12일에서 25일로 늘려 정확도와 미탐이 어떻게 변하는지 확인한다.

제출물	충격 시험 결과표, 로딩 시간 측정 결과

미션 9. AAR 기반 결핍 경보 지연 원인 분석 및 경보 임계 파라미터 재보정

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M9 코드를 실행해 기존 단순 DOS 경보의 정시·지연·미탐 건수를 확인한다. 2) 지연 원인 분류와 재보정 격자 탐색 결과를 확인한다.

3) 3대 정량 효과 지표와 가정 산식을 확인한다.

| 확인할 결과 | 기존 경보 정시 37·지연 9·미탐 2건 -> 예측 기반(임계 2.5일) 검증 기간 미탐 0건

3대 지표: 비용 절감액 1,260(가정 단가), 시간 단축률 23.0%, 결핍 사건 감소율 13.1%, UAT 10/10

도전 과제	회피율(AVOID) 70%를 50%로 바꿔 3대 지표가 어떻게 달라지는지 확인하고 가정의 영향을 기록한다.

제출물	지연 원인 분석표, 재보정 결과, ROI 산식과 결과

미션 10. 전술 부대 보급 수준(DOS) 실시간 모니터링 및 결핍 경보 시스템 통합 완성

난이도·시간	최고급 · 3.5시간

| 진행 순서 | 1) M10 코드를 실행해 환경 점검, 데이터 검증, 경보 분포를 확인한다. 2) 승인 대기 건수와 자동 집행 0건을 확인한다.

3) 재학습 파이프라인 실행 기록의 교체·유지 결정을 확인한다.

| 확인할 결과 | 자체 점검 8/8 PASS, 100건 모두 분류(예측 95 + 이미 결핍 5), 승인 대기 24건(자동 집행 0건)

재학습 4회 실행, 보류 구간 성능이 좋아지지 않아 교체 0회(유지)

도전 과제	교체 기준(2%)을 0%로 바꿔 모델이 교체되는 횟수와 성능 변화를 확인한다.

제출물	통합 실행 코드, 재학습 기록, 자체 점검표, 운영 가이드 목차, 브리핑 요약

4. 최종 점검표

점검 항목	확인
미션 1~10 코드가 모두 오류 없이 실행되었다	( )
각 미션의 확인할 결과를 기록했다	( )
도전 과제 결과와 이유를 기록했다	( )
정량 목표 달성 여부를 출력 문구로 확인했다	( )
실제 부대·보유량·작전 정보를 사용하지 않았다	( )
물자 전환이 군수처장 승인 없이 집행되지 않음을 확인했다	( )