pbl02/scenario_md/TRN06-교육·훈련_전투력 향상 교육-AAR 관찰·평가 루브릭과 피드백 가이드/TRN06-교육·훈련_전투력 향상 교육-AAR 관찰·평가 루브릭과 피드백 가이드.md

AAR 관찰·평가 루브릭과 피드백 가이드

난 이 도 중급

프로젝트 목표

러시아-우크라이나 전쟁과 미국-이란 간 긴장 국면에서는 소부대가 짧은 시간에 전술을 익히고 실전에서 얻은 교훈을 곧바로 훈련에 되먹임해야 했고, 그 중심에 AAR(사후검토)이 있었다. 그러나 관찰관마다 평가 기준이 다르고 인상에 따라 점수가 갈리며 피드백이 '잘했다, 부족하다'에 그치면 훈련 효과는 흩어진다. 본 프로젝트에서는 교육용 가상 소부대 훈련과 가상 훈련 로그를 사용해 관찰관(O/C)의 평가 체계 분석, 전술 행동·의사결정·팀워크·보고 절차를 포괄하는 4단계 평가 루브릭과 관찰 근거 6단계 설계, 편향을 줄이는 관찰 가이드라인, 로그 기반 1차 평가지 작성, 사실에 기반한 피드백 대화 스크립트와 코칭 가이드, 평가자 간 점수 편차 스트레스 테스트, 관찰관 주관 개입 사례 분석과 척도 보정, 모의 AAR 재실행과 코칭 효과 검증을 차례로 수행한다. 최종 목표는 근거·책임 직책·기록 요건이 분명한 AAR 관찰·평가 루브릭 및 피드백 표준 가이드북을 문서로 완성하는 것이다.

유의사항	모든 부대·훈련·로그·평가 점수·인원·직책은 교육용 가상 자료이며 실제 부대명, 훈련 장소, 개인 평가 결과, 교리 원문, 실존 인물 정보는 사용하지 않는다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 본 과제는 실제 장병을 평가하는 것이 아니라 가상 훈련 기록으로 평가 절차를 연습하는 문서 작업이며, 최종 판단은 사람이 내린다. 피드백은 행동과 사실에 대해서만 하고 인격 비하 표현을 쓰지 않으며, 훈련 중 부상이나 심한 심리적 어려움 신호가 보이면 의무대와 상담관 연계가 우선이고 이 과제는 진단을 하지 않는다. 훈련 중 교전수칙·인도주의 원칙 준수 여부는 평가 항목에 포함하며 실제 교전·작전 판단은 교전수칙과 지휘계통에 따른다. 이 자료의 등급과 권한 구분은 학습용 가상 기준이다.

1단계. 관찰관 평가 체계 분석 및 4단계 평가 루브릭 설계

미션 1. 소부대 전술 훈련 AAR 관찰관(Observer Controller)의 평가 체계 분석 [초급 · 1.5시간]	미션 1. 소부대 전술 훈련 AAR 관찰관(Observer Controller)의 평가 체계 분석 [초급 · 1.5시간]
목표	소부대 전술 훈련에서 AAR 관찰관이 무엇을 어떤 목표로 평가하는지 평가 체계를 분석하고, 가이드북 전체 문서 골격을 정의한다.
수행	실습자료의 가상 AAR 평가 사례 5건을 읽고 각 사례에서 관찰관이 무엇을 평가했는지, 평가 근거가 기록되었는지, 피드백이 어떤 형태로 전달되었는지를 비교표로 정리한다. 관찰관 평가에서 자주 생기는 문제(인상 평가, 기준 불명, 근거 없는 점수, 피드백 누락)를 찾고 보완 방법을 적는다. 지휘관이 가장 먼저 알아야 할 의제 순으로 가이드북 8개 장의 목차를 배열한다.
산출물	docs/trn06_doc_framework.md 및 분석 개요서(관찰관 평가 체계 비교표, 가이드북 목차 골격)
평가	[필수] 평가 체계 분석·문서 골격 — 가상 평가 사례 5건 이상을 검토해 평가 대상·근거·피드백 방식을 비교했는가, 가이드북 목차(8개 장) 골격을 100% 정의하고 지휘관 결심 의제 순으로 배열했는가.

미션 2. 전술 행동, 의사결정, 팀워크, 보고 절차를 포괄하는 4단계 평가 루브릭 설계 [초급~중급 · 2시간]	미션 2. 전술 행동, 의사결정, 팀워크, 보고 절차를 포괄하는 4단계 평가 루브릭 설계 [초급~중급 · 2시간]
목표	전술 행동, 의사결정, 팀워크, 보고 절차를 포괄하는 4단계 평가 루브릭을 설계하고, 관찰 근거의 확인 정도를 6단계로 구분한다.
수행	평가 영역 4개(전술 행동, 의사결정, 팀워크, 보고 절차)마다 미흡·보통·우수·탁월 4단계의 판정 기준을 관찰 가능한 행동으로 쓴다. 관찰 근거를 직접 관찰과 기록 대조가 모두 있는 단계(E1)부터 근거 없는 인상(E6)까지 6단계로 나누고 단계별 기준을 작성한다. 평가 지표를 10개 이상 정의하고 지표마다 측정 방법을 적는다. 가상 관찰 기록 5종에 조원이 각자 등급을 매겨 일치 여부를 비교하고 불일치한 기준 문구를 고친다. 한 명의 인상만으로 점수를 확정하지 않는 교차 확인 규칙을 둔다.
산출물	framework/trn06_source_reliability_matrix.md(4영역 x 4단계 루브릭, 관찰 근거 6단계 기준, 평가 지표표, 교차 확인 규칙)
평가	[필수] 4단계 루브릭·근거 6단계·평가 지표 — 관찰 근거 기준 6단계를 완비하고 평가 지표 10개 이상을 정의했는가, 가상 관찰 기록 5종에 대한 조원 간 등급 일치가 4건 이상이고 편향 방지 주의와 교차 확인 규칙을 명시했는가.

2단계. 관찰 가이드라인 작성 및 가상 훈련 로그 기반 1차 평가지 작성

미션 3. 주관적 편향을 배제하고 사실 기반 피드백을 유도하는 관찰 가이드라인 작성 [중급 · 2.5시간]	미션 3. 주관적 편향을 배제하고 사실 기반 피드백을 유도하는 관찰 가이드라인 작성 [중급 · 2.5시간]
목표	주관적 편향을 줄이고 사실에 기반한 피드백이 나오도록 관찰관이 따를 관찰 가이드라인을 작성하고, 관찰 공백과 불확실성을 정리한다.
수행	관찰 전 준비, 관찰 중 기록 요령(시각, 행동, 말, 결과), 관찰 후 정리 순서를 담은 관찰 가이드라인을 작성한다. 같은 훈련을 본 관찰관 두 명의 기록이 어긋난 가상 사례 4건을 읽고 어긋남이 시각, 행동 해석, 척도, 시야 중 어디에서 생겼는지 분류한다. 관찰을 흔드는 공백·편향 요인(관찰 위치 시야 제한, 야간, 관찰관 1명이 여러 팀 담당, 후광 효과, 최근 효과 등)을 8개 이상 찾아 영향도(높음·중간·낮음)를 매기고 보완 방법을 적는다. 인상이 아닌 행동으로 쓰는 표현 규칙을 둔다.
산출물	analysis/trn06_uncertainty_assessment.md(관찰 가이드라인, 어긋난 기록 분류표, 관찰 공백·편향 영향도 매트릭스, 판단 한계 문서)
평가	[필수] 관찰 가이드라인·편향 평가 — 관찰 공백·편향 요인 8개 이상과 영향도 매트릭스를 도출했는가, 어긋난 기록 4건에 원인 후보와 확인 방법을 적고 판단의 한계와 보완 방법을 명시했는가.

미션 4. 가상 훈련 영상/로그 기반 AAR 루브릭 적용 및 1차 평가지 작성 실습 [중급 · 3시간]	미션 4. 가상 훈련 영상/로그 기반 AAR 루브릭 적용 및 1차 평가지 작성 실습 [중급 · 3시간]
목표	가상 훈련 영상 기록과 로그를 바탕으로 AAR 루브릭을 적용해 1차 평가지를 작성하고, 점수를 확정해도 되는 근거 기준을 만든다.
수행	실습자료의 가상 훈련 로그 14줄을 읽고 평가 영역별로 관찰 행동을 찾아 루브릭 등급을 매기는 1차 평가지를 작성한다. 점수를 확정할 근거(시각 기재, 직접 관찰, 로그 대조, 복수 관찰관 일치 등)를 12개 이상 항목화하고 가중치로 근거 종합 점수 산식을 정한다. 점수 미달이거나 반대 근거가 하나라도 있으면 점수 확정을 보류하고 추가 관찰을 요청하도록 쓰고 가상 사례 3종에 적용한다. 레드팀이 반박해 최소 증거 요건을 보완한다. 법적·인도주의 쟁점은 법무 검토 연계 항목으로만 표시한다.
산출물	matrix/trn06_attribution_matrix.xlsx(md)(1차 평가지, 근거 항목표, 가중치 산식), 점수 확정·보류 판단 지침서 초안
평가	[선택] 근거 항목·1차 평가지 — 점수 확정 근거 12개 이상 항목화와 가중치 산식을 100% 정립했는가, 로그 14줄에 대한 1차 평가지와 사례 3종 적용 결과를 기록하고 레드팀 반박에 대응해 최소 증거 요건을 설정했는가.

3단계. 피드백 코칭 가이드 개발 및 성과 종합 분석표 설계

미션 5. 훈련 부대원 대상 강점/약점 피드백 대화 스크립트 및 코칭 가이드 개발 [중급~고급 · 3시간]	미션 5. 훈련 부대원 대상 강점/약점 피드백 대화 스크립트 및 코칭 가이드 개발 [중급~고급 · 3시간]
목표	훈련 부대원에게 강점과 약점을 전달하는 피드백 대화 스크립트와 코칭 가이드를 개발하고, 점수 확정과 피드백 전달의 분기점·책임 직책을 정한다.
수행	상황(관찰한 행동), 영향(그 결과), 질문(본인의 생각), 다음 행동(구체적 개선) 순의 피드백 대화 스크립트를 만들고 강점 피드백과 약점 피드백 예시를 각각 3개 이상 쓴다. 인격 비하·비교·감정적 표현 금지 규칙과 대안 표현을 정한다. 점수 확정, 피드백 전달, 보류의 분기점을 의사결정 트리로 묶고 분기점마다 책임 직책(가상)을 적는다. 판단이 애매한 경계선 사례 5종에 적용해 '피드백 전달·보류 유지·추가 관찰 요청' 중 하나를 고르고 근거를 기록한다. 훈련 중 부상·심리적 어려움 신호는 의무대·상담관 연계로 넘기며 이 과제는 진단을 하지 않는다. 교전수칙·인도주의 원칙 위반 의심은 평가 점수 이전에 지휘계통과 법무 검토로 보고하도록 분기점에 넣는다.
산출물	sop/trn06_approval_thresholds_sop.md(피드백 대화 스크립트, 코칭 가이드, 점수 확정·피드백 분기점, 책임 직책 매핑), 모의 결심 기록지
평가	[필수] 피드백 스크립트·분기점·책임 매핑 — 분기점 조건 100% 명시와 책임 직책 매핑을 완료했는가, 경계선 사례 5종 모두에 판단과 근거가 기록되고 교전수칙·인도주의 원칙 준수, 의무대·상담관 연계, 사람의 최종 판단을 지켰는가.

미션 6. 지휘관 보고용 부대 훈련 성과 종합 분석표 및 개선 과제 카드 설계 [중급 · 2.5시간]	미션 6. 지휘관 보고용 부대 훈련 성과 종합 분석표 및 개선 과제 카드 설계 [중급 · 2.5시간]
목표	지휘관 보고용 부대 훈련 성과 종합 분석표와 개선 과제 카드를 설계한다.
수행	영역별 등급, 근거 단계, 강점, 개선 과제, 다음 훈련 목표를 한 쪽에 담는 성과 종합 분석표를 설계한다. 개선 과제 카드에는 과제, 근거 행동, 책임 직책, 기한, 확인 방법을 적는다. 가상 평가 메모 3종에서 관찰 사실, 해석, 조치, 미확인을 서로 다른 표시로 구분하고 '잘함', '열심히 함', '분위기가 좋음' 같은 혼동 유발 표현의 금지 목록과 대체 표현을 6개 이상 만든다.
산출물	templates/trn06_aar_fact_action_template.md(성과 종합 분석표, 개선 과제 카드, 기록 분류 규칙, 혼동 유발 표현 금지 가이드)
평가	[선택] 기록 분류·성과 분석표 — 기록 분류 규칙 100% 표준화, 혼동 유발 표현 금지 가이드 6개 이상을 포함하고 가상 평가 메모 3종에서 사실과 해석의 혼동이 0건인가.

4단계. 평가자 간 편차 스트레스 테스트 및 주관 개입 사례 AAR

미션 7. 평가자 간 점수 편차 발생 상황 모의 신뢰도 스트레스 테스트 [고급 · 3시간]	미션 7. 평가자 간 점수 편차 발생 상황 모의 신뢰도 스트레스 테스트 [고급 · 3시간]
목표	평가자마다 점수가 달라지는 상황을 모의로 만들어 루브릭의 신뢰도를 스트레스 테스트하고, 5개 영역 4등급 최종 평가 루브릭을 정의한다.
수행	같은 가상 훈련 기록을 평가자 4명이 상의 없이 채점하게 하고, 관대화 경향, 엄격화 경향, 후광 효과, 최근 효과, 중심화 경향을 일으키는 모의 카드를 주입한다. 평가자 간 점수 편차와 일치율을 계산하고 편차가 큰 영역의 기준 문구를 고친다. M2의 4개 영역에 안전·규정 준수를 더한 5개 영역과 4단계(탁월·우수·보통·미흡) 기준을 관찰 가능한 행동으로 정의한다.
산출물	rubric/trn06_evaluation_rubric.md(5영역 4단계 최종 루브릭, 평가자 채점 편차표, 편향 유형별 대응)
평가	[필수] 평가자 편차 스트레스·루브릭 — 평가 영역 5개와 등급 4단계(탁월·우수·보통·미흡) 기준 정의율 100%인가, 평가자 2명 이상 채점 일치율 80% 이상이고 편차가 큰 영역의 보정 내용을 기록했는가.

미션 8. AAR 회의를 통한 관찰관 주관 개입 사례 분석 및 루브릭 척도 보정 [고급 · 3.5시간]	미션 8. AAR 회의를 통한 관찰관 주관 개입 사례 분석 및 루브릭 척도 보정 [고급 · 3.5시간]
목표	AAR 회의에서 관찰관의 주관이 개입된 사례를 분석해 원인을 규명하고 루브릭 척도를 보정하며, 레드팀 비판으로 가이드의 취약한 전제를 찾는다.
수행	가상 AAR 회의 기록 2건을 읽고 관찰관의 인상이나 친분이 점수나 피드백에 개입된 지점을 표시한다. 원인을 사람·절차·정보·척도로 분류하되 개인 비난이 아니라 절차와 기준 중심으로 쓴다. 레드팀이 가이드의 전제를 5건 이상 비판하고 작성 팀은 반박하거나 수정안과 경고 문구를 적는다. 척도 문구를 보정하고 지나친 표준화로 현장 판단이 굳어지는 반대 방향 위험도 점검한다.
산출물	reports/trn06_redteam_critique_report.md(주관 개입 원인 분석표, 레드팀 쟁점·대응표, 척도 보정 내용)
평가	[선택] 주관 개입 원인·척도 보정 — 도출된 비판적 쟁점 5건 이상에 대해 반박 및 수정 대안을 100% 수립했는가, 취약한 전제에 경고 문구를 명시하고 척도를 보정했으며 반대 방향 위험을 점검했는가.

5단계. 모의 AAR 재실행·코칭 효과 검증 및 표준 가이드북 완성

미션 9. 피드백을 반영한 모의 AAR 세션 재실행 및 코칭 효과 검증 [고급 · 3시간]	미션 9. 피드백을 반영한 모의 AAR 세션 재실행 및 코칭 효과 검증 [고급 · 3시간]
목표	피드백을 반영해 모의 AAR 세션을 다시 실행하고 코칭이 실제로 수행 개선으로 이어졌는지 검증한 뒤 결과를 1페이지 브리핑으로 요약한다.
수행	1차 훈련 기록과 피드백 후 재훈련 기록을 같은 루브릭으로 비교해 영역별 등급 변화와 개선 과제 이행 여부를 가상 재검증 사례 7건으로 정리한다. 코칭 방식에 따라 변화가 달랐는지 확인하고 피드백이 닿지 않은 영역의 원인을 적는다. 결론을 첫 문장에 두는 BLUF 틀로 핵심 결심 사항, 위험 요소, 대안 3종을 A4 1페이지에 담고 3분 발표를 리허설한다.
산출물	briefing/trn06_commander_1page_brief.md(pdf)(1차·재실행 비교표, 코칭 효과 검증표, 1페이지 브리핑)
평가	[필수] 재실행 비교·1페이지 브리핑 — 핵심 결심 사항, 위험 요소, 대안 3종이 1페이지(A4) 안에 완결되는가, 재검증 7건의 전후 비교와 BLUF 준수(결론 먼저, 3분 이내 발표)를 확인했는가.

미션 10. AAR 관찰·평가 루브릭 및 피드백 표준 가이드북 최종 완성 [최고급 · 3시간]	미션 10. AAR 관찰·평가 루브릭 및 피드백 표준 가이드북 최종 완성 [최고급 · 3시간]
목표	미션 1~9의 산출물을 통합해 AAR 관찰·평가 루브릭 및 피드백 표준 가이드북을 완성하고 모의 심의를 거친다.
수행	산출물을 가이드북 8개 장(목적과 적용 범위, 용어, 관찰 가이드라인, 평가 루브릭, 점수 확정과 피드백, 기록·보고, 훈련·평가, 개정 관리)과 부록에 배치하고 빠진 내용을 보완한다. 모든 기준 조항에 근거가 된 미션 번호나 실습자료 가상 사례를 표기한다. 교리·법무·작전 역할로 나누어 다른 조의 가이드북을 모의 심의하고 지적 사항을 반영한다. 사람의 최종 판단과 교전수칙 우선 문구, 의무대·상담관 연계 문구를 명시한다.
산출물	manual/trn06_standard_operational_manual.md(표준 가이드북 8개 장과 부록, 근거 표기 점검표, 심의 반영표)
평가	[필수] 표준 가이드북 통합 완성 — 가이드북 8개 장과 부록을 100% 완성하고 모든 기준 조항에 근거(미션·가상 자료)를 표기했는가, 모의 심의 지적 사항을 반영하고 '최종 판단은 사람이 하며 실제 교전·작전 판단은 교전수칙·지휘계통에 따른다'는 문구를 명시했는가.

최종 판정

판정 기준 : 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.

최종 판정 결과 : ( PASS / FAIL )

평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)