39 KiB
TRN06 실습자료 - AAR 관찰·평가 루브릭과 피드백 가이드
구 분 실습자료 [교육용가상자료]
1. 사용 안내
이 자료는 시나리오 미션 1~10을 수행할 때 바로 쓰는 가상 AAR 평가 사례, 가상 훈련 로그, 작성 서식, 점검표를 담고 있다. 모든 부대·훈련·로그·점수는 [교육용가상자료]이며 실제와 관계없다.
-
미션마다 '가. 제공 자료 → 나. 작성 서식 → 다. 점검표' 순서로 사용한다. 서식의 빈칸 '( )'과 빈 셀은 학습자가 채운다.
-
개인 작업을 먼저 하고 조별(4~6명) 토의로 합의안을 만든다. 조별 역할은 조장(평가 책임), 기록자, 관찰관, 레드팀으로 나누고 미션마다 돌아가며 맡는다.
-
평가 등급은 미흡·보통·우수·탁월 4단계로, 관찰 근거의 확인 정도는 E1(가장 강함)~E6(근거 없는 인상) 6단계로 따로 표기한다.
-
점수 판단은 '점수 확정·피드백 전달', '보류 유지', '추가 관찰 요청' 중 하나로 기록한다.
-
피드백은 행동과 사실에 대해서만 쓰고 인격을 평가하는 표현은 쓰지 않는다.
-
작성한 서식은 미션 10 가이드북의 본문과 부록으로 다시 쓰이므로 버리지 말고 모아 둔다.
-
마지막 '4. 평가 채점표'로 미션별 PASS/FAIL을 판정한다.
| 안전 원칙: 본 자료의 루브릭, 근거 단계, 권한 구분은 AAR 평가 절차를 연습하기 위한 학습용 가상 기준이며 실제 장병이나 부대를 평가하지 않는다. 훈련 중 부상이나 심한 심리적 어려움 신호는 의무대·상담관 연계가 우선이며 이 과제는 진단을 하지 않는다. 최종 판단은 사람이 내리며 실제 교전·작전 판단은 교전수칙과 지휘계통에 따른다. 실제 부대 자료를 입력하거나 부대 내에서 촬영하지 않는다. |
|---|
2. 가상 상황 설정
| 가상 부대 | 가상 제3소총중대(소대 3개, 관찰관 O/C 3명, 선임 관찰관 1명), 상급 가상 제15대대 [교육용가상자료] |
|---|
| 가상 훈련 | 가상 소부대 전술 훈련 1회차(D일 09:00~12:00): 집결지 이동, 방어 진지 점령, 모의 접촉, 부상자 처리 모의, 보고. 사격은 모의 신호로만 한다. |
|---|
| AAR 흐름 | 훈련 -> 관찰관 기록 -> 평가지 작성 -> 훈련 부대원 대상 AAR 세션(피드백) -> 개선 과제 -> 재훈련(D+3일) |
|---|
| 평가 영역 | 전술 행동, 의사결정, 팀워크, 보고 절차(M7에서 안전·규정 준수 추가) |
|---|
| 문제 상황 | 관찰관마다 점수 기준이 다르고 '잘함', '부족함'으로만 기록하며, 같은 팀을 본 두 관찰관의 평가가 어긋난다. 근거 없이 인상으로 점수가 매겨지고 피드백은 개인 평가로 흐르기 쉽다. |
|---|
| 제한 | 실제 부대명·훈련장·개인 평가 결과·교리 원문은 쓰지 않는다. 직책은 가상 직책으로만 적는다. |
|---|
3. 미션별 실습자료
미션 1. 소부대 전술 훈련 AAR 관찰관(Observer Controller)의 평가 체계 분석
가. 제공 자료 - 가상 AAR 평가 사례 5건 [교육용가상자료]
| 사례 | 관찰관 평가 요약 | 평가 근거 기록 | 피드백 방식 | 눈에 띄는 문제 |
|---|---|---|---|---|
| C1 | '1소대 지휘 양호, 4점/5점' | 없음 | 구두 한 줄 | 기준 불명, 4점의 근거 없음 |
| C2 | '2소대 보고 지연, 팀워크 부족' | 시각 1건 | 구두, 소대장 앞에서 질책 | '부족'의 기준 없음, 공개 질책 |
| C3 | '3소대 분위기 좋음' | 인상 | 서면 평가지만 전달 | 행동 근거 없음, 피드백 대화 없음 |
| C4 | 같은 훈련을 본 O/C 1은 '우수', O/C 2는 '보통' | 각자 메모 | 각자 따로 피드백 | 관찰 위치와 기준이 달라 일관성 없음 |
| C5 | '지난번에도 늦더니 이번에도 늦음' | 과거 인상 | 구두 | 최근·과거 인상이 평가에 개입 |
나. 작성 서식 1 - 관찰관 평가 체계 비교표
| 평가 요소 | 사례에서 확인된 방식 | 문제점 | 보완 방법 |
|---|---|---|---|
| 평가 대상(무엇을 보는가) | |||
| 평가 기준(척도) | |||
| 근거 기록 | |||
| 피드백 전달 방식 | |||
| 기록 보관·후속 조치 |
나. 작성 서식 2 - 가이드북 목차 골격(지휘관 결심 의제 순으로 배열)
| 순서 | 장 제목 | 담을 핵심 내용 | 지휘관이 이 장에서 얻는 판단 정보 |
|---|---|---|---|
| 제1장 | |||
| 제2장 | |||
| 제3장 | |||
| 제4장 | |||
| 제5장 | |||
| 제6장 | |||
| 제7장 | |||
| 제8장 |
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 가상 평가 사례 5건을 모두 검토하고 문제점을 표시했다 | ( ) |
| 평가 체계 5개 요소 모두에 문제점과 보완 방법을 적었다 | ( ) |
| C5처럼 과거 인상이 개입한 사례를 찾아 표시했다 | ( ) |
| 가이드북 목차 8개 장의 제목과 핵심 내용을 정의했다 | ( ) |
| 목차를 지휘관이 먼저 알아야 할 의제 순으로 배열하고 이유를 한 줄로 적었다 | ( ) |
미션 2. 전술 행동, 의사결정, 팀워크, 보고 절차를 포괄하는 4단계 평가 루브릭 설계
가. 제공 자료 1 - 가상 관찰 기록 5종 [교육용가상자료]
| 기록 | 관찰 내용 | 근거 | 비고 |
|---|---|---|---|
| R1 | '10:12 2소대장이 접촉 발생 후 40초 만에 분대장 3명에게 지시를 전달했다' | 관찰관 직접 관찰 + 훈련 로그 시각 대조 | 시각·행동 명시 |
| R2 | '10:20 3소대 통신 보고가 1분 늦었다고 한다' | 다른 관찰관 전언 | 전달 |
| R3 | '1소대는 협동이 잘 되었다' | 관찰관 인상 | 행동 없음 |
| R4 | '11:05 부상자 모의 처리 시 분대원 2명이 역할을 서로 확인하고 이동했다' | 관찰관 직접 관찰, 동영상 기록 대조 | 행동 명시 |
| R5 | '보고 절차 미흡' | 근거 없음 | 결론만 기재 |
가. 제공 자료 2 - 관찰 근거 6단계 틀. 단계 이름은 고정하고 판정 기준을 조별로 작성한다.
| 단계 | 이름 | 판정 기준(조별 작성) |
|---|---|---|
| E1 | 직접 관찰·기록 대조 | |
| E2 | 직접 관찰 | |
| E3 | 복수 관찰관 일치 | |
| E4 | 단일 전언 | |
| E5 | 추정·해석 | |
| E6 | 근거 없는 인상 |
나. 작성 서식 1 - 4영역 x 4단계 평가 루브릭(관찰 가능한 행동으로 작성)
| 평가 영역 | 미흡 | 보통 | 우수 | 탁월 |
|---|---|---|---|---|
| 전술 행동 | ||||
| 의사결정 | ||||
| 팀워크 | ||||
| 보고 절차 |
나. 작성 서식 2 - 평가 지표(10개 이상, 예시 2개 포함)
| 번호 | 평가 지표 | 측정 방법(관찰 가능한 기준) | 기록 책임자(가상 직책) |
|---|---|---|---|
| 1 | 접촉 발생부터 지시 전달까지 걸린 시간 | 훈련 로그 시각과 관찰관 시각 기록 대조(초 단위) | 관찰관 |
| 2 | 보고 항목 완비율 | 보고 서식 항목 수 대비 빠짐없이 말한 항목 수 | 기록자 |
| 3 | |||
| 4 | |||
| 5 | |||
| 6 | |||
| 7 | |||
| 8 | |||
| 9 | |||
| 10 | |||
| 11 | |||
| 12 |
나. 작성 서식 3 - 등급 부여 일관성 시험(조원이 각자 근거 단계 E1~E6을 매기고 비교)
| 기록 | 조원 1 | 조원 2 | 조원 3 | 조원 4 | 일치 여부 | 불일치 원인 |
|---|---|---|---|---|---|---|
| R1 | ||||||
| R2 | ||||||
| R3 | ||||||
| R4 | ||||||
| R5 |
나. 작성 서식 4 - 교차 확인 규칙: 전언만 있는 기록은 E ( ) 이하로 보고 점수 확정은 서로 다른 관찰관 ( )명 이상의 일치 또는 ( ) 대조가 있을 때만 검토한다. 근거 단계가 E5 이하인 기록은 점수에 ( ).
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 4영역 x 4단계 루브릭을 모두 관찰 가능한 행동으로 작성했다 | ( ) |
| E1~E6 판정 기준을 모두 작성했다 | ( ) |
| 평가 지표를 10개 이상 정의했다 | ( ) |
| 가상 관찰 기록 5종에 대한 조원 등급이 4건 이상 일치했다(불일치 건은 원인과 수정 내용을 적었다) | ( ) |
| 단일 관찰관 의존 경고와 교차 확인 규칙을 명시했고 편향 방지 문구를 넣었다 | ( ) |
미션 3. 주관적 편향을 배제하고 사실 기반 피드백을 유도하는 관찰 가이드라인 작성
가. 제공 자료 1 - 어긋난 가상 관찰 기록 쌍 4건 [교육용가상자료]
| 쌍 | 관찰관 A 기록 | 관찰관 B 기록 | 어긋난 지점 |
|---|---|---|---|
| K1 | 10:12 지시 전달 40초 | 10:12 접촉, 10:14 지시 전달(약 2분) | 시각 기준(접촉 선언 vs 인지) |
| K2 | 2소대 의사결정 '우수' | 2소대 의사결정 '보통' | 척도 해석 |
| K3 | 3소대 보고 '완비' | 3소대 보고 '2개 항목 누락'(측면에서 관찰) | 관찰 위치(시야) |
| K4 | 1소대장 '침착' | 1소대장 '지시가 불분명' | 행동 해석(인상 vs 행동) |
가. 제공 자료 2 - 관찰 공백·편향 요인 예시 3개(나머지 5개 이상은 조별로 찾는다)
| 요인 | 발생 상황 | 보완 방법(예) |
|---|---|---|
| 관찰 위치 시야 제한 | 관찰관이 측면에 있어 일부 분대 행동을 못 봄 | 관찰 위치 교대, 기록에 못 본 구간을 표시 |
| 후광 효과 | 한 영역이 우수하면 다른 영역도 높게 평가 | 영역별로 따로 근거를 적고 영역 순서를 바꿔 채점 |
| 최근 효과 | 훈련 후반 행동만 기억에 남음 | 시각별 메모를 훈련 중 작성 |
나. 작성 서식 1 - 관찰 가이드라인(빈칸 작성)
| 단계 | 해야 할 일 | 기록 방식 | 금지 사항 |
|---|---|---|---|
| 관찰 전 | |||
| 관찰 중 | |||
| 관찰 후 |
나. 작성 서식 2 - 어긋난 기록 분류와 원인 후보
| 쌍 | 어긋난 유형(시각·척도·시야·해석) | 원인 후보(기준 차이, 관찰 위치, 인상 개입) | 확인 방법 | 결론(점수 확정·보류·추가 관찰) |
|---|---|---|---|---|
| K1 | ||||
| K2 | ||||
| K3 | ||||
| K4 |
나. 작성 서식 3 - 관찰 공백·편향 영향도 매트릭스(8개 이상)
| 번호 | 공백·편향 요인 | 영향도(높음·중간·낮음) | 보완 방법 | 판단의 한계 |
|---|---|---|---|---|
| 1 | 관찰 위치 시야 제한 | |||
| 2 | 후광 효과 | |||
| 3 | 최근 효과 | |||
| 4 | ||||
| 5 | ||||
| 6 | ||||
| 7 | ||||
| 8 | ||||
| 9 | ||||
| 10 |
나. 작성 서식 4 - 표현 규칙: 허용 표현 '(시각) (대상)이 (행동)했다', 금지 표현 '( )', 판단의 한계 문장 '이 평가는 ( )를 관찰하지 못했다'
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 관찰 가이드라인에 관찰 전·중·후 단계가 모두 있다 | ( ) |
| 어긋난 기록 4건의 유형과 원인 후보를 2개 이상 적었다 | ( ) |
| 공백·편향 요인을 8개 이상 찾고 영향도를 매겼다 | ( ) |
| 요인마다 보완 방법을 적었다 | ( ) |
| 인상이 아닌 행동으로 쓰는 표현 규칙과 판단의 한계를 명시했다 | ( ) |
미션 4. 가상 훈련 영상/로그 기반 AAR 루브릭 적용 및 1차 평가지 작성 실습
가. 제공 자료 1 - 가상 훈련 로그 14줄 [교육용가상자료] (2소대 중심, 가상 훈련 D일)
| 번호 | 시각 | 로그 내용 |
|---|---|---|
| 1 | 09:05 | 2소대 집결지 도착, 인원 점검 완료(소대장 구두 확인) |
| 2 | 09:20 | 이동 중 분대 간격이 벌어졌다는 관찰관 메모(시각 없음) |
| 3 | 09:40 | 방어 진지 점령 완료, 구역 분담 지시를 분대장 3명에게 전달(관찰·로그 일치) |
| 4 | 10:12 | 모의 접촉 발생(통제관 신호) |
| 5 | 10:12:40 | 소대장이 분대장에게 사격 구역 지시 전달(관찰·로그 일치) |
| 6 | 10:15 | 통신병 보고 1분 지연(다른 관찰관 전언) |
| 7 | 10:18 | 분대 1이 측면 이동, 분대 2는 제자리 대기(소대장 의도 불분명이라는 메모) |
| 8 | 10:30 | 모의 접촉 종료 선언 |
| 9 | 10:45 | 모의 부상자 1명 발생, 분대원 2명이 역할 확인 후 이동(관찰·영상 일치) |
| 10 | 10:50 | 부상자 보고서의 위치 항목 누락(보고 서식 대조) |
| 11 | 11:10 | 소대장이 보고 후 분대장 의견을 묻고 지시 수정(관찰 일치) |
| 12 | 11:20 | 분대장 1명이 안전 수칙 위반 의심 행동(관찰관 1명만 목격) |
| 13 | 11:35 | 교전수칙 시나리오 카드에 따라 '민간인 접근' 모의 대응: 사격 중지 선언(관찰·로그 일치) |
| 14 | 11:50 | 철수 후 인원·장비 점검 완료(소대장 구두 확인) |
가. 제공 자료 2 - 근거 항목 예시 4개(나머지는 조별로 12개 이상으로 늘린다)
| 근거 항목 | 방향(지지·반박) | 가중치 예시 |
|---|---|---|
| 관찰관이 직접 관찰하고 시각을 적었음 | 지지 | +3 |
| 훈련 로그 또는 영상으로 대조됨 | 지지 | +3 |
| 전언이며 시각이 없음 | 반박 | -3 |
| 관찰관 1명만 목격했고 반대 기록이 있음 | 반박 | -4 |
나. 작성 서식 1 - 1차 평가지(2소대)
| 평가 영역 | 관찰된 행동(로그 번호) | 루브릭 등급 | 근거 단계(E1~E6) | 점수 확정 가능 여부 |
|---|---|---|---|---|
| 전술 행동 | ||||
| 의사결정 | ||||
| 팀워크 | ||||
| 보고 절차 |
나. 작성 서식 2 - 점수 확정 근거 항목 목록(12개 이상)
| 번호 | 근거 항목 | 방향(지지·반박·확인 불가) | 가중치 | 확인 방법 |
|---|---|---|---|---|
| 1 | ||||
| 2 | ||||
| 3 | ||||
| 4 | ||||
| 5 | ||||
| 6 | ||||
| 7 | ||||
| 8 | ||||
| 9 | ||||
| 10 | ||||
| 11 | ||||
| 12 |
나. 작성 서식 3 - 산식과 규칙: 종합 점수 = (지지 근거 가중치 합) - (반박 근거 가중치 합 절댓값) 이다. 규칙 1 점수 ( )점 이상이면 점수 확정 검토, 규칙 2 반박 근거가 하나라도 있으면 ( ), 규칙 3 확인 불가 항목이 ( )개 이상이면 ( ), 규칙 4 교전수칙·안전 수칙 위반 의심은 점수와 관계없이 ( ).
나. 작성 서식 4 - 가상 사례 3종 적용(S1 로그 5번 지시 전달, S2 로그 6번 통신 지연, S3 로그 12번 안전 수칙 위반 의심)과 레드팀 반박
| 사례 | 지지 근거 합 | 반박 근거 합 | 종합 점수 | 판단(점수 확정·보류·추가 관찰) | 레드팀 반박과 대응 |
|---|---|---|---|---|---|
| S1 | |||||
| S2 | |||||
| S3 |
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 평가 영역 4개 모두에 관찰 행동과 로그 번호를 적었다 | ( ) |
| 근거를 12개 이상 항목화하고 방향과 가중치를 적었다 | ( ) |
| 산식과 규칙 1~4의 빈칸을 모두 채웠다 | ( ) |
| 사례 S1~S3의 점수와 판단을 계산해 기록했다 | ( ) |
| 전언·시각 없는 메모를 근거 단계가 낮은 것으로 처리했고 안전 수칙 위반 의심을 지휘계통 보고로 연결했다 | ( ) |
미션 5. 훈련 부대원 대상 강점/약점 피드백 대화 스크립트 및 코칭 가이드 개발
가. 제공 자료 1 - 피드백 대화 스크립트 틀과 약점 피드백 예시 1개
| 순서 | 구성 | 예시 문장(약점 피드백) | 작성할 문장(조별) |
|---|---|---|---|
| 1 | 상황(관찰한 행동) | '10시 12분 접촉 직후 사격 구역 지시가 40초 걸렸습니다.' | |
| 2 | 영향(결과) | '그 사이 분대 2는 제자리에서 대기했습니다.' | |
| 3 | 질문(본인의 생각) | '그때 어떤 점이 지시를 어렵게 했다고 생각합니까?' | |
| 4 | 다음 행동 | '다음에는 구역 분담을 접촉 전에 정해 두는 방법을 시도해 봅시다.' |
가. 제공 자료 2 - 경계선 사례 5종 [교육용가상자료]
| 묶음 | 내용 | 애매한 이유 |
|---|---|---|
| B1 | 지시 지연 관찰, 근거 E2, 로그 대조 없음 | 근거는 있으나 대조 부족 |
| B2 | O/C 1 '우수', O/C 2 '보통', 같은 행동을 다르게 해석 | 관찰관 간 불일치 |
| B3 | 분대장 안전 수칙 위반 의심, 1명만 목격 | 교전수칙·안전 쟁점, 지휘계통 보고 필요 |
| B4 | 훈련 부대원이 피드백 중 매우 낙담한 모습을 보임 | 심리 신호, 상담관 연계 검토 |
| B5 | 지휘관이 오늘 안에 점수를 확정하라고 요청 | 확인 생략 압박 |
가. 제공 자료 3 - 책임 직책 예시(가상): 관찰관(O/C), 선임 관찰관, 중대장, 법무 검토 담당, 의무대·상담관(연계)
나. 작성 서식 1 - 피드백 대화 스크립트(강점 3개, 약점 3개 이상)
| 번호 | 구분(강점·약점) | 상황 | 영향 | 질문 | 다음 행동 |
|---|---|---|---|---|---|
| 1 | |||||
| 2 | |||||
| 3 | |||||
| 4 | |||||
| 5 | |||||
| 6 |
나. 작성 서식 2 - 금지 표현과 대안 표현
| 번호 | 금지 표현(인격 비하·비교·감정) | 왜 문제인가 | 대안 표현 |
|---|---|---|---|
| 1 | |||
| 2 | |||
| 3 | |||
| 4 |
나. 작성 서식 3 - 의사결정 트리와 분기점·책임 직책 매핑표
| 분기점 | 조건(관찰 가능한 문장) | 예일 때 | 아니오일 때 | 책임 직책(가상) |
|---|---|---|---|---|
| T1 | 근거 단계가 E3 이상인가 | |||
| T2 | 관찰관 간 불일치가 해소되었는가 | |||
| T3 | 교전수칙·안전 위반 의심이 있는가 | |||
| T4 | 부상·심리적 어려움 신호가 있는가 |
나. 작성 서식 4 - 모의 결심 기록지(B1~B5)
| 묶음 | 판단(피드백 전달·보류 유지·추가 관찰 요청) | 근거 | 책임 직책 | 조원 합의(예·아니오) |
|---|---|---|---|---|
| B1 | ||||
| B2 | ||||
| B3 | ||||
| B4 | ||||
| B5 |
나. 작성 서식 5 - 긴급 요청 규칙: 지휘관의 당일 확정 요청에도 줄이지 않는 확인 단계는 ( ), 임시 피드백으로 전달할 내용은 ( ), 최종 확정 기한은 ( )이다. 안전·교전수칙 쟁점과 심리 신호는 일정과 관계없이 ( ).
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 피드백 스크립트에 상황·영향·질문·다음 행동이 모두 있고 강점과 약점 예시가 각각 3개 이상이다 | ( ) |
| 금지 표현 4개와 대안 표현을 적었다 | ( ) |
| 분기점 4개의 조건과 책임 직책(가상)을 적었다 | ( ) |
| 경계선 묶음 5종 모두에 판단과 근거를 기록했다 | ( ) |
| 교전수칙·안전 쟁점은 지휘계통과 법무 검토로, 심리 신호는 의무대·상담관 연계로 넘기며 진단하지 않는다 | ( ) |
미션 6. 지휘관 보고용 부대 훈련 성과 종합 분석표 및 개선 과제 카드 설계
가. 제공 자료 1 - 혼동 유발 표현 예시(나머지는 조별로 6개 이상으로 늘린다)
| 혼동 유발 표현 | 왜 혼동되는가 | 대체 표현 예 |
|---|---|---|
| 잘함 | 무엇을 어떻게 잘했는지 알 수 없음 | '10시 12분 접촉 후 40초 안에 구역 지시를 전달했다(E1)' |
| 열심히 함 | 태도 평가이며 행동 근거 없음 | '휴식 없이 3회 반복해 진지를 보강했다(E2)' |
| 분위기가 좋음 | 관찰 가능한 기준 없음 | '분대원이 서로 역할을 확인했다(E2)' |
가. 제공 자료 2 - 가상 평가 메모 3종(관찰 사실·해석·조치·미확인을 구분해 표시한다)
| 메모 | 내용 |
|---|---|
| M-1 | 2소대장은 접촉 후 40초 만에 구역 지시를 전달했다. 침착한 지휘관으로 보인다. 다음 훈련에서 사전 분담을 시도하게 한다. 통신 지연 1분은 확인되지 않았다. |
| M-2 | 3소대 보고에서 2개 항목이 빠졌다. 훈련이 부족해서일 것이다. 보고 서식을 암기하게 하겠다. 어느 항목인지는 다른 관찰관 확인이 필요하다. |
| M-3 | 1소대는 분위기가 좋았다. 소대장이 훌륭하다. 칭찬하고 넘어간다. 분대 간 소통 기록은 없다. |
나. 작성 서식 1 - 부대 훈련 성과 종합 분석표(1쪽)
| 평가 영역 | 등급 | 근거 단계 | 강점(행동 근거) | 개선 과제 | 다음 훈련 목표 |
|---|---|---|---|---|---|
| 전술 행동 | |||||
| 의사결정 | |||||
| 팀워크 | |||||
| 보고 절차 |
나. 작성 서식 2 - 개선 과제 카드(3장)
| 카드 | 과제 | 근거 행동 | 책임 직책(가상) | 기한 | 확인 방법 |
|---|---|---|---|---|---|
| K-1 | |||||
| K-2 | |||||
| K-3 |
나. 작성 서식 3 - 기록 분류 규칙(빈칸을 채운다): 관찰 사실은 ( ), 해석은 ( ), 조치는 ( ), 미확인은 ( ) 표시로 구분한다. 문장 하나에는 한 가지 분류만 담는다.
나. 작성 서식 4 - 혼동 유발 표현 금지 목록(6개 이상)과 메모 옮겨 적기(M-1~M-3)
| 번호 | 금지 표현 | 대체 표현 |
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
| 메모 | 관찰 사실 | 해석 | 조치 | 미확인 |
|---|---|---|---|---|
| M-1 | ||||
| M-2 | ||||
| M-3 |
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 성과 종합 분석표에 등급, 근거 단계, 강점, 개선 과제가 모두 있다 | ( ) |
| 개선 과제 카드마다 책임 직책, 기한, 확인 방법이 있다 | ( ) |
| 혼동 유발 표현 금지 목록을 6개 이상 만들고 대체 표현을 적었다 | ( ) |
| 메모 3종에서 관찰 사실과 해석을 혼동한 문장이 0건이다 | ( ) |
| 분류 규칙 4개 빈칸을 모두 채웠다 | ( ) |
미션 7. 평가자 간 점수 편차 발생 상황 모의 신뢰도 스트레스 테스트
가. 제공 자료 1 - 가상 훈련 기록 요약 3종(평가자 4명이 상의 없이 채점) [교육용가상자료]
| 기록 | 내용 요약 |
|---|---|
| X1 | 2소대: 지시 40초, 보고 서식 항목 1개 누락, 부상자 처리 역할 확인 양호 |
| X2 | 3소대: 지시 2분, 보고 완비, 분대 간 소통 일부 끊김 |
| X3 | 1소대: 지시 50초, 보고 항목 2개 누락, 안전 수칙 확인 철저 |
가. 제공 자료 2 - 편향 모의 카드 T1~T5(통제관이 주입)
| 카드 | 주입 내용 | 기대되는 편향 |
|---|---|---|
| T1 | '이 소대장은 지난 훈련에서 매우 우수했다'는 정보를 평가자에게 미리 알림 | 후광 효과 |
| T2 | 훈련 후반 1분 영상만 다시 보여 줌 | 최근 효과 |
| T3 | '가능하면 좋은 점수를 주면 좋겠다'는 분위기 카드 | 관대화 경향 |
| T4 | '이번 평가는 엄격하게 하라'는 지시 카드 | 엄격화 경향 |
| T5 | 근거가 애매한 기록에 보통만 주도록 유도 | 중심화 경향 |
가. 제공 자료 3 - 5영역 x 4등급 최종 루브릭 틀(전술 행동, 의사결정, 팀워크, 보고 절차, 안전·규정 준수)
| 평가 영역 | 탁월 | 우수 | 보통 | 미흡 |
|---|---|---|---|---|
| 전술 행동 | ||||
| 의사결정 | ||||
| 팀워크 | ||||
| 보고 절차 | ||||
| 안전·규정 준수 |
나. 작성 서식 1 - 평가자 4명 채점표(기록 X1~X3, 등급은 탁월·우수·보통·미흡)
| 기록·영역 | 평가자 1 | 평가자 2 | 평가자 3 | 평가자 4 | 편차(최대 등급 차) |
|---|---|---|---|---|---|
| X1 전술 행동 | |||||
| X1 보고 절차 | |||||
| X2 전술 행동 | |||||
| X2 보고 절차 | |||||
| X3 전술 행동 | |||||
| X3 보고 절차 |
나. 작성 서식 2 - 편향 카드별 영향 기록
| 카드 | 채점 변화 | 편향 유형 | 대응(루브릭 문구 수정 또는 절차 보완) |
|---|---|---|---|
| T1 | |||
| T2 | |||
| T3 | |||
| T4 | |||
| T5 |
나. 작성 서식 3 - 일치율과 보정: 일치한 칸 ( ) / 전체 ( ) = ( )%, 편차가 가장 큰 영역은 ( ), 보정한 문구는 '( )'이다.
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 5개 영역 x 4단계 기준을 모두 관찰 가능한 행동으로 정의했다 | ( ) |
| 평가자 4명이 상의 없이 채점하고 편차를 계산했다 | ( ) |
| 편향 카드 5종의 영향과 대응을 기록했다 | ( ) |
| 일치율 80% 이상을 확인했거나 미달 원인과 보정 계획을 적었다 | ( ) |
| 안전·규정 준수 영역에 교전수칙 준수 행동이 포함되어 있다 | ( ) |
미션 8. AAR 회의를 통한 관찰관 주관 개입 사례 분석 및 루브릭 척도 보정
가. 제공 자료 - 가상 AAR 회의 기록 A·B [교육용가상자료]
| 순서 | AAR 회의 기록 A | AAR 회의 기록 B |
|---|---|---|
| 1 | 관찰관 O/C 1: '이 소대장은 믿음직해서 4점' | 관찰관 O/C 2: '그 분대장은 늘 지각했으니 이번에도 좋지 않다' |
| 2 | 근거 질문: '구체적 행동은?' -> '그냥 전체적으로' | 근거 질문: '이번 훈련에서의 행동은?' -> '기록 없음' |
| 3 | 다른 소대 같은 행동은 3점 부여 | 피드백 자리에서 분대원 앞에서 지적 |
| 4 | AAR 토의: 척도에 '믿음직함'이 들어 있음 | AAR 토의: 서식에 '과거 행동' 칸이 따로 없고 관행으로 반영됨 |
나. 작성 서식 1 - 주관 개입 지점과 원인 분류(사람·절차·정보·척도, 개인 비난 표현 금지)
| 번호 | 주관이 개입한 문장·단계 | 원인 분류 | 원인 설명(사실 중심) | 개선안 |
|---|---|---|---|---|
| 1 | ||||
| 2 | ||||
| 3 | ||||
| 4 | ||||
| 5 |
나. 작성 서식 2 - 레드팀 쟁점·대응(5건 이상)
| 번호 | 가이드의 취약한 전제 | 레드팀 비판 | 작성 팀 반박 또는 수정안 | 경고 문구 |
|---|---|---|---|---|
| 1 | ||||
| 2 | ||||
| 3 | ||||
| 4 | ||||
| 5 | ||||
| 6 |
나. 작성 서식 3 - 척도 보정(문구 수정 전후)
| 영역 | 수정 전 문구(인상 표현 포함) | 수정 후 문구(관찰 가능한 행동) | 수정 이유 |
|---|---|---|---|
| 의사결정 | |||
| 팀워크 | |||
| 보고 절차 |
나. 작성 서식 4 - 반대 방향 위험 점검
| 위험 | 설명 | 대응 |
|---|---|---|
| 지나친 표준화로 현장 판단 위축 | ||
| 기록 부담 증가 | ||
| 평가가 점수 맞추기로 변질 |
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 기록 A·B에서 주관이 개입한 지점을 5건 이상 찾았다 | ( ) |
| 원인을 사람·절차·정보·척도로 분류하고 개인 비난 표현이 없다 | ( ) |
| 레드팀 쟁점 5건 이상에 반박 또는 수정안을 100% 적었다 | ( ) |
| 인상 표현이 들어간 척도 문구를 행동 문구로 고쳤다 | ( ) |
| 반대 방향 위험 3가지를 점검했다 | ( ) |
미션 9. 피드백을 반영한 모의 AAR 세션 재실행 및 코칭 효과 검증
가. 제공 자료 - 1차 훈련과 재실행(D+3일) 가상 비교 자료 [교육용가상자료]
| 사례 | 내용 | 1차 등급 | 재실행 등급(조별 작성) |
|---|---|---|---|
| V1 | 2소대 지시 전달 시간(1차 40초, 재실행 25초) | 보통 | |
| V2 | 3소대 보고 항목 누락(1차 2개, 재실행 0개) | 미흡 | |
| V3 | 1소대 분대 간 소통(1차 일부 끊김) | 보통 | |
| V4 | 개선 과제 이행 여부(카드 K-1) | - | |
| V5 | 코칭을 받지 않은 분대의 변화 | 보통 | |
| V6 | 안전 수칙 준수 | 우수 | |
| V7 | 피드백 후 낙담했던 대상의 참여도 | - |
나. 작성 서식 1 - 1차·재실행 비교표
| 평가 영역 | 1차 등급 | 재실행 등급 | 변화(향상·유지·하락) | 코칭과의 관련성(근거) |
|---|---|---|---|---|
| 전술 행동 | ||||
| 의사결정 | ||||
| 팀워크 | ||||
| 보고 절차 | ||||
| 안전·규정 준수 |
나. 작성 서식 2 - 코칭 효과 검증표(재검증 7건)
| 사례 | 코칭 내용 | 재실행 결과 | 효과(있음·불확실·없음) | 다른 요인 가능성 |
|---|---|---|---|---|
| V1 | ||||
| V2 | ||||
| V3 | ||||
| V4 | ||||
| V5 | ||||
| V6 | ||||
| V7 |
나. 작성 서식 3 - 1페이지 브리핑 BLUF 틀
| 결론(첫 문장) |
|---|
| 핵심 결심 사항 |
|---|
| 위험 요소(신호등 표시: 녹·황·적) |
|---|
| 대안 3종(장단점 한 줄) |
|---|
| 근거 |
|---|
나. 작성 서식 4 - 브리핑 리허설 기록
| 항목 | 목표 | 결과 |
|---|---|---|
| 발표 시간 | 3분 이내 | |
| 분량 | A4 1페이지 | |
| 질의 응답 | 3건 이상 답변 | |
| 결론 먼저 제시 | 첫 문장 |
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 5개 영역의 1차·재실행 변화를 비교했다 | ( ) |
| 재검증 7건 모두 코칭 효과와 다른 요인 가능성을 적었다 | ( ) |
| 코칭을 받지 않은 분대와 비교해 효과를 단정하지 않았다 | ( ) |
| 브리핑이 결론부터 시작하고 A4 1페이지에 들어간다 | ( ) |
| 핵심 결심 사항, 위험 요소, 대안 3종이 있고 3분 안에 발표했다 | ( ) |
미션 10. AAR 관찰·평가 루브릭 및 피드백 표준 가이드북 최종 완성
가. 제공 자료 1 - 가이드북 8개 장 구성과 가져올 결과물
| 장 | 제목 | 포함 내용 | 가져올 결과물 |
|---|---|---|---|
| 1 | 목적과 적용 범위 | 목적, 적용 상황, 적용하지 않는 상황, 교전수칙과의 관계 | M1 |
| 2 | 용어 정의 | 관찰관, 루브릭, 근거 단계, 후광 효과, 최근 효과, 보류 | M1~M3 |
| 3 | 관찰 가이드라인 | 관찰 전·중·후 절차, 기록 요령, 편향 방지 | M3 |
| 4 | 평가 루브릭 | 5영역 4단계, 근거 단계 E1~E6, 평가 지표 | M2·M7 |
| 5 | 점수 확정과 피드백 | 근거 점수 산식, 의사결정 트리, 피드백 스크립트, 코칭 가이드, 책임 직책 | M4·M5 |
| 6 | 기록·보고 | 1차 평가지, 성과 종합 분석표, 개선 과제 카드, 표현 규칙, 브리핑 | M4·M6·M9 |
| 7 | 훈련·평가 | 평가자 편차 시험, 주관 개입 AAR, 재실행 검증, 레드팀 검토 | M7·M8·M9 |
| 8 | 개정 관리 | 개정 주기, 의견 수렴, 책임 직책, 이력 | M8·M9 |
가. 제공 자료 2 - 모의 심의 역할 카드
| 역할 | 검토 질문 |
|---|---|
| 교리 역할 | 루브릭과 근거 단계가 일관되는가? 훈련 방법이 기준과 연결되는가? |
| 법무 역할 | '최종 판단은 사람이, 교전수칙·지휘계통에 따라'가 드러나는가? 교전수칙·인도주의 원칙 평가 항목과 보고 경로가 분명한가? |
| 작전 역할 | 현장 관찰관이 훈련 중 기록할 수 있는 분량인가? 의무대·상담관 연계가 분명한가? |
나. 작성 서식 1 - 근거 표기 점검표(가이드북 조항마다 작성)
| 조항 | 기준 내용 요약 | 근거(미션·가상 자료) | 표기 여부 |
|---|---|---|---|
| 1-1 | |||
| 2-1 | |||
| 3-1 | |||
| 4-1 | |||
| 5-1 | |||
| 6-1 | |||
| 7-1 | |||
| 8-1 |
나. 작성 서식 2 - 모의 심의 지적 사항 반영표
| 번호 | 역할 | 지적 사항 | 반영 내용 | 반영 위치(장·조) |
|---|---|---|---|---|
| 1 | ||||
| 2 | ||||
| 3 | ||||
| 4 | ||||
| 5 | ||||
| 6 |
나. 작성 서식 3 - 개정 관리: 개정 주기 ( ), 의견 수렴 방법 ( ), 개정 책임 직책(가상) ( ), 개정 이력 기록 위치 ( )
다. 점검표
| 점검 항목 | 확인 |
|---|---|
| 8개 장과 부록을 모두 완성했다 | ( ) |
| 모든 기준 조항에 근거(미션·가상 자료)를 표기했다 | ( ) |
| 교리·법무·작전 역할의 지적 사항을 반영하고 반영 위치를 적었다 | ( ) |
| '최종 판단은 사람이 하며 실제 교전·작전 판단은 교전수칙·지휘계통에 따른다'는 문구가 1장과 5장에 있다 | ( ) |
| 피드백은 행동에 한정하고 부상·심리 신호는 의무대·상담관 연계(진단 아님)라는 문구가 5장에 있다 | ( ) |
| 실제 부대·개인 평가 결과·교리 원문을 쓰지 않았다 | ( ) |
4. 평가 채점표
미션별 평가 기준은 시나리오의 평가 항목과 같다. 평가자는 기준 충족 여부를 PASS/FAIL로 표시하고 FAIL이면 사유를 비고에 적는다.
| 미션 | 구분 | 채점 기준 | 판정 | 비고 |
|---|---|---|---|---|
| M1 | 필수 | 평가 체계 분석·문서 골격: 가상 평가 사례 5건 이상을 검토해 평가 대상·근거·피드백 방식을 비교했는가, 가이드북 목차(8개 장) 골격을 100% 정의하고 지휘관 결심 의제 순으로 배열했는가. | PASS / FAIL | |
| M2 | 필수 | 4단계 루브릭·근거 6단계·평가 지표: 관찰 근거 기준 6단계를 완비하고 평가 지표 10개 이상을 정의했는가, 가상 관찰 기록 5종에 대한 조원 간 등급 일치가 4건 이상이고 편향 방지 주의와 교차 확인 규칙을 명시했는가. | PASS / FAIL | |
| M3 | 필수 | 관찰 가이드라인·편향 평가: 관찰 공백·편향 요인 8개 이상과 영향도 매트릭스를 도출했는가, 어긋난 기록 4건에 원인 후보와 확인 방법을 적고 판단의 한계와 보완 방법을 명시했는가. | PASS / FAIL | |
| M4 | 선택 | 근거 항목·1차 평가지: 점수 확정 근거 12개 이상 항목화와 가중치 산식을 100% 정립했는가, 로그 14줄에 대한 1차 평가지와 사례 3종 적용 결과를 기록하고 레드팀 반박에 대응해 최소 증거 요건을 설정했는가. | PASS / FAIL | |
| M5 | 필수 | 피드백 스크립트·분기점·책임 매핑: 분기점 조건 100% 명시와 책임 직책 매핑을 완료했는가, 경계선 사례 5종 모두에 판단과 근거가 기록되고 교전수칙·인도주의 원칙 준수, 의무대·상담관 연계, 사람의 최종 판단을 지켰는가. | PASS / FAIL | |
| M6 | 선택 | 기록 분류·성과 분석표: 기록 분류 규칙 100% 표준화, 혼동 유발 표현 금지 가이드 6개 이상을 포함하고 가상 평가 메모 3종에서 사실과 해석의 혼동이 0건인가. | PASS / FAIL | |
| M7 | 필수 | 평가자 편차 스트레스·루브릭: 평가 영역 5개와 등급 4단계(탁월·우수·보통·미흡) 기준 정의율 100%인가, 평가자 2명 이상 채점 일치율 80% 이상이고 편차가 큰 영역의 보정 내용을 기록했는가. | PASS / FAIL | |
| M8 | 선택 | 주관 개입 원인·척도 보정: 도출된 비판적 쟁점 5건 이상에 대해 반박 및 수정 대안을 100% 수립했는가, 취약한 전제에 경고 문구를 명시하고 척도를 보정했으며 반대 방향 위험을 점검했는가. | PASS / FAIL | |
| M9 | 필수 | 재실행 비교·1페이지 브리핑: 핵심 결심 사항, 위험 요소, 대안 3종이 1페이지(A4) 안에 완결되는가, 재검증 7건의 전후 비교와 BLUF 준수(결론 먼저, 3분 이내 발표)를 확인했는가. | PASS / FAIL | |
| M10 | 필수 | 표준 가이드북 통합 완성: 가이드북 8개 장과 부록을 100% 완성하고 모든 기준 조항에 근거(미션·가상 자료)를 표기했는가, 모의 심의 지적 사항을 반영하고 '최종 판단은 사람이 하며 실제 교전·작전 판단은 교전수칙·지휘계통에 따른다'는 문구를 명시했는가. | PASS / FAIL |
| 판정 기준 | 필수 7개 미션(M1·M2·M3·M5·M7·M9·M10)이 모두 PASS여야 최종 PASS로 인정한다. 선택 미션(M4·M6·M8)은 가점·보완 의견에 반영한다. |
|---|
| 공통 감점 | 실제 부대명·훈련장·개인 평가 결과·교리 원문·실존 인물 정보를 사용한 경우, 부대 자료를 외부 AI 서비스에 입력한 경우 해당 미션은 FAIL로 처리한다. |
|---|
| 주제 안전 기준 | 근거 없는 인상으로 점수를 확정하는 판단이 있거나 피드백에 인격 비하 표현이 있거나 가이드북에 사람의 최종 판단·교전수칙 우선 문구가 없으면 M5·M10은 FAIL로 처리한다. |
|---|
| 최종 판정 결과 | ( PASS / FAIL ) 평가자 서명: ( ) |
|---|
| 안전 원칙: 본 자료의 루브릭, 근거 단계, 권한 구분은 학습용 가상 기준이다. 최종 판단은 사람이 내리며 실제 교전·작전 판단은 교전수칙과 지휘계통에 따른다. 실제 부대 자료를 입력하거나 부대 내에서 촬영하지 않는다. |
|---|