시나리오 내용 반영

scenario_md/TRN02-교육·훈련_전투력 향상 교육-방공·드론 식별 퀴즈 자동채점·오답유형 분석기/TRN02-교육·훈련_전투력 향상 교육-방공·드론 식별 퀴즈 자동채점·오답유형 분석기.md

@@ -0,0 +1,97 @@
+**방공·드론 식별 퀴즈 자동채점·오답유형 분석기**
+
+난 이 도 **중급**
+
+| **프로젝트 목표** | 미국-이란 전쟁 사례에서 보듯 드론과 미사일이 섞여 날아오는 전장에서는 장병 한 사람 한 사람이 비행체 형상을 식별하고, 아군·민간기와 구분하며, 정해진 보고·통제 절차를 지키는 능력이 방공의 기초가 된다. 그러나 부대 단위 방공 식별 교육은 채점과 오답 분석에 교관의 손이 많이 들어 개인별 약점을 제때 짚어 주기 어렵다. 본 프로젝트에서는 교육용 가상 문항 은행과 가상 응시자 응답을 코드로 만들어, 문항 데이터베이스 정의, 응답 정제·파싱, 자동 채점, 오답 유형(개념 혼동·피아 오인·절차 누락) 분류, 취약 영역 추천, 교수자 대시보드, 교관 검토(HITL), 대규모 동시 응시 부하 시험, AAR 문항 분석과 재보정, 최종 통합까지 채점·피드백 체계를 단계별로 구현한다. 최종 목표는 채점은 빠르고 정확하게 자동화하되, 이의 제기와 서술형 판단은 교관이 확정하는 신뢰할 수 있는 방공 교육 평가 도구를 만드는 것이다. |
+| --- | --- |
+
+| **유의사항** | 모든 문항·응답·인원은 코드 안에서 만든 교육용 가상 자료(가명 S001~, 가상1~3중대)이며 실제 교범·교전규칙 원문, 부대명, 장비 제원은 사용하지 않는다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 퀴즈의 교전 통제 문항은 일반 원칙 수준의 학습 내용이며, 실제 교전 여부는 교전수칙과 지휘계통에 따른다. 채점·추천 결과는 학습 보조 자료이며 개인 평가·인사 자료로 쓰지 않는다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다. |
+| --- | --- |
+
+**1단계. 문항 데이터베이스 정의 및 응답 전처리**
+
+| **미션 1. 방공 식별 및 대드론 교전 수칙 퀴즈 문항 데이터베이스 및 평가 기준 수립** [초급 · 1.5시간] | **미션 1. 방공 식별 및 대드론 교전 수칙 퀴즈 문항 데이터베이스 및 평가 기준 수립** [초급 · 1.5시간] |
+| --- | --- |
+| **목표** | 형상식별·피아식별·경보보고·교전통제·대드론일반 5개 영역의 퀴즈 문항 데이터베이스 구조와 난이도별 배점·합격 기준을 정하고, 잘못된 문항·응답 기록을 걸러내는 검증기를 만든다. |
+| **수행** | 선다형·단답형·순서형 문항의 필드(문항ID, 영역, 난이도, 정답, 오답 보기별 오답 유형)와 응답 기록 필드(응시자, 문항, 원본 응답, 제출 시각), 응시 상황 필드(장소·통신 상태 등)를 정의한다. 가상 문항 32개와 응답 샘플을 검증하고, 형식·범위·누락·매핑 오류를 일부러 넣어 검증기가 모두 잡아내는지 확인한다. 배점(난이도 1/2/3 = 2/3/5점), 합격선(70%), 미응답 처리 규칙을 명세서에 정리한다. |
+| **산출물** | data/schema/trn02_input_schema.json, docs/trn02_data_spec.md |
+| **평가** | **[필수] 문항 DB·평가 기준 수립** — 스키마 필드 정의 완성도 100%, 정상 샘플 검증 오류 0건, 주입한 오류를 모두 검출하고 영역·유형별 문항 구성과 평가 기준이 명세서에 정리되었는가. |
+
+| **미션 2. 장병 응답 텍스트/선택지 정제 및 시험 답안 파싱 전처리 모듈 구현** [초급~중급 · 2시간] | **미션 2. 장병 응답 텍스트/선택지 정제 및 시험 답안 파싱 전처리 모듈 구현** [초급~중급 · 2시간] |
+| --- | --- |
+| **목표** | 장병 응답의 전각 숫자·원문자·공백·어미 같은 표기 차이를 정제하고 문항 유형별로 답안을 파싱하는 전처리 모듈을 구현한다. |
+| **수행** | 유니코드 정규화(NFKC), 원문자·영문 보기·'번' 표기 통일, 단답형 공백·끝맺음 어미 제거, 순서형 구분자 제거를 구현한다. 통신 지연으로 생긴 재전송 중복 제출을 제거하고 미응답·형식 오류는 삭제하지 않고 분리한다. 처리 속도와 전처리 오류율을 재고 단위 테스트 5종으로 검증한다. |
+| **산출물** | src/preprocess/trn02_preprocessor.py, 전처리 전후 데이터셋 |
+| **평가** | **[필수] 응답 정제·파싱** — 처리 속도 1,000건/초 이상, 전처리 오류율 0%, 단위 테스트 5종 통과, 미응답·형식 오류가 보존·분리되었는가. |
+
+**2단계. 자동 채점 Baseline 및 오답 유형 분류 고도화**
+
+| **미션 3. 선다형 및 단답형 방공 퀴즈 자동 채점 Baseline 로직 구현** [중급 · 2.5시간] | **미션 3. 선다형 및 단답형 방공 퀴즈 자동 채점 Baseline 로직 구현** [중급 · 2.5시간] |
+| --- | --- |
+| **목표** | 선다형·단답형·순서형 퀴즈를 자동 채점하는 Baseline을 구현하고 교관 기준 판정과 비교해 정확도를 확인한다. |
+| **수행** | 정확 일치 채점과 오탈자(글자 순서 바뀜·한 글자 누락)를 허용하는 유사도 채점을 구현하고, 유사도 기준값을 바꿔 가며 단답형 채점 정확도를 비교한다. 정확 일치가 틀린 사례를 표로 정리하고, 뜻은 맞지만 인정 답안 목록에 없는 표현은 교관 검토 대상으로 넘긴다. 응시자별 점수·합격 여부와 실행 로그를 출력한다. |
+| **산출물** | src/models/trn02_baseline_model.py, 기본 채점 결과 보고서 |
+| **평가** | **[필수] 자동 채점 Baseline** — 교관 기준 대비 채점 정확도 75% 이상, 채점 예외 0건, 채점 규칙과 유사도 기준값 선택 근거가 설명되었는가. |
+
+| **미션 4. 오답 유형(개념 혼동, 피아 오인, 절차 누락) 자동 분류 및 패턴 분석 엔진 고도화** [중급 · 3시간] | **미션 4. 오답 유형(개념 혼동, 피아 오인, 절차 누락) 자동 분류 및 패턴 분석 엔진 고도화** [중급 · 3시간] |
+| --- | --- |
+| **목표** | 오답을 개념 혼동·피아 오인·절차 누락 유형으로 자동 분류하는 엔진을 고도화하고 개인·중대별 오답 패턴을 분석한다. |
+| **수행** | 선다형은 오답 보기별 유형 매핑, 순서형은 단계 누락·순서 뒤바뀜 규칙, 단답형은 오답 목록 대조와 오탈자 근사 일치에 문자 n-gram 분류 모델을 더한다. 표기 변형·오탈자·목록에 없는 새 오답 등 복합 오답 시나리오 10종을 만들어 유형별 재현율과 처리 지연을 검증한다. 잘못 분류된 새 오답을 모아 특징 재설계 대상으로 정리한다. |
+| **산출물** | src/models/trn02_advanced_detector.py, 오답 분류 시나리오 테스트 결과 |
+| **평가** | **[선택] 오답 유형 분류 고도화** — 오답 유형별 재현율 85% 이상, 건당 처리 200ms 이하, 시나리오 10종 통과, 오분류 사례의 원인과 개선 방향을 제시했는가. |
+
+**3단계. 취약 영역 추천 및 교수자 대시보드**
+
+| **미션 5. 개인별/부대별 방공 취약 영역 식별 및 맞춤형 보충 학습 추천 알고리즘 개발** [중급~고급 · 3시간] | **미션 5. 개인별/부대별 방공 취약 영역 식별 및 맞춤형 보충 학습 추천 알고리즘 개발** [중급~고급 · 3시간] |
+| --- | --- |
+| **목표** | 채점 결과로 개인별·중대별 방공 취약 영역을 찾고, 불필요한 추천을 줄인 맞춤형 보충 학습 추천 알고리즘을 개발한다. |
+| **수행** | 문항 난이도를 반영한 베이즈 추정으로 영역별 '취약할 확률'을 계산하고 High/Medium/Low 신뢰도 등급을 부여한다. '오답이 하나라도 있으면 추천'하던 방식과 비교해 불필요한 추천(오경보) 감축률, 응답 1건을 빼고 다시 계산했을 때의 결정 일관성, ROC-AUC와 임계값 민감도를 확인한다. 중대 단위 보충 교육 권고 영역을 도출한다. |
+| **산출물** | src/verification/trn02_confidence_engine.py, 추천 전후 비교표 |
+| **평가** | **[필수] 취약 영역 추천·신뢰도** — 불필요한 추천(오경보율) 40% 이상 감축, 추천 결정 일관성 90% 이상, 신뢰도 등급 기준과 임계값 선택 근거를 설명했는가. |
+
+| **미션 6. 부대 방공 지식 수준 통계 및 오답 분포 가시화 교수자 대시보드 구현** [중급 · 2.5시간] | **미션 6. 부대 방공 지식 수준 통계 및 오답 분포 가시화 교수자 대시보드 구현** [중급 · 2.5시간] |
+| --- | --- |
+| **목표** | 부대 방공 지식 수준과 오답 분포를 한눈에 보여 주는 교수자 대시보드를 구현한다. |
+| **수행** | 중대x영역 정답률 히트맵, 중대별 오답 유형 비율, 점수 분포와 합격선, 고난도 문항 목록 등 구성요소 4종 이상을 그린다. 응답이 묶음으로 들어올 때 누적 집계만 갱신하도록 만들어 갱신 시간을 재고, 중대·영역 필터 조회 응답 시간을 측정한다. 정답률이 기준보다 낮은 중대·영역은 경보로 강조한다. |
+| **산출물** | src/ui/trn02_dashboard.py(또는 웹 UI 컴포넌트), 대시보드 화면 |
+| **평가** | **[선택] 교수자 대시보드** — 구성요소 4종 이상 렌더링, 집계 갱신 1초 이내, 필터 조회 100ms 이내, 경보 대상이 강조되어 교관이 바로 조치할 수 있는가. |
+
+**4단계. 교관 검토 체계 및 대규모 응시 부하 검증**
+
+| **미션 7. 이의 제기 문항 및 서술형 답변에 대한 교관 수동 채점(HITL) 검토 인터페이스 설계** [고급 · 3시간] | **미션 7. 이의 제기 문항 및 서술형 답변에 대한 교관 수동 채점(HITL) 검토 인터페이스 설계** [고급 · 3시간] |
+| --- | --- |
+| **목표** | 이의 제기 문항과 서술형 답변을 교관이 검토·확정하는 HITL 흐름을 설계하고, 자동 채점이 점수를 단정하지 못하게 한다. |
+| **수행** | 서술형은 핵심 요소 키워드로 점수를 '제안'만 하고, 이의 제기와 함께 합격선 근처·저신뢰 답안부터 검토하는 우선순위 대기열에 올린다. 교관의 인정·기각·수정 결정은 사유 없이는 기록되지 않게 하고, 결정 전 자동 확정 시도를 차단한다. 모든 제출·결정을 해시 체인 감사 로그에 남기고 사후 변조를 탐지하는지 확인한다. |
+| **산출물** | src/hitl/trn02_approval_workflow.py, docs/trn02_hitl_guide.md |
+| **평가** | **[필수] 교관 검토(HITL) 체계** — 결정 전 자동 확정 0건, 승인/반려 처리 로깅 성공률 100%, 감사 로그 변조 탐지, 우선순위별 대기시간과 교관 검토로 바뀐 판정을 제시했는가. |
+
+| **미션 8. 전 부대원 동시 응시 모의 대규모 트래픽 채점 부하 테스트 및 최적화** [고급 · 3.5시간] | **미션 8. 전 부대원 동시 응시 모의 대규모 트래픽 채점 부하 테스트 및 최적화** [고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 전 부대원이 동시에 응시하는 상황을 모의해 채점 시스템이 대규모 제출과 장애 속에서도 멈추거나 답안을 잃지 않는지 시험한다. |
+| **수행** | 평시 120명 제출량을 3배·6배·11배로 늘리고 초장문·제어문자·없는 문항 등 손상 답안과 채점기 응답 지연(장애 2%)을 주입한다. 오류가 나면 시스템을 멈추지 않고 원본을 '채점 보류' 대기열로 옮기는 안전 실패 동작을 확인한다. 병목 구간을 측정하고 같은 답안 재계산을 줄이는 캐시를 적용해 처리량을 비교한다. |
+| **산출물** | tests/trn02_stress_test.py, 부하 테스트 분석 보고서 |
+| **평가** | **[선택] 대규모 응시 부하 시험** — 제출량 500% 증가 시 시스템 다운 0건, 데이터 유실률 0%, 보류 사유 분류와 최적화 전후 처리량 비교, 기능 축소 운용 기준을 제시했는가. |
+
+**5단계. AAR 문항 재보정 및 최종 통합**
+
+| **미션 9. AAR 기반 문항 변별력 분석 및 난이도별 가중치 파라미터 재보정** [고급 · 3시간] | **미션 9. AAR 기반 문항 변별력 분석 및 난이도별 가중치 파라미터 재보정** [고급 · 3시간] |
+| --- | --- |
+| **목표** | 시행 후 검토(AAR)로 문항의 변별력과 정답 키 오류를 찾아내고, 결함 문항 조치와 배점 가중치 재보정으로 합격 판정의 정확도를 높인다. |
+| **수행** | 문항별 정답률, 점이연 상관(변별도), 오답 보기 선택자의 평균 점수를 분석해 정답 키 입력 오류와 변별력 부족 문항을 찾는다. 키 수정, 결함 문항 제외, 난이도·변별도 가중치 탐색을 단계별로 적용해 가상 실제 숙달도 대비 합격 판정 정확도 변화를 측정하고, 다른 응시 집단에서 같은 오류가 재발하는지 확인한다. 재보정 결과를 YAML 설정으로 정리한다. |
+| **산출물** | docs/trn02_aar_report.md, configs/trn02_tuned_params.yaml |
+| **평가** | **[필수] AAR 문항 분석·재보정** — 결함 문항의 원인을 근거와 함께 규명하고, 재보정 후 합격 판정 정확도 향상을 확인했으며(목표 10%p, 미달 시 원인 제시), 새 응시 집단에서 재발 오류 0건인가. |
+
+| **미션 10. 방공 퀴즈 자동채점 및 오답분석 시스템 통합 최종 운영 패키지 완성** [최고급 · 3.5시간] | **미션 10. 방공 퀴즈 자동채점 및 오답분석 시스템 통합 최종 운영 패키지 완성** [최고급 · 3.5시간] |
+| --- | --- |
+| **목표** | 문항 검증부터 정제, 채점, 오답 분류, 취약 영역 추천, 교관 검토 대기열까지 전체 시스템을 하나로 통합하고 운영 패키지로 완성한다. |
+| **수행** | 재보정 설정(CONFIG)을 적용한 통합 파이프라인을 여러 응시 회차에 실행해 End-to-End 성공률을 확인한다. 핵심 기능 단위 테스트와 함수 커버리지를 측정하는 자체 점검을 수행하고, 응시 결과·오답 유형·취약 중대·검토 대기 현황을 담은 교육훈련 담당관 브리핑 요약을 출력한다. 인접 부대 교육체계와의 연동 인터페이스 확장 방향을 정리한다. |
+| **산출물** | src/main_trn02.py, README.md, docs/trn02_final_report.pdf(md) |
+| **평가** | **[필수] 통합 운영 패키지** — End-to-End 파이프라인 실행 성공률 100%, 자체 점검 전부 통과, 테스트(함수) 커버리지 85% 이상, 브리핑 수치가 실행 결과와 일치하는가. |
+
+**최종 판정**
+
+**판정 기준 :** 모든 필수 항목([필수])에서 PASS를 받아야 최종 PASS로 인정한다.
+
+최종 판정 결과 : ( PASS / FAIL )
+
+평가 의견 : (필수 항목 중 하나라도 FAIL인 경우 사유를 기재한다.)

scenario_md/TRN02-교육·훈련_전투력 향상 교육-방공·드론 식별 퀴즈 자동채점·오답유형 분석기/TRN02_실습가이드.md

@@ -0,0 +1,267 @@
+**TRN02 실습가이드 - 방공·드론 식별 퀴즈 자동채점·오답유형 분석기**
+
+구    분 **실습가이드 [교육용가상자료]**
+
+**1. 실습 개요**
+
+본 실습은 교육용 가상 문항 은행과 가상 응시자 응답으로 방공·드론 식별 퀴즈의 자동채점·오답유형 분석 시스템을 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(TRN02_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.
+
+| **과제** | TRN02 방공·드론 식별 퀴즈 자동채점·오답유형 분석기 |
+| --- | --- |
+
+| **난이도·유형** | 중급 / 코딩형 |
+| --- | --- |
+
+| **예상 소요시간** | 미션 10개, 총 27.5시간 |
+| --- | --- |
+
+| **준비물** | TRN02_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
+| --- | --- |
+
+**2. 진행 방법**
+
+- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 문항 은행·응답 생성 함수가 빠져 오류가 난다).
+
+- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 같은 값이 나오지만, 처리 시간(ms·건/초)은 실행 환경에 따라 달라진다.
+
+- 도전 과제는 코드 상단의 파라미터(유사도 기준값, 합격선, 경보 기준, 장애율 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
+
+- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.
+
+- 실제 부대원 성적·인적사항은 입력하지 않는다. 교전 통제 문항은 일반 원칙 수준이며 실제 교전 판단은 교전수칙·지휘계통에 따른다.
+
+**3. 미션 진행 요약**
+
+| **미션** | **난이도·시간** | **핵심 확인 결과** |
+| --- | --- | --- |
+| **M1. 방공 식별 및 대드론 교전 수칙 퀴즈 문항 데이터베이스 및 평가 기준 수립** | 초급
+1.5시간 | 정상 문항·응답 검증 오류 0건, 주입 오류 모두 검출 |
+| **M2. 장병 응답 텍스트/선택지 정제 및 시험 답안 파싱 전처리 모듈 구현** | 초급~중급
+2시간 | 처리 속도 1,000건/초 이상(예시 약 18만 건/초), 전처리 오류 0건 |
+| **M3. 선다형 및 단답형 방공 퀴즈 자동 채점 Baseline 로직 구현** | 중급
+2.5시간 | 채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 |
+| **M4. 오답 유형(개념 혼동, 피아 오인, 절차 누락) 자동 분류 및 패턴 분석 엔진 고도화** | 중급
+3시간 | 유형별 재현율 85% 이상(예시 0.995~1.0), 건당 0.2초 이하 |
+| **M5. 개인별/부대별 방공 취약 영역 식별 및 맞춤형 보충 학습 추천 알고리즘 개발** | 중급~고급
+3시간 | 오경보율 감축 42.6%(목표 40% 이상), 결정 일관성 91.2% |
+| **M6. 부대 방공 지식 수준 통계 및 오답 분포 가시화 교수자 대시보드 구현** | 중급
+2.5시간 | 집계 갱신 최대 수십 ms(목표 1초 이내), 필터 조회 최대 수 ms(목표 100ms 이내) |
+| **M7. 이의 제기 문항 및 서술형 답변에 대한 교관 수동 채점(HITL) 검토 인터페이스 설계** | 고급
+3시간 | 자동 확정 시도 5건 모두 차단, 로깅 성공률 100%(165건) |
+| **M8. 전 부대원 동시 응시 모의 대규모 트래픽 채점 부하 테스트 및 최적화** | 고급
+3.5시간 | 평시 x6(500% 증가)에서 다운 0건, 유실 0건 |
+| **M9. AAR 기반 문항 변별력 분석 및 난이도별 가중치 파라미터 재보정** | 고급
+3시간 | Q11 키 오류·Q08 결함 식별, 정확도 83.3% → 87.5%(+4.2%p, 목표 10%p 미달) |
+| **M10. 방공 퀴즈 자동채점 및 오답분석 시스템 통합 최종 운영 패키지 완성** | 최고급
+3.5시간 | End-to-End 성공률 100%, 자체 점검 16/16 통과 |
+
+**미션 1. 방공 식별 및 대드론 교전 수칙 퀴즈 문항 데이터베이스 및 평가 기준 수립**
+
+| **난이도·시간** | 초급 · 1.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M1 코드를 실행해 문항 32개와 응답 샘플 50건의 검증 결과를 확인한다.
+2) 오류 주입 결과에서 각 오류가 어떤 규칙에 걸렸는지 표로 정리한다.
+3) 문항 구성표(영역x유형)와 평가 기준(배점·합격선·미응답 처리)을 명세서로 옮긴다. |
+| --- | --- |
+
+| **확인할 결과** | 정상 문항·응답 검증 오류 0건, 주입 오류 모두 검출
+스키마 필드 14개, 5개 영역 문항 구성과 배점(2/3/5점)·합격선 70% 정리 |
+| --- | --- |
+
+| **도전 과제** | 응시 상황 필드에 기상(weather: 맑음·우천·야간) 항목을 추가하고 허용값 밖의 값을 넣어 검출되는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 스키마 정의 코드, 데이터 명세서(필드·규칙·평가 기준표) |
+| --- | --- |
+
+**미션 2. 장병 응답 텍스트/선택지 정제 및 시험 답안 파싱 전처리 모듈 구현**
+
+| **난이도·시간** | 초급~중급 · 2시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M2 코드를 실행해 처리 속도, 중복 제거 건수, 상태 분포를 확인한다.
+2) 단위 테스트 5종의 입력과 기대값을 표로 정리한다.
+3) 전처리 전후 예시에서 원문자·전각·어미가 어떻게 정제되었는지 설명한다. |
+| --- | --- |
+
+| **확인할 결과** | 처리 속도 1,000건/초 이상(예시 약 18만 건/초), 전처리 오류 0건
+단위 테스트 5/5 통과, 중복 115건 제거 후 3,840건 |
+| --- | --- |
+
+| **도전 과제** | TAILS에 '이에요'를 추가하고 '피아식별이에요' 같은 응답이 정상 정제되는지 테스트를 하나 더 만든다. |
+| --- | --- |
+
+| **제출물** | 전처리 코드, 단위 테스트 결과, 전처리 전후 예시표 |
+| --- | --- |
+
+**미션 3. 선다형 및 단답형 방공 퀴즈 자동 채점 Baseline 로직 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M3 코드를 실행해 채점 정확도와 건당 처리 시간을 확인한다.
+2) 정확 일치가 틀린 사례 표를 보고 오탈자 허용 채점이 바로잡은 경우와 못 잡은 경우를 구분한다.
+3) 유사도 기준값별 정확도를 보고 0.75를 고른 이유를 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건
+평균 67.4점, 합격률 50.8% |
+| --- | --- |
+
+| **도전 과제** | grade_fuzzy의 cut을 0.6으로 낮췄을 때 알려진 오답이 정답으로 바뀌는 사례가 생기는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 채점 코드, 기본 채점 결과 보고서(정확도·오류 사례·중대별 점수) |
+| --- | --- |
+
+**미션 4. 오답 유형(개념 혼동, 피아 오인, 절차 누락) 자동 분류 및 패턴 분석 엔진 고도화**
+
+| **난이도·시간** | 중급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M4 코드를 실행해 시나리오 10종의 통과 여부와 유형별 재현율을 확인한다.
+2) S9(목록에 없는 새 오답)의 오분류 사례를 보고 원인을 적는다.
+3) 중대별 오답 유형 비율 표로 중대마다 강조할 교육 내용을 정한다. |
+| --- | --- |
+
+| **확인할 결과** | 유형별 재현율 85% 이상(예시 0.995~1.0), 건당 0.2초 이하
+시나리오 10/10 통과, 새 오답 오분류 3건 식별 |
+| --- | --- |
+
+| **도전 과제** | SEED 사전에 오분류된 새 오답 3개를 올바른 유형으로 추가하고 S9 정확도가 오르는지 확인한다. |
+| --- | --- |
+
+| **제출물** | 분류 엔진 코드, 시나리오 테스트 결과표, 오답 패턴 분석 |
+| --- | --- |
+
+**미션 5. 개인별/부대별 방공 취약 영역 식별 및 맞춤형 보충 학습 추천 알고리즘 개발**
+
+| **난이도·시간** | 중급~고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M5 코드를 실행해 기존 방식과 난이도 반영 추정의 추천 수·오경보율을 비교한다.
+2) 임계값 민감도 결과로 오경보율과 재현율의 교환 관계를 설명한다.
+3) 개인 추천 예시와 중대 단위 권고를 확인한다. |
+| --- | --- |
+
+| **확인할 결과** | 오경보율 감축 42.6%(목표 40% 이상), 결정 일관성 91.2%
+ROC-AUC 0.898, 중대 단위 보충 교육 권고 5건 |
+| --- | --- |
+
+| **도전 과제** | MEDIUM을 0.3으로 낮췄을 때 오경보율 감축과 재현율이 어떻게 바뀌는지 확인하고 적정 기준을 제안한다. |
+| --- | --- |
+
+| **제출물** | 추천 알고리즘 코드, 추천 전후 비교표, 신뢰도 등급 기준 |
+| --- | --- |
+
+**미션 6. 부대 방공 지식 수준 통계 및 오답 분포 가시화 교수자 대시보드 구현**
+
+| **난이도·시간** | 중급 · 2.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M6 코드를 실행해 4번의 갱신 시간과 필터 조회 시간을 확인한다.
+2) 대시보드 4개 그림에서 경보(굵은 글씨) 칸과 고난도 문항을 찾는다.
+3) 중대별 요약과 경보 하이라이트를 근거로 교관 조치 사항을 적는다. |
+| --- | --- |
+
+| **확인할 결과** | 집계 갱신 최대 수십 ms(목표 1초 이내), 필터 조회 최대 수 ms(목표 100ms 이내)
+구성요소 4종 렌더링, 경보 1건(가상2중대 교전통제 0.50) |
+| --- | --- |
+
+| **도전 과제** | ALERT_AREA를 0.65로 올려 경보 대상이 몇 건으로 늘어나는지 보고, 경보가 너무 많을 때의 문제를 적는다. |
+| --- | --- |
+
+| **제출물** | 대시보드 코드, 대시보드 화면 캡처, 교관 조치 메모 |
+| --- | --- |
+
+**미션 7. 이의 제기 문항 및 서술형 답변에 대한 교관 수동 채점(HITL) 검토 인터페이스 설계**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M7 코드를 실행해 자동 확정 차단과 사유 없는 결정 차단을 확인한다.
+2) 검토 결과 표에서 서술형 승인·수정, 이의 제기 인정·기각 건수를 확인한다.
+3) 감사 로그 변조 탐지와 교관 검토로 판정이 바뀐 인원 수를 정리한다. |
+| --- | --- |
+
+| **확인할 결과** | 자동 확정 시도 5건 모두 차단, 로깅 성공률 100%(165건)
+변조 탐지(seq 7), 합격/불합격 변경 3명 |
+| --- | --- |
+
+| **도전 과제** | WRONG_SENT에 틀린 진술을 하나 추가하고, 키워드 제안 점수가 틀리는 사례가 늘어나는지 확인한다. |
+| --- | --- |
+
+| **제출물** | HITL 흐름 코드, 교관 검토 지침(요약), 감사 로그 검증 결과 |
+| --- | --- |
+
+**미션 8. 전 부대원 동시 응시 모의 대규모 트래픽 채점 부하 테스트 및 최적화**
+
+| **난이도·시간** | 고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M8 코드를 실행해 부하 단계별 처리량·보류·유실을 확인한다.
+2) 보류 사유(장애·길이 초과·없는 문항)별 처리 방안을 정리한다.
+3) 병목 프로파일과 캐시 적용 전후 처리량을 비교한다. |
+| --- | --- |
+
+| **확인할 결과** | 평시 x6(500% 증가)에서 다운 0건, 유실 0건
+캐시 적용 후 처리량 수 배 향상(예시 5.3배) |
+| --- | --- |
+
+| **도전 과제** | fail_rate를 0.1로 올려 보류 건수가 어떻게 늘어나는지 보고, 기능 축소 운용 전환 기준을 정한다. |
+| --- | --- |
+
+| **제출물** | 부하 테스트 코드, 부하 테스트 분석 보고서(처리량·보류·최적화) |
+| --- | --- |
+
+**미션 9. AAR 기반 문항 변별력 분석 및 난이도별 가중치 파라미터 재보정**
+
+| **난이도·시간** | 고급 · 3시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M9 코드를 실행해 경고 문항(정답 키 오류 의심·변별력 부족)을 확인한다.
+2) 재보정 단계별 합격 판정 정확도 변화를 표로 정리한다.
+3) 응시 집단 B 검증 결과와 YAML 설정을 AAR 보고서에 옮긴다. |
+| --- | --- |
+
+| **확인할 결과** | Q11 키 오류·Q08 결함 식별, 정확도 83.3% → 87.5%(+4.2%p, 목표 10%p 미달)
+새 응시 집단 재발 오류 0건, 신규 점검 대상 3건 |
+| --- | --- |
+
+| **도전 과제** | 응시자 수를 make_responses(80, ...)로 늘려 변별도 추정이 안정되는지, 신규 점검 대상 수가 어떻게 변하는지 확인한다. |
+| --- | --- |
+
+| **제출물** | AAR 분석 코드, AAR 보고서(원인·조치·효과), 재보정 YAML |
+| --- | --- |
+
+**미션 10. 방공 퀴즈 자동채점 및 오답분석 시스템 통합 최종 운영 패키지 완성**
+
+| **난이도·시간** | 최고급 · 3.5시간 |
+| --- | --- |
+
+| **진행 순서** | 1) M10 코드를 실행해 3개 회차 End-to-End 실행 결과를 확인한다.
+2) 자체 점검 통과 수와 함수 커버리지를 확인한다.
+3) 출력된 브리핑 요약으로 5분 분량 교육훈련 담당관 브리핑 자료를 만든다. |
+| --- | --- |
+
+| **확인할 결과** | End-to-End 성공률 100%, 자체 점검 16/16 통과
+함수 커버리지 100%(22/22), 브리핑 수치가 실행 결과와 일치 |
+| --- | --- |
+
+| **도전 과제** | CONFIG의 fuzzy_cut을 0.9, pass_ratio를 0.6으로 바꿔 실행하고 합격률과 교관 검토 건수 변화를 브리핑에 추가한다. |
+| --- | --- |
+
+| **제출물** | 통합 코드, README(실행 방법), 최종 결과 보고서와 브리핑 자료 |
+| --- | --- |
+
+**4. 최종 점검표**
+
+| **점검 항목** | **확인** |
+| --- | --- |
+| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
+| 각 미션의 확인할 결과를 기록했다 | ( ) |
+| 도전 과제 결과와 이유를 기록했다 | ( ) |
+| 목표 미달 항목(M9 정확도 10%p)의 원인을 기록했다 | ( ) |
+| 실제 부대원 성적·인적사항을 사용하지 않았다 | ( ) |
+| 채점 확정과 이의 판단은 교관이 하도록 설계했다 | ( ) |