미국-이란 전쟁 사례에서 보듯 드론과 미사일이 섞여 날아오는 전장에서는 장병 한 사람 한 사람이 비행체 형상을 식별하고, 아군·민간기와 구분하며, 정해진 보고·통제 절차를 지키는 능력이 방공의 기초가 된다. 그러나 부대 단위 방공 식별 교육은 채점과 오답 분석에 교관의 손이 많이 들어 개인별 약점을 제때 짚어 주기 어렵다. 본 프로젝트에서는 교육용 가상 문항 은행과 가상 응시자 응답을 코드로 만들어, 문항 데이터베이스 정의, 응답 정제·파싱, 자동 채점, 오답 유형(개념 혼동·피아 오인·절차 누락) 분류, 취약 영역 추천, 교수자 대시보드, 교관 검토(HITL), 대규모 동시 응시 부하 시험, AAR 문항 분석과 재보정, 최종 통합까지 채점·피드백 체계를 단계별로 구현한다. 최종 목표는 채점은 빠르고 정확하게 자동화하되, 이의 제기와 서술형 판단은 교관이 확정하는 신뢰할 수 있는 방공 교육 평가 도구를 만드는 것이다.
", "deliverables": [ "data/schema/trn02_input_schema.json (필수)", "docs/trn02_data_spec.md (필수)", "src/preprocess/trn02_preprocessor.py (필수)", "전처리 전후 데이터셋 (필수)", "src/models/trn02_baseline_model.py (필수)", "기본 추론 결과 보고서 (필수)" ], "constraints": "실제 부대 편성, 위치, 작전 일정, 군번·성명 등 민감 군사보안 및 개인식별정보는 절대 외부 AI에 입력하지 않는다.
모든 실습에는 제공된 교육용 가상 데이터셋 및 시뮬레이션 표본만을 활용한다.
AI 모델이 제안한 분석값이나 탐지 결과는 참고 지표이며, 최종 승인·보류·교전·배치 명령은 사람이 확정한다.
모든 문항·응답·인원은 코드 안에서 만든 교육용 가상 자료(가명 S001~, 가상1~3중대)이며 실제 교범·교전규칙 원문, 부대명, 장비 제원은 사용하지 않는다. 부대 내 촬영이나 부대 자료의 외부 AI 서비스 입력은 금지한다. 퀴즈의 교전 통제 문항은 일반 원칙 수준의 학습 내용이며, 실제 교전 여부는 교전수칙과 지휘계통에 따른다. 채점·추천 결과는 학습 보조 자료이며 개인 평가·인사 자료로 쓰지 않는다. 미션별 정답 코드는 각각 한 파일로 독립 실행된다.
수행 증거: 요구된 데이터 전처리, 모델 구현, 검증 지표 산출, HITL 워크플로우 증거가 명확한가?
판단 근거: 오경보/미탐 방지, 신뢰도 등급화, 파라미터 튜닝의 군사적·논리적 근거가 타당한가?
앞뒤 연결성: 앞 미션의 스키마·전처리가 뒤 미션의 예측·대시보드·AAR 재보정에 정상 연계되는가?
안전성: 보안 규정 준수, 극단 과부하 상황에서의 Fail-safe 복원력이 확보되었는가?
10개 미션 전체에서 요구되는 필수([필수]) 평가 기준을 모두 PASS해야 프로젝트 최종 PASS로 판정한다.
", "prerequisites": "기본 프로그래밍 지식 및 교육·훈련 데이터 분석 기초", "refFiles": [], "refText": "", "projectSkills": [ { "skillId": "competency_군특화문제해결_교육·훈련_문제분석", "level": 2, "category": "군특화문제해결", "subCategory": "교육·훈련 문제분석" }, { "skillId": "competency_군특화문제해결_교육·훈련_대안도출", "level": 1, "category": "군특화문제해결", "subCategory": "교육·훈련 대안도출" }, { "skillId": "competency_데이터분석검증_결과검증", "level": 2, "category": "데이터분석검증", "subCategory": "AI 결과 검증" }, { "skillId": "competency_AI활용역량_도구활용", "level": 1, "category": "AI활용역량", "subCategory": "AI 도구 및 모델 활용" }, { "skillId": "competency_전술의사결정_인간검토", "level": 2, "category": "전술의사결정", "subCategory": "HITL 인간 검토 및 책임분계" } ], "prerequisiteVods": [], "missions": [ { "id": "TRN02_M01", "sequence": 1, "title": "방공 식별 및 대드론 교전 수칙 퀴즈 문항 데이터베이스 및 평가 기준 수립", "durationHours": 1.5, "overview": "형상식별·피아식별·경보보고·교전통제·대드론일반 5개 영역의 퀴즈 문항 데이터베이스 구조와 난이도별 배점·합격 기준을 정하고, 잘못된 문항·응답 기록을 걸러내는 검증기를 만든다.
", "objectives": "선다형·단답형·순서형 문항의 필드(문항ID, 영역, 난이도, 정답, 오답 보기별 오답 유형)와 응답 기록 필드(응시자, 문항, 원본 응답, 제출 시각), 응시 상황 필드(장소·통신 상태 등)를 정의한다. 가상 문항 32개와 응답 샘플을 검증하고, 형식·범위·누락·매핑 오류를 일부러 넣어 검증기가 모두 잡아내는지 확인한다. 배점(난이도 1/2/3 = 2/3/5점), 합격선(70%), 미응답 처리 규칙을 명세서에 정리한다.
", "scenario": "방공 식별 및 대드론 교전 수칙 퀴즈 문항 데이터베이스 및 평가 기준을 수립한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 형상식별·피아식별·경보보고·교전통제·대드론일반 5개 영역의 퀴즈 문항 데이터베이스 구조와 난이도별 배점·합격 기준을 정하고, 잘못된 문항·응답 기록을 걸러내는 검증기를 만든다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 선다형·단답형·순서형 문항의 필드(문항ID, 영역, 난이도, 정답, 오답 보기별 오답 유형)와 응답 기록 필드(응시자, 문항, 원본 응답, 제출 시각), 응시 상황 필드(장소·통신 상태 등) 정의하고 검증하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: data/schema/trn02_input_schema.json 및 docs/trn02_data_spec.md 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "data/schema/trn02_input_schema.json (필수)", "docs/trn02_data_spec.md (필수)" ], "evaluationKeys": [ "[방공 식별 및 대드론 교전 수칙 퀴즈 문항 데이터베이스 및 평가 기준 수립] 요구된 핵심 성능 기준(스키마 필드 정의 완성도 100%, 샘플 데이터 검증 오류 0건)을 완벽히 달성하였는가?
스키마 필드 정의 완성도 100%, 샘플 데이터 검증 오류 0건 기준을 충족하고 입력 데이터 유효성 검증 스크립트 통과 및 명세서 문서화 완료을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
누락된 전술 파라미터(기상, 위치오차, 통신지연 등) 보완을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 교육·훈련 실무 및 미국-이란 전쟁 전장 환경과의 군사적 부합성 관점의 타당성이 확보되었는가?
교육·훈련 실무 및 미국-이란 전쟁 전장 환경과의 군사적 부합성이 논리적으로 검증되었으며 JSON Schema 검증 도구 및 샘플 데이터 파싱 단위 테스트를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 교육·훈련 실무 및 미국-이란 전쟁 전장 환경과의 군사적 부합성
정량 기준: 스키마 필드 정의 완성도 100%, 샘플 데이터 검증 오류 0건
진행 기준: 입력 데이터 유효성 검증 스크립트 통과 및 명세서 문서화 완료
검증 방법: JSON Schema 검증 도구 및 샘플 데이터 파싱 단위 테스트
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M1 코드를 실행해 문항 32개와 응답 샘플 50건의 검증 결과를 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M1 코드를 실행해 문항 32개와 응답 샘플 50건의 검증 결과를 확인한다.
M1 코드를 실행해 문항 32개와 응답 샘플 50건의 검증 결과를 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
정상 문항·응답 검증 오류 0건, 주입 오류 모두 검출 스키마 필드 14개, 5개 영역 문항 구성과 배점(2/3/5점)·합격선 70% 정리
M1 코드를 실행해 문항 32개와 응답 샘플 50건의 검증 결과를 확인한다. 실행 결과 및 검증 로그
M1 코드를 실행해 문항 32개와 응답 샘플 50건의 검증 결과를 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(정상 문항·응답 검증 오류 0건, 주입 오류 모두 검출 스키마 필드 14개, 5개 영역 문항 구성과 배점(2/3/5점)·합격선 70% 정리)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
오류 주입 결과에서 각 오류가 어떤 규칙에 걸렸는지 표로 정리한다.
오류 주입 결과에서 각 오류가 어떤 규칙에 걸렸는지 표로 정리한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
정상 문항·응답 검증 오류 0건, 주입 오류 모두 검출 스키마 필드 14개, 5개 영역 문항 구성과 배점(2/3/5점)·합격선 70% 정리
오류 주입 결과에서 각 오류가 어떤 규칙에 걸렸는지 표로 정리한다. 실행 결과 및 검증 로그
오류 주입 결과에서 각 오류가 어떤 규칙에 걸렸는지 표로 정리한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(정상 문항·응답 검증 오류 0건, 주입 오류 모두 검출 스키마 필드 14개, 5개 영역 문항 구성과 배점(2/3/5점)·합격선 70% 정리)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
문항 구성표(영역x유형)와 평가 기준(배점·합격선·미응답 처리)을 명세서로 옮긴다.
문항 구성표(영역x유형)와 평가 기준(배점·합격선·미응답 처리)을 명세서로 옮긴다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
정상 문항·응답 검증 오류 0건, 주입 오류 모두 검출 스키마 필드 14개, 5개 영역 문항 구성과 배점(2/3/5점)·합격선 70% 정리
문항 구성표(영역x유형)와 평가 기준(배점·합격선·미응답 처리)을 명세서로 옮긴다. 실행 결과 및 검증 로그
문항 구성표(영역x유형)와 평가 기준(배점·합격선·미응답 처리)을 명세서로 옮긴다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(정상 문항·응답 검증 오류 0건, 주입 오류 모두 검출 스키마 필드 14개, 5개 영역 문항 구성과 배점(2/3/5점)·합격선 70% 정리)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
응시 상황 필드에 기상(weather: 맑음·우천·야간) 항목을 추가하고 허용값 밖의 값을 넣어 검출되는지 확인한다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
장병 응답의 전각 숫자·원문자·공백·어미 같은 표기 차이를 정제하고 문항 유형별로 답안을 파싱하는 전처리 모듈을 구현한다.
", "objectives": "유니코드 정규화(NFKC), 원문자·영문 보기·'번' 표기 통일, 단답형 공백·끝맺음 어미 제거, 순서형 구분자 제거를 구현한다. 통신 지연으로 생긴 재전송 중복 제출을 제거하고 미응답·형식 오류는 삭제하지 않고 분리한다. 처리 속도와 전처리 오류율을 재고 단위 테스트 5종으로 검증한다.
", "scenario": "장병 응답 텍스트/선택지 정제 및 시험 답안 파싱 전처리 모듈을 구현한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 장병 응답의 전각 숫자·원문자·공백·어미 같은 표기 차이를 정제하고 문항 유형별로 답안을 파싱하는 전처리 모듈을 구현한다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 유니코드 정규화(NFKC), 원문자·영문 보기·'번' 표기 통일, 단답형 공백·끝맺음 어미 제거, 순서형 구분자 제거 구현하고 동작을 검증하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: src/preprocess/trn02_preprocessor.py 및 전처리 전후 데이터셋 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "src/preprocess/trn02_preprocessor.py (필수)", "전처리 전후 데이터셋 (필수)" ], "evaluationKeys": [ "[장병 응답 텍스트/선택지 정제 및 시험 답안 파싱 전처리 모듈 구현] 요구된 핵심 성능 기준(데이터 정제 처리 속도 1,000건/초 이상, 전처리 오류율 0%)을 완벽히 달성하였는가?
데이터 정제 처리 속도 1,000건/초 이상, 전처리 오류율 0% 기준을 충족하고 정제 파이프라인 자동화 및 단위 테스트 케이스 5종 통과을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
전술 상황별(주간/야간/악천후) 맞춤형 노이즈 제거 임계값 동적 조정을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 전술 환경 특유의 노이즈(스푸핑, 반사파, 센서 단절 등) 제거 타당성 관점의 타당성이 확보되었는가?
전술 환경 특유의 노이즈(스푸핑, 반사파, 센서 단절 등) 제거 타당성이 논리적으로 검증되었으며 pytest 기반 전처리 정합성 테스트 및 결측치 보정율 확인를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 전술 환경 특유의 노이즈(스푸핑, 반사파, 센서 단절 등) 제거 타당성
정량 기준: 데이터 정제 처리 속도 1,000건/초 이상, 전처리 오류율 0%
진행 기준: 정제 파이프라인 자동화 및 단위 테스트 케이스 5종 통과
검증 방법: pytest 기반 전처리 정합성 테스트 및 결측치 보정율 확인
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M2 코드를 실행해 처리 속도, 중복 제거 건수, 상태 분포를 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M2 코드를 실행해 처리 속도, 중복 제거 건수, 상태 분포를 확인한다.
M2 코드를 실행해 처리 속도, 중복 제거 건수, 상태 분포를 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
처리 속도 1,000건/초 이상(예시 약 18만 건/초), 전처리 오류 0건 단위 테스트 5/5 통과, 중복 115건 제거 후 3,840건
M2 코드를 실행해 처리 속도, 중복 제거 건수, 상태 분포를 확인한다. 실행 결과 및 검증 로그
M2 코드를 실행해 처리 속도, 중복 제거 건수, 상태 분포를 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(처리 속도 1,000건/초 이상(예시 약 18만 건/초), 전처리 오류 0건 단위 테스트 5/5 통과, 중복 115건 제거 후 3,840건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
단위 테스트 5종의 입력과 기대값을 표로 정리한다.
단위 테스트 5종의 입력과 기대값을 표로 정리한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
처리 속도 1,000건/초 이상(예시 약 18만 건/초), 전처리 오류 0건 단위 테스트 5/5 통과, 중복 115건 제거 후 3,840건
단위 테스트 5종의 입력과 기대값을 표로 정리한다. 실행 결과 및 검증 로그
단위 테스트 5종의 입력과 기대값을 표로 정리한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(처리 속도 1,000건/초 이상(예시 약 18만 건/초), 전처리 오류 0건 단위 테스트 5/5 통과, 중복 115건 제거 후 3,840건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
전처리 전후 예시에서 원문자·전각·어미가 어떻게 정제되었는지 설명한다.
전처리 전후 예시에서 원문자·전각·어미가 어떻게 정제되었는지 설명한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
처리 속도 1,000건/초 이상(예시 약 18만 건/초), 전처리 오류 0건 단위 테스트 5/5 통과, 중복 115건 제거 후 3,840건
전처리 전후 예시에서 원문자·전각·어미가 어떻게 정제되었는지 설명한다. 실행 결과 및 검증 로그
전처리 전후 예시에서 원문자·전각·어미가 어떻게 정제되었는지 설명한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(처리 속도 1,000건/초 이상(예시 약 18만 건/초), 전처리 오류 0건 단위 테스트 5/5 통과, 중복 115건 제거 후 3,840건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
TAILS에 '이에요'를 추가하고 '피아식별이에요' 같은 응답이 정상 정제되는지 테스트를 하나 더 만든다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
선다형·단답형·순서형 퀴즈를 자동 채점하는 Baseline을 구현하고 교관 기준 판정과 비교해 정확도를 확인한다.
", "objectives": "정확 일치 채점과 오탈자(글자 순서 바뀜·한 글자 누락)를 허용하는 유사도 채점을 구현하고, 유사도 기준값을 바꿔 가며 단답형 채점 정확도를 비교한다. 정확 일치가 틀린 사례를 표로 정리하고, 뜻은 맞지만 인정 답안 목록에 없는 표현은 교관 검토 대상으로 넘긴다. 응시자별 점수·합격 여부와 실행 로그를 출력한다.
", "scenario": "선다형 및 단답형 방공 퀴즈 자동 채점 Baseline 로직을 구현한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 선다형·단답형·순서형 퀴즈를 자동 채점하는 Baseline을 구현하고 교관 기준 판정과 비교해 정확도를 확인한다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 정확 일치 채점과 오탈자(글자 순서 바뀜·한 글자 누락)를 허용하는 유사도 채점을 구현하고, 유사도 기준값을 바꿔 가며 단답형 채점 정확도를 비교 수행하고 검증하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 5개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: src/models/trn02_baseline_model.py 및 기본 추론 결과 보고서 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "src/models/trn02_baseline_model.py (필수)", "기본 추론 결과 보고서 (필수)" ], "evaluationKeys": [ "[선다형 및 단답형 방공 퀴즈 자동 채점 Baseline 로직 구현] 요구된 핵심 성능 기준(기본 데이터셋 대상 탐지/처리 정확도 75% 이상 달성)을 완벽히 달성하였는가?
기본 데이터셋 대상 탐지/처리 정확도 75% 이상 달성 기준을 충족하고 단위 기능 동작 확인 및 기본 시나리오 실행 로그 생성을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
판단 지연시간 최적화 및 휴리스틱 가중치 1차 튜닝을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 알고리즘의 논리적 흐름 및 군사적 판단 기준의 투명성 관점의 타당성이 확보되었는가?
알고리즘의 논리적 흐름 및 군사적 판단 기준의 투명성이 논리적으로 검증되었으며 기준 벤치마크 데이터셋 대상 추론 결과 오차율 비교를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 알고리즘의 논리적 흐름 및 군사적 판단 기준의 투명성
정량 기준: 기본 데이터셋 대상 탐지/처리 정확도 75% 이상 달성
진행 기준: 단위 기능 동작 확인 및 기본 시나리오 실행 로그 생성
검증 방법: 기준 벤치마크 데이터셋 대상 추론 결과 오차율 비교
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M3 코드를 실행해 채점 정확도와 건당 처리 시간을 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M3 코드를 실행해 채점 정확도와 건당 처리 시간을 확인한다.
M3 코드를 실행해 채점 정확도와 건당 처리 시간을 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 평균 67.4점, 합격률 50.8%
M3 코드를 실행해 채점 정확도와 건당 처리 시간을 확인한다. 실행 결과 및 검증 로그
M3 코드를 실행해 채점 정확도와 건당 처리 시간을 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 평균 67.4점, 합격률 50.8%)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
정확 일치가 틀린 사례 표를 보고 오탈자 허용 채점이 바로잡은 경우와 못 잡은 경우를 구분한다.
정확 일치가 틀린 사례 표를 보고 오탈자 허용 채점이 바로잡은 경우와 못 잡은 경우를 구분한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 평균 67.4점, 합격률 50.8%
정확 일치가 틀린 사례 표를 보고 오탈자 허용 채점이 바로잡은 경우와 못 잡은 경우를 구분한다. 실행 결과 및 검증 로그
정확 일치가 틀린 사례 표를 보고 오탈자 허용 채점이 바로잡은 경우와 못 잡은 경우를 구분한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 평균 67.4점, 합격률 50.8%)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
유사도 기준값별 정확도를 보고
유사도 기준값별 정확도를 보고에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 평균 67.4점, 합격률 50.8%
유사도 기준값별 정확도를 보고 실행 결과 및 검증 로그
유사도 기준값별 정확도를 보고 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 평균 67.4점, 합격률 50.8%)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
75를 고른 이유를 정리한다.
75를 고른 이유를 정리한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 평균 67.4점, 합격률 50.8%
75를 고른 이유를 정리한다. 실행 결과 및 검증 로그
75를 고른 이유를 정리한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(채점 정확도 99.0%(목표 75% 이상), 채점 예외 0건 평균 67.4점, 합격률 50.8%)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
grade_fuzzy의 cut을 0.6으로 낮췄을 때 알려진 오답이 정답으로 바뀌는 사례가 생기는지 확인한다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
오답을 개념 혼동·피아 오인·절차 누락 유형으로 자동 분류하는 엔진을 고도화하고 개인·중대별 오답 패턴을 분석한다.
", "objectives": "선다형은 오답 보기별 유형 매핑, 순서형은 단계 누락·순서 뒤바뀜 규칙, 단답형은 오답 목록 대조와 오탈자 근사 일치에 문자 n-gram 분류 모델을 더한다. 표기 변형·오탈자·목록에 없는 새 오답 등 복합 오답 시나리오 10종을 만들어 유형별 재현율과 처리 지연을 검증한다. 잘못 분류된 새 오답을 모아 특징 재설계 대상으로 정리한다.
", "scenario": "오답 유형(개념 혼동, 피아 오인, 절차 누락) 자동 분류 엔진을 고도화한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 오답을 개념 혼동·피아 오인·절차 누락 유형으로 자동 분류하는 엔진을 고도화하고 개인·중대별 오답 패턴을 분석한다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 선다형은 오답 보기별 유형 매핑, 순서형은 단계 누락·순서 뒤바뀜 규칙, 단답형은 오답 목록 대조와 오탈자 근사 일치에 문자 n-gram 분류 모델을 더 수행하고 검증하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: src/models/trn02_advanced_detector.py 및 예외 탐지 테스트 결과 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "src/models/trn02_advanced_detector.py (필수)", "예외 탐지 테스트 결과 (필수)" ], "evaluationKeys": [ "[오답 유형(개념 혼동, 피아 오인, 절차 누락) 자동 분류 및 패턴 분석 엔진 고도화] 요구된 핵심 성능 기준(복합 위협 탐지 재현율(Recall) 85% 이상, 처리 지연 200ms 이하)을 완벽히 달성하였는가?
복합 위협 탐지 재현율(Recall) 85% 이상, 처리 지연 200ms 이하 기준을 충족하고 복합 위협 시나리오 10종에 대한 탐지 테스트 통과을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
오경보(False Alarm) 유발 패턴 식별 및 특징 공간(Feature Space) 재설계을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 기만/교란 공격에 대한 방어 로직의 현실성 및 신뢰성 관점의 타당성이 확보되었는가?
기만/교란 공격에 대한 방어 로직의 현실성 및 신뢰성이 논리적으로 검증되었으며 합성 위협 데이터셋 주입 시 이상치 탐지 정확도 검증를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 기만/교란 공격에 대한 방어 로직의 현실성 및 신뢰성
정량 기준: 복합 위협 탐지 재현율(Recall) 85% 이상, 처리 지연 200ms 이하
진행 기준: 복합 위협 시나리오 10종에 대한 탐지 테스트 통과
검증 방법: 합성 위협 데이터셋 주입 시 이상치 탐지 정확도 검증
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M4 코드를 실행해 시나리오 10종의 통과 여부와 유형별 재현율을 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M4 코드를 실행해 시나리오 10종의 통과 여부와 유형별 재현율을 확인한다.
M4 코드를 실행해 시나리오 10종의 통과 여부와 유형별 재현율을 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
유형별 재현율 85% 이상(예시 0.995~1.0), 건당 0.2초 이하 시나리오 10/10 통과, 새 오답 오분류 3건 식별
M4 코드를 실행해 시나리오 10종의 통과 여부와 유형별 재현율을 확인한다. 실행 결과 및 검증 로그
M4 코드를 실행해 시나리오 10종의 통과 여부와 유형별 재현율을 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(유형별 재현율 85% 이상(예시 0.995~1.0), 건당 0.2초 이하 시나리오 10/10 통과, 새 오답 오분류 3건 식별)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
S9(목록에 없는 새 오답)의 오분류 사례를 보고 원인을 적는다.
S9(목록에 없는 새 오답)의 오분류 사례를 보고 원인을 적는다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
유형별 재현율 85% 이상(예시 0.995~1.0), 건당 0.2초 이하 시나리오 10/10 통과, 새 오답 오분류 3건 식별
S9(목록에 없는 새 오답)의 오분류 사례를 보고 원인을 적는다. 실행 결과 및 검증 로그
S9(목록에 없는 새 오답)의 오분류 사례를 보고 원인을 적는다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(유형별 재현율 85% 이상(예시 0.995~1.0), 건당 0.2초 이하 시나리오 10/10 통과, 새 오답 오분류 3건 식별)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
중대별 오답 유형 비율 표로 중대마다 강조할 교육 내용을 정한다.
중대별 오답 유형 비율 표로 중대마다 강조할 교육 내용을 정한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
유형별 재현율 85% 이상(예시 0.995~1.0), 건당 0.2초 이하 시나리오 10/10 통과, 새 오답 오분류 3건 식별
중대별 오답 유형 비율 표로 중대마다 강조할 교육 내용을 정한다. 실행 결과 및 검증 로그
중대별 오답 유형 비율 표로 중대마다 강조할 교육 내용을 정한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(유형별 재현율 85% 이상(예시 0.995~1.0), 건당 0.2초 이하 시나리오 10/10 통과, 새 오답 오분류 3건 식별)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
SEED 사전에 오분류된 새 오답 3개를 올바른 유형으로 추가하고 S9 정확도가 오르는지 확인한다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
채점 결과로 개인별·중대별 방공 취약 영역을 찾고, 불필요한 추천을 줄인 맞춤형 보충 학습 추천 알고리즘을 개발한다.
", "objectives": "문항 난이도를 반영한 베이즈 추정으로 영역별 '취약할 확률'을 계산하고 High/Medium/Low 신뢰도 등급을 부여한다. '오답이 하나라도 있으면 추천'하던 방식과 비교해 불필요한 추천(오경보) 감축률, 응답 1건을 빼고 다시 계산했을 때의 결정 일관성, ROC-AUC와 임계값 민감도를 확인한다. 중대 단위 보충 교육 권고 영역을 도출한다.
", "scenario": "개인별/부대별 방공 취약 영역 식별 및 맞춤형 보충 학습 추천 알고리즘을 개발한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 채점 결과로 개인별·중대별 방공 취약 영역을 찾고, 불필요한 추천을 줄인 맞춤형 보충 학습 추천 알고리즘을 개발한다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 문항 난이도를 반영한 베이즈 추정으로 영역별 '취약할 확률'을 계산하고 High/Medium/Low 신뢰도 등급을 부여 수행하고 검증하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: src/verification/trn02_confidence_engine.py 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "src/verification/trn02_confidence_engine.py (필수)" ], "evaluationKeys": [ "[개인별/부대별 방공 취약 영역 식별 및 맞춤형 보충 학습 추천 알고리즘 개발] 요구된 핵심 성능 기준(오경보율(FAR) 40% 이상 감축, 신뢰도 스코어 산출 일관성 90% 이상)을 완벽히 달성하였는가?
오경보율(FAR) 40% 이상 감축, 신뢰도 스코어 산출 일관성 90% 이상 기준을 충족하고 오경보 필터링 전후 비교 지표 산출 및 통합 테스트 완료을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
신뢰도 가중치 매트릭스 재조정 및 불확실성 지표 시각화 지원을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 신뢰도 등급(High/Med/Low) 부여 기준의 군사적 타당성 관점의 타당성이 확보되었는가?
신뢰도 등급(High/Med/Low) 부여 기준의 군사적 타당성이 논리적으로 검증되었으며 ROC-AUC 곡선 분석 및 임계값 민감도 테스트를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 신뢰도 등급(High/Med/Low) 부여 기준의 군사적 타당성
정량 기준: 오경보율(FAR) 40% 이상 감축, 신뢰도 스코어 산출 일관성 90% 이상
진행 기준: 오경보 필터링 전후 비교 지표 산출 및 통합 테스트 완료
검증 방법: ROC-AUC 곡선 분석 및 임계값 민감도 테스트
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M5 코드를 실행해 기존 방식과 난이도 반영 추정의 추천 수·오경보율을 비교한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M5 코드를 실행해 기존 방식과 난이도 반영 추정의 추천 수·오경보율을 비교한다.
M5 코드를 실행해 기존 방식과 난이도 반영 추정의 추천 수·오경보율을 비교한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
오경보율 감축 42.6%(목표 40% 이상), 결정 일관성 91.2% ROC-AUC 0.898, 중대 단위 보충 교육 권고 5건
M5 코드를 실행해 기존 방식과 난이도 반영 추정의 추천 수·오경보율을 비교한다. 실행 결과 및 검증 로그
M5 코드를 실행해 기존 방식과 난이도 반영 추정의 추천 수·오경보율을 비교한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(오경보율 감축 42.6%(목표 40% 이상), 결정 일관성 91.2% ROC-AUC 0.898, 중대 단위 보충 교육 권고 5건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
임계값 민감도 결과로 오경보율과 재현율의 교환 관계를 설명한다.
임계값 민감도 결과로 오경보율과 재현율의 교환 관계를 설명한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
오경보율 감축 42.6%(목표 40% 이상), 결정 일관성 91.2% ROC-AUC 0.898, 중대 단위 보충 교육 권고 5건
임계값 민감도 결과로 오경보율과 재현율의 교환 관계를 설명한다. 실행 결과 및 검증 로그
임계값 민감도 결과로 오경보율과 재현율의 교환 관계를 설명한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(오경보율 감축 42.6%(목표 40% 이상), 결정 일관성 91.2% ROC-AUC 0.898, 중대 단위 보충 교육 권고 5건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
개인 추천 예시와 중대 단위 권고를 확인한다.
개인 추천 예시와 중대 단위 권고를 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
오경보율 감축 42.6%(목표 40% 이상), 결정 일관성 91.2% ROC-AUC 0.898, 중대 단위 보충 교육 권고 5건
개인 추천 예시와 중대 단위 권고를 확인한다. 실행 결과 및 검증 로그
개인 추천 예시와 중대 단위 권고를 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(오경보율 감축 42.6%(목표 40% 이상), 결정 일관성 91.2% ROC-AUC 0.898, 중대 단위 보충 교육 권고 5건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
MEDIUM을 0.3으로 낮췄을 때 오경보율 감축과 재현율이 어떻게 바뀌는지 확인하고 적정 기준을 제안한다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
부대 방공 지식 수준과 오답 분포를 한눈에 보여 주는 교수자 대시보드를 구현한다.
", "objectives": "중대x영역 정답률 히트맵, 중대별 오답 유형 비율, 점수 분포와 합격선, 고난도 문항 목록 등 구성요소 4종 이상을 그린다. 응답이 묶음으로 들어올 때 누적 집계만 갱신하도록 만들어 갱신 시간을 재고, 중대·영역 필터 조회 응답 시간을 측정한다. 정답률이 기준보다 낮은 중대·영역은 경보로 강조한다.
", "scenario": "부대 방공 지식 통계 및 오답 분포 가시화 교수자 대시보드를 구현한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 부대 방공 지식 수준과 오답 분포를 한눈에 보여 주는 교수자 대시보드를 구현한다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 중대x영역 정답률 히트맵, 중대별 오답 유형 비율, 점수 분포와 합격선, 고난도 문항 목록 등 구성요소 4종 이상을 그린다 과정을 진행하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: src/ui/trn02_dashboard.py (또는 웹 UI 컴포넌트) 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "src/ui/trn02_dashboard.py (또는 웹 UI 컴포넌트) (필수)" ], "evaluationKeys": [ "[부대 방공 지식 수준 통계 및 오답 분포 가시화 교수자 대시보드 구현] 요구된 핵심 성능 기준(화면 갱신 주기 1초 이내, UI 응답성 100ms 이내)을 완벽히 달성하였는가?
화면 갱신 주기 1초 이내, UI 응답성 100ms 이내 기준을 충족하고 주요 지표 시각화 컴포넌트 4종 이상 렌더링 및 실시간 데이터 연동을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
야간 작전 모드(Dark mode) 및 긴급 경보 하이라이트 UI 개선을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 전술 작전 상황판으로서의 직관성 및 인지 부하 감소도 관점의 타당성이 확보되었는가?
전술 작전 상황판으로서의 직관성 및 인지 부하 감소도이 논리적으로 검증되었으며 사용자 인터랙션 테스트 및 모의 데이터 스트림 렌더링 검증를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 전술 작전 상황판으로서의 직관성 및 인지 부하 감소도
정량 기준: 화면 갱신 주기 1초 이내, UI 응답성 100ms 이내
진행 기준: 주요 지표 시각화 컴포넌트 4종 이상 렌더링 및 실시간 데이터 연동
검증 방법: 사용자 인터랙션 테스트 및 모의 데이터 스트림 렌더링 검증
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M6 코드를 실행해 4번의 갱신 시간과 필터 조회 시간을 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M6 코드를 실행해 4번의 갱신 시간과 필터 조회 시간을 확인한다.
M6 코드를 실행해 4번의 갱신 시간과 필터 조회 시간을 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
집계 갱신 최대 수십 ms(목표 1초 이내), 필터 조회 최대 수 ms(목표 100ms 이내) 구성요소 4종 렌더링, 경보 1건(가상2중대 교전통제 0.50)
M6 코드를 실행해 4번의 갱신 시간과 필터 조회 시간을 확인한다. 실행 결과 및 검증 로그
M6 코드를 실행해 4번의 갱신 시간과 필터 조회 시간을 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(집계 갱신 최대 수십 ms(목표 1초 이내), 필터 조회 최대 수 ms(목표 100ms 이내) 구성요소 4종 렌더링, 경보 1건(가상2중대 교전통제 0.50))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
대시보드 4개 그림에서 경보(굵은 글씨) 칸과 고난도 문항을 찾는다.
대시보드 4개 그림에서 경보(굵은 글씨) 칸과 고난도 문항을 찾는다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
집계 갱신 최대 수십 ms(목표 1초 이내), 필터 조회 최대 수 ms(목표 100ms 이내) 구성요소 4종 렌더링, 경보 1건(가상2중대 교전통제 0.50)
대시보드 4개 그림에서 경보(굵은 글씨) 칸과 고난도 문항을 찾는다. 실행 결과 및 검증 로그
대시보드 4개 그림에서 경보(굵은 글씨) 칸과 고난도 문항을 찾는다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(집계 갱신 최대 수십 ms(목표 1초 이내), 필터 조회 최대 수 ms(목표 100ms 이내) 구성요소 4종 렌더링, 경보 1건(가상2중대 교전통제 0.50))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
중대별 요약과 경보 하이라이트를 근거로 교관 조치 사항을 적는다.
중대별 요약과 경보 하이라이트를 근거로 교관 조치 사항을 적는다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
집계 갱신 최대 수십 ms(목표 1초 이내), 필터 조회 최대 수 ms(목표 100ms 이내) 구성요소 4종 렌더링, 경보 1건(가상2중대 교전통제 0.50)
중대별 요약과 경보 하이라이트를 근거로 교관 조치 사항을 적는다. 실행 결과 및 검증 로그
중대별 요약과 경보 하이라이트를 근거로 교관 조치 사항을 적는다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(집계 갱신 최대 수십 ms(목표 1초 이내), 필터 조회 최대 수 ms(목표 100ms 이내) 구성요소 4종 렌더링, 경보 1건(가상2중대 교전통제 0.50))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
ALERT_AREA를 0.65로 올려 경보 대상이 몇 건으로 늘어나는지 보고, 경보가 너무 많을 때의 문제를 적는다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
이의 제기 문항과 서술형 답변을 교관이 검토·확정하는 HITL 흐름을 설계하고, 자동 채점이 점수를 단정하지 못하게 한다.
", "objectives": "서술형은 핵심 요소 키워드로 점수를 '제안'만 하고, 이의 제기와 함께 합격선 근처·저신뢰 답안부터 검토하는 우선순위 대기열에 올린다. 교관의 인정·기각·수정 결정은 사유 없이는 기록되지 않게 하고, 결정 전 자동 확정 시도를 차단한다. 모든 제출·결정을 해시 체인 감사 로그에 남기고 사후 변조를 탐지하는지 확인한다.
", "scenario": "이의 제기 문항 및 서술형 답변에 대한 교관 수동 채점(HITL) 인터페이스를 설계한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 이의 제기 문항과 서술형 답변을 교관이 검토·확정하는 HITL 흐름을 설계하고, 자동 채점이 점수를 단정하지 못하게 한다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 서술형은 핵심 요소 키워드로 점수를 '제안'만 하고, 이의 제기와 함께 합격선 근처·저신뢰 답안부터 검토하는 우선순위 대기열에 올린다 과정을 진행하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: src/hitl/trn02_approval_workflow.py 및 docs/trn02_hitl_guide.md 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "src/hitl/trn02_approval_workflow.py (필수)", "docs/trn02_hitl_guide.md (필수)" ], "evaluationKeys": [ "[이의 제기 문항 및 서술형 답변에 대한 교관 수동 채점(HITL) 검토 인터페이스 설계] 요구된 핵심 성능 기준(인간 검토 큐(Queue) 대기시간 및 승인/반려 처리 로깅 성공률 100%)을 완벽히 달성하였는가?
인간 검토 큐(Queue) 대기시간 및 승인/반려 처리 로깅 성공률 100% 기준을 충족하고 승인/반려 인터페이스 동작 및 감사 로그(Audit Log) 생성 검증을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
검토 우선순위 큐잉 알고리즘 개선 및 지휘관 피드백 입력 폼 추가을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 지휘 책임 분계선 명확화 및 성급한 자동 단정 방지 체계 부합성 관점의 타당성이 확보되었는가?
지휘 책임 분계선 명확화 및 성급한 자동 단정 방지 체계 부합성이 논리적으로 검증되었으며 모의 조작자 승인/반려 시뮬레이션 및 데이터 무결성 검증를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 지휘 책임 분계선 명확화 및 성급한 자동 단정 방지 체계 부합성
정량 기준: 인간 검토 큐(Queue) 대기시간 및 승인/반려 처리 로깅 성공률 100%
진행 기준: 승인/반려 인터페이스 동작 및 감사 로그(Audit Log) 생성 검증
검증 방법: 모의 조작자 승인/반려 시뮬레이션 및 데이터 무결성 검증
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M7 코드를 실행해 자동 확정 차단과 사유 없는 결정 차단을 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M7 코드를 실행해 자동 확정 차단과 사유 없는 결정 차단을 확인한다.
M7 코드를 실행해 자동 확정 차단과 사유 없는 결정 차단을 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
자동 확정 시도 5건 모두 차단, 로깅 성공률 100%(165건) 변조 탐지(seq 7), 합격/불합격 변경 3명
M7 코드를 실행해 자동 확정 차단과 사유 없는 결정 차단을 확인한다. 실행 결과 및 검증 로그
M7 코드를 실행해 자동 확정 차단과 사유 없는 결정 차단을 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(자동 확정 시도 5건 모두 차단, 로깅 성공률 100%(165건) 변조 탐지(seq 7), 합격/불합격 변경 3명)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
검토 결과 표에서 서술형 승인·수정, 이의 제기 인정·기각 건수를 확인한다.
검토 결과 표에서 서술형 승인·수정, 이의 제기 인정·기각 건수를 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
자동 확정 시도 5건 모두 차단, 로깅 성공률 100%(165건) 변조 탐지(seq 7), 합격/불합격 변경 3명
검토 결과 표에서 서술형 승인·수정, 이의 제기 인정·기각 건수를 확인한다. 실행 결과 및 검증 로그
검토 결과 표에서 서술형 승인·수정, 이의 제기 인정·기각 건수를 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(자동 확정 시도 5건 모두 차단, 로깅 성공률 100%(165건) 변조 탐지(seq 7), 합격/불합격 변경 3명)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
감사 로그 변조 탐지와 교관 검토로 판정이 바뀐 인원 수를 정리한다.
감사 로그 변조 탐지와 교관 검토로 판정이 바뀐 인원 수를 정리한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
자동 확정 시도 5건 모두 차단, 로깅 성공률 100%(165건) 변조 탐지(seq 7), 합격/불합격 변경 3명
감사 로그 변조 탐지와 교관 검토로 판정이 바뀐 인원 수를 정리한다. 실행 결과 및 검증 로그
감사 로그 변조 탐지와 교관 검토로 판정이 바뀐 인원 수를 정리한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(자동 확정 시도 5건 모두 차단, 로깅 성공률 100%(165건) 변조 탐지(seq 7), 합격/불합격 변경 3명)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
WRONG_SENT에 틀린 진술을 하나 추가하고, 키워드 제안 점수가 틀리는 사례가 늘어나는지 확인한다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
전 부대원이 동시에 응시하는 상황을 모의해 채점 시스템이 대규모 제출과 장애 속에서도 멈추거나 답안을 잃지 않는지 시험한다.
", "objectives": "평시 120명 제출량을 3배·6배·11배로 늘리고 초장문·제어문자·없는 문항 등 손상 답안과 채점기 응답 지연(장애 2%)을 주입한다. 오류가 나면 시스템을 멈추지 않고 원본을 '채점 보류' 대기열로 옮기는 안전 실패 동작을 확인한다. 병목 구간을 측정하고 같은 답안 재계산을 줄이는 캐시를 적용해 처리량을 비교한다.
", "scenario": "전 부대원 동시 응시 모의 대규모 트래픽 채점 부하 테스트를 수행한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 전 부대원이 동시에 응시하는 상황을 모의해 채점 시스템이 대규모 제출과 장애 속에서도 멈추거나 답안을 잃지 않는지 시험한다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 평시 120명 제출량을 3배·6배·11배로 늘리고 초장문·제어문자·없는 문항 등 손상 답안과 채점기 응답 지연(장애 2%) 주입하여 처리 지연 및 복원력을 시험하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: tests/trn02_stress_test.py 및 스트레스 테스트 분석 보고서 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "tests/trn02_stress_test.py (필수)", "스트레스 테스트 분석 보고서 (필수)" ], "evaluationKeys": [ "[전 부대원 동시 응시 모의 대규모 트래픽 채점 부하 테스트 및 최적화] 요구된 핵심 성능 기준(동시 트래픽 500% 증가 시 시스템 다운 0건, 데이터 유실률 0%)을 완벽히 달성하였는가?
동시 트래픽 500% 증가 시 시스템 다운 0건, 데이터 유실률 0% 기준을 충족하고 대량 시뮬레이션 부하 주입 테스트 통과 및 병목 구간 프로파일링 완료을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
병목 함수 최적화, 비동기 큐 처리 적용 및 자원 할당 개선을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 극단 상황에서의 안전 실패(Fail-safe) 및 기능 축소 작동 적절성 관점의 타당성이 확보되었는가?
극단 상황에서의 안전 실패(Fail-safe) 및 기능 축소 작동 적절성이 논리적으로 검증되었으며 부하 테스트 도구를 통한 처리량(Throughput) 및 메모리 누수 검증를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 극단 상황에서의 안전 실패(Fail-safe) 및 기능 축소 작동 적절성
정량 기준: 동시 트래픽 500% 증가 시 시스템 다운 0건, 데이터 유실률 0%
진행 기준: 대량 시뮬레이션 부하 주입 테스트 통과 및 병목 구간 프로파일링 완료
검증 방법: 부하 테스트 도구를 통한 처리량(Throughput) 및 메모리 누수 검증
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M8 코드를 실행해 부하 단계별 처리량·보류·유실을 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M8 코드를 실행해 부하 단계별 처리량·보류·유실을 확인한다.
M8 코드를 실행해 부하 단계별 처리량·보류·유실을 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
평시 x6(500% 증가)에서 다운 0건, 유실 0건 캐시 적용 후 처리량 수 배 향상(예시 5.3배)
M8 코드를 실행해 부하 단계별 처리량·보류·유실을 확인한다. 실행 결과 및 검증 로그
M8 코드를 실행해 부하 단계별 처리량·보류·유실을 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(평시 x6(500% 증가)에서 다운 0건, 유실 0건 캐시 적용 후 처리량 수 배 향상(예시 5.3배))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
보류 사유(장애·길이 초과·없는 문항)별 처리 방안을 정리한다.
보류 사유(장애·길이 초과·없는 문항)별 처리 방안을 정리한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
평시 x6(500% 증가)에서 다운 0건, 유실 0건 캐시 적용 후 처리량 수 배 향상(예시 5.3배)
보류 사유(장애·길이 초과·없는 문항)별 처리 방안을 정리한다. 실행 결과 및 검증 로그
보류 사유(장애·길이 초과·없는 문항)별 처리 방안을 정리한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(평시 x6(500% 증가)에서 다운 0건, 유실 0건 캐시 적용 후 처리량 수 배 향상(예시 5.3배))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
병목 프로파일과 캐시 적용 전후 처리량을 비교한다.
병목 프로파일과 캐시 적용 전후 처리량을 비교한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
평시 x6(500% 증가)에서 다운 0건, 유실 0건 캐시 적용 후 처리량 수 배 향상(예시 5.3배)
병목 프로파일과 캐시 적용 전후 처리량을 비교한다. 실행 결과 및 검증 로그
병목 프로파일과 캐시 적용 전후 처리량을 비교한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(평시 x6(500% 증가)에서 다운 0건, 유실 0건 캐시 적용 후 처리량 수 배 향상(예시 5.3배))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
fail_rate를 0.1로 올려 보류 건수가 어떻게 늘어나는지 보고, 기능 축소 운용 전환 기준을 정한다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
시행 후 검토(AAR)로 문항의 변별력과 정답 키 오류를 찾아내고, 결함 문항 조치와 배점 가중치 재보정으로 합격 판정의 정확도를 높인다.
", "objectives": "문항별 정답률, 점이연 상관(변별도), 오답 보기 선택자의 평균 점수를 분석해 정답 키 입력 오류와 변별력 부족 문항을 찾는다. 키 수정, 결함 문항 제외, 난이도·변별도 가중치 탐색을 단계별로 적용해 가상 실제 숙달도 대비 합격 판정 정확도 변화를 측정하고, 다른 응시 집단에서 같은 오류가 재발하는지 확인한다. 재보정 결과를 YAML 설정으로 정리한다.
", "scenario": "AAR 기반 문항 변별력 분석 및 난이도 가중치 파라미터를 재보정한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 시행 후 검토(AAR)로 문항의 변별력과 정답 키 오류를 찾아내고, 결함 문항 조치와 배점 가중치 재보정으로 합격 판정의 정확도를 높인다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 문항별 정답률, 점이연 상관(변별도), 오답 보기 선택자의 평균 점수를 분석해 정답 키 입력 오류와 변별력 부족 문항을 찾는다 과정을 진행하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: docs/trn02_aar_report.md 및 configs/trn02_tuned_params.yaml 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "docs/trn02_aar_report.md (필수)", "configs/trn02_tuned_params.yaml (필수)" ], "evaluationKeys": [ "[AAR 기반 문항 변별력 분석 및 난이도별 가중치 파라미터 재보정] 요구된 핵심 성능 기준(AAR 피드백 적용 후 종합 정확도 10%p 이상 향상, 재발 오류 0건)을 완벽히 달성하였는가?
AAR 피드백 적용 후 종합 정확도 10%p 이상 향상, 재발 오류 0건 기준을 충족하고 AAR 보고서 작성 및 파라미터 튜닝 전후 회귀 테스트 통과을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
지속적 학습(Continual Learning) 파이프라인 연계 방안 수립을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 오류 원인 규명의 객관성 및 개선 조치의 논리적 타당성 관점의 타당성이 확보되었는가?
오류 원인 규명의 객관성 및 개선 조치의 논리적 타당성이 논리적으로 검증되었으며 회귀 테스트(Regression Test) 스위트 전체 자동 실행 및 비교를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 오류 원인 규명의 객관성 및 개선 조치의 논리적 타당성
정량 기준: AAR 피드백 적용 후 종합 정확도 10%p 이상 향상, 재발 오류 0건
진행 기준: AAR 보고서 작성 및 파라미터 튜닝 전후 회귀 테스트 통과
검증 방법: 회귀 테스트(Regression Test) 스위트 전체 자동 실행 및 비교
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M9 코드를 실행해 경고 문항(정답 키 오류 의심·변별력 부족)을 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M9 코드를 실행해 경고 문항(정답 키 오류 의심·변별력 부족)을 확인한다.
M9 코드를 실행해 경고 문항(정답 키 오류 의심·변별력 부족)을 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
Q11 키 오류·Q08 결함 식별, 정확도 83.3% → 87.5%(+4.2%p, 목표 10%p 미달) 새 응시 집단 재발 오류 0건, 신규 점검 대상 3건
M9 코드를 실행해 경고 문항(정답 키 오류 의심·변별력 부족)을 확인한다. 실행 결과 및 검증 로그
M9 코드를 실행해 경고 문항(정답 키 오류 의심·변별력 부족)을 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(Q11 키 오류·Q08 결함 식별, 정확도 83.3% → 87.5%(+4.2%p, 목표 10%p 미달) 새 응시 집단 재발 오류 0건, 신규 점검 대상 3건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
재보정 단계별 합격 판정 정확도 변화를 표로 정리한다.
재보정 단계별 합격 판정 정확도 변화를 표로 정리한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
Q11 키 오류·Q08 결함 식별, 정확도 83.3% → 87.5%(+4.2%p, 목표 10%p 미달) 새 응시 집단 재발 오류 0건, 신규 점검 대상 3건
재보정 단계별 합격 판정 정확도 변화를 표로 정리한다. 실행 결과 및 검증 로그
재보정 단계별 합격 판정 정확도 변화를 표로 정리한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(Q11 키 오류·Q08 결함 식별, 정확도 83.3% → 87.5%(+4.2%p, 목표 10%p 미달) 새 응시 집단 재발 오류 0건, 신규 점검 대상 3건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
응시 집단 B 검증 결과와 YAML 설정을 AAR 보고서에 옮긴다.
응시 집단 B 검증 결과와 YAML 설정을 AAR 보고서에 옮긴다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
Q11 키 오류·Q08 결함 식별, 정확도 83.3% → 87.5%(+4.2%p, 목표 10%p 미달) 새 응시 집단 재발 오류 0건, 신규 점검 대상 3건
응시 집단 B 검증 결과와 YAML 설정을 AAR 보고서에 옮긴다. 실행 결과 및 검증 로그
응시 집단 B 검증 결과와 YAML 설정을 AAR 보고서에 옮긴다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(Q11 키 오류·Q08 결함 식별, 정확도 83.3% → 87.5%(+4.2%p, 목표 10%p 미달) 새 응시 집단 재발 오류 0건, 신규 점검 대상 3건)를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
응시자 수를 make_responses(80, ...)로 늘려 변별도 추정이 안정되는지, 신규 점검 대상 수가 어떻게 변하는지 확인한다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.
문항 검증부터 정제, 채점, 오답 분류, 취약 영역 추천, 교관 검토 대기열까지 전체 시스템을 하나로 통합하고 운영 패키지로 완성한다.
", "objectives": "재보정 설정(CONFIG)을 적용한 통합 파이프라인을 여러 응시 회차에 실행해 End-to-End 성공률을 확인한다. 핵심 기능 단위 테스트와 함수 커버리지를 측정하는 자체 점검을 수행하고, 응시 결과·오답 유형·취약 중대·검토 대기 현황을 담은 교육훈련 담당관 브리핑 요약을 출력한다. 인접 부대 교육체계와의 연동 인터페이스 확장 방향을 정리한다.
", "scenario": "방공 퀴즈 자동채점 및 오답분석 시스템 통합 최종 운영 패키지를 완성한다. 실제 전술 현장에서는 단순 탐지에 그치지 않고 신속한 위협 판단과 신뢰도 높은 의사결정이 필수적이므로, 문항 검증부터 정제, 채점, 오답 분류, 취약 영역 추천, 교관 검토 대기열까지 전체 시스템을 하나로 통합하고 운영 패키지로 완성한다. 과업을 완수하여 오판을 방지하고 작전 대응력을 극대화해야 합니다.
이 문제를 해결하기 위해 본 미션에서는 재보정 설정(CONFIG)을 적용한 통합 파이프라인을 여러 응시 회차에 실행해 End-to-End 성공률 확인하고 유효성을 점검하는 실습을 체계적으로 수행합니다.
학습자는 실습가이드에 제시된 총 4개 세부 활동(기본 기능 구현 ➔ 결과 지표 검증 ➔ 파라미터 튜닝 및 도전과제)을 순차적으로 진행하며 핵심 판정 기준을 달성합니다.
이번 결과물: src/main_trn02.py, README.md, docs/trn02_final_report.pdf(md) 형태의 결과물을 완성한다.
미션 실습 자료
활용 주의: 제공된 교육용 가상 데이터만 사용하며 실제 군사 비밀 및 개인정보는 입력하지 않습니다.
", "techStack": [ "교육·훈련", "코딩형", "데이터 전처리", "알고리즘 구현", "HITL 검증" ], "deliverables": [ "src/main_trn02.py, README.md, docs/trn02_final_report.pdf(md) (필수)" ], "evaluationKeys": [ "[방공 퀴즈 자동채점 및 오답분석 시스템 통합 최종 운영 패키지 완성] 요구된 핵심 성능 기준(End-to-End 통합 파이프라인 실행 성공률 100%, 테스트 커버리지 85% 이상)을 완벽히 달성하였는가?
End-to-End 통합 파이프라인 실행 성공률 100%, 테스트 커버리지 85% 이상 기준을 충족하고 원클릭 실행 스크립트 동작 확인 및 최종 발표 산출물 작성 완료을 만족하는 실행 결과 및 로그가 제출되었다.
정량적 지표가 기준치에 미달하거나 실행 로그에서 예외/결측 오류가 발생한 경우.
타 부대/인접 체계와의 연동 인터페이스(API) 확장 로드맵 제시을 적용하여 파라미터를 보정하고 단위 테스트를 재수행한다.
", "[정성적 타당성] 군사적 현실성 및 군 실무 즉시 도입 가능성, 운용 신뢰도 및 전략적 기대효과 관점의 타당성이 확보되었는가?
군 실무 즉시 도입 가능성, 운용 신뢰도 및 전략적 기대효과이 논리적으로 검증되었으며 최종 검증 위원회(평가관) 모의 시연 및 전체 기능 통합 검증를 통한 무결성이 확인되었다.
비현실적인 가정을 적용했거나 오류 원인에 대한 정성적 설명 근거가 부족한 경우.
교차 검증 데이터를 보강하고 지휘관/실무자 관점의 해석 근거를 명시한다.
" ], "evaluationTypes": [ "REQUIRED", "REQUIRED" ], "evaluationText": "평가 구분: 필수
핵심 평가영역: 군 실무 즉시 도입 가능성, 운용 신뢰도 및 전략적 기대효과
정량 기준: End-to-End 통합 파이프라인 실행 성공률 100%, 테스트 커버리지 85% 이상
진행 기준: 원클릭 실행 스크립트 동작 확인 및 최종 발표 산출물 작성 완료
검증 방법: 최종 검증 위원회(평가관) 모의 시연 및 전체 기능 통합 검증
", "aiGuidelines": { "allow": [ "데이터 전처리 알고리즘 및 정규화 서식 추천받기", "이상치 탐지 및 모델 파라미터 튜닝 아이디어 제안받기", "대시보드 UI 컴포넌트 코드 및 시각화 서식 생성하기" ], "rules": [ "최종 판정 및 지휘 결심은 학습자가 직접 수행한다.", "실제 군사 비밀이나 개인 식별 정보는 입력하지 않는다.", "AI의 출력 결과를 맹신하지 않고 반드시 단위 테스트로 검증한다." ], "forbid": [ "실제 군사 작전/인사 비밀 데이터를 AI에 입력하기", "검증 없이 AI가 생성한 코드를 그대로 제출하기", "단정적인 자동 결심 결과를 인간 검토 없이 확정하기" ] }, "guideSteps": [ { "step": 1, "problem": "M10 코드를 실행해 3개 회차 End-to-End 실행 결과를 확인한다.", "activity": "단순 코드 실행 여부뿐만 아니라 출력된 수치와 근거 자료가 군 실무 요구사항에 부합하는지 면밀히 확인한다.
M10 코드를 실행해 3개 회차 End-to-End 실행 결과를 확인한다.
M10 코드를 실행해 3개 회차 End-to-End 실행 결과를 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
( )
M10 코드를 실행해 3개 회차 End-to-End 실행 결과를 확인한다. 실행 결과 및 검증 로그
M10 코드를 실행해 3개 회차 End-to-End 실행 결과를 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(( ))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
자체 점검 통과 수와 함수 커버리지를 확인한다.
자체 점검 통과 수와 함수 커버리지를 확인한다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
( )
자체 점검 통과 수와 함수 커버리지를 확인한다. 실행 결과 및 검증 로그
자체 점검 통과 수와 함수 커버리지를 확인한다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(( ))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
출력된 브리핑 요약으로 5분 분량 교육훈련 담당관 브리핑 자료를 만든다.
출력된 브리핑 요약으로 5분 분량 교육훈련 담당관 브리핑 자료를 만든다.에 필요한 데이터셋과 입력 파라미터를 준비한다.
정답 코드 및 모듈을 실행하여 중간 출력 결과를 도출한다.
출력된 지표와 로그가 기준 조건을 만족하는지 대조·검증한다.
( )
출력된 브리핑 요약으로 5분 분량 교육훈련 담당관 브리핑 자료를 만든다. 실행 결과 및 검증 로그
출력된 브리핑 요약으로 5분 분량 교육훈련 담당관 브리핑 자료를 만든다. 과정이 정상적으로 수행되고 오류 없이 완료되었다.
요구된 핵심 성능 지표(( ))를 충족하였다.
실행 중 오류가 발생했거나 필수 검증 지표가 누락된 경우 재실행하여 보완한다.
기본 파이프라인 수행 후 심화 튜닝 및 조건 변경을 통해 최적화 역량을 다진다.
CONFIG의 fuzzy_cut을 0.9, pass_ratio를 0.6으로 바꿔 실행하고 합격률과 교관 검토 건수 변화를 브리핑에 추가한다.
파라미터 변경 전후 비교 분석 메모 및 최종 최적화 결과
도전 과제 변경 사항이 논리적으로 타당하며 결과 변화 이유를 명확히 기술하였다.