pbl02/scenario_md/TRN01-교육·훈련_전투력 향상 교육-드론 시뮬레이터 비행로그 기반 숙련도 분석기/TRN01_실습가이드.md

TRN01 실습가이드 - 드론 시뮬레이터 비행로그 기반 숙련도 분석기

구 분 실습가이드 [교육용가상자료]

1. 실습 개요

본 실습은 교육용 가상 드론 시뮬레이터 비행로그로 조종 숙련도 분석기를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(TRN01_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.

과제	TRN01 드론 시뮬레이터 비행로그 기반 숙련도 분석기

난이도·유형	고급 / 코딩형

예상 소요시간	미션 10개, 총 27.5시간

준비물	TRN01_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서

2. 진행 방법

• 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 비행로그 생성기·특징 추출 함수가 빠져 오류가 난다).

• 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 같은 값이 나와야 한다(처리 속도·처리시간은 실행 환경에 따라 달라진다).

• 미션 4·5·8·9·10은 가상 비행을 수백 회 모의하므로 실행에 10초 안팎이 걸릴 수 있다.

• 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.

• 실제 훈련생 이름·군번·비행 기록은 입력하지 않는다. AI 점수는 교관 판단 보조 자료이며 등급·재교육 결정은 교관이 확정한다.

3. 미션 진행 요약

미션	난이도·시간	핵심 확인 결과
M1. 드론 조종 시뮬레이터 비행로그(스틱 조작, 자세각, 고도 유지, 경로 오차) 데이터 스키마 정의	초급
1.5시간	정상 세션 20건 오류 0건, 주입 오류 5종 모두 검출
M2. 시계열 비행 궤적 데이터 정제 및 이상 조작 노이즈 필터링 전처리 구현	초급~중급
2시간	처리 속도 1,000건/초 이상(예시 약 9만 레코드/초), 오류 0건
M3. 비행 경로 이탈도 및 호버링 안정성 계산 1차 숙련도 채점 Baseline 알고리즘 구현	중급
2.5시간	등급 일치율 75% 이상(예시 75.8%), 점수 평균 오차 5.3점
M4. 돌발 장애물 회피 및 비상 착륙 반응 속도 기반 정밀 숙련도 평가 엔진 고도화	중급
3시간	위험 조작 사건 탐지 재현율 85% 이상(예시 97.8%), 로그당 1ms 미만
M5. 조종자별 조작 습관(급조작, 과보정) 분석 및 신뢰도 등급 산출 모듈 개발	중급~고급
3시간	오지정률 71.0% 감축(목표 40%), 등급 일관성 97.6%
M6. 조종자 비행 궤적 3D 재생 및 취약 구간 하이라이트 분석 대시보드 구현	중급
2.5시간	갱신 처리시간 100ms 이내(예시 평균 1ms 미만)
M7. 교관이 직접 조종자 성향을 진단하고 피드백을 입력하는 HITL 평가 인터페이스 설계	고급
3시간	AI 자동 확정 0건, 규칙 위반 6건 차단
M8. 100명 조종자 대량 비행로그 배치 분석 스트레스 테스트 및 성능 프로파일링	고급
3.5시간	모든 상황 다운 0건, 로그 유실 0건(채점+격리=전체)
M9. AAR 기반 교관 평가 점수와 AI 숙련도 점수 간 편차 분석 및 가중치 재튜닝	고급
3시간	초기 일치율 47.5%, 돌풍 비행 평균 -40점 과소평가 원인 규명
M10. 드론 비행로그 숙련도 분석 시스템 통합 및 교육훈련 브리핑 패키지 완성	최고급
3.5시간	자체 점검 10/10 통과, 함수 커버리지 92%

미션 1. 드론 조종 시뮬레이터 비행로그(스틱 조작, 자세각, 고도 유지, 경로 오차) 데이터 스키마 정의

난이도·시간	초급 · 1.5시간

| 진행 순서 | 1) M1 코드를 실행해 정상 세션 20건의 검증 결과를 확인한다. 2) 오류 주입 결과 5건이 어떤 규칙에 걸렸는지 표로 정리한다.

3) 데이터 명세 요약표에서 전술 파라미터(조건·풍속·GPS 오차·영상 지연)가 포함됐는지 확인한다.

| 확인할 결과 | 정상 세션 20건 오류 0건, 주입 오류 5종 모두 검출

조종자 ID는 가명 형식(P001~)만 허용

도전 과제	SCHEMA의 tactical 그룹에 시정(visibility_m, 0~10000) 필드를 추가하고 범위를 벗어난 값을 넣어 검출되는지 확인한다.

제출물	스키마 정의 코드, 데이터 명세서

미션 2. 시계열 비행 궤적 데이터 정제 및 이상 조작 노이즈 필터링 전처리 구현

난이도·시간	초급~중급 · 2시간

| 진행 순서 | 1) M2 코드를 실행해 처리 속도와 결측 보정율을 확인한다. 2) 조건별 전처리 효과표에서 위치 오차가 얼마나 줄었는지 비교한다.

3) 전후 비교 그림에서 튐 값과 단절 구간이 처리된 모습을 확인한다.

| 확인할 결과 | 처리 속도 1,000건/초 이상(예시 약 9만 레코드/초), 오류 0건

결측 보정율 100%, 단위 테스트 5/5 통과

도전 과제	HAMPEL_K의 gust 값을 3.0으로 낮추면 돌풍 조건의 이상치 수와 위치 오차가 어떻게 바뀌는지 확인하고, 실제 급기동이 지워질 위험을 토의한다.

제출물	전처리 코드, 전처리 전후 비교표, 비교 그림

미션 3. 비행 경로 이탈도 및 호버링 안정성 계산 1차 숙련도 채점 Baseline 알고리즘 구현

난이도·시간	중급 · 2.5시간

| 진행 순서 | 1) M3 코드를 실행해 채점식 가중치와 등급 일치율을 확인한다. 2) 조건 표준화 유무에 따른 조건별 정확도를 비교한다.

3) 혼동표에서 가장 많은 오류 유형과 그 원인을 정리한다.

| 확인할 결과 | 등급 일치율 75% 이상(예시 75.8%), 점수 평균 오차 5.3점

가장 많은 오류: 교관 C -> Baseline B(돌발 대응 미반영)

도전 과제	BASE_F에서 alt_err를 빼고 다시 실행해 일치율 변화를 보고, 고도 유지 오차가 숙련도를 얼마나 설명하는지 토의한다.

제출물	Baseline 채점 코드, 기본 채점 결과 보고서(혼동표 포함)

미션 4. 돌발 장애물 회피 및 비상 착륙 반응 속도 기반 정밀 숙련도 평가 엔진 고도화

난이도·시간	중급 · 3시간

| 진행 순서 | 1) M4 코드를 실행해 10개 시나리오의 위험 사건 탐지 결과를 확인한다. 2) 사건별 재현율과 오탐 수에서 오탐이 많은 사건을 찾는다.

3) 엔진 가중치에서 점수를 크게 깎는 특징을 확인한다.

| 확인할 결과 | 위험 조작 사건 탐지 재현율 85% 이상(예시 97.8%), 로그당 1ms 미만

등급 일치율 Baseline 74.0% -> 고도화 77.8%

도전 과제	RULES의 경착륙 기준(touch_vz 2.0)을 1.6으로 낮추면 재현율과 오탐이 어떻게 바뀌는지 표로 정리한다.

제출물	고도화 엔진 코드, 복합 시나리오 시험 결과표, 오탐 패턴 분석

미션 5. 조종자별 조작 습관(급조작, 과보정) 분석 및 신뢰도 등급 산출 모듈 개발

난이도·시간	중급~고급 · 3시간

| 진행 순서 | 1) M5 코드를 실행해 습관 판정 정확도를 확인한다. 2) 기존 방식과 엔진의 재교육 지정 오지정률·재현율을 비교한다.

3) 기준점수 민감도와 등급 일관성, 신뢰등급 분포를 해석한다.

| 확인할 결과 | 오지정률 71.0% 감축(목표 40%), 등급 일관성 97.6%

습관 판정 정확도 급조작 95%·과보정 88%

도전 과제	재교육 기준점수를 55에서 60으로 올리면 지정 인원과 오지정률이 어떻게 바뀌는지 확인하고, 교육 자원과 안전을 고려한 기준을 토의한다.

제출물	신뢰도 엔진 코드, 재교육 지정 전후 비교표, 불확실성 그림

미션 6. 조종자 비행 궤적 3D 재생 및 취약 구간 하이라이트 분석 대시보드 구현

난이도·시간	중급 · 2.5시간

| 진행 순서 | 1) M6 코드를 실행해 재생 갱신 처리시간을 확인한다. 2) 취약 구간 목록과 단계별 취약 시간을 정리한다.

3) 대시보드의 3D 궤적과 약점 프로필로 조종자에게 줄 피드백 3가지를 정한다.

| 확인할 결과 | 갱신 처리시간 100ms 이내(예시 평균 1ms 미만)

구성요소 4종(3D 궤적·경로 이탈·스틱 입력·약점 프로필) 표시

도전 과제	weak_flags()의 경로 이탈 기준을 3m에서 5m로 바꾸면 취약 구간 수가 어떻게 바뀌는지 확인하고 돌풍 비행에 맞는 기준을 제안한다.

제출물	대시보드 코드, 재생 분석 화면, 조종자 피드백 3가지

미션 7. 교관이 직접 조종자 성향을 진단하고 피드백을 입력하는 HITL 평가 인터페이스 설계

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M7 코드를 실행해 검토 순서와 AI 확정 건수(0건)를 확인한다. 2) 차단된 규칙 위반 결정 6건과 차단 사유를 정리한다.

3) 자격 보류의 2단계 확인 과정과 감사 로그 변조 검출 결과를 확인한다.

| 확인할 결과 | AI 자동 확정 0건, 규칙 위반 6건 차단

로깅 성공률 100%, 변조 위치(8번째 기록) 검출

도전 과제	재교육 지정(RETRAIN)에도 두 번째 교관 확인을 요구하도록 바꿀지 토의하고, 교관 업무량과 공정성 측면의 장단점을 정리한다.

제출물	HITL 평가 코드, 교관 평가 절차 요약, 조종자 피드백 양식

미션 8. 100명 조종자 대량 비행로그 배치 분석 스트레스 테스트 및 성능 프로파일링

난이도·시간	고급 · 3.5시간

| 진행 순서 | 1) M8 코드를 실행해 상황별 채점·격리·유실·다운을 확인한다. 2) 격리 사유가 주입한 손상 유형과 맞는지 확인한다.

3) 묶음 예외 상황의 처리량 감소와 병목 함수를 정리한다.

| 확인할 결과 | 모든 상황 다운 0건, 로그 유실 0건(채점+격리=전체)

손상 로그 30건 전부 격리, 예외 시 기능 축소 1회

도전 과제	run_batch()의 chunk를 100에서 20으로 줄이면 처리량과 예외 시 손실 범위가 어떻게 달라지는지 비교한다.

제출물	스트레스 시험 코드, 시험 결과표, 병목 개선안

미션 9. AAR 기반 교관 평가 점수와 AI 숙련도 점수 간 편차 분석 및 가중치 재튜닝

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M9 코드를 실행해 초기 AI의 일치율과 편차 원인 분해를 확인한다. 2) 격자 탐색 상위 조합과 선택된 재튜닝값을 확인한다.

3) 새 기수 2개 회귀 테스트 결과와 반복 불일치의 특성을 정리한다.

| 확인할 결과 | 초기 일치율 47.5%, 돌풍 비행 평균 -40점 과소평가 원인 규명

재튜닝 후 평균 +42.9%p 향상, 회귀 테스트 2/2 통과

도전 과제	격자에서 조건 표준화를 False로 고정하면 어떤 조합이 선택되고 돌풍 비행 편차가 얼마나 남는지 확인한다.

제출물	AAR 보고서(계획·결과·원인·개선), 재튜닝 파라미터

미션 10. 드론 비행로그 숙련도 분석 시스템 통합 및 교육훈련 브리핑 패키지 완성

난이도·시간	최고급 · 3.5시간

| 진행 순서 | 1) M10 코드를 실행해 자체 점검 항목이 모두 PASS인지 확인한다. 2) 손상 로그 2건이 격리된 것을 확인한다.

3) 출력된 브리핑 요약을 바탕으로 5분 분량 교육훈련 브리핑 자료를 만든다.

| 확인할 결과 | 자체 점검 10/10 통과, 함수 커버리지 92%

조종자 등급 일치율 93.3%, 위험 사건 재현율 97.4%

도전 과제	CONFIG의 ridge_alpha를 0.1로 바꾸고 make_dataset 대신 주간 자료만으로 엔진을 맞춰 실행한 뒤 재튜닝값과의 차이를 브리핑에 추가한다.

제출물	통합 코드, 교육훈련 브리핑 자료, 최종 결과 보고서

4. 최종 점검표

점검 항목	확인
미션 1~10 코드가 모두 오류 없이 실행되었다	( )
각 미션의 확인할 결과를 기록했다	( )
도전 과제 결과와 이유를 기록했다	( )
브리핑 수치가 실행 결과와 일치한다	( )
실제 훈련생 정보 대신 가명 ID만 사용했다	( )
등급·재교육 결정은 교관 확정·근거 기록을 거침을 명시했다	( )