271 lines
15 KiB
Markdown
271 lines
15 KiB
Markdown
**C204 실습가이드 - 무전 음성 스푸핑·딥페이크 탐지 실험**
|
|
|
|
구 분 **실습가이드 [교육용가상자료]**
|
|
|
|
**1. 실습 개요**
|
|
|
|
본 실습은 탐지 학습용 합성 무전 신호로 위조 음성(TTS/VC 의심, 녹음 재생) 탐지·검증 파이프라인을 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(C204_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다. 실습은 수신 측 탐지·검증만 다루며 음성을 만들거나 변조하는 기법은 다루지 않는다.
|
|
|
|
| **과제** | C204 무전 음성 스푸핑·딥페이크 탐지 실험 |
|
|
| --- | --- |
|
|
|
|
| **난이도·유형** | 고급 / 코딩형 |
|
|
| --- | --- |
|
|
|
|
| **예상 소요시간** | 미션 10개, 총 27.5시간 |
|
|
| --- | --- |
|
|
|
|
| **준비물** | C204_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서 |
|
|
| --- | --- |
|
|
|
|
**2. 진행 방법**
|
|
|
|
- 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 합성 신호 생성·특징 추출 함수가 빠져 오류가 난다).
|
|
|
|
- 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 있어 정확도·건수는 같게 나오며, 처리 속도·지연(ms)만 실행기 성능에 따라 달라진다.
|
|
|
|
- 미션 2·4·5·8·9는 실행에 10~25초가 걸린다. 실행 중 다시 누르지 않는다.
|
|
|
|
- 도전 과제는 코드의 파라미터(임계값, 잡음 조건, 학습 데이터 구성 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.
|
|
|
|
- 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.
|
|
|
|
- 실제 무전 녹음, 부대 호출부호, 주파수, 인증 체계는 입력하지 않는다. 진위 확정과 명령 전파는 통신보안관 확인과 지휘계통에 따른다.
|
|
|
|
**3. 미션 진행 요약**
|
|
|
|
| **미션** | **난이도·시간** | **핵심 확인 결과** |
|
|
| --- | --- | --- |
|
|
| **M1. 전술 무전 음성 통신 환경 분석 및 딥페이크/스푸핑 음성 데이터셋 규격 설계** | 초급
|
|
1.5시간 | 정상 샘플 오류 0건, 주입 오류 6종 모두 검출 |
|
|
| **M2. 무전 잡음(전술 배경소음, 주파수 감쇄) 모델링 및 음향 특징(MFCC/스펙트로그램) 전처리 구현** | 초급~중급
|
|
2시간 | 처리 속도 약 3만 프레임/초 이상(목표 1,000건/초 달성), 오류율 0% |
|
|
| **M3. 음향 스펙트럼 분석 기반 1차 무전 음성 변조 탐지 Baseline 모델 구현** | 중급
|
|
2.5시간 | 탐지 정확도 78.8%(목표 75% 달성), 재현율 74.0%, 오경보율 16.8% |
|
|
| **M4. 음성 합성 인공지능(TTS/VC) 아티팩트 및 위조 음성 판별 딥러닝 탐지 엔진 고도화** | 중급
|
|
3시간 | 복합 위협 평균 재현율 96.2%, 시나리오 10/10 통과, 단일 클립 지연 수 ms(목표 200ms 이하) |
|
|
| **M5. 전장 소음 환경 오탐 방지 및 무전 화자 진위 신뢰도 점수 산출 모듈 구현** | 중급~고급
|
|
3시간 | 즉시 경보 오경보율 27.6% -> 0.0%(감축 100%, 목표 40% 달성) |
|
|
| **M6. 실시간 무전 음성 위조 경보 및 스펙트로그램 시각화 C2 보안 인터페이스 구현** | 중급
|
|
2.5시간 | 패널 4종 24회 갱신, 갱신 최대 1초 이내, 선택 응답 수 ms(목표 100ms 이내) |
|
|
| **M7. 지휘관 긴급 음성 명령 수신 시 통신관 HITL 2차 육안/청음 검증 절차 설계** | 고급
|
|
3시간 | 자동 전파 0건, 규칙 위반 차단 5건, 로깅 성공률 100% |
|
|
| **M8. 전자전 재밍 및 잡음 혼입 환경 모의 딥페이크 탐지 한계치 스트레스 테스트** | 고급
|
|
3.5시간 | 판정 불가 구간: SNR 0dB 이하(정확도 66.7%, 48.3%) |
|
|
| **M9. AAR 기반 무전 위조 오판정 음성 분석 및 음향 특징 추출 파라미터 재보정** | 고급
|
|
3시간 | 재보정 전 오판정 121건(미탐 replay 53건 최다) |
|
|
| **M10. 무전 음성 스푸핑·딥페이크 탐지 시스템 통합 및 C2 음성 보안 브리핑 패키지 완성** | 최고급
|
|
3.5시간 | 자체 점검 10/10 통과, E2E 성공률 100%, 함수 커버리지 100% |
|
|
|
|
**미션 1. 전술 무전 음성 통신 환경 분석 및 딥페이크/스푸핑 음성 데이터셋 규격 설계**
|
|
|
|
| **난이도·시간** | 초급 · 1.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M1 코드를 실행해 위협 유형별 탐지 단서 표를 읽고, 무전 채널이 단서를 가리는 이유를 정리한다.
|
|
2) 정상 샘플 20건 검증 결과와 오류 주입 6건이 어떤 규칙에 걸렸는지 표로 정리한다.
|
|
3) 데이터 명세 요약표에서 기상·위치오차·통신지연·재밍 여부 필드가 있는지 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 정상 샘플 오류 0건, 주입 오류 6종 모두 검출
|
|
라벨 4종(bonafide, tts_art, vc_art, replay)과 채널·전술 필드가 명세에 정리됨 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | 스키마에 송신 거리(tx_distance_km, 0~100) 필드를 추가하고 범위를 벗어난 값을 넣어 검출되는지 확인해 본다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 스키마 정의 코드, 데이터 명세서(필드·규칙·라벨·탐지 단서 표) |
|
|
| --- | --- |
|
|
|
|
**미션 2. 무전 잡음(전술 배경소음, 주파수 감쇄) 모델링 및 음향 특징(MFCC/스펙트로그램) 전처리 구현**
|
|
|
|
| **난이도·시간** | 초급~중급 · 2시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M2 코드를 실행해 처리 속도와 오류율을 확인한다.
|
|
2) 상황별(평시·야간·악천후) 특징 왜곡 전후 값과 선택된 스펙트럼 차감 배수를 비교한다.
|
|
3) 단위 테스트 5종의 PASS 여부를 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 처리 속도 약 3만 프레임/초 이상(목표 1,000건/초 달성), 오류율 0%
|
|
악천후(충격 잡음) 특징 왜곡 약 46% 개선, 단위 테스트 5/5 통과 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | 충격 잡음 비율(impulse)을 2배로 올려 실행하고, 끊김 검출 수와 특징 왜곡 개선율이 어떻게 바뀌는지 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 전처리 코드, 상황별 전처리 전후 비교표, 단위 테스트 결과 |
|
|
| --- | --- |
|
|
|
|
**미션 3. 음향 스펙트럼 분석 기반 1차 무전 음성 변조 탐지 Baseline 모델 구현**
|
|
|
|
| **난이도·시간** | 중급 · 2.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M3 코드를 실행해 진짜 음성 기준으로 정한 단서별 경계값을 확인한다.
|
|
2) 400클립 정확도·재현율·오경보율과 유형별로 주로 걸린 단서를 표로 정리한다.
|
|
3) SNR 구간별 정확도·오경보율로 Baseline의 한계를 설명한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 탐지 정확도 78.8%(목표 75% 달성), 재현율 74.0%, 오경보율 16.8%
|
|
tts_art 100% 판정, replay 30.5%만 판정(가장 약한 유형) |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | fit_rules의 분위수 q를 0.03에서 0.01로 바꿔 오경보율과 재현율이 어떻게 바뀌는지 비교한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | Baseline 코드, 추론 결과 보고서(정확도·유형별 단서·SNR별 한계) |
|
|
| --- | --- |
|
|
|
|
**미션 4. 음성 합성 인공지능(TTS/VC) 아티팩트 및 위조 음성 판별 딥러닝 탐지 엔진 고도화**
|
|
|
|
| **난이도·시간** | 중급 · 3시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M4 코드를 실행해 신경망 학습 데이터 구성(진짜·위조 수, 특징 수)을 확인한다.
|
|
2) 복합 위협 시나리오 10종의 재현율과 PASS/FAIL을 기록한다.
|
|
3) 채널 조건별 진짜 음성 오경보율에서 가장 높은 조건을 찾고 보완 방향을 적는다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 복합 위협 평균 재현율 96.2%, 시나리오 10/10 통과, 단일 클립 지연 수 ms(목표 200ms 이하)
|
|
오경보 유발 패턴: 단일톤 재밍(31.7%) |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | 학습 데이터에 jam_tone=0.5 조건 진짜·위조 클립 200개를 추가해 재학습하고 재밍 조건 오경보율 변화를 확인한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 고도화 탐지 코드, 복합 위협 시나리오 결과표, 오경보 패턴 분석 |
|
|
| --- | --- |
|
|
|
|
**미션 5. 전장 소음 환경 오탐 방지 및 무전 화자 진위 신뢰도 점수 산출 모듈 구현**
|
|
|
|
| **난이도·시간** | 중급~고급 · 3시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M5 코드를 실행해 기존 판별기와 보정 엔진의 오경보율·탐지율·ROC-AUC를 비교한다.
|
|
2) 등급 분포(High/Med/Low)를 진짜·위조로 나누어 보고 등급별 조치 기준을 정리한다.
|
|
3) 임계값 민감도 표와 등급 일관성 결과를 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 즉시 경보 오경보율 27.6% -> 0.0%(감축 100%, 목표 40% 달성)
|
|
ROC-AUC 0.822 -> 0.995, 등급 일관성 96.7%(목표 90% 달성) |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | High 기준(0.8)을 0.6으로 낮췄을 때 진짜 음성의 High 비율과 위조 High 비율이 어떻게 바뀌는지 확인하고 적정 기준을 제안한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 신뢰도 엔진 코드, 오경보 필터링 전후 비교표, 등급별 조치 기준 |
|
|
| --- | --- |
|
|
|
|
**미션 6. 실시간 무전 음성 위조 경보 및 스펙트로그램 시각화 C2 보안 인터페이스 구현**
|
|
|
|
| **난이도·시간** | 중급 · 2.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M6 코드를 실행해 상황판 4개 패널과 최근 송신 8건 표를 확인한다.
|
|
2) 화면 갱신 시간(최대·평균)과 선택 응답 시간을 기록한다.
|
|
3) 선택 예시의 상위 단서 3개를 보고 운용자에게 어떻게 설명할지 정리한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 패널 4종 24회 갱신, 갱신 최대 1초 이내, 선택 응답 수 ms(목표 100ms 이내)
|
|
위조 12건 중 경보 12건, 진짜 12건 중 경보 0건 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | 스트림의 SNR 범위를 (2, 10)으로 바꿔 실행하고 Med 등급과 경보 목록이 어떻게 달라지는지 관찰한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 상황판 코드, 상황판 화면 캡처, 응답성 측정 결과 |
|
|
| --- | --- |
|
|
|
|
**미션 7. 지휘관 긴급 음성 명령 수신 시 통신관 HITL 2차 육안/청음 검증 절차 설계**
|
|
|
|
| **난이도·시간** | 고급 · 3시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M7 코드를 실행해 검토 순서와 자동 전파 0건을 확인한다.
|
|
2) 차단된 규칙 위반 5건(인증 없는 전파, ID 누락, 허용되지 않은 조치, 근거 부족, High 단독 확인)을 표로 정리한다.
|
|
3) 처리 결과표와 감사 로그 검증·변조 검출 결과를 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 자동 전파 0건, 규칙 위반 차단 5건, 로깅 성공률 100%
|
|
보류 기한 초과 U02 상신, 8번째 기록 변조 검출(False, 8) |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | Med 등급 확인에도 교차 확인을 요구하도록 규칙을 바꾸고, 평균 검토 대기 시간에 미치는 영향을 토의한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | HITL 절차 코드, HITL 가이드(책임 분계·인증 절차·상신 기준) |
|
|
| --- | --- |
|
|
|
|
**미션 8. 전자전 재밍 및 잡음 혼입 환경 모의 딥페이크 탐지 한계치 스트레스 테스트**
|
|
|
|
| **난이도·시간** | 고급 · 3.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M8 코드를 실행해 SNR·재밍 단계별 정확도·재현율·오경보율 표를 확인한다.
|
|
2) 정확도 80% 미만 구간을 판정 불가 구간으로 정한다.
|
|
3) 부하 시험 표(평시·5배·5배+처리지연)의 유실·다운·기능 축소 건수와 프로파일 병목을 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 판정 불가 구간: SNR 0dB 이하(정확도 66.7%, 48.3%)
|
|
트래픽 500% 증가 시 다운 0건·유실 0%, 처리 지연 시 146건 기능 축소, 병목은 피치 자기상관 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | backlog_lim을 50으로 줄여 기능 축소 전환 건수가 어떻게 달라지는지 확인하고, 기능 축소 결과를 어떻게 표시해야 하는지 토의한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 스트레스 시험 코드, 분석 보고서(한계 곡선·부하 결과·병목·Fail-safe 동작) |
|
|
| --- | --- |
|
|
|
|
**미션 9. AAR 기반 무전 위조 오판정 음성 분석 및 음향 특징 추출 파라미터 재보정**
|
|
|
|
| **난이도·시간** | 고급 · 3시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M9 코드를 실행해 운용 기록의 오판정을 유형·채널 조건별로 확인한다.
|
|
2) 원인 분석 3가지와 재보정 파라미터(yaml)를 연결해 AAR 보고서 표로 정리한다.
|
|
3) 새 운용 기록 회귀 시험의 정확도 향상, 재발, 새 오류 건수를 기록한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 재보정 전 오판정 121건(미탐 replay 53건 최다)
|
|
새 기록 정확도 78.2% -> 96.8%(+18.5%p 달성), 재발 0건, 새 오류 0건 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | aar_case_weight를 1(가중 없음)로 바꿔 재발 건수와 새 기록 정확도가 어떻게 달라지는지 비교한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | AAR 보고서, 재보정 파라미터 yaml, 회귀 시험 결과 |
|
|
| --- | --- |
|
|
|
|
**미션 10. 무전 음성 스푸핑·딥페이크 탐지 시스템 통합 및 C2 음성 보안 브리핑 패키지 완성**
|
|
|
|
| **난이도·시간** | 최고급 · 3.5시간 |
|
|
| --- | --- |
|
|
|
|
| **진행 순서** | 1) M10 코드를 실행해 자체 점검 10항목과 함수 커버리지를 확인한다.
|
|
2) 차단된 기록 3건의 사유를 확인한다.
|
|
3) 브리핑 요약 5줄의 수치가 위 결과와 일치하는지 대조한다. |
|
|
| --- | --- |
|
|
|
|
| **확인할 결과** | 자체 점검 10/10 통과, E2E 성공률 100%, 함수 커버리지 100%
|
|
위조 재현율 96.7%, 오경보율 4.9%, 검증 대기 174건, 자동 전파·차단 0건 |
|
|
| --- | --- |
|
|
|
|
| **도전 과제** | CONFIG의 spoof_threshold를 0.5로 바꿔 실행하고 재현율·오경보율·검증 대기 건수의 변화를 브리핑에 반영한다. |
|
|
| --- | --- |
|
|
|
|
| **제출물** | 통합 실행 코드, README(실행 방법), 최종 보고서와 브리핑 요약 |
|
|
| --- | --- |
|
|
|
|
**4. 최종 점검표**
|
|
|
|
| **점검 항목** | **확인** |
|
|
| --- | --- |
|
|
| 미션 1~10 코드가 모두 오류 없이 실행되었다 | ( ) |
|
|
| 각 미션의 확인할 결과를 기록했다 | ( ) |
|
|
| 도전 과제 결과와 이유를 기록했다 | ( ) |
|
|
| 브리핑 수치가 실행 결과와 일치한다 | ( ) |
|
|
| 실제 무전 녹음·호출부호·주파수·인증 체계를 사용하지 않았다 | ( ) |
|
|
| 음성 생성·변조 기법은 다루지 않고 탐지·검증만 구현했다 | ( ) |
|
|
| 진위 확정과 명령 전파는 통신보안관 확인·지휘계통에 따름을 명시했다 | ( ) |
|