pbl02/scenario_md/PRC01-조달·계약·국산화_조달계획-AI 기반 조달계획안 검증 Tool/PRC01_실습가이드.md

PRC01 실습가이드 - AI 기반 조달계획안 검증 Tool

구 분 실습가이드 [교육용가상자료]

1. 실습 개요

본 실습은 교육용 가상 조달계획안·계약서 자료로 AI 기반 조달계획안 검증 도구를 미션 단위로 구현하는 과정이다. 미션마다 정답 코드(PRC01_정답코드.md)의 해당 코드를 웹 파이썬 실행기에 붙여 넣어 실행하고, 출력된 수치가 평가 기준을 충족하는지 확인한 뒤 파라미터를 바꿔 보는 도전 과제를 수행한다. 미션별 코드는 서로 독립적이어서 어느 미션부터 실행해도 동작한다.

과제	PRC01 AI 기반 조달계획안 검증 Tool

난이도·유형	고급 / 프로토타입형

예상 소요시간	미션 10개, 총 27시간

준비물	PRC01_정답코드.md, 웹 파이썬 실행기(numpy·pandas·scipy·scikit-learn·matplotlib 사용 가능), 결과 기록용 문서

2. 진행 방법

• 정답코드 md에서 해당 미션의 코드 블록 전체를 복사해 실행기에 붙여 넣고 실행한다(부분 복사 시 가상 계약 생성 함수가 빠져 오류가 난다).

• 실행 결과를 md의 '실행 결과 예시'와 비교한다. 난수 시드가 고정되어 같은 값이 나오지만, 처리 시간(초·ms)은 실행 환경에 따라 달라진다.

• 도전 과제는 코드 상단의 파라미터(룰 기준값, 등급 기준, 가중치, 시간 가정 등)를 바꿔 다시 실행하고 변화와 이유를 기록한다.

• 그래프 글자는 영문, 표·출력은 한글이다. 한글이 깨지면 실행기 글꼴 문제이며 결과에는 영향이 없다.

• 실제 계약·법령 조문·업체 정보는 입력하지 않는다. 규정 위반 여부의 판단과 계약 승인은 계약관·법무·승인권자가 하며, 시간 절감 수치는 가정치에 따른 상대 비교값이다.

• 미션 8은 12개월분 가상 자료를 만들기 때문에 실행에 20초 안팎이 걸릴 수 있다. 실행이 끝날 때까지 기다린다.

3. 미션 진행 요약

미션	난이도·시간	핵심 확인 결과
M1. 국방 조달 계약서, 입찰 공고문 및 방위사업법 규정 데이터 구조 분석	초급
1.5시간	업무 단계 12개(목표 10개 이상), 병목 5개소(목표 3개소 이상)
M2. 계약서 텍스트 파싱, 불공정 조항 키워드 추출 및 조항별 정규화 전처리 모듈 구현	초급~중급
2시간	파싱 성공률 100%(19/19), 계약서·공문 5건 모두 추출
M3. 방위사업 계약 필수 규정 준수 여부 자동 판별 1차 Rule 엔진 구현	중급
2.5시간	룰 16종(목표 15종 이상), 단위 시험 32/32 통과, 지연시간 평균 약 0.01ms(목표 50ms 이하)
M4. LLM/자연어처리 기반 독소 조항, 납기 지체 위험 문구 자동 식별 모델 고도화	중급~고급
3시간	정확도 시험 A 100%, 시험 B 95.3%, 전체 98.4%(목표 85% 이상), 키워드 기준선 64.4%
M5. 계약 위험 점수 산출 및 규정 위반 가능성 신뢰도 지수 엔진 개발	중급
3시간	화면 4종 구현(목표 4종), AUC 0.954, 고위험 112건 실제 위반 94% vs 관심 180건 5%
M6. 계약서 조항별 위험도 하이라이트 및 조달 검토 대시보드 구현	중급~고급
2.5시간	예외 주입 20종(목표 10종 이상), 크래시 0건, 오류 7건 모두 로그 기록(100%)
M7. 계약 승인 전 법무/계약관 수동 검토 및 조항 수정 권고 HITL 절차 설계	고급
3시간	차단 13/13(100%), 감사 로그 105건 해시 체인 정상(무결성 100%)
M8. 1,000건 대규모 조달 계약서 일괄 스크리닝 부하 테스트 및 처리 속도 검증	고급
3.5시간	12개월 배치 실행 약 2초 이내(목표 5분 이내), 자동화 성공률 99.50%(11,940/12,000, 목표 99% 이상)
M9. AAR 기반 규정 위반 미탐 사례 분석 및 조달 룰셋/프롬프트 재보정	고급
3시간	미탐 42건 중 경미 룰 단독 적중 27건, 자료 한계 12건
M10. AI 기반 군수 조달 계약 위험 스크리닝 도구 최종 통합 및 실무 패키지 완성	최고급
3시간	설치 5/5 통과, E2E 4/4 성공, 자체 점검 8/8, 커버리지 93%(13/14), 매뉴얼 7/7장(100%)

미션 1. 국방 조달 계약서, 입찰 공고문 및 방위사업법 규정 데이터 구조 분석

난이도·시간	초급 · 1.5시간

| 진행 순서 | 1) M1 코드를 실행해 스키마 검증 결과와 오류 주입 시험에서 검출된 오류 7건을 확인한다. 2) AS-IS/TO-BE 업무 단계표에서 대기일이 큰 병목 단계를 찾는다.

3) 계약관·법무·승인권자가 판단해야 하는 단계와 자동화할 단계를 구분해 적는다.

| 확인할 결과 | 업무 단계 12개(목표 10개 이상), 병목 5개소(목표 3개소 이상)

정상 100건 형식 오류 0건, 주입 오류 7건 검출, 소요 75.1일에서 49.0일 예상(35% 단축)

도전 과제	STEPS 표의 '위험 조항 협의 회의' 대기일을 8일에서 3일로 줄이면 병목 개소 수와 전체 소요일이 어떻게 달라지는지 확인한다.

제출물	스키마·검증 코드, AS-IS/TO-BE 업무 분해표와 입출력 명세

미션 2. 계약서 텍스트 파싱, 불공정 조항 키워드 추출 및 조항별 정규화 전처리 모듈 구현

난이도·시간	초급~중급 · 2시간

| 진행 순서 | 1) M2 코드를 실행해 CSV·탭 구분·JSON 파싱 결과와 계약서·공문 텍스트 추출 결과를 확인한다. 2) 금액·기간·지체상금률 표기(1.5억원, 3개월, 천분의 2.0 등)가 어떻게 통일되는지 정제표에서 확인한다.

3) 새 양식·새 표현 시험에서 실패했다가 별칭 사전과 정규식 한 줄 추가 후 성공하는 과정을 설명한다.

| 확인할 결과 | 파싱 성공률 100%(19/19), 계약서·공문 5건 모두 추출

중복 제거 후 13건, 키워드가 걸린 조항 6개, 새 양식은 별칭 추가로 처리

도전 과제	DOCS에 '선금 지급률'이라고 쓴 계약서 한 건을 추가해 실패하는지 보고, DOC_PAT의 advance 정규식을 고쳐 해결한다.

제출물	데이터 로더·계약서 파서 코드, 정제 결과표와 서식 변경 대응 기록

미션 3. 방위사업 계약 필수 규정 준수 여부 자동 판별 1차 Rule 엔진 구현

난이도·시간	중급 · 2.5시간

| 진행 순서 | 1) M3 코드를 실행해 룰 16종의 적중 건수와 등급 분포를 확인한다. 2) 경계 조건 단위 시험 32건이 모두 통과하는지, 기준값 바로 아래·위에서 룰이 켜지고 꺼지는지 읽는다.

3) 고위험 상위 3건의 근거 룰과 가상 지침 조항을 읽고 사람이 먼저 확인할 순서를 정한다.

| 확인할 결과 | 룰 16종(목표 15종 이상), 단위 시험 32/32 통과, 지연시간 평균 약 0.01ms(목표 50ms 이하)

고위험 22·주의 68·관심 110, 실제 위반율 100%·72%·7%, 재현율 90%·정밀도 79%

도전 과제	RULES_YAML의 R04 수의계약 한도를 300에서 250으로 설정만 바꿔 재현율과 선별 건수가 어떻게 달라지는지 비교한다.

제출물	룰 설정(YAML)·엔진 코드, 룰별 적중 현황표와 판정 근거 예시

미션 4. LLM/자연어처리 기반 독소 조항, 납기 지체 위험 문구 자동 식별 모델 고도화

난이도·시간	중급~고급 · 3시간

| 진행 순서 | 1) M4 코드를 실행해 시험 A(같은 문장 틀)와 시험 B(처음 보는 표현)의 정확도를 확인한다. 2) 단순 키워드 기준선과 모델의 정확도 차이, 오분류 사례를 읽는다.

3) 위험 조항 예시마다 근거 표현과 수정 권고 Top-3, 유사도 점수를 확인한다.

| 확인할 결과 | 정확도 시험 A 100%, 시험 B 95.3%, 전체 98.4%(목표 85% 이상), 키워드 기준선 64.4%

표준 문안 추천 Top-1 94.4%, Top-3 97.8%

도전 과제	fit_clause_model의 학습 문장 수 n을 1200에서 100으로 줄이면 시험 B 정확도가 얼마나 떨어지는지 비교하고 이유를 적는다.

제출물	조항 분류 모델 코드, 정확도 비교표와 수정 권고 예시

미션 5. 계약 위험 점수 산출 및 규정 위반 가능성 신뢰도 지수 엔진 개발

난이도·시간	중급 · 3시간

| 진행 순서 | 1) M5 코드를 실행해 화면 1~4 패널 출력을 순서대로 확인한다. 2) 위험 점수 등급별 실제 위반율과 AUC를 읽고 모델의 한계를 적는다.

3) 신뢰도 지수 구간별 실제 정확도를 비교하고, 신뢰도가 낮은 주의 건을 필터로 골라 본다.

| 확인할 결과 | 화면 4종 구현(목표 4종), AUC 0.954, 고위험 112건 실제 위반 94% vs 관심 180건 5%

신뢰도 90 이상 구간 정확도 95%, 50 미만 구간 84%

도전 과제	WARN의 고위험 기준을 60점에서 80점으로 올려 고위험 건수와 실제 위반율이 어떻게 바뀌는지 비교한다.

제출물	위험 점수·신뢰도 엔진 코드, 4개 화면 출력과 성능 요약

미션 6. 계약서 조항별 위험도 하이라이트 및 조달 검토 대시보드 구현

난이도·시간	중급~고급 · 2.5시간

| 진행 순서 | 1) M6 코드를 실행해 깨진 입력 20종의 처리 결과와 안내 문구를 확인한다. 2) 에러 로그에 오류 코드가 모두 남았는지, 재시도와 롤백 동작을 확인한다.

3) 위험 지도와 조항 하이라이트 화면에서 【 】로 강조된 위험 표현을 읽는다.

| 확인할 결과 | 예외 주입 20종(목표 10종 이상), 크래시 0건, 오류 7건 모두 로그 기록(100%)

일시 오류 2회 후 성공, 끝내 실패 시 직전 화면(100건) 유지

도전 과제	cases에 '지체상금률에 음수(-1)' 입력을 하나 추가해 격리되는지, 안내 문구가 이해하기 쉬운지 확인한다.

제출물	검증기·에러 핸들러 코드, 오류 처리 결과표와 에러 로그 예시

미션 7. 계약 승인 전 법무/계약관 수동 검토 및 조항 수정 권고 HITL 절차 설계

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M7 코드를 실행해 12건의 결재 결과(승인·보류·종결 반려)와 재기안 횟수를 확인한다. 2) 우회·절차 위반 시도 13종이 모두 차단되는지, 역할별 권한 매트릭스를 읽는다.

3) 감사 로그를 임의로 고쳤을 때 해시 체인이 위변조를 찾아내는 과정을 확인한다.

| 확인할 결과 | 차단 13/13(100%), 감사 로그 105건 해시 체인 정상(무결성 100%)

승인 10·보류 1·종결 반려 1, 반려 후 재기안 13회, 자동 확정 0건

도전 과제	MAX_REDRAFT를 2에서 1로 줄여 종결 반려 건수가 어떻게 달라지는지 확인한다.

제출물	승인 워크플로우 코드, 권한 매트릭스와 우회 시도 차단 결과, 이력 조회 화면

미션 8. 1,000건 대규모 조달 계약서 일괄 스크리닝 부하 테스트 및 처리 속도 검증

난이도·시간	고급 · 3.5시간

| 진행 순서 | 1) M8 코드를 실행해 2026-01 배치의 진행률 표시와 완료 알림을 확인한다. 2) 12개월 배치의 실행 시간, 자동화 성공률, 수작업 대비 절감을 읽고 가정치를 확인한다.

3) 규모 확대 시험과 시간 예산 초과 시 기능 축소 동작을 확인한다.

| 확인할 결과 | 12개월 배치 실행 약 2초 이내(목표 5분 이내), 자동화 성공률 99.50%(11,940/12,000, 목표 99% 이상)

수작업 대비 92% 절감(가정 기준), 일시 오류 226회 재시도로 복구, 실패 0건

도전 과제	MANUAL_MIN을 35분에서 10분으로 바꾸고 REVIEW_MIN을 6분에서 12분으로 바꿔 절감률이 80% 아래로 내려가는지 확인한다.

제출물	배치 러너 코드, 월별 처리 결과표, 성공률·절감 시간 계산 근거

미션 9. AAR 기반 규정 위반 미탐 사례 분석 및 조달 룰셋/프롬프트 재보정

난이도·시간	고급 · 3시간

| 진행 순서 | 1) M9 코드를 실행해 미탐 42건의 원인 분류를 확인한다. 2) 재보정안 5종과 결합안의 AAR 세트·검증 세트 재현율·정밀도·F1 표를 읽고 채택·보류·기각 이유를 설명한다.

3) UAT 체크리스트 점수와 개선 요구 5건 반영 현황을 확인한다.

| 확인할 결과 | 미탐 42건 중 경미 룰 단독 적중 27건, 자료 한계 12건

채택 F2+F3+F4(검증 재현율 85.2%에서 87.7%), F1 기각, UAT 97점, 개선 요구 5/5 반영

도전 과제	w_up의 R07·R08 가중치를 3에서 4로 올린 변형안을 cands에 추가해 검증 세트 재현율과 정밀도가 어떻게 달라지는지 비교하고 채택 여부를 판정한다.

제출물	AAR 분석·재보정 코드, 미탐 원인 분류표와 채택·기각 판정표, UAT 결과

미션 10. AI 기반 군수 조달 계약 위험 스크리닝 도구 최종 통합 및 실무 패키지 완성

난이도·시간	최고급 · 3시간

| 진행 순서 | 1) M10 코드를 실행해 설치 스크립트 5단계 점검과 End-to-End 시나리오 4종 결과를 확인한다. 2) 자체 점검 8항목과 함수 커버리지, 매뉴얼 작성률을 읽는다.

3) 브리핑 요약의 수치가 앞선 출력과 일치하는지 확인하고 사람이 해야 할 일을 정리한다.

| 확인할 결과 | 설치 5/5 통과, E2E 4/4 성공, 자체 점검 8/8, 커버리지 93%(13/14), 매뉴얼 7/7장(100%)

브리핑: 계약 100건 중 룰 고위험 8·주의 26, 검토 큐 27건 모두 PENDING

도전 과제	CONF의 queue_min_score를 50에서 70으로 올려 검토 큐 건수와 우선 확인 건수가 어떻게 바뀌는지 비교한다.

제출물	통합 파이프라인 코드, 점검 결과 출력과 브리핑 요약

4. 최종 점검표

점검 항목	확인
미션 1~10 코드가 모두 오류 없이 실행되었다	( )
각 미션의 확인할 결과를 기록했다	( )
도전 과제 결과와 이유를 기록했다	( )
브리핑 수치가 실행 결과와 일치한다	( )
실제 계약·법령 조문·업체 정보를 사용하지 않았다	( )
규정 위반 판단과 계약 승인은 담당자가 하도록 설계했다	( )