GMP AI·머신비전 도입 및 CSV/CSA 적용 가이드

GMPCAT · GMP VALIDATION & CONSULTINGTECHNICAL GUIDE / 2026

GMP DIGITALIZATION · AI / MACHINE VISION · CSV

제약 제조공정의
AI·머신비전 도입과
CSV 기반 검증 전략

주사제 이물 검사, 포장 라인 머신비전, PAT 및 공정제어에 적용되는 AI 모델을
환자 안전·제품 품질·데이터 완전성 관점에서 설계하고 검증하는 실무 가이드

ICH Q9(R1)EU GMP Annex 11FDA Drug cGMPGAMP 5 AI GuideAI Risk Management

문서 목적

GMP 제약회사에서 AI가 포함된 컴퓨터화 시스템을 도입할 때 필요한 요구사항 정의, 위험평가, 데이터·모델 검증, 적격성평가, 변경관리 및 지속적 모니터링을 하나의 생애주기 체계로 연결한다.

적용 대상

주사제 이물 검사기, 라벨·포장 검사 비전, 제조 자동화, 공정분석기술(PAT), AI 기반 예측·분류 및 품질시스템 소프트웨어.

저자용 검토 자료 · 논문 부록 및 사내 실무 가이드 초안

핵심 원칙
AI의 GMP 적합성은 모델 정확도만으로 입증되지 않는다. 의도된 용도, 대표성 있는 데이터, 독립 시험, 모델·설정 버전, 원자료 추적성, 안전한 실패상태와 지속적 성능감시를 전체 시스템의 증거로 연결해야 한다.

중요한 규제 구분
FDA의 CSA 가이던스는 의료기기 제조·품질시스템 소프트웨어 및 21 CFR Part 820을 위한 문서이다. 의약품 GMP에 그대로 적용되는 규정으로 취급하지 말고, 의약품 시스템에는 해당 cGMP 규정과 EU GMP Annex 11 등 적용 규정을 우선 적용한다. CSA의 위험기반 원칙은 적절한 범위에서 참고할 수 있다.

GMPCAT · Validation. Quality. Trust.표지

GMPCAT01 · Regulatory Landscape

규제·가이드라인 지형

AI·머신비전은 하나의 단일 규정으로 평가되지 않는다. 기존 의약품 cGMP와 전산시스템 요구사항이 기본 바탕이며, AI 특성에 대한 가이드·표준·초안 문서는 시스템 위험에 맞춰 보완적으로 사용한다.

근거	상태·범위	GMP 적용 포인트
21 CFR 211.68	미국 완제의약품 cGMP 규정	자동화·전자장비의 성능 점검, 권한통제, 입력·출력 정확성, 백업 및 시스템 변경 통제.
21 CFR 211.22, 211.160, 211.192	품질부서·시험관리·기록 조사	품질부서의 승인·거부 권한, 과학적으로 타당한 시험과 기록, 불일치·일탈의 충분한 조사.
EU GMP Annex 11	현행본은 2011년 개정판; 개정안은 별도 확인 필요	컴퓨터화 시스템의 위험관리, 검증, 공급업체, 데이터, 감사추적, 보안, 백업 및 변경관리.
ICH Q9(R1) / Q10	의약품 품질위험관리·품질시스템	환자 위험과 연결된 위험기반 노력·문서화 수준, 지식관리, CAPA, 변경관리와 지속적 개선.
FDA PAT Framework	2004년 최종 가이던스	공정 이해, 과학·위험기반 공정분석, 분석 결과와 공정관리전략의 연결.
FDA AI in Drug Manufacturing	2023년 토론 문서	AI 제조 활용에 대한 규제·기술 논의 자료이며 법적 요구사항 또는 최종 가이던스로 오인하지 않는다.
FDA·EMA Good AI Practice	2026년 1월 원칙 문서	인간 중심, 위험기반, 용도 명확화, 데이터 거버넌스, 성능평가, 생애주기 관리 등 일반 원칙을 참고한다.
EU/PIC/S Annex 22 AI 초안	2025년 공개협의 초안; 현행 법규로 단정 금지	모델 용도, 수용기준, 시험데이터 독립성, 설명가능성, 신뢰도, 운영 감시가 향후 규제 방향을 보여준다.
ISPE GAMP AI Guide	2025년 발행 산업 가이드	GxP AI 시스템의 설계·개발·운영·공급자 책임에 대한 업계 실무 프레임워크.

CSA와 AI Annex 초안의 적용상 주의: FDA의 2026년 2월 CSA 최종 가이던스는 의료기기 생산·품질시스템 소프트웨어에 대한 21 CFR Part 820 대응 문서이며, 의약품 CSV의 직접 규제근거로 인용하지 않는다. PIC/S/EU의 공개 Annex 22 초안은 중요 GMP 용도에 대해 학습으로 기능을 획득한 정적 모델과 결정론적 출력을 전제로 하고, 운전 중 자동학습·확률적 출력·생성형 AI/LLM의 중요 GMP 적용을 제한하는 취지의 문구를 포함한다. 다만 이는 공개협의 초안이므로 현재의 구속력 있는 최종 규정처럼 취급하지 말고, 최종 채택 여부와 문구를 도입 시점에 다시 확인한다.

규제 상태 기준일: 2026-10-261 / 14

GMPCAT02 · Scope & Risk

적용 범위와 GxP 위험 분류

첫 단계: 시스템 인벤토리 작성

AI가 포함되었다는 이유만으로 모든 기능을 동일한 수준으로 검증하지 않는다. 시스템이 어떤 GxP 의사결정에 관여하는지, 잘못된 출력이 제품·환자·데이터에 어떤 결과를 줄 수 있는지 분석하여 범위와 검증 수준을 정한다.

유형	예시	권장 접근
GxP 영향 낮음 / 참고정보	비GxP 설비 예지보전 보고서, 참고용 생산성 대시보드	목적·데이터 출처·사람의 검토를 정의한다. 결과가 품질 판단에 쓰이지 않는다는 경계와 사용금지 범위를 문서화한다.
간접 GxP 영향	일탈 분류 추천, 문서 검색, 트렌드 이상 후보 표시	출력은 권고로 제한하고, 적격자가 원자료를 검토·승인한다. 입력·출력·버전·수정 이력을 기록한다.
직접 GxP 영향	주사제 이물 자동검사·배제, 라벨 오류 판정, PAT가 공정제어에 입력 제공	엄격한 용도 정의, 독립 시험데이터, 최악조건 시험, 성능 한계, 오류 시 안전상태, QA 승인 및 지속 모니터링을 요구한다.
배치 출하·공정제어에 직접 영향	AI 출력이 제품 배제 또는 공정 파라미터 변경에 자동 연결	최고 수준의 검증 증거와 인터록·수동 대체·변경통제·독립적인 품질 결정이 필요하다. 품질부서의 배치 승인 책임을 AI에 위임하지 않는다.

위험평가에서 반드시 묻는 질문

• AI의 출력이 환자 위해, 오염 제품 유출, 잘못된 라벨, 공정 편차 또는 배치 판정에 영향을 줄 수 있는가?
• 위험한 오분류(예: 결함을 정상으로 판정)의 가능성과 결과는 무엇인가?
• 해당 오류를 독립된 사람·장치·공정 단계가 발견할 수 있는가?
• AI 출력의 원본 데이터와 모델·임계값·시스템 구성을 나중에 재구성할 수 있는가?
• 실패 시 공정이 안전하게 정지하거나 통제된 수동절차로 전환되는가?

“The level of effort, formality and documentation … should be commensurate with the level of risk.” — ICH Q9(R1), §3

번역: 위험관리 활동에 투입하는 노력·형식성·문서화 수준은 위험 수준에 비례해야 한다. 위험평가는 점수 산출로 끝나는 것이 아니라 실제 통제와 시험 범위를 결정해야 한다.

핵심: 시스템 명칭이 아닌 의도된 용도와 영향으로 범위 결정2 / 14

GMPCAT03 · System Lifecycle

AI 포함 CSV 생애주기 모델

전통적인 소프트웨어 검증은 기능과 설정의 정확성에 중점을 두지만, 머신러닝 모델은 데이터와 학습 과정이 성능을 결정한다. 따라서 검증 대상은 애플리케이션만이 아니라 데이터 파이프라인과 모델, 실시간 운용 환경까지 포함한다.

1 · 정의의도된 용도
QRM / URS

2 · 설계시스템·데이터
모델·공급자

3 · 검증학습·시험 데이터
성능·경계조건

4 · 승인추적성·일탈
QA 승인·배포

5 · 운영감시·변경관리
주기평가·폐기

권장 산출물

단계	주요 문서·증거
개념·타당성 검토	Business / Quality Rationale, AI 시스템 인벤토리, 의도된 용도(Context of Use), 규제 적용성 평가, 위험평가, 공급자 예비평가.
요구사항·설계	URS, 기능·성능 요구사항, 데이터 명세, 시스템 아키텍처, 인터페이스 목록, 모델 및 하드웨어 구성, 오류 처리 및 수동 대체 계획.
모델·데이터 준비	데이터 수집·라벨링 SOP, 데이터셋 버전과 출처, 포함·제외 기준, 분할 계획, 모델 카드/개발 기록, 전처리·학습 파라미터.
검증·적격성평가	승인된 프로토콜, 독립 시험셋, 성능 지표와 합격기준, 오류·경계조건 시험, 하드웨어/인터페이스 시험, 요구사항 추적 매트릭스.
출시·운영	최종 보고서, 모델·임계값 릴리스 레코드, SOP, 사용자 교육, 성능 모니터링 계획, 변경관리·사고관리·백업복구 절차.

CSV와 AI 모델 검증의 연결

IQ/OQ/PQ라는 문서명 자체가 모든 AI 시스템에 기계적으로 동일하게 적용되는 것은 아니다. 사이트의 C&Q/CSV 절차에 따라 하드웨어 설치, 소프트웨어 구성·기능, 실제 사용환경에서의 성능을 필요한 시험 활동으로 매핑한다. 핵심은 단계 이름이 아니라 요구사항과 위험통제가 시험 증거로 연결되고, 승인된 사용 조건을 재현할 수 있는가이다.

검증 종료 조건
중요 요구사항은 시험되었고, 치명적 결함은 해결 또는 적절히 통제되었으며, 잔여위험이 승인되고, 미해결 사항이 의도된 사용을 손상하지 않으며, 운영 SOP·교육·지원체계가 준비된 상태에서 QA가 사용 승인을 한다.

생애주기 전체에서 모델과 주변 시스템을 함께 관리3 / 14

GMPCAT04 · Data Governance

학습·검증·시험 데이터의 거버넌스

AI의 성능은 데이터의 대표성·정확성·라벨 품질에 크게 좌우된다. 데이터가 부족하거나 특정 결함 유형·제품·설비 조건에 편중되면 높은 시험 점수에도 불구하고 현장 성능은 낮을 수 있다.

필수 데이터 관리 원칙

• 출처와 권리: 데이터가 어느 라인·제품·장비·시점에서 생성되었는지, 공급자 데이터 사용 권한과 변경 이력이 적절한지 기록한다.
• 라벨의 신뢰성: 정답(label)은 정의된 기준과 숙련된 검토자가 생성한다. 판정이 애매한 샘플은 별도 범주화하고, 불일치는 독립 검토·조정 절차로 해결한다.
• 대표성: 제품·용기·색상·배경·입자 재질·형상·크기·위치·조명·속도·카메라 조건 및 정상 변동을 포함한다.
• 독립성: 동일 이미지의 변형본, 같은 배치에서 연속 촬영한 유사 이미지가 학습과 시험 셋에 동시에 들어가 성능을 부풀리는 데이터 누출을 방지한다.
• 불균형 관리: 실제 발생률이 낮은 심각 결함은 표본 수가 부족할 수 있다. 오버샘플링으로 학습을 도울 수 있지만 현장 유병률을 반영한 별도 시험과 평가가 필요하다.
• 추적성: 데이터셋 ID, 수집일, 처리 스크립트 버전, 라벨 버전, 제외 사유, 분할 seed/방법 및 해시를 기록해 재현성을 확보한다.

데이터 구분	용도	통제·주의사항
Training set	모델 가중치 학습	학습에만 사용; 모델 개발 중 반복 최적화에 사용됨.
Validation set	하이퍼파라미터·임계값 선택 및 모델 후보 비교	여러 차례 사용되므로 최종 독립 성능을 대표한다고 간주하지 않음.
Independent test set	최종 성능 입증	개발·튜닝 과정과 독립적으로 보존; 합격기준과 분석계획을 시험 전에 승인.
Challenge set	희귀 결함·경계조건·악조건 확인	위험기반으로 설계하며 독립 test set과 목적을 구별해 보고.
운영 데이터	모니터링·드리프트 탐지·사후 분석	자동 재학습에 직접 넣기 전 별도 승인·검증 절차 필요.

EU/PIC/S Draft Annex 22, §5–6: “Test Data” and “Test Data Independency”

번역·해설: 초안은 시험 데이터의 품질과 독립성을 별도 항목으로 다룬다. 이는 아직 초안이며 현행 법규가 아니지만, 최종 성능 입증을 위해 데이터 분리와 누출 방지를 설계하는 데 유용한 준비 기준이다.

데이터셋도 버전관리와 승인 대상이다4 / 14

GMPCAT05 · Intended Use & URS

의도된 용도·요구사항·시스템 경계

URS에는 “AI로 검사한다” 같은 포괄적 설명보다, 제품·라인·검사 대상·분류 범위·사용자·판정 위치·오류 시 대응·성능 기준을 구체적으로 적는다. 용도 문구가 모호하면 검증 범위와 합격기준도 모호해진다.

URS에 포함할 항목 예시

요구사항 그룹	필수 설명 예시
사용 목적·한계	대상 제품·포장·규격, 탐지/분류할 결함 유형, 비검출 가능한 결함, 사용하지 않을 조건과 제품 범위.
입력 조건	카메라 해상도·초점·조명, 촬영각·노출, 라인 속도 범위, 용기 형태·색상, 이미지 품질 및 결측·오염된 이미지 처리.
출력·판정	클래스와 점수, 임계값, reject 신호, 타임아웃·미확정 판정, 사람이 검토할 기준, 제품 상태와 배치기록 연결.
성능	결함군별 민감도/위음성률, 특이도/오거부율, 재현성·반복성, 처리속도, 장기 안정성의 승인 기준.
환경·통합	PLC/SCADA/MES 인터페이스, 시각 동기화, 네트워크 단절, 전원 복구, 장비 재시작, 레시피·제품 전환, 경보 및 감사추적.
보안·기록	고유 사용자 ID, 역할권한, 관리자 접근, 원본 이미지·판정·모델 버전 보존, 백업·복구, 시간정보 및 감사추적.
안전한 실패	모델 응답 불가, 카메라 고장, 미확정 결과, 통신 지연, reject 장치 실패 시 라인 정지·격리·수동검사 등 미리 승인한 상태.

AI 시스템 아키텍처 경계

검증 경계에는 모델뿐 아니라 센서와 카메라, 조명, 이미지 취득, 전처리, 추론 런타임, 임계값, PLC, reject 기구, HMI, 데이터 저장, MES/LIMS/배치기록 인터페이스가 포함될 수 있다. 한 요소의 변경이 출력에 영향을 줄 수 있으므로 구성도를 만들고 시스템별 책임·인터페이스·데이터 흐름을 명시한다.

변경 시 확인할 질문
동일한 입력이 동일한 판정으로 이어지려면 하드웨어·조명·전처리·모델·임계값·런타임이 관리되어야 한다. 어떤 구성요소가 변하면 기존 성능 입증이 더 이상 유효하지 않을 수 있는지 초기에 위험평가한다.

모호한 intended use는 검증 실패의 출발점5 / 14

GMPCAT06 · Case 1: Injectable Inspection

사례 1 — 주사제 이물 검사 머신비전

주사제의 가시 이물 검사는 환자 안전과 직접 연결되므로, AI 기반 자동검사기를 적용할 때는 “분류 정확도”를 넘어 검출 가능한 결함 범위, 시스템의 사각지대, 자동 배제의 신뢰성, 사람이 재검토하는 절차를 입증해야 한다.

위험 시나리오 및 통제

고장·오류 시나리오	잠재 영향	예방·검출 통제
유리·금속·섬유 등 특정 입자를 정상으로 판정	결함 제품이 다음 공정 또는 출하로 유출될 수 있음	결함군별 민감도 요구, 실제·모사 결함 챌린지, 경계조건 시험, 독립 시험셋, 보수적 reject 규칙.
기포·반사·흔들림을 이물로 오인	오거부 증가, 생산손실 또는 작업자 개입 증가	기포·반사·제품 고유 입자 등 어려운 정상 샘플, 조명·속도 범위시험, false reject 트렌드.
용기 색상·제품 점도·현탁물 변화	검사 성능이 특정 제품군에서 저하	제품별/용기별 intended use, 적용성 평가, 별도 레시피 또는 별도 모델 검증.
reject 기구나 PLC 신호 누락	AI가 불량으로 판정해도 제품이 라인에 남음	엔드투엔드 테스트, reject confirmation 센서, mismatch alarm, reject bin full/blocked 시험, 정지·격리 로직.
저장용량 부족 또는 이미지 기록 누락	조사·추적 불가, DI 약화	저장소 용량 경보, 필수 기록의 실패 안전정책, 백업·복구시험, 삭제권한 제한 및 보존기간 정의.

USP와 FDA 자료 해석

USP <1790>: “Visual inspection is a probabilistic process.”

번역: 육안검사는 확률적 과정이다. 결함의 크기·형태·색상·밀도, 제형 및 용기 특성에 따라 검출확률이 달라진다. 이 원칙은 자동 머신비전에도 유사하게 적용되므로, 단일 종합정확도만으로 검출 능력을 주장하지 않는다.

FDA의 2021년 “Inspection of Injectable Products for Visible Particulates” 문서는 공개되어 있으나 현재 검색되는 문서 상태는 Draft / Not for implementation이다. 가시 이물 관리에 대한 위험기반 개념 자료로 참고할 수 있지만, 최종 구속력 있는 가이드처럼 인용하지 않는다. 적용 약전과 현행 cGMP, 승인된 제품·사이트 절차가 우선한다.

권장 시험 구성

• 제품·용기별 정상 샘플과 결함 샘플을 모두 포함한 블라인드 시험.
• 결함 재질·크기·형상·색상·위치·움직임에 따른 계층별 결과 분석.
• 라인 속도, 조도, 진동, 초점, 렌즈 오염, 용기 표면 흠집 등의 악조건 시험.
• AI 판정과 실제 reject 성공 여부를 별도 항목으로 기록.
• 수동 재검토자와 자동검사기의 역할, 불일치 처리, 최종 품질결정 책임을 SOP로 지정.

이물검사: 위음성 위험을 결함군별로 평가6 / 14

GMPCAT07 · Case 2: Packaging Vision

사례 2 — 포장 라인 머신비전·OCR

포장 비전은 라벨·인쇄 내용·바코드·일련번호·마개·캡·포장 상태를 검사할 수 있다. 가장 중요한 위험은 잘못된 제품·강도·유효기간·로트가 정상으로 승인되는 것과, 적합 제품이 과도하게 reject되는 것이다.

기능별 요구사항과 검증

기능	핵심 입력·요건	검증 포인트
라벨 일치 검증	제품코드·강도·언어·시장·로트·유효기간의 승인 마스터와 비교	각 필드의 정확성, 일부 글자 누락·흐림·기울어짐·주름·반사·저대비 조건, 잘못된 마스터 선택.
OCR/OCV	인쇄된 문자를 인식하거나 승인 템플릿과 비교	문자별·필드별 성능, 혼동문자(0/O, 1/I), 작은 글자, 잉크 번짐, 인쇄 끊김, 공백·줄바꿈 처리.
바코드·2D 코드	코드 읽기와 데이터베이스/시리얼 관리 시스템 비교	정상·손상·부분 가림·낮은 대비, 동일 코드 중복, 네트워크 지연, 마스터와 메시지 매핑.
포장 부품 확인	마개·캡·카톤·설명서 등 존재 여부와 위치	모든 구성품 누락/오조립 케이스, 포장 방향과 속도 변화, 라인 재기동 및 제품 전환.
제품 교체·레시피 선택	승인된 제품별 검사 설정	레시피 권한, 이중 확인, 전환 시 clearing, 이전 제품 설정 잔류 방지, 잘못된 레시피에서의 인터록.

모델 외에 반드시 검증할 것

• 마스터 데이터의 생성·승인·배포·폐기와 버전관리. AI가 읽은 텍스트가 승인된 마스터와 비교되는 경로까지 확인한다.
• 라인 속도, 카메라 trigger, encoder 동기화, reject delay, conveyor 간격 및 reject 확인 센서.
• 제품 교체 시 잔류 자재·이전 라벨·이전 설정이 남지 않도록 line clearance와 재시작 절차.
• 수정 가능한 기준값이나 threshold를 누가 바꿀 수 있는지, 변경 전후 승인과 감사추적이 남는지 확인.

성능 기준 예시를 작성할 때
“정확도 99% 이상”처럼 단일 숫자만 두지 말고, 중요한 오류 유형에 대한 위음성률, 필드별 오류, 레시피 오선택 방지, reject 성공률, 속도 조건별 결과를 정한다. 수치는 제품·결함 위험 및 표본 수를 근거로 사전에 승인해야 한다.

포장 비전: 모델 판단과 승인 마스터·라인 동작의 연계를 검증7 / 14

GMPCAT08 · Case 3: PAT & Process Control

사례 3 — PAT 모델과 공정제어

공정분석기술(PAT)에 AI/ML이 포함되면 스펙트럼·센서·공정변수로부터 품질특성(CQA)을 예측하거나 공정 상태를 분류할 수 있다. 출력이 모니터링·추천에 머무르는지, 자동으로 CPP를 조정하는지, 배치 상태 판단에 연결되는지에 따라 위험과 증거 수준이 달라진다.

모델 검증 범위

• 측정시스템: 센서 정확도, 교정, 샘플링 위치, 측정 주기, 전처리, 환경 간섭, 데이터 누락과 out-of-range 처리.
• 모델 적용영역: 학습에 포함된 원료·장비·규모·공정 범위와 실제 사용범위의 일치성. 사용범위 밖 예측은 경고·중단·확인시험 등 통제 필요.
• 참조값(reference): 예측값과 비교되는 실험실 시험방법의 적합성, 시료 채취 시점·위치 매칭, 분석오차 및 데이터 정렬.
• 예측성능: bias, RMSEP/MAE 등 연속형 지표, 분류 오류, 잔차 분석, 예측구간/불확실성, 로트·일자·설비별 성능.
• 제어 로직: AI 출력과 PLC/DCS setpoint 사이의 제한, rate limit, range check, interlock, 안전 상태 및 기존 제어전략과의 우선순위.

모니터링·추천형과 폐루프 제어형 차이

구분	주요 위험	추가 입증
모니터링/분석	이상 신호 미검출, 오경보, 잘못된 결론	분석 정확성, 경고 기준, 사용자 검토·확인시험, trend review.
운전자 추천	잘못된 권고를 사람이 그대로 수용	권고와 근거 제시, 한계 안내, 승인 절차, 적격자 교육, 의사결정 기록.
자동 setpoint 조정	잘못된 출력이 공정을 비가역적으로 벗어나게 함	제어 범위 제한, interlock, hard limits, simulated/fault testing, manual fallback, 품질 영향평가 및 강화된 PQ.

FDA, PAT Framework, §II: “process understanding” and a “science-based” approach

번역·해설: PAT의 핵심은 공정 이해에 기반한 과학적·위험기반 접근이다. AI 모델을 도입하더라도 개발·검증·운영 전략이 공정 이해와 CQA/CPP의 관계를 설명해야 한다.

모델 성능이 검증된 영역 밖에 들어오는 것을 알아차리지 못하면 숫자상 성능이 우수해도 부적절한 공정판정이 발생할 수 있다. 따라서 입력 범위 검사, out-of-distribution 탐지 또는 보수적인 확인시험을 고려하고, 범위를 벗어난 사용은 변경관리 대상으로 둔다.

PAT: 예측 모델을 공정 지식과 제어전략 안에 위치시킨다8 / 14

GMPCAT09 · Performance & Acceptance

성능 지표와 수용기준 설정

모델이 산출하는 점수, 혼동행렬, 민감도·특이도는 의사결정을 돕는 도구다. GMP 합격 여부는 사전에 정의한 intended use, 제품 위험 및 허용 가능한 오류를 기반으로 판단한다. 모든 AI 검사에 공통 적용할 단일 정확도 기준은 없다.

지표	정의·해석	GMP에서의 활용
Sensitivity / Recall	TP/(TP+FN); 실제 결함을 결함으로 검출하는 비율	중요 결함 누락 위험을 평가할 때 결함군별로 분석.
False Negative Rate	FN/(TP+FN); 결함을 정상으로 놓친 비율	이물·라벨 오류처럼 환자 위해로 연결될 수 있는 오류의 핵심 지표.
Specificity	TN/(TN+FP); 정상 샘플을 정상으로 판정하는 비율	오거부·재검·생산손실과 후속 수동검사 부하 평가.
Precision / PPV	TP/(TP+FP); 결함으로 판정한 것 중 실제 결함의 비율	불량 판정의 신뢰성과 재검 부담에 관련; 결함 발생률에 영향을 받음.
Processing / Reject success	시간 내 판정, 신호 전달, 실제 배제 성공	모델 자체 점수 외에 전체 라인 성능을 입증.
Stability / Drift	기간·제품·장비·환경에 따른 성능 변화	지속적 성능감시와 재평가 트리거 설정.

합격기준의 구성

1. 오류 유형을 위험 수준으로 분류하고, 중요 결함의 허용 누락 위험을 정의한다.
2. 제품·결함·장비 조건별로 하위군을 정해 전체 평균이 취약한 하위군을 가리지 않게 한다.
3. 표본수와 신뢰구간을 통계적으로 정당화한다. 예를 들어 시험에서 FN이 0건이라고 해도 표본 수가 적으면 실제 위험이 없다고 결론 낼 수 없다.
4. 임계값을 개발 데이터에서 최적화했다면, 고정된 별도 시험셋에서 최종 성능을 확인한다.
5. 불일치 샘플, 불확실도 높음, 하드웨어 경보, 네트워크 단절 등 fail-state 합격기준을 포함한다.

흔한 오류: 전체 정확도가 높다는 이유로 승인하지 않는다. 정상 이미지가 대부분이면 모델이 모든 것을 정상으로 판단해도 높은 정확도가 나올 수 있다. 민감도·위음성률·특정 결함군별 성능·신뢰구간·운영 조건을 함께 평가해야 한다.

기준은 시험 후 맞추는 값이 아니라 사전에 승인하는 값9 / 14

GMPCAT10 · Qualification & Testing

적격성평가·검증 시험 전략

검증은 정상 조건의 성공시험만으로 충분하지 않다. 중요 기능의 경계조건과 실패상황, 인터페이스, 인간 개입, 기록 재현성, 설정 변경 및 복구까지 포함해야 한다.

시험 영역

시험군	예시 시험	주요 증거
기본 기능·설정	모델 버전 로드, threshold 및 recipe, 권한, 제품 전환, 구성정보 확인	사전 승인 프로토콜, 예상 결과·실제 결과, 원본 로그, 일탈 처리.
데이터 입출력	정상/비정상 이미지, 누락·손상 파일, 타임스탬프, 중복, 인터페이스 mismatch	입력-출력 연결, 정확성, 예외 처리, 감사추적.
모델 성능	독립 시험셋, 결함 하위군, 어렵고 희귀한 샘플, 운영조건별 성능	고정된 모델·데이터·임계값, 원자료와 분석코드/계산, 통계보고서.
통합·물리적 동작	PLC trigger, 카메라 타이밍, reject delay, reject confirmation, 라인 속도	엔드투엔드 시험, 실제 하드웨어 증거, 신호·이벤트 기록.
실패·복구	전원/네트워크 끊김, 저장소 부족, 서비스 중단, 재시작, 백업복구	정해진 안전 상태 도달, 제품 격리·계수, 데이터 손실 없음 또는 영향평가.
사용성·인간 요소	모호한 판정, 수동 override, 알람 인지, 화면 정보, 검토자 일치	권한 있는 사용자 시나리오, 교육 기록, 인간 검토 기준.

시험 설계 규칙

• 시험 프로토콜은 실행 전에 승인하며, expected result와 acceptance criteria를 명시한다.
• 탐색·모델 개발 시험 결과와 공식 독립 성능시험 결과를 혼합하지 않는다.
• 시험 실패는 단순히 데이터에서 삭제하지 않는다. 원인과 영향, 수정, 재시험 정당성 및 최초 결과를 보존한다.
• 시험 데이터 재사용을 승인하려면 목적, 독립성 훼손 여부, 수정된 시스템과의 관련성을 평가한다.
• 중요 기능의 시험은 가능하면 개발자와 독립된 검토자·QA가 확인한다.

EU GMP Annex 11, §4: “The application should be validated; IT infrastructure should be qualified.”

번역: 애플리케이션은 밸리데이션하고 IT 인프라는 적격성평가해야 한다. AI에서는 애플리케이션 기능시험뿐 아니라 모델·데이터·추론환경·인프라의 상호작용을 증거로 남겨야 한다.

Draft EU/PIC/S Annex 22, §1: “The document applies to static models …”

번역·해설: 초안은 운전 중 데이터로 자동 적응하지 않는 정적 모델을 대상으로 한다고 기술한다. 이는 모델 업데이트·재학습을 승인된 변경·검증 절차로 분리하고, 생산 중 무통제 학습을 기본 전제로 삼지 말라는 설계 경고로 참고할 수 있다. 단, 초안 상태라는 점을 문서와 교육에서 명시한다.

시험은 모델 정확도와 물리적 시스템 동작을 모두 입증10 / 14

GMPCAT11 · Data Integrity & Traceability

데이터 완전성·추적성·보안

AI 판정이 품질 기록에 영향을 주면 원자료, 메타데이터, 모델 출력, 최종 판정 및 사람의 개입을 연결할 수 있어야 한다. 결과 화면의 요약값만 저장하고 원본 이미지·신호·설정·이벤트를 보존하지 않으면 이상 결과 조사가 불가능해질 수 있다.

최소 추적성 필드 예시

객체	추적성 필드
제품/검체	제품코드, 배치/로트, 라인, 시간, 용기/포장 식별자(해당 시).
입력 데이터	원본 이미지/센서 데이터, 촬영·측정 조건, 장비 식별자, 품질 상태, 원본과 파생본 연결.
모델 및 환경	모델 ID·버전·해시, 전처리 버전, threshold, 추론 엔진/라이브러리, 장비·카메라·조명 설정.
판정	출력 클래스·score·알람, 판정 시간, 배제 신호, reject 확인, 모델/시스템 예외.
인간 검토	검토자 ID, 시간, 원래 판정, override/수정값, 사유, 승인, 연계 일탈번호.
관리·변경	모델 배포·롤백·설정 변경 승인, 접근기록, 감사추적, 백업·복원·보존 로그.

통제 항목

• 접근권한: 계정을 개인별로 발급하고, 개발·운영·QA 검토자 권한을 분리한다. 생산 환경에서 개발자가 임의로 모델·임계값을 바꾸지 못하게 한다.
• 감사추적: 중요한 변경, 수동 override, 임계값·레시피 변경, 기록 수정·삭제를 누가 언제 무엇을 왜 바꾸었는지 남긴다.
• 원본 보존: 전체 원본을 어느 범위·기간 저장할지 위험에 근거해 결정한다. 최소한 중요 판정, reject, 경계·실패 사례 및 조사에 필요한 기록은 회수 가능해야 한다.
• 백업·복구: 이미지/기록, 모델·설정, 데이터베이스를 포함해 복구 가능성을 시험한다. 백업 파일만 존재하는 것으로 복구 검증을 대체하지 않는다.
• 사이버보안: 취약점·패치·원격접속·계정관리·네트워크 분리·공급자 지원 종료를 변경·위험관리 안에서 다룬다.

21 CFR 211.68(b): “A backup file of data entered into the computer or related system shall be maintained.”

번역: 컴퓨터 또는 관련 시스템에 입력된 데이터의 백업 파일을 유지해야 한다(규정의 예외 적용은 해당 조항을 확인). AI 시스템에서는 데이터와 함께 재현에 필요한 모델 버전·환경 설정·파생 처리 정보도 보존 범위를 검토한다.

입력부터 최종 품질결정까지 이어지는 추적성11 / 14

GMPCAT12 · Lifecycle Operations

운영 중 성능감시·변경관리·일탈

AI 모델은 한 번 검증하고 고정하는 것만으로 충분하지 않다. 제품·원료·포장·공정·장비·조명·센서 상태·공급자 소프트웨어가 달라지면 입력 데이터 분포나 모델의 성능이 바뀔 수 있다. 운영 감시는 승인된 모델이 승인된 범위에서 계속 작동하는지 확인해야 한다.

감시 계획 요소

• 모델 성능 지표: 결함군별 위음성률, 오거부율, 미확정률, reject 성공률, 수동 검토 불일치.
• 입력 분포·품질: 이미지 밝기·초점·노이즈, 센서 범위, 제품·용기별 비율, unknown/low confidence 비율.
• 시스템 상태: 처리 지연, 카메라/PLC 통신, 저장공간, 인터페이스 오류, 모델 로드 및 서비스 재시작.
• 품질 트렌드: 일탈·불만·OOS·부적합 트렌드와 AI 경보·배제 결과 간 상관을 주기적으로 검토.
• 경보 대응: 경보를 누가 평가하는지, 언제 라인을 중지·격리할지, 재가동 조건과 기록을 SOP로 정의.

변경관리 트리거

변경 예	영향평가·시험 후보
모델 재학습·가중치 변경	데이터 분포·라벨 비교, 독립 시험셋 재시험, 하위군 성능 비교, 임계값·불확실성·설명가능성 평가.
카메라·렌즈·조명·속도 변경	광학/이미지 취득 재적격성평가와 전체 성능시험의 범위를 위험기반으로 결정.
소프트웨어·OS·GPU·추론엔진 업데이트	호환성·재현성·성능·처리시간 시험, 모델 출력의 동일성 평가, 보안 영향검토.
신제품·새 용기·새 결함 추가	사용범위 확대 여부 결정, 별도 데이터 및 성능검증, 허가/품질문서 영향평가.
운영자료로 재학습 제안	현행 모델을 변경하지 않고 신규 모델로 버전 분리. 데이터 선정·라벨·시험 독립성·승인·배포·롤백을 공식 변경관리로 수행.

운영 중 자동학습: 모델이 생산 데이터를 받아 스스로 가중치를 변경하는 방식은 검증된 상태를 지속적으로 바꾸어 추적성과 반복성을 약화시킬 수 있다. 중요 GMP 기능에서 자동 재학습을 허용하려면 적용 규제·위험·검증 접근을 별도 평가해야 하며, 초안 Annex 22의 제한을 현행 법규로 단정하지 않더라도 보수적인 통제 설계가 필요하다.

승인된 모델을 운영 환경에서 유지하는 것도 검증의 일부12 / 14

GMPCAT13 · Governance & Supplier

조직·공급업체·SOP 및 실사 준비

다학제 책임 구조

역할	주요 책임
Process Owner / 제조	현장 프로세스와 결함 위험, 운전 범위, 작업자·라인 절차, 안전 대체 흐름을 정의한다.
QA / Quality Unit	GxP 범위·위험·프로토콜·수용기준·일탈·최종 보고서·변경관리 및 사용 승인에 대한 독립적 감독.
QC / 제품 품질	결함 정의·제품 규격·참조검사방법·배치 영향·OOS/OOT 및 제품 트렌드 연결.
Automation / IT / OT	PLC, 카메라, 네트워크, 런타임, 계정·보안·백업, 시간 동기화와 시스템 인프라 관리.
Data Scientist / AI Engineer	데이터 파이프라인, 모델 선택·개발, 성능 분석, 재현성, 한계·편향 문서화.
Supplier / Integrator	모델·제품 문서, 소프트웨어 구성, 결함·버그 통지, 보안·업데이트, 지원 종료, 검증 증거 제공.

공급업체 평가 질문

• AI 모델의 intended use, 제한, 학습데이터 출처·라벨방법·성능 보고서와 알려진 편향을 제공하는가?
• 모델 파일·버전·설정·라이브러리·전처리의 식별 및 재현성이 보장되는가?
• 공급자가 제공하는 시험결과를 고객이 검토할 수 있고, 고객 시스템 맥락에서 필요한 추가 검증을 수행할 수 있는가?
• 원격 접속, 모델 업데이트, 보안패치, 장애지원, 데이터 소유권, 보존·삭제 및 계약 종료 시 자료 인계가 명시되어 있는가?
• 공급자 변경 통지·버전 변경 사전 승인·긴급 업데이트 검토 절차가 계약과 품질협약에 포함되는가?

필수·권장 SOP

GMP 핵심 절차

• AI 시스템 인벤토리 및 GxP 영향평가
• CSV/AI 위험평가·검증
• 데이터·모델 버전관리
• 사용자 권한·감사추적 검토
• 변경관리 및 재검증
• 일탈·사고·CAPA 조사

운영 절차

• 일상 점검·표준 챌린지 테스트
• 성능감시·드리프트 평가
• 수동검토·override
• 라인 정지·격리·복구
• 백업·복원 및 보존
• 사용 종료·모델 철회·폐기

실사에서 보여줄 수 있어야 할 경로

“결함 샘플 하나”를 선택해 원본 이미지 → 라벨·참조 판정 → 데이터셋 버전 → 검증 결과 → 승인 모델 버전 → 현장 판정 → reject 결과/사람의 수정 → 일탈·배치 판단으로 연결해 보여준다. 이 경로가 끊기면 정확도 주장과 품질기록 신뢰성이 약해진다.

관련 학술문헌에서 얻는 실무 시사점

Veillon et al. (2023), Applying Machine Learning to the Visual Inspection of Filled Injectable Drug Products, PDA Journal of Pharmaceutical Science and Technology, 77(5), 376–401, DOI: 10.5731/pdajpst.2022.012796 — AVI에서 모델을 고정하고 기존 검사 적격성평가와 연결하는 접근을 논의한다. Niazi (2025), Regulatory Perspectives for AI/ML Implementation in Pharmaceutical GMP Environments, Pharmaceuticals, 18(6), 901, DOI: 10.3390/ph18060901 — 데이터 완전성, 위험관리 및 규제 불확실성을 검토한다. Nagy et al. (2022), Application of Artificial Neural Networks in the Process Analytical Technology of Pharmaceutical Manufacturing—a Review, The AAPS Journal, 24, 74, DOI: 10.1208/s12248-022-00706-0 — PAT 모델의 공정 적용과 데이터 기반 모델링을 검토한다.

책임·증거·운영 절차의 소유자가 명확해야 한다13 / 14

GMPCAT14 · Checklist & References

실행 체크리스트 및 참고문헌

프로젝트 승인 전 체크리스트

• AI 시스템 목록, 제품·공정별 의도된 용도와 사용제한이 승인되었다.
• GxP 영향평가 및 품질위험평가가 환자 안전·제품 품질·데이터 완전성과 연결되었다.
• URS, 아키텍처, 하드웨어·소프트웨어·모델·임계값의 버전 기준선이 정의되었다.
• 학습·검증·독립 시험 데이터의 출처, 라벨, 대표성, 독립성 및 접근권한이 문서화되었다.
• 성능지표와 합격기준이 시험 전에 승인되었고 표본수·신뢰도에 대한 근거가 있다.
• 시험은 모델 성능뿐 아니라 카메라·조명·PLC·reject·인터페이스·장애·복구를 포함한다.
• 원자료, 메타데이터, 모델 버전, 결과, override 및 감사추적을 추적할 수 있다.
• 사용자 교육, 수동 대체, 배치·제품 격리, CAPA 및 비상절차가 승인되었다.
• 운영 중 성능감시·드리프트 기준·경보 대응과 재검증 트리거가 정해졌다.
• QA가 미해결 사항·잔여위험·사용 한계를 검토하고 출시/사용을 승인했다.

주요 규제·기술 참고자료

1. EU GMP Annex 11, Computerised Systems (2011 현행 공개본). 특히 Principle, §§1–4, 5–9, 10–17. 공식 PDF
2. EU GMP / PIC/S Draft Annex 22, Artificial Intelligence (2025 공개협의 초안; 2026-10 기준 PIC/S 자료 목록에서 Draft로 표시). §§1 Scope, 2 Principles, 3 Intended Use, 4 Acceptance Criteria, 5 Test Data, 6 Test Data Independency, 7 Test Execution, 8 Explainability, 9 Confidence, 10 Operation. PIC/S 초안
3. Joint consultation on revised Chapter 4, Annex 11 and new Annex 22, European Commission/PIC/S (2025; 협의 종료). 공식 협의 페이지
4. FDA, Computer Software Assurance for Production and Quality Management System Software (February 2026, Final). 적용 범위는 의료기기 생산 및 QMS 소프트웨어이며, 의약품 CSV의 직접 법적 근거와 구분. FDA 공식 페이지
5. FDA, Data Integrity and Compliance With Drug CGMP: Questions and Answers (December 2018, Final). FDA 공식 페이지
6. FDA, PAT — A Framework for Innovative Pharmaceutical Development, Manufacturing, and Quality Assurance (October 2004, Final). FDA 공식 페이지
7. FDA, Artificial Intelligence in Drug Manufacturing (March 2023, Discussion Paper). FDA Advanced Manufacturing resources
8. FDA / EMA, Guiding Principles of Good AI Practice in Drug Development (January 2026). 10 원칙: human-centric design, risk-based approach, standards, context of use, multidisciplinary expertise, data governance, model development, risk-based performance assessment, lifecycle management, clear essential information. FDA 공식 페이지
9. ISPE, GAMP® Guide: Artificial Intelligence (July 2025, 290 pages). ISPE 출판 페이지
10. ICH Q9(R1), Quality Risk Management (Step 5; effective in EU from 26 July 2023). EMA 공식 페이지
11. 21 CFR §211.68 Automatic, mechanical, and electronic equipment; §211.160 Laboratory controls; §211.22 Quality Control Unit. §211.68 · §211.160 · §211.22
12. USP <790> Visible Particulates in Injections and USP <1790> Visual Inspection of Injections. USP <790> · USP <1790>
13. NIST AI Risk Management Framework (AI RMF 1.0) (2023), Core functions: Govern, Map, Measure, Manage. Voluntary framework, not a GMP regulation. NIST official page

논문 인용 시 유의: 원문 인용은 출처·절 번호와 함께 짧게 사용하고, 초안·토론 문서·업계 가이드와 법적 구속력이 있는 규정을 구분한다. Annex 22와 Annex 11 개정안은 최신 공식 상태를 최종 확인한 후 인용한다. 성능 지표와 합격기준은 본문 예시를 그대로 복사하지 말고 제품·결함·공정의 위험분석 결과로 정당화한다.

GMPCAT
GMP Validation · CSV · AI Assurance · Quality Risk Management

기술의 근거를 세우고, 검증의 기준을 만듭니다.
www.gmpcat.com

GMPCAT · Validation. Quality. Trust.14 / 14