AI 에이전트에게 QMS 계정이 필요한가? 규제 기관의 명확한 답변

질문 자체는 단순해 보입니다. 바이오제약 산업에서 표준작업지침서(SOP)를 초안 작성하는 AI 에이전트에게 품질경영시스템(QMS)의 독립된 계정이 필요할까요?

하지만 그 답변은 겉보기만큼 단순하지 않으며, 이 문제를 둘러싼 다양한 이견은 특정 단일 입장보다 훨씬 더 많은 시사점을 제공합니다.

질문의 본질

상황을 간단히 정리해 보겠습니다. 한 바이오제약 기업이 제조부터 품질 관리에 이르는 모든 운영을 규율하는 상세 절차 문서인 SOP를 초안 작성하기 위해 AI 에이전트를 도입하고자 합니다. 이 에이전트는 승인된 참조 문서, 사내 템플릿, 규제 가이드라인을 참조하여 초안을 생성하고, 이후 인간 전문가(SME, Subject Matter Expert)가 이를 검토하고 최종 확정합니다.

그렇다면 이 에이전트는 QMS에 자체 로그인 계정을 보유해야 할까요?

엇갈리는 견해

전문가들의 분석은 다음과 같이 나뉩니다.

“그렇다, 서비스 계정을 부여해야 한다” (2개 답변): AI는 초안 작성 권한으로만 제한된 전용의 추적 가능한 식별자, 즉 비인간 식별자(NHI, Non-Human Identity) 또는 서비스 계정을 보유해야 합니다. 이는 데이터 무결성 원칙인 ALCOA+의 ‘귀속성(Attributable)’ 요건을 충족합니다. 만약 AI가 인간의 자격 증명(인증 정보)으로 작업한다면, 감사 추적(Audit Trail)은 AI의 작업을 해당 인간의 작업으로 잘못 귀속시키게 됩니다. 이는 명백한 데이터 무결성 위반에 해당합니다.

한 전문가는 구체적인 아키텍처를 제안했습니다. 기업의 IAM 프레임워크를 통해 관리되는 SVC_SOP_Agent_v1.0과 같은 API 서비스 계정을 두고, 오직 초안 레코드 생성 권한만 부여하며, 검토·승인 또는 워크플로 단계 실행 권한은 명시적으로 차단하는 방식입니다.

“아니다, 단순한 도구로 취급해야 한다” (4개 답변): AI는 Microsoft Word나 맞춤법 검사기와 다를 바 없습니다. MS Word에 QMS 계정을 부여하지는 않습니다. AI를 호출하여 사용하는 인간이 모든 책임을 집니다. AI의 관여 여부는 증빙 문서나 메타데이터에 기록되어야 하지만, QMS의 공식 감사 추적은 인간에서 시작하여 인간에서 끝나야 합니다.

어느 한 답변은 이를 인상적인 비유로 설명했습니다. AI를 “세상에서 가장 빠르고 가장 순진한 인턴”으로 대하라는 것입니다. 어떤 기업도 인턴에게 QMS 마스터 키를 쥐여주지 않습니다.

한 답변은 두 가지 접근 방식을 모두 제시했습니다. 이를 각각 ’직접 QMS 통합(Direct QMS Integration)’과 ’에어갭 초안 작성(Air-Gapped Drafting)’이라 명명하며, 적절한 아키텍처 선택은 기업의 밸리데이션 성숙도와 위험 수용 성향(Risk Appetite)에 달려 있다고 설명했습니다.

모든 의견이 일치한 핵심 원칙

계정 보유 여부에 대해서는 의견이 갈렸지만, 모든 분석은 다음 원칙에 한 치의 예외도 없이 동의했습니다.

인간의 책무성은 절대적입니다. 모든 답변은 실명으로 지정된 인간이 모든 SOP의 소유자(Owner)가 되어야 하고, AI가 생성한 초안을 한 줄 한 줄 검토해야 하며, 최종 전자서명을 날인해야 한다고 만장일치로 밝혔습니다. 인간의 감독 없는 AI 결과물이 QMS에 직접 등록되는 것을 허용한 답변은 단 하나도 없었습니다.

AI는 서명하거나 승인할 수 없습니다. 21 CFR Part 11 §11.50에 따라 전자서명은 반드시 특정 ’개인(Individual)’에게 귀속되어야 합니다. AI는 법적 개인이 아닙니다. 이는 모든 답변에서 결코 타협할 수 없는 절대적 한계선이었습니다.

인간 개입(Human-in-the-Loop, HITL)은 필수입니다. 공통으로 제시된 보편적 워크플로는 다음과 같습니다.

AI generates draft → SME reviews line-by-line → Formal QMS approval cycle → Human e-signature

환각(Hallucination) 통제 장치가 반드시 요구됩니다. 모든 분석은 승인되고 버전이 관리되는 소스 문서에서만 정보를 검색하도록 제한하는 검색 증강 생성(RAG, Retrieval-Augmented Generation) 도입을 권장했습니다. 공개 웹에 AI를 방치하여 GxP 절차서를 작성하도록 허용하자는 의견은 전혀 없었습니다.

AI 도구 자체에 대한 밸리데이션이 필요합니다. GAMP 5 평가, 컴퓨터 소프트웨어 보증(CSA), 또는 위험 기반 밸리데이션 프로토콜 중 어떤 형식을 취하든, GxP 프로세스에 영향을 미치는 AI는 밸리데이션 수명주기(Validation Lifecycle)를 결코 우회할 수 없다는 데 모두 동의했습니다.

감사 추적은 반드시 AI의 관여를 기록해야 합니다. 서비스 계정이든, 메타데이터 태그든, 별도의 증빙 문서든 간에, 실사관이나 감사관이 문서 작성에 AI가 관여했음을 명확히 확인할 수 있어야 한다는 점에 모든 분석이 일치했습니다.

규제 기관의 실제 입장 (2026년 중반 기준)

LLM의 답변들은 원칙적인 측면에서 대체로 정확했으나, 규제 환경의 진전 속도는 대다수 답변이 다룬 수준보다 훨씬 빨랐습니다.

FDA (미국 식품의약국)

FDA는 2025년 1월 의약품 및 생물학적 제제 개발 분야의 AI 활용에 관한 가이던스 초안을 발표하며 위험 기반 신뢰성 평가 프레임워크(risk-based credibility assessment framework)를 도입했습니다. 2025년 9월(2026년 2월 갱신), FDA는 경직된 CSV를 위험 기반의 비판적 사고 접근법으로 대체하는 현대적 밸리데이션 패러다임인 컴퓨터 소프트웨어 보증(CSA, Computer Software Assurance) 최종 가이던스를 확정했습니다.

2026년 1월에는 FDA와 EMA가 ’우수 AI 관행을 위한 10대 기본 원칙(GxP-AI Guiding Principles)’을 공동 발표하여 AI 거버넌스 기대 수준에 대한 글로벌 규제 조화를 공식화했습니다.

가장 중요한 점은, FDA가 2026년 적절한 인간 검토 없이 GMP 핵심 문서를 작성하는 데 AI 에이전트에 의존한 기업을 대상으로 사상 최초의 AI 관련 경고장(Warning Letter)을 발부했다는 사실입니다. 메시지는 명확했습니다. CGMP 준수의 궁극적 책임은 품질 부서(Quality Unit)에 있습니다. 밸리데이션되지 않은 알고리즘에 관리 감독을 위임하는 것은 21 CFR 211.22(c) 위반입니다.

EU GMP Annex 22 — 규제 판도를 바꾸는 게임 체인저

2025년 7월 7일, 유럽 집행위원회(EC), EMA, PIC/S는 긴밀히 연계된 세 가지 문서 패키지를 발표했습니다.

• 개정 Annex 11 (컴퓨터화 시스템, Computerised Systems): 분량이 기존 5페이지에서 19페이지로 대폭 확대되었으며, 보안, 신원 관리(Identity Management), 감사 추적에 대한 엄격한 규범적 규칙을 수록했습니다.
• 신설 Annex 22 (인공지능, Artificial Intelligence): 제약 제조 환경에서의 AI/ML 적용을 다루는 최초의 전용 GMP 프레임워크입니다.
• 개정 Chapter 4 (문서화, Documentation): 고전적 ALCOA+ 체계에 “추적 가능성(Traceable)“을 추가하여 ALCOA++를 공식 성문화했습니다.

Annex 22는 계정 논쟁을 간접적으로 종식시키는 문서입니다. 이 규정은 핵심 GMP 애플리케이션(critical GMP applications)에서 오직 정적이고 결정론적인(static, deterministic) 머신러닝 모델만을 허용합니다. 생성형 AI와 대규모 언어 모델(LLM)은 중요 핵심 용도로 활용되는 것이 명시적으로 배제되었습니다.

이는 AI가 초안만 작성하고 인간이 승인하는 한, LLM 기반의 AI 지원 SOP 작성이 Annex 22 기준에서 “중대 애플리케이션(critical application)“으로 분류되지 않음을 의미합니다. 결과적으로 많은 이들이 우려하는 것보다 밸리데이션 부담이 낮아지며, 에어갭 접근 방식(AI는 QMS 외부에 두고 인간이 내용을 검토하여 등록)이 규제적 마찰이 가장 적은 최적의 경로가 됩니다.

의견 수렴(Consultation)은 2025년 10월에 마감되었습니다. 2026년 중반 최종본이 발표될 예정이며, 통상적으로 시행 전 6~12개월의 유예 기간이 부여됩니다. PIC/S가 공동 작성에 참여했기 때문에 이 규정은 EU뿐만 아니라 전 세계 50개 이상의 회원국 규제 당국에도 일괄 적용될 예정입니다.

ISPE GAMP 가이드: 인공지능 (Artificial Intelligence)

2025년 7월, ISPE는 GxP 환경에서 AI를 밸리데이션하기 위한 290페이지 분량의 단독 가이드를 발간했습니다. 이 가이드는 GAMP 5 제2판과 연계되도록 설계되었으며 모델 드리프트(Model Drift), 설명 가능성(Explainability), 지속적 모니터링, 변경 관리(Change Management)를 포괄하는 위험 기반 수명주기 프레임워크를 제공합니다. 이는 사내 AI 도구를 실제로 어떻게 밸리데이션해야 하는지 고민하는 기업들을 위한 실무적인 표준 지침서 역할을 합니다.

아키텍처 스펙트럼

계정 논쟁은 시스템 통합의 깊이에 따른 스펙트럼으로 매핑할 수 있습니다.

DnXT Solutions 팀은 2026년 5월 실제 구현 사례를 발표했습니다. AI가 개입한 동작에 고유한 소스 식별자를 태깅하고, 서비스 계정을 실명 관리자에게 매핑하며, AI가 서명(SIGN) 또는 승인(APPROVE) 감사 기록을 생성하지 못하도록 물리적 경계를 설정하는 구조화된 감사 로깅(Structural Audit Logging) 방식입니다. 이는 매우 설득력 있는 아키텍처이지만, 해당 팀도 인정했듯이 “규제 기관이 이 접근법을 공식 검토하거나 승인한 적은 아직 없습니다.”

2026년을 위한 실용적 해답

Annex 22가 아직 공식 시행 대기 중이고 CSA 도입이 한창 진행 중인 오늘날, 대다수 바이오제약 기업에게 가장 안전한 경로는 다음과 같습니다.

AI를 밸리데이션된 GxP 경계 외부에 두십시오. 안전한 사내 내부 플랫폼, 통제된 스테이징 환경, 전용 워크스페이스와 같은 샌드박스에서 AI가 SOP를 초안 작성하도록 운영하십시오. 자격을 갖춘 인간 SME가 초안을 한 줄 한 줄 검토하고 소스 문서를 대조하여 모든 기술 내용을 검증한 후, 자신의 자격 증명으로 최종 텍스트를 QMS에 입력하는 것입니다.

이 방식을 취하면 다음과 같은 이점을 얻을 수 있습니다.

• AI 기반 초안 작성에 따른 생산성 향상 (보고서에 따르면 문서 작성 주기 30~90% 단축)
• 최소화된 밸리데이션 범위 — AI는 초안 작성 보조 도구일 뿐, 밸리데이션 대상 컴퓨터화 시스템에 해당하지 않음
• 명확하고 깨끗한 감사 추적 — QMS 내 기록은 인간의 작업에서부터 시작됨
• 현행 FDA 기대 수준과 도입 예정인 Annex 22 규제 체계 모두를 충족하는 확고한 규제 방어력

Annex 22 및 FDA AI 가이던스가 최종 확정되고 규제 환경이 성숙해짐에 따라, 서비스 계정을 활용한 직접 통합 방식도 점차 표준화되고 규제 방어력을 갖추게 될 것입니다. 비인간 식별자(NHI) 관리를 구현할 수 있는 밸리데이션 성숙도와 인프라를 갖춘 기업이라면 지금부터 이러한 역량을 구축하기 시작해야 합니다. 그렇지 않은 기업이라면 먼저 에어갭 방식부터 완벽하게 숙달해야 합니다.

결코 타협할 수 없는 7가지 원칙

어떠한 아키텍처를 선택하든, 다음 7가지 핵심 요소는 결코 타협할 수 없습니다.

1. 실명으로 지정된 인간이 모든 SOP의 책임을 집니다. 예외는 없습니다. AI는 어떠한 책임도 질 수 없습니다.
2. AI의 결과물은 언제나 초안일 뿐입니다. 결코 최종본이 될 수 없으며, 스스로 승인할 수 없고, 검토 주기를 건너뛸 수 없습니다.
3. 환각(Hallucination) 통제 장치를 마련해야 합니다. 승인된 소스 기반의 RAG, 엄격한 템플릿 적용, 제한된 시스템 프롬프트를 유지하고 외부 오픈 웹 검색은 철저히 차단해야 합니다.
4. 인간의 검토는 엄격해야 합니다. 소스 문서를 바탕으로 한 줄 한 줄 철저히 검증해야 하며, 형식적인 서명 날인(rubber-stamping)이나 “AI가 알아서 잘 썼겠지” 식의 태도는 용납되지 않습니다.
5. AI 도구 거버넌스를 수립해야 합니다. 모델 업데이트, 프롬프트 변경, 벡터 데이터베이스 수정 등은 각각 독립적인 변경 관리(Change Control) 대상으로 다루어져야 합니다.
6. 감사 추적의 완전성을 보장해야 합니다. QMS 내부든, 메타데이터든, 보조 증빙 기록이든 AI의 관여 여부가 어딘가에는 반드시 명시되어야 합니다. 실사관이 “이 문서에 AI가 관여했는가?“라고 물었을 때 즉시 명확한 답변을 제시할 수 있어야 합니다.
7. AI 활용 자체에 대한 SOP가 필요합니다. AI 도구를 언제 어떻게 사용할지, 무엇을 할 수 있고 무엇을 해서는 안 되는지, 그 결과물을 어떻게 검토할 것인지를 규정하는 절차가 마련되어야 합니다. 즉, SOP를 쓰는 AI를 위한 SOP가 필요합니다.

보다 거시적인 관점

글로벌 규제 당국의 시각은 일관된 하나의 프레임워크로 수렴하고 있습니다. AI는 도구일 뿐이고, 책임은 인간에게 있으며, 감사 추적은 모든 진실을 투명하게 증명해야 한다는 점입니다. AI에게 QMS 계정을 부여할 것인가의 문제는 궁극적으로 AI를 밸리데이션된 시스템 경계 안으로 얼마나 깊이 끌어들일 것인가에 관한 문제입니다. 두 가지 답변 모두 규제 방어 논리를 세울 수 있습니다. 반면 결코 방어할 수 없는 유일한 상황은 아무런 대답도 준비하지 못하는 것입니다.

규제 실사에서 가장 우수한 평가를 받을 기업은 AI의 사용을 숨기거나 축소하려는 기업이 아니라, AI가 자사의 품질 시스템 내에 어떻게 유기적으로 부합하는지 명확하게 설명할 수 있는 기업입니다. 여러분의 접근 방식을 문서화하십시오. 사용 중인 도구를 밸리데이션하십시오. 검토자들을 철저히 교육하십시오. 그리고 실사관이 “이 SOP를 누가 작성했습니까?“라고 물었을 때, 온전한 책무성을 지닌 인간의 이름을 자신 있게 답할 수 있도록 준비하십시오.

출처: FDA 의약품 개발 AI 가이던스 초안(2025년 1월), FDA CSA 최종 가이던스(2025년 9월/2026년 2월), FDA-EMA GxP-AI 공동 원칙(2026년 1월), EU GMP Annex 22 초안(2025년 7월), ISPE GAMP 가이드: 인공지능(2025년 7월), DnXT Solutions Part 11 감사 추적 구현 사례(2026년 5월), IntuitionLabs GxP SOP 컴플라이언스 가이드(2026년 4월), fdainspections.com Part 11 AI 가이드(2025년 9월), MFLRC Annex 22 분석 보고서(2026년).

관련 글

• FDA가 방금 첫 번째 AI 경고장을 발부했습니다: 모든 QMS 공급업체가 여러분이 묻지 않기를 바라는 질문
• 여러분의 Claude Project Knowledge는 섀도우 QMS입니다 — 모든 감사관은 이미 이를 알고 있습니다
• 생명과학 밸리데이션 분야의 LLM 환각 문제: 2026년에 실제로 효과가 있는 해결책