Saram Consulting일주일 전, 필자는 Google의 Open Knowledge Format(OKF)이 생명과학 품질 관리 분야에서 AI 에이전트를 위한 핵심 토대가 될 수 있다고 주장했습니다. 당시의 논리는 명쾌했습니다. 파편화된 품질 지식에는 이식 가능하고 구조화되었으며 에이전트가 읽을 수 있는 표현 방식이 필요하고, YAML 프론트매터와 상호 링크로 구성된 마크다운 파일인 OKF가 품질 전문가들이 머릿속에 담고 있는 관계 그래프와 자연스럽게 매핑된다는 것이었습니다.
이 논제는 방향성 측면에서는 맞지만, 구현 방식은 틀렸습니다.
규제 현실, 밸리데이션의 경제성, 그리고 QMS 벤더들이 실제로 구축하고 있는 기술을 바탕으로 이 아이디어를 스트레스 테스트해 본 결과, 솔직한 결론은 이렇습니다. OKF는 문제의 쉬운 부분만 해결할 뿐, 정작 어려운 핵심은 전혀 건드리지 못하며, 최종적으로 승리할 아키텍처는 마크다운 파일 디렉터리와는 완전히 다른 모습이라는 점입니다.
진지하게 검토해야 할 가장 강력한 반론들
1. 데이터 완전성을 침해하는 ’섀도우 QMS’를 구축하게 됩니다
이것은 QA 검토 회의에서 제안을 즉각 무산시키는 결정적인 반론입니다.
21 CFR Part 11과 EU Annex 11이 존재하는 이유는, 생명과학 산업이 동의명령(consent decree), 제품 리콜, 그리고 환자 위해를 겪으면서 통제되지 않은 품질 문서 사본이 얼마나 위험한지 뼈저리게 배웠기 때문입니다. 만약 어떤 표준작업지침서(SOP)가 Veeva Vault에는 서명된 PDF로 존재하고, Git 리포지토리에는 정보가 보강된 마크다운 파일로 존재한다면, 그 마크다운 파일은 명백히 ’통제되지 않은 사본(uncontrolled copy)’입니다. 예외는 없습니다.
“이것은 파생 계층일 뿐이며, 여전히 QMS가 진실의 원천(source of truth)이다”라는 변명은 아키텍처 다이어그램 상에서는 그럴싸하게 들립니다. 하지만 속도가 더 빠르다는 이유로 마크다운을 읽는 에이전트와 맞닥뜨리거나, 에이전트가 자신 있게 인용했다는 이유로 OKF 번들에 적힌 세척 시간을 그대로 실행하는 현장 작업자와 마주하는 순간 그 방어 논리는 무너집니다.
이중 표현(dual-representation) 시스템은 반드시 괴리(drift)가 발생합니다. OKF 번들은 최신 상태를 유지하지 못하고 뒤처질 것입니다. 정보 보강 파이프라인은 개정되어 대체된 구버전을 놓칠 것입니다. 교차 참조는 엉뚱한 시정 및 예방조치(CAPA)를 가리키게 될 것입니다. 그리고 그런 사태가 실제로 벌어졌을 때, “AI가 실제 SOP가 아니라 섀도우 마크다운 파일을 읽었을 뿐”이라는 식의 법적 방어 논리는 FDA 실사(audit)에서 전혀 통하지 않습니다.
2. 밸리데이션 부담이 투자 대비 수익(ROI)을 완전히 잠식합니다
이것은 예산 심의 회의에서 제안을 폐기하게 만드는 반론입니다.
GAMP 5 및 ISPE GAMP AI 가이드(2025년 7월 발행, 290페이지 분량이며 규제 기관 실사관들이 당연히 숙지하고 있을 것으로 간주하는 문서)에 따르면, GxP 데이터에 관여하는 모든 시스템은 밸리데이션 대상이 될 수 있습니다. Veeva에서 문서를 추출하여 마크다운으로 변환하고, LLM을 통해 정보를 보강한 뒤 Git 리포지토리에 저장하는 파이프라인은 엄연한 GxP 소프트웨어입니다. 따라서 다음과 같은 요건이 필요합니다:
- 설치 적격성평가(IQ), 운전 적격성평가(OQ), 성능 적격성평가(PQ)
- 모든 수정 사항에 대한 변경 관리(Change control)
- 정기적 검토(Periodic review)
- 모델 변경, 프롬프트 수정, OKF 사양 판올림, 또는 추출 로직 업데이트 시의 재밸리데이션(Revalidation)
정보 보강 에이전트의 프롬프트를 한 번 바꿀 때마다 밸리데이션된 시스템에 대한 공식 변경 절차를 거쳐야 합니다. 모델 업그레이드(GPT-4에서 GPT-5로)가 있을 때마다 재밸리데이션을 수행해야 합니다. 이 파이프라인을 구축하고 밸리데이션을 완료할 즈음이면, 규제 기관이 실제로 신뢰할 수 있는 책임성을 갖추고 해당 업무를 수행할 품질 전문가 세 명을 채용하는 것보다 더 많은 비용을 쓰게 됩니다.
ISPE AI 가이드는 이를 매우 구체적으로 명시하고 있습니다. 즉, 학습 데이터 출처(provenance), 모델 문서화, 정의된 테스트 조건 하에서의 성능 입증 자료, 변경 통지 약정, 그리고 설명 가능성(explainability) 산출물을 요구합니다. LLM을 기반으로 자체 구축한 맞춤형 OKF 생성 파이프라인의 경우, “다른 AI가 읽기 편하게 해준다”는 가치 제안 하나만을 위해 방대한 분량의 밸리데이션 패키지를 감당해야 하는 셈입니다.
3. 벤더들이 이미 API 문제를 해결하고 있습니다
이것은 제안 자체를 불필요하게 만드는 반론입니다.
2025년 초, Veeva는 Vault 플랫폼에 추가 라이선스 비용 없이 포함되는 Direct Data API를 발표했습니다. 이 API는 대규모 데이터셋 전반에 걸쳐 트랜잭션 일관성을 유지하면서 기존 API 대비 최대 100배 빠른 속도로 Vault 데이터를 제공합니다. 또한 15분 주기로 전체, 증분, 로그 데이터 파일을 생성합니다. Snowflake, Databricks, Redshift, Azure SQL, SQLite용 오픈소스 액셀러레이터도 GitHub에 공개되어 있습니다.
생명과학 분야의 에이전틱 AI를 정조준한 Veeva와 Snowflake의 파트너십은 업계가 나아가는 방향을 명확히 보여줍니다. 그것은 바로 ’밸리데이션된 QMS → 고성능 API → 데이터 웨어하우스 → AI 에이전트’의 흐름입니다. 결코 ’밸리데이션된 QMS → 마크다운 내보내기 → Git 리포지토리 → 파일을 읽는 에이전트’가 아닙니다.
OKF가 해결하고자 했던 파편화 문제, 즉 “이식 가능한 포맷이 없어 지식이 고립된 사일로 시스템에 갇혀 있다”는 문제는 이미 인프라 계층에서 벤더들에 의해 직접 해결되고 있습니다. Veeva의 Direct Data API는 추가 라이선스 비용 없이 15분마다 전체 Vault 데이터 모델을 완전한 스키마 메타데이터와 함께 구조화된 CSV 파일로 제공합니다. Snowflake에 접근 권한을 가진 에이전트는 SQL JOIN을 통해 실시간 QMS 데이터 모델을 쿼리하여 수학적으로 정확한 관계를 반환받을 수 있습니다. 엉뚱한 파일을 가리킬 위험이 있는 마크다운 링크에 의존할 필요가 없는 것입니다.
4. 지식 그래프는 대부분의 조직에서 규모 확장에 실패합니다
’장비 → 세척 SOP → 밸리데이션 → 과거 일탈 → CAPA’로 이어지는 풍부하게 상호 연결된 지식 그래프의 비전은 매우 우아하게 들립니다. 하지만 이를 유지 관리하는 것은 결코 우아하지 않습니다.
2025년 엔터프라이즈 데이터 리더들을 대상으로 한 설문 조사에 따르면, 중단된 지식 그래프 프로젝트의 67%가 주요 실패 원인으로 “사내 그래프 전문 지식 부족”을 꼽았습니다. 팀들은 대체로 18개월 이내에 도입을 포기하거나, 더 단순한 대안들을 훨씬 초과하는 비용을 감수하며 간신히 운영을 이어갑니다. 지식 그래프는 데이터 품질 문제를 해결하기보다는 오히려 증폭시키는 경향이 있습니다. 엔티티 식별/연계(entity resolution) 정확도가 85% 미만으로 떨어지면, 그래프는 엉뚱한 문서들을 확신을 갖고 연결해 버려 후속되는 모든 인사이트를 신뢰할 수 없게 만듭니다.
생명과학 분야에서는 이 문제가 한층 더 심각합니다. 단 하나의 SOP 변경만으로도 밸리데이션 프로토콜, 교육 매트릭스, 장비 적격성평가, 규제 인용, CAPA 연계 전반에 걸쳐 연쇄적인 관계 업데이트가 촉발됩니다. 이러한 링크들이 자동으로 유지되지 않으면 금세 쓸모없는 구식 정보가 됩니다. 반대로 LLM을 통해 자동으로 유지 관리하도록 만든다면, 그 유지 관리 시스템 자체에 대한 밸리데이션이 필요한 복잡한 시스템을 또 하나 구축하는 꼴이 되며, 그 와중에 LLM은 제목이 비슷하다는 이유만으로 DEV-2024-1142를 엉뚱한 CAPA에 확신을 갖고 연결해 버릴 것입니다.
5. 실제 병목은 컨텍스트 조립이 아닌 ’전문적 판단’입니다
“에이전트가 사일로화된 시스템 전반에서 컨텍스트를 종합하지 못한다”는 문제 제기는 사실이긴 하지만 과장되어 있습니다. 품질 업무의 실질적인 병목은 특정 일탈이 환자 안전에 실질적인 위험을 초래하는지, CAPA가 실효성이 있는지, 공정 변경에 새로운 밸리데이션 연구가 필요한지 여부를 인간 전문가가 판단하는 데 있습니다.
그러한 판단에는 분석화학, 공정 능력(process capability), 규제 선례, 환자 위험에 대한 깊은 이해가 필요합니다. 이는 시니어 품질 전문가가 20년에 걸쳐 쌓아 올린 패턴 인식 역량, 즉 구조화 여부와 무관하게 그 어떤 문서에도 온전히 담겨 있지 않은 지식을 요구합니다. 특정 장비에서 나타난 특정한 일탈 패턴이 공정 능력 문제의 전조임을 직감하는 시니어 QA 리드의 역량은, 아무리 상호 참조가 잘 정리된 마크다운 파일이라도 흉내 낼 수 없는 경험에 기반합니다.
더 정돈된 포맷으로 에이전트에게 더 많은 컨텍스트를 제공한다고 해서 추론 역량의 간극이 메워지는 것은 아닙니다. 오히려 에이전트가 그럴듯하게 확신에 찬 오답을 내놓을 재료만 더 쥐어줄 뿐입니다. 게다가 권위 있는 어조로 출력물을 생성하는 잘 정돈된 에이전트는 품질 업무에 필수적인 비판적 사고를 오히려 저해합니다.
6. ’단순한 마크다운’은 장점이 아니라 결격 사유입니다
“파일을 cat 명령어로 볼 수 있다면 OKF도 읽을 수 있다”는 OKF의 홍보 문구는 개발자들에게나 매력적입니다. 품질 전문가들은 변경 내용 추적 기능이 켜진 Word 문서, 통제된 헤더가 포함된 PDF, 그리고 전자서명 워크플로우를 기반으로 사고합니다.
마크다운은 규제 대상 문서로 쓰기에는 지나치게 자유도가 높습니다. SOP는 반드시 목적, 적용 범위, 책임, 정의, 절차, 참조 문서, 개정 이력을 매번 동일한 순서로 갖추어야 합니다. 마크다운을 사용하면 작성자마다 헤더 서식이 달라지고, 일부 섹션을 누락하기도 하며, 어떤 파일에서는 섹션 제목이 # Root Cause Analysis이고 다른 파일에서는 ## Determination of Causal Factors로 되어 있어 에이전트가 CAPA 보고서에서 ’근본 원인’을 안정적으로 추출하는 데 실패하게 됩니다.
또한 ’인간 가독성’이라는 장점도 무의미합니다. 품질 문서는 이미 밸리데이션된 eQMS 시스템 내부에서 현재 포맷으로도 충분히 사람이 읽을 수 있습니다. GitHub 렌더링 편의성을 얻는 대가로 엄격한 구조적 강제성을 잃게 되는데, 이 엄격한 구조야말로 품질 시스템의 본질 그 자체입니다.
7. 잘못된 도구로 엉뚱한 병목을 해결하려 하고 있습니다
“LLM은 지루해하지 않고, 교차 참조 업데이트를 잊지 않으며, 한 번에 15개 파일을 수정할 수 있다”는 카파시(Karpathy)의 관찰은 소프트웨어 문서화에는 훌륭하게 들어맞습니다. 하지만 품질 문서에 적용하면 대단히 위험한 발상이 됩니다.
GxP 문서에 대한 모든 변경은 영향 평가, 검토, 승인, 전자서명 등 공식적인 변경 관리 워크플로우를 거쳐야 합니다. 에이전트가 “한 번에 15개 파일을 수정”한다는 것은 승인받지 않은 변경 사항을 15건이나 발생시켰음을 의미합니다. 변경 관리의 까다로운 절차는 불필요하게 생겨난 관료주의가 아닙니다. 그것은 바로 위험 관리입니다. 이를 LLM으로 무분별하게 자동화하는 것은 FDA Form 483 지적 사항을 받고 제품 리콜로 직행하는 지름길입니다.
실제로 승리할 아키텍처의 모습
생명과학 품질 분야에서 AI 에이전트를 위한 올바른 아키텍처는 새로운 문서 포맷을 도입하지 않습니다. 대신 기존의 밸리데이션된 시스템에 더 쉽게 접근할 수 있도록 만듭니다:
Validated QMS (Veeva Vault, MasterControl)
↓ Direct Data API / REST API / VQL
Data Warehouse (Snowflake, Databricks)
↓ Structured metadata + full schema
Semantic Index (vector embeddings from authoritative content)
↓ Dynamic knowledge graph built from QMS relationships
Agent Tools (function calling against live APIs)
↓ get_effective_version(doc_id), list_open_capas(product)
Human Decision (with retrieval audit trail and source citations)이 아키텍처에서는:
- QMS가 유일한 단일 진실 공급원(single source of truth)으로 유지됩니다. 이중 표현은 존재하지 않습니다.
- 엔티티 간 관계는 마크다운 파일에 복제되는 것이 아니라, 데이터베이스에서 동적으로 쿼리됩니다. 일탈 테이블과 CAPA 테이블 간의 SQL JOIN은 수학적으로 정확한 연결을 반환합니다. 반면 마크다운 링크는 엉뚱한 파일을 가리킬 위험이 있습니다.
- 에이전트는 실시간 API를 대상으로
get_effective_version("SOP-00123")을 호출하여 최신 승인 버전과 완전한 감사 추적 기록을 가져옵니다. 오래되어 뒤처졌을지 모르는 캐시된 마크다운 파일을 읽지 않습니다. - 규제 준수를 위해 모든 검색(retrieval) 기록이 로깅됩니다. 시스템은 에이전트가 어떤 문서에 접근했고, 어떤 청크를 활용했으며, 무엇을 인용했는지 정확히 파악합니다.
- 커넥터 외에는 유지 관리해야 할 별도의 맞춤형 밸리데이션 파이프라인이 없습니다. 밸리데이션에 대한 책임은 벤더에게 있습니다(Veeva의 Direct Data API는 밸리데이션된 Vault 플랫폼의 일부입니다).
- 지식 그래프는 쿼리 시점에 QMS 메타데이터로부터 동적으로 생성됩니다. SOP가 변경되면 동기화된 사본이 아닌 원천 데이터를 직접 읽기 때문에 그래프도 즉시 갱신됩니다.
OKF의 통찰이 여전히 유효한 지점
OKF에 담긴 핵심 통찰 자체가 틀린 것은 아닙니다. 에이전트는 명시적인 관계를 가진 구조화된 지식으로부터 분명한 이점을 얻습니다. 품질 조사 업무에 있어서는 단순한 벡터 검색보다 그래프 탐색이 훨씬 우수합니다. 상호 참조와 추적성은 대단히 중요합니다.
다만 이러한 통찰은 문서 계층이 아니라 메타데이터 및 쿼리 계층에 적용되어야 합니다:
마크다운 파일이 아니라 QMS 데이터베이스로부터 지식 그래프를 구축하십시오. Veeva의 데이터 모델에는 이미 관계가 정의되어 있습니다. 문서는 변경 관리에 연결되고, 이는 다시 일탈로, 그리고 CAPA로 연결됩니다. 이 관계망을 그래프 데이터베이스나 시맨틱 인덱스로 추출하여, 에이전트가 API 호출을 통해 이를 탐색하도록 해야 합니다.
이미 존재하는 온톨로지를 활용하십시오. QMS 스키마에는 문서 유형, 상태, 승인 단계, 관계 유형이 이미 정의되어 있습니다. 이를 YAML 프론트매터로 재발명하려 하지 말고, 직접 쿼리하십시오.
새로운 포맷이 아니라 더 나은 커넥터에 투자하십시오. 생명과학 분야 AI의 병목은 “포맷이 에이전트 친화적이지 않다”는 점이 아닙니다. “API 연동이 까다롭고, 데이터가 정돈되어 있지 않으며, 밸리데이션 요건이 까다롭다”는 점이 본질입니다. Veeva의 Direct Data API는 첫 번째 문제를 해결하는 중대한 진전입니다. 두 번째와 세 번째 문제는 기술적 문제가 아니라 조직적 차원의 과제입니다.
솔직한 최종 결론
OKF는 오류의 대가가 기껏해야 대시보드 오류에 불과하고, 엄격함보다 유연성이 우선시되며, ’단순한 파일’이 강력한 장점이 되는 소프트웨어 엔지니어링, 데이터 팀, 빠르게 변화하는 AI 생태계 환경에 맞춰 설계된 우아한 포맷입니다. 그러나 생명과학 품질 관리는 그와 정반대의 환경입니다. 오류의 대가는 환자 안전의 위협이며, 유연성보다 엄격함이 우선이고, ’단순한 파일’은 심각한 컴플라이언스 리스크가 됩니다.
이 패턴의 기저에 깔린 통찰, 즉 ’명시적이고 연결된 구조화 지식이 AI 에이전트의 역량을 비약적으로 향상시킨다’는 점은 분명 옳고 중요합니다. 하지만 그 구현은 실시간 QMS를 기준으로 밸리데이션된 쿼리 및 메타데이터 계층에 자리 잡아야지, 제2의 비공식 기록 시스템을 만들어내는 별도의 병렬 문서 포맷으로 구현되어서는 안 됩니다.
벤더들은 이미 API 문제를 해결해 가고 있습니다. 밸리데이션 경제성은 독자적인 포맷 계층의 도입을 정당화하지 못합니다. 최종 승자가 될 아키텍처는 보강된 마크다운 파일의 정적 캐시가 아니라, 실시간 시스템을 대상으로 한 에이전트의 도구 활용(tool-use) 역량에 지능을 부여하는 구조입니다.
지금 생명과학 품질 관리를 위한 AI 에이전트를 구축하고 있다면, 밸리데이션된 QMS와의 커넥터, 메타데이터 계층 기반의 동적 지식 그래프 구축, 그리고 완전한 검색 감사 추적을 갖춘 에이전트 도구 활용 패턴에 투자하십시오. 새로운 문서 포맷에는 투자하지 마십시오. 포맷은 애초에 문제였던 적이 없습니다.
ISPE GAMP Guide: Artificial Intelligence (2025년 7월)는 ispe.org에서 확인할 수 있습니다. Veeva Direct Data API 문서는 developer.veevavault.com/directdata에서 제공됩니다. Snowflake 및 Databricks 연동을 위한 오픈소스 액셀러레이터는 github.com/veeva/Vault-Direct-Data-API-Accelerators에 공개되어 있습니다.