제약 AX의 마지막 관문은 성능이 아니라 운영 통제

제약 산업의 AI 도입을 다룬 8회 기획 연재 ‘제약 AI 대전환’이 마지막 회차에서 남은 관문으로 운영과 성과를 짚었습니다. 어디에 AI를 적용할지 정하고, 사람과 AI가 함께 일하는 구조를 설계하고, 현장 가치 검증과 전담 조직까지 갖춘 뒤에 열리는 관문입니다. 질문은 두 가지로 압축됩니다. 늘어나는 AI와 에이전트를 어떻게 통제하고 안전하게 운영할 것인가, 그리고 그것을 어떻게 사업 성과로 증명할 것인가입니다.

에이전트 2~3개와 전사 확산은 다른 문제

단순한 업무를 돕는 에이전트가 2~3개일 때는 담당 부서가 수작업으로 관리할 수 있습니다. 그러나 AI 혁신이 품질보증(QA), 인허가(RA), 약물감시(PV), 제조 공정처럼 규제가 엄격한 전사 핵심 영역으로 확산되는 순간 관리의 난이도가 달라집니다. 누가 어떤 에이전트와 데이터에 접근할 수 있는지, AI가 어떤 버전의 표준작업지침서(SOP)를 참조했는지, 결과물을 누가 승인했는지, 프롬프트나 워크플로우가 언제 변경되었는지, 모델 업데이트 시 시스템 검증(CSV)을 다시 해야 하는지 같은 운영 리스크가 동시다발적으로 발생한다는 것입니다. 적용 범위가 넓어질수록 기술적 성능 자체보다 이를 제어하는 운영 통제 역량이 사업의 사활을 가른다는 진단입니다.

운영 거버넌스의 네 가지 원칙

연재는 제약 산업의 특수성을 고려한 AI 운영 거버넌스를 네 가지 대원칙으로 정리했습니다.

• 인간 책임 — 자동화가 고도화되어도 책임까지 자동화되지는 않습니다. 품질과 규제에 직접 영향을 미치는 최종 결과는 사람이 검토하고 승인해야 한다는 원칙을 워크플로우 설계 단계부터 박아 둡니다.
• 데이터 및 추적성 — 답변이 맞는 것을 넘어 명확한 근거가 필요합니다. AI가 참고한 문서의 출처, 누가 어떻게 수정하고 최종 승인했는지까지 사용부터 실행까지 전 과정의 이력이 시스템에 기록되어야 합니다.
• 위험 기반 관리 — 회의록 정리 에이전트와 규제 기관 감사·제조 품질 관리를 지원하는 에이전트의 위험 수준은 같은 선상에 놓일 수 없습니다. 규제 리스크와 의약품 제조 및 품질관리 기준(GMP) 영향도에 따라 검토·승인, 로그 기록, 시스템 검증, 변경 관리의 강도를 차등 적용합니다.
• 라이프사이클 및 변경 관리 — 사내 규정이 바뀌고 문서 지식베이스가 갱신되며 프롬프트가 수정되므로, 모든 변화는 영향 평가·테스트·승인·배포·모니터링 절차를 거쳐야 합니다.

권한 제어와 로그 기록 같은 시스템 통제 영역과 GMP 영향 판단·최종 승인이라는 사람의 판단 영역이 맞물려야 거버넌스가 완성된다는 정리입니다.

성과는 로그인 횟수로 증명되지 않습니다

연재의 첫 질문은 “AI 사용량은 늘었는데 왜 실질적인 업무 성과는 없는가”였습니다. 마지막 회차는 성과를 단순 로그인 횟수나 도입된 모델의 개수로 평가해서는 안 된다고 못 박습니다. 현업이 실무에 이 기술을 채택해 쓰고 있는지, 문서 작성 같은 반복 업무 시간이 줄었는지, 결재나 확인 절차를 포함한 업무 흐름이 단축되었는지, 휴먼 에러와 규제 누락이 감소했는지, 그리고 이 요소들이 종합되어 비용 절감이나 매출 증대라는 재무적 가치로 전환되었는지에 답할 수 있을 때 가치가 증명된다는 기준입니다. 그 지표를 근거로 업무 효과가 큰 에이전트는 전사로 확산하고, 잠재력은 있으나 활용도가 낮으면 교육과 사용자인터페이스(UX)를 개선하며, 오류가 잦고 규제 위험이 높으면 중단하거나 전면 재설계하라는 결단을 주문합니다.

한국 기업 AX 시사점

소재는 제약을 사례로 삼았지만, 승인 절차와 기록 의무가 걸린 업무라면 구조는 다르지 않습니다. 에이전트 수를 늘리기 전에 접근 권한, 참조한 문서의 버전, 승인자, 변경 시점을 남길 자리가 지금 쓰는 시스템에 있는지부터 확인하는 편이 순서입니다. 남길 자리가 없다면 에이전트가 늘어난 만큼 나중에 사람이 손으로 재구성해야 할 이력도 함께 늘어납니다.

연재가 제시한 실행 사이클은 문제 발굴, 방향 설정, 과제 선정, 워크플로우 설계, 검증, 조직 내재화, 지속 운영 및 성과 창출로 이어지며 한 번으로 끝나는 선형 프로젝트가 아니라 순환 구조입니다. 이번 주에 확인해 볼 것은 하나입니다. 사내에서 쓰고 있는 AI 도구를 목록으로 적어 놓고, 각각에 대해 “이것을 오늘 중단하면 어느 업무의 시간이 다시 늘어나는가”에 답할 수 있는지 세어 보십시오. 답이 나오지 않는 도구가 옥석을 가릴 첫 대상입니다.

출처: [제약 AI 대전환 ⑧·끝] 지속 가능한 제약 AX 마지막 관문 '운영과 성과...