임상시험에서 SAP(Statistical Analysis Plan)가 필요한 이유

[박성훈]

본 내용은 개인적 생각으로 작성된 글임을 고려해 주시길 바랍니다. 

임상시험에서 SAP는 "정확한 통계분석"을 위해서라기보다는 "적절한 통계분석"을 하기 위한 계약서라고 할 수 있다.  

정확한 통계분석은, 임상시험의 설계(STAT Design)와 임상진행(Operation), Data의 순도(Data Manage, Cleaning, Handling)가 중요 요소이다. 

적절한 통계분석은, 임상시험에서 통계적 결과에 영향을 미칠 수 있는 요인들을 통제하면서, 여러 통계분석 방법 중에서 Data의 임상적 의미를 적절하게 분석할 수 있는 통계적 방법을 설정해야 한다. (분석 방법의 option까지)

통계분석이 아닌, DB Lock 이후 실시하는 통계량 분석에서 "정확한" 결과는, 사실 통계분석자가 통제할 수 있는 것이 대부분 없다. (조언은 할 수 있지만 대부분 Bias로 통계에 넘겨진다.)

SAP는 DB Lock 이전에 완료되어야 한다. 

그 이유는 DB Lock 이후에 통계분석을 수행하면서 발생할 수 있는 "적절하지 않은" 행동들을 사전에 막기 위한 임상시험의 윤리성 때문이다. 

그래서 때때로 SAP는 Protocol 보다 더 많은 page를 갖출 정도로 변수에 대한 정의와 분석방법을 하나하나 기술되어야 할 필요가 있다. 

한국 임상시험의 SAP의 작성은 2010년경 전후로 DMP(Data Management Plan)과 함께 중요성이 인지되기 시작하면서 제대로 작성되기 시작했다. 

많은 Protocol 의 기술 된 내용은 "본 임상시험계획서에 기술되지 않은 통계분석에 대한 구체적인 사항은 SAP에 기술한다"고 기술한다. 

그래서 임상 3상에 Protocol 에 기술된 통계분석에 대한 내용도 주로 유효성 평가에 대한 변수 정의와 분석 방법, 결과에 대한 해석만 기술되어 있는 경우가 많다. 

통계량 분석(기술통계)이 아닌, 통계분석을 하려면 분석 변수의 의미와 수집방법, 수집된 subject의 적절성(분석군 - FAS, PPS 등), 분석 방법과 설정, 결과 중 어떤 수치에 대한 해석방법이 정의 되어야 한다.

SAP에 이 내용을 기술하는 것은 쉬운일일 수도 있다. 그러나 적어도 검수는 Protocol에서 STAT Design을 기술한 통계학자가 하는 것이 가장 좋은 검수가 될 것이라 생각한다.

SAP의 작성과 수정, 완료는 어떻게 진행되어야 할까? 

Protocol의 경우 초안도 중요하지만, 규제기관의 허가 이후 임상시험을 시작하고 얼마되지 않은 시점의 개정이 상당이 중요할 듯 하다. 

이론적인 부분, 예상되었던 부분은 상당한 지식과 경험을 바탕으로 많은 논의 가운데 작성이 되어진다. 

그러나 실제 임상시험 현장에서 적용되는지 여부가 명확히 확인이 되었을 때, 가장 중요한 Version-up이 이루어진다. 

동일한 Protocol, 동일한 약제, 동일한 것으로 하더라도 시대와 환경이 변하고 심사자와 관리자, 연구자, 시험대상자가 변하면, 변경을 할 수 밖에 없는 상황이 빈번하게 생긴다. 

SAP는 Protocol 에 따라 변화해야 한다. 그래서 Protocol이 변경이 되면 통계담당자는 SAP 변경여부를 확인해야 한다. 

그럼 SAP 초안은 언제 만들어지는 것이 가장 좋을까? 

사실 통계담당자가 아닌 통계관리자로써는 Protocol이 완료(Version 1.0)이 되면 만들어지는 것을 좋아한다. 

그러나 Protocol 이 수많은 개정을 할 수 있기 때문에 효율적인 방안으로 임상시험 시작(대상자 모집 10%) 정도 수준에서, Protocol 개정여부 확인(더이상 개정 없음을 확인) 후 작성하는 것이 적절할 것으로 생각된다.

- Protocol에서는 한문장을 수정하면 되는 부분이 SAP에서는 전체 분석방법을 수정해야 할 경우도 생기기 때문이다. 

통계분석이라고 하면 일반적으로 기술통계와 추론통계를 떠올릴 수 있다. 그런데 이 부분은 사실 통계적 방법에 대한 분류적 의미의 분류로 볼 수 있다. 

임상통계분석은(대부분의 통계가 이럴것이라 생각함.) data로 부터 통계량을 얻어내는 작업과 사용 data와 분석방법을 판단하는 통계적 의사가 중요하다.   

과거와 달리 현재는 EDC를 사용하고 있기 때문에 data에 대한 확인 및 임상시험 중에도 통계적 내용을 고려할 수 있게 되었다.  

통계적 의사를 충분히 고려하고 논의되기 위해서는 SAP 초안을 최대한 빠르게 만들거나 필요시 Protocol 과 동시에 만드는 것도 좋은 방법일 수 있다. 

논쟁들 중에 "SAP의 내용이 Protocol에 기술된 내용과 상반될 수 있는가?"에 대한 내용이 있었다. 

답은 "당연히 상반되어서는 안된다"이다. 

그런데 SAP에서는 Protocol에 기술되지 않은 세부 기술내용이나 분석 중 발생되거나 수정된(상반되지 않은) 내용이 기술될 수 있다. 

예로 일차 유효성 평가 변수에서 Protocol에 별첨으로 들어간 유효성 평가 변수의 계산 방식이, 임상시험의 특성으로 일정 data가 수집되지 않아서 SAP에서 계산 방식이 수정되어 기술 될 수 있다. 

(통계담당자 입장에서는 Protocol 작성자에게 참 많은 부분을 물어보고 싶은 사안이다. - 대부분 몇년전 일이라 기억을 못하는 듯 하지만) 

또한 FAS분석군의 설정이, ITT원칙을 따른다로 생각하지만, 실제 Subject Seletion 에서 많은 사항들이 SAP에 추가 기술되어 FAS에서 빠질 수 있다. - PP와 IIT에서는 더 심함.

SAP는 통계담당자 입장에서, 본인이 해야 할일을 담아 놓은 듯 하지만, 담당한 임상시험의 결과가 도출되는 통계적 배경을 명확하게 기술해 놓아야 하는 문서이다. 

즉, 결과에 영향을 줄 수 있는 많은 문제점들에 대한 보완과 대처이기도 하지만, 결과를 보고 수정할 수 있거나 윤리적으로 적절하지 않은 action들에 대한 방어를 위한 문서이다. 

그래서 SAP는 DB Lock 전에 완료되어야 하면서, 동시에 충분한 논의가 가능한 시점에 작성되어야 한다. 

통계분석의 분석방법은 일반적으로 결정이 되어 있어서 SAP가 필요없다고 한다. 

수많은 경우를 가진 임상시험에서 이 말이 적용되는 시험이 몇개는 있을 것이라고 생각은 한다. 

SAP는 상세히 기술되어야 하며, 반드시 기술되어야 하고, 통계 결과에 대한 검토자라면 반드시 확인해야 하는 문서이다.

또한 SAP는 통계학자들간에, 결과의 재현성이 가능하다고 인정될 수 있을 정도로 상세히 기술되어야 한다.   

일반적인 계약도 계약서를 꼼꼼히 따져본다. 

임상시험 결과가 통계분석을 통해 나온 결과라면... 

계약서를 제대로 확인해야 하지 않을까 생각해 본다. 

[박성훈]

SASMaster SASMaster님께서는 많이 혼란스러우실 수 있다고 생각됩니다.
대부분이 BS들입니다. 관리자와 담당자의 구조가... 좀 이상할 수 있다고 저도 생각합니다.

[SASMaster]

박성훈 근데 미국에서는 BS라고 하면 Biostat들이 아주 싫어하니, 혹시라도 미국회사와 일을 하시게되면 쓰지마세요. 일반회화에서 BS라고하면 Hey, don't give me BS. That's totally BS. Oh come one, I say it's BS, 등등 쓰는데 BS는 Bull Shit의 준말이고 일반회화속에서 자주 씁니다. 한국말로 하자면 "뻥친다?" 뭐 그보다 더 나쁘게 쓸수있지만 여기에 쓰기에는 적절치않고요. 그래서 BS department 라고 하면 어떻게 들리세요? ㅎㅎㅎ 그러니까 미국과 비교하면 통계담당자는 Biostat (최소한 대학원과정 통계를 배우고 전체 임상시험의 틀을 짜는사람) 이고 통계관리자는 SP (Statistical Programmer 혹은 Analyst) 로 생각하면 되겠군요.

[박성훈]

SASMaster 감사합니다. 정정해서 쓰도록 하겠습니다. 다른 사람들에게도 알려야 겠네요.

[안재형]

저는 SAP을 한번도 제대로 써본적이 없습니다. 남이 쓴거 좀 고치거나 review하거나... 긴 Phase 3에 있으면서 회사를 자주 옮기다가 그 단계를 만난적이 없습니다^^ 이제 새회사에서 SAP 엄청 쓸 예정입니다^^

[SASMaster]

어? 그래요? 와! Senior Biostat이면서 SAP을 제대로 안쓰셨다고요? ㅎㅎㅎ 진짜 앞으로는 많이 쓰셔야 합니다. 많은 사람들이 Biostat SAP끝나기만 기다리고, SAP없으면 자료분석 시작도 않하는데요. 그야말로 나중에 딴말들을 할수있어서 wasting time이 되니까요. SAP이야말로 Biostat으로서는 job security죠.