盛夏的(de)果實2017 -實驗室數據自動備份記曆

文章(zhāng)标題是仿照(zhào)《浮生六記》中第五記 “中山記曆”而拟定的(de)。目的(de)是記錄2017年7/8月(yuè)間的(de)一次項目經曆，項目的(de)曆程，遇到的(de)問題，以及對(duì)數據管理(lǐ)的(de)一些思考。恰值數據管理(lǐ)規範将落未落之際，數據完整性餘熱(rè)未消，謹以此文與業界同仁共同探討(tǎo)數據管理(lǐ)之疾患。

七八月(yuè)份正是一年中最熱(rè)的(de)季節。從去年三月(yuè)份用(yòng)戶就開始不斷聊起研發實驗室的(de)數據管理(lǐ)問題，終于到了(le)六月(yuè)底，塵埃才落定。我們的(de)客戶是國内著名制藥企業的(de)研發中心，目的(de)是想建立實驗室所有儀器數據的(de)自動備份，減輕實驗室運營人(rén)員(yuán)的(de)工作負擔，提高(gāo)數據的(de)安全性和(hé)整體的(de)合規性。

客戶其實很早就在考慮數據自動備份的(de)事情，而且手頭可(kě)選的(de)法寶還(hái)不少。他(tā)們有自己企業級的(de)Veritas 備份一體機，Agilent 的(de)OpenLab ECM。但由于面對(duì)的(de)儀器種類太多(duō)，加之IT人(rén)員(yuán)面對(duì)各種奇形怪狀的(de)儀器心裏十分(fēn)發怵，生怕影(yǐng)響了(le)這(zhè)些儀器正常運行，因此備份工作一直躊躇不前。大(dà)路貨HPLC就不說了(le)，已經接入Agilent的(de)網絡版中，其他(tā)的(de)林(lín)林(lín)總總60多(duō)台單機儀器，且重樣的(de)不多(duō)。細細數來(lái)，有島津的(de)HPLC，GC-MS，Thermo的(de)紅外光(guāng)譜，梅特勒的(de)滴定儀，細胞計數儀，戴安的(de)離子色譜儀，GE Unicorn制備色譜儀，Waters UPLC-QDA液質聯用(yòng)儀，PE的(de)ICP-MS，Agilent QTOF/QTRAP。儀器太多(duō)，這(zhè)裏不一一列出，一些高(gāo)端的(de)質譜儀器，價格不小于一套房(fáng)子。除了(le)一些因爲軟件本身原因無法備份的(de)除外，實驗室的(de)運營人(rén)員(yuán)需要爲50多(duō)台儀器逐個(gè)進行手動備份，工作量之大(dà)可(kě)想而知。

儀器種類多(duō)樣首先帶來(lái)的(de)挑戰是多(duō)重的(de)。首先，我們面對(duì)的(de)操作系統就有Win2000，WinXP，Win7，win10四種。尤其是Win2000，我已經10年沒有見過了(le)，所幸沒有見到它的(de)前任Win98。其次，數據類型多(duō)樣化(huà)，有普通(tōng)文件型的(de)，Access數據庫的(de)，SQL Server 2005/2008，Oracle9i/11g。以上在我們的(de)職業生涯中還(hái)算(suàn)是見怪不怪，但遇到梅特勒的(de)熱(rè)重分(fēn)析儀STARe SW，我還(hái)是出離驚訝了(le)。這(zhè)款儀器竟然用(yòng)的(de)是IBM DB2數據庫。這(zhè)款不顯山，不露水(shuǐ)的(de)IBM的(de)獨門武器竟然在實驗室出現了(le)，拿一位IT專業人(rén)士的(de)說法，DB2竟然還(hái)裝在Win7的(de)系統上。研究過Oracle，MSSQL，MySQL，還(hái)真沒碰過DB2。稍微有點遺憾的(de)是，我們常規的(de)實驗室裏MySQL還(hái)是比較罕見的(de)，這(zhè)次依然沒有遇見，但做(zuò)生物(wù)信息學的(de)朋友想必是非常熟悉的(de)。由于有一些大(dà)型質譜，儀器産生的(de)數據單個(gè)文件就非常大(dà)。這(zhè)其中大(dà)的(de)可(kě)以有2-3個(gè)G，小的(de)也(yě)有好幾百兆。正是由于儀器數據類型的(de)複雜(zá)性，導緻實現所有儀器數據自動備份的(de)工作一直停滞不前。儀器數據類型我們在實施備份工作前首先就要了(le)解的(de)信息，以及其所依賴的(de)操作系統。

數據備份從技術上來(lái)講，特别是對(duì)于一個(gè)公司成熟的(de)IT部門，并非是困難的(de)事情。但制藥行業屬于需要合規的(de)行業，與數據完整性，産品質量，患者安全相關的(de)IT行爲是需要合規的(de)。這(zhè)裏說說我們如何合規地進行實驗室數據自動備份系統的(de)搭建。GMP一個(gè)理(lǐ)念是事前有規範可(kě)循，事後有記錄可(kě)查。拿數據備份來(lái)說，我們要在備份開始之前，說明(míng)備份策略制定地依據，包括備份的(de)頻(pín)率，備份的(de)方式（增量還(hái)是全備），備份冗餘數據的(de)清除。這(zhè)就要求我們對(duì)需要備份的(de)系統進行”系統影(yǐng)響性”評估，評估該系統業務和(hé)法規符合上的(de)影(yǐng)響強弱，從而決定其備份的(de)強弱。

備份策略确定好之後，接下(xià)來(lái)還(hái)要調查備份的(de)對(duì)象。備份的(de)對(duì)象既有法規要求的(de)，也(yě)有用(yòng)戶自己要求的(de)。法規要求的(de)是原始數據和(hé)相關審計追蹤記錄，應用(yòng)軟件的(de)相關事件記錄，例如用(yòng)戶的(de)登陸，登出，密碼修改，權限變動等等。用(yòng)戶自己從業務角度要求的(de)，包括儀器配置信息，分(fēn)析方法，報告模闆，導出的(de)報告等等。在我們這(zhè)次實際的(de)備份數據調查中，發現研究人(rén)員(yuán)不會去關注那些法規要求的(de)審計記錄，而對(duì)于方法，報告這(zhè)些與其日常工作相關的(de)比較關心，希望能進行自動的(de)備份。我想這(zhè)其實很正常，研發人(rén)員(yuán)建立這(zhè)些模闆其實是花了(le)非常多(duō)時(shí)間的(de)。沒有這(zhè)些模闆，日常的(de)分(fēn)析工作甚至都無法開展。如果将來(lái)更換電腦(nǎo)或系統恢複，大(dà)家當然不希望去重新建一遍。那些已生成的(de)分(fēn)析報告有現成的(de)總比将來(lái)重新從系統裏生成一遍來(lái)得(de)簡單，更何況将來(lái)還(hái)不知道會發生何種變化(huà)，當初的(de)分(fēn)析方法是不是還(hái)在，軟件版本是不是一緻等等。講這(zhè)些，其實是希望大(dà)家在做(zuò)備份時(shí)，不要隻顧及法規監管的(de)要求，我們還(hái)要考慮業務的(de)需要。

業務上需要備份的(de)數據易于識别，但法規要求的(de)數據卻不那麽容易發現。很多(duō)采用(yòng)文件存儲數據的(de)儀器工作站一般都會将數據操作的(de)審計追蹤記錄與原始文件放在一起，而軟件的(de)事件記錄采用(yòng)單獨文件存放。在這(zhè)種情況下(xià)，我們就需要準确定位這(zhè)些存放應用(yòng)系統日志的(de)文件。總的(de)說來(lái)，主要在三個(gè)目錄下(xià)：一是軟件的(de)安裝目錄，二是C盤下(xià)的(de)ProgramData下(xià)，三是在Users的(de)目錄下(xià)。以我們做(zuò)的(de)一台戴安離子色譜爲例，變色龍7.2的(de)系統，數據分(fēn)爲SQL Server 2008數據庫和(hé)原始數據。Chromeleon 的(de)數據審計追蹤都存放在數據庫裏，而儀器的(de)使用(yòng)日志則在C盤下(xià)的(de)ProgramData裏。由此決定備份時(shí)需要備份三個(gè)位置的(de)數據。對(duì)于合規的(de)數據備份來(lái)講，在實施備份之前需要對(duì)每台儀器進行備份數據調查，說明(míng)法規要求的(de)數據以及業務需要的(de)數據的(de)存放位置，出具備份數據調查報告；這(zhè)樣後期的(de)備份計劃才是有根據的(de)。調查的(de)過程請大(dà)家可(kě)以咨詢廠家，畢竟隻有廠家最熟悉自家的(de)系統，并且還(hái)要對(duì)獲得(de)的(de)信息進行再确認。除了(le)上面講的(de)數據備份，大(dà)家不要忘了(le)産生數據的(de)軟件也(yě)要備份。今後系統崩潰後恢複重建要用(yòng)，做(zuò)數據恢複測試時(shí)也(yě)要用(yòng)到。翻箱倒櫃找安裝光(guāng)盤的(de)經曆還(hái)是記憶猶新的(de)。找東西，往往在搬家之後變得(de)尤爲戲劇化(huà)。找不到光(guāng)盤，找廠商可(kě)能也(yě)沒用(yòng)。太古老的(de)東西，别人(rén)要麽也(yě)沒有，或者不想給你而想重新賣給你。在這(zhè)個(gè)炎熱(rè)的(de)夏日，幾台基于Oracle 9i的(de)舊(jiù)Empower版本的(de)安裝光(guāng)盤就找不到了(le)，托了(le)一些關系也(yě)沒有弄到。實在沒有辦法，基于我們對(duì)Oracle技術的(de)掌握，冒險在原機上做(zuò)的(de)恢複測試。很多(duō)Waters單機的(de)用(yòng)戶會采用(yòng)軟件本身提供的(de)導入導出工具來(lái)進行簡單的(de)備份與還(hái)原測試，但這(zhè)種測試是建立在原機使用(yòng)環境還(hái)完好存在的(de)情況下(xià)。實際上，如果存儲介質出現問題，Empower軟件可(kě)能根本打不開，也(yě)不會給你導入的(de)機會。在這(zhè)個(gè)項目中，我們爲客戶實現的(de)是所有Empower單機的(de)全部數據自動備份。由于備份方式不一樣，所以軟件提供的(de)導入，導出功能我們用(yòng)不到。不巧的(de)是，其中有一台Empower的(de)電腦(nǎo)每次啓動需要半個(gè)多(duō)小時(shí)，想将其虛拟化(huà)出來(lái)也(yě)總是失敗，已經處于十分(fēn)危險的(de)境地。

一套分(fēn)布式的(de)備份系統，從GAMP5的(de)角度劃分(fēn)，可(kě)以歸到第4類，屬于可(kě)配置的(de)軟件。驗證第四類的(de)軟件，我們最好拟定一個(gè)驗證計劃，說明(míng)驗證的(de)策略，相關的(de)職責，交付文件以及維持合規狀态的(de)必要措施和(hé)流程。考慮到這(zhè)種軟件爲分(fēn)布式部署的(de)方式，需要在儀器終端電腦(nǎo)上安裝，需要根據系統影(yǐng)響性評估和(hé)備份數據調查結果進行備份任務的(de)配置。備份任務的(de)配置參數将影(yǐng)響到數據是否按照(zhào)計劃，有效地複制到備份設備上。作爲第4類地軟件，我們有必要針對(duì)其功能進行風險分(fēn)析。風險分(fēn)析的(de)點包括備份客戶端在儀器工作站的(de)安裝是否會幹擾儀器的(de)正常運行，備份任務是否會失效，備份任務是否會受到實驗人(rén)員(yuán)有意無意的(de)更改，儀器工作站電腦(nǎo)在備份時(shí)間段被意外關機，備份任務是否能應對(duì)網絡臨時(shí)中斷以及備份服務器宕機，服務器的(de)備份數據是否受到不受限制的(de)訪問，以及備份數據的(de)有效性等等。以上風險點，一方面要通(tōng)過後續的(de)備份系統驗證流程進行确認，另一方面要通(tōng)過相關的(de)SOP進行規範管理(lǐ)，以期将風險降到最低。風險識别是一個(gè)不斷遞增的(de)過程，初次的(de)風險分(fēn)析必然不能涵蓋所有的(de)風險點，并且根據選擇的(de)備份工具的(de)不同，同樣會存在一些風險細節上的(de)差異。就拿我們這(zhè)次的(de)做(zuò)的(de)自動備份來(lái)說，爲了(le)應對(duì)數據庫備份而産生的(de)冗餘備份數據，原本我們用(yòng)Dos命令寫了(le)一個(gè)按照(zhào)時(shí)間段進行冗餘數據清除的(de)批處理(lǐ)程序。也(yě)就是下(xià)面的(de)代碼，自動删除7天以前的(de)備份數據。

forfiles /p E:\DataBackup\OnlineBackup /m *.* /d -7 /c “cmd /c del @file”

初看起來(lái)沒有問題，但在實際操作過程中發現，這(zhè)個(gè)命令是建立在備份系統一直處于平穩運行的(de)前提條件下(xià)。如果一旦備份系統運行出現問題，例如超出7天都沒有産生新的(de)備份，那麽之前所有的(de)備份文件都會被删除，一份都不會留下(xià)。爲了(le)應對(duì)這(zhè)個(gè)問題，我們考慮編寫更複雜(zá)的(de)Dos命令，但考慮到可(kě)維護性，最後采用(yòng)Windows自帶的(de)PowerShell寫了(le)一個(gè)保留最新的(de)N份數據的(de)程序，其餘的(de)則删除，避免了(le)備份數據全部被清空的(de)風險。說了(le)這(zhè)麽多(duō)，其實就是要求我們在做(zuò)GxP數據備份時(shí)需要進行風險評估，并将風險點體現在後續的(de)驗證方案和(hé)SOP中。

從GAMP5的(de)V模型出發，除了(le)驗證計劃，風險評估，還(hái)需要有FS，即功能說明(míng)規範。對(duì)于成熟的(de)商業化(huà)系統，我們的(de)建議(yì)是不需要專門去起草(cǎo)功能說明(míng)。功能說明(míng)應該是廠商做(zuò)的(de)事。廠商的(de)技術白皮書(shū)，功能設計說明(míng)，用(yòng)戶手冊都可(kě)以視作GAMP5中的(de)FS（功能規範）的(de)體現。相比FS，我們将CS（配置說明(míng)）視爲一個(gè)非常重要的(de)文件。這(zhè)份文件應該說明(míng)備份系統的(de)架構，相關的(de)基礎軟硬件配置，包括涉及的(de)儀器工作站計算(suàn)機的(de)配置以及備份服務器的(de)配置，備份數據所對(duì)應的(de)備份任務名稱，備份策略，郵件通(tōng)知等。

自動備份的(de)實現多(duō)半是技術性的(de)工作。文件型的(de)數據可(kě)以采用(yòng)全備+差異/增量的(de)方式。采用(yòng)SQL Server數據庫存儲的(de)數據，則采用(yòng)我們備份軟件自帶的(de)數據庫自動備份功能，導出爲bak文件後就可(kě)等同一般的(de)文件進行處理(lǐ)了(le)。這(zhè)裏值得(de)一提的(de)是，實驗室各種儀器用(yòng)的(de)SQL Server數據庫都是SQLServer Express版，完整版的(de)SQL Server是自帶自動備份功能的(de)。我們在國内很多(duō)企業看到實驗室的(de)分(fēn)析人(rén)員(yuán)經常對(duì)數據庫類型的(de)儀器采用(yòng)了(le)錯誤的(de)備份方法。有些實驗室的(de)管理(lǐ)員(yuán)不清楚數據放在什(shén)麽地方，而找到數據存放位置的(de)卻采用(yòng)強行拷貝數據庫文件.mdf的(de)方法進行備份。在數據庫處于連接讀取的(de)狀态進行拷貝，拷貝出的(de)文件大(dà)概率是不可(kě)用(yòng)的(de)。

在實施自動備份方案的(de)過程中。我們發現一台戴安的(de)離子色譜的(de)原始數據和(hé)數據庫文件有兩處。詢問之後是因爲重新裝過軟件。原來(lái)不知道怎麽處理(lǐ)，就封存在原來(lái)的(de)路徑下(xià)。新裝軟件重新選擇數據存儲的(de)路徑。打開變色龍工作站隻能看到重新安裝軟件後樣品檢測數據，而老數據被凝固在角落裏，無人(rén)問津。用(yòng)戶不知道如何去查看這(zhè)些之前的(de)舊(jiù)數據。看到這(zhè)裏，實在于心不忍，數據遷移雖然不在本次的(de)項目工作範疇内，我們還(hái)是将老數據挂到了(le)變色龍系統下(xià)面。打開Chromeleon7，根目錄下(xià)多(duō)了(le)個(gè)新柱子。其實對(duì)變色龍的(de)CDS，我一直還(hái)是很認可(kě)的(de)，上手容易，用(yòng)戶界面友好，合規性也(yě)不錯，在三足鼎立的(de)形勢下(xià)，堪稱性價比之良器。

所有的(de)基于SQL Server的(de)工作站通(tōng)過我們的(de)自動備份軟件都好解決。唯獨Waters的(de)一系列單機版Empower讓我們淚奔。Empower網絡版是支持自動備份的(de)，但單機版不提供該項功能，隻能手動導出原始數據。從數據存儲格式上來(lái)說，Empower屬于Oracle數據庫+文件類型的(de)。以前做(zuò)過Oracle真實集群，對(duì)Oracle的(de)備份還(hái)是比較了(le)解的(de)。要解決單機Empower的(de)自動備份問題，就隻能從Oracle 數據庫層面做(zuò)備份。作爲關系數據庫領域的(de)龍頭企業，Oracle本身提供了(le)非常完善的(de)備份工具，那就是RMAN。客戶本身購(gòu)買了(le)企業版的(de)Veritas NetBackup備份工具。雖然Veritas NBU針對(duì)Oracle本質上也(yě)是使用(yòng)RMAN，但其提供了(le)備份參數配置模闆，便于初學者上手。我本人(rén)還(hái)是比較喜歡自由的(de)編碼方式。令人(rén)不解的(de)是,客戶處的(de)Veritas NBU針對(duì)自身企業級的(de)OA，ERP等基于Oracle的(de)大(dà)型信息管理(lǐ)系統備份手到擒來(lái)，但對(duì)6台單機Empower卻怎麽也(yě)連不上。做(zuò)RMAN備份的(de)前提是要将Oracle設置爲歸檔模式。在設置過程中，我們發現Oracle無法啓動到Mount狀态，數據庫連接直接中斷，從而無法開啓歸檔模式。接連幾台UPLC，HPLC，ACQUITY QDa都出現這(zhè)種問題。查遍了(le)中文網絡中的(de)資料無法搞定，Google又被廢了(le)，Bing了(le)一個(gè)周末，國外資料查了(le)一圈也(yě)沒有頭緒。這(zhè)都是沒有系統深入學習(xí)過Oracle惹的(de)禍，遇到新問題時(shí)一籌莫展。經過周末兩天的(de)煎熬，周日夜幕快(kuài)落下(xià)的(de)時(shí)候，我差不多(duō)快(kuài)要放棄了(le)，考慮用(yòng)expdp命令了(le)。Expdp本身是我無法接受的(de)，一則這(zhè)個(gè)命令并非Oracle官方認可(kě)的(de)數據庫備份方式，二則前幾年我用(yòng)Expdp導出的(de)數據再導入時(shí)發生了(le)嚴重的(de)報錯，導緻用(yòng)戶數據無法恢複。很多(duō)IT人(rén)員(yuán)喜歡用(yòng)Expdp命令來(lái)做(zuò)數據的(de)備份，但恰恰就屬于誤用(yòng)，Expdp本身是用(yòng)來(lái)做(zuò)數據遷移的(de)，并非用(yòng)來(lái)做(zuò)備份，且數據導出的(de)效率不高(gāo)。對(duì)于比較大(dà)的(de)數據導入存在失敗的(de)風險，至少本人(rén)就經曆過。如果有實驗室用(yòng)這(zhè)種方式做(zuò)基于oracle數據庫儀器的(de)備份，還(hái)請盡快(kuài)更換成Oracle建議(yì)的(de)方法。抛除雜(zá)念，觀照(zhào)内心有時(shí)候就是解決問題的(de)良方。在遍尋仙方無果，隻能靠自身修爲做(zuò)最後一搏。梳理(lǐ)數年來(lái)學到的(de)點點滴滴，編織推演，恍然大(dà)悟，改動幾個(gè)參數之後，順利啓動爲歸檔模式，自動備份水(shuǐ)到渠成。現在想來(lái)，出現這(zhè)種問題是因爲Empower的(de)Oracle安裝并非标準化(huà)的(de)，而是屬于Empower的(de)一個(gè)子安裝包，裏面的(de)配置參數是經過特殊設置的(de)。是不是Waters有意爲之不得(de)而知。國内如此多(duō)的(de)單機版Empower是不是都有這(zhè)個(gè)問題亦不知。

技術的(de)問題講了(le)這(zhè)麽多(duō)，我們還(hái)是回到合規的(de)問題上來(lái)。按照(zhào)V模型，CS确定之後，就要進行安裝确認。IQ對(duì)于一套備份系統來(lái)說是比較簡單的(de)，主要是确認備份軟件的(de)安裝環境，安裝後的(de)啓動正常，備份服務器的(de)配置确認以及備份計劃任務的(de)實際配置與CS中的(de)要一緻。

OQ 主要包含了(le)三個(gè)方面的(de)内容。一是确認數據是否按照(zhào)設定的(de)時(shí)間自動上傳，二是數據的(de)恢複驗證，檢查恢複後數據文件在宏觀上是否一緻（包括大(dà)小，數量），是否能由原軟件讀取而且信息與原工作站上一緻。對(duì)于前者，我們進行了(le)一個(gè)任務周期的(de)備份跟蹤檢查。例如備份任務是每天一個(gè)差異備份，每周日一個(gè)全備份。那麽我們需要确認每天産生了(le)一個(gè)差異備份，到了(le)周日這(zhè)天産生了(le)一個(gè)全備份。對(duì)于後者，數據是否能夠恢複不僅取決于所備份的(de)數據，還(hái)與支持數據運行的(de)環境有關，包括操作系統和(hé)應用(yòng)程序以及相關的(de)配置信息。經此一役，客戶已經将軟件的(de)納入了(le)管理(lǐ)計劃。同時(shí)，客戶采用(yòng) Veritas備份工具對(duì)各個(gè)儀器工作站都進行了(le)運行環境鏡像的(de)備份，通(tōng)過這(zhè)些鏡像可(kě)在物(wù)理(lǐ)機上直接恢複原系統。考慮到風險和(hé)系統重建的(de)難易程度，數據恢複我們采用(yòng)原機恢複和(hé)異機恢複兩種方式進行。

對(duì)于純文件型的(de)數據，可(kě)以直接恢複到原機進行讀取測試。在确認備份兩端的(de)一緻性時(shí)，我們和(hé)客戶起了(le)小小的(de)争議(yì)。客戶是IT部牽頭的(de)，對(duì)于這(zhè)種比較大(dà)小和(hé)數量是否一緻的(de)方式覺得(de)太Low了(le)，采用(yòng)MD5碼進行對(duì)比會更精确。MD5碼在數據識别方面确實非常有效，隻不過在一個(gè)封閉的(de)網絡環境裏，用(yòng)MD5碼去确認有些過于謹慎了(le)。事實上，備份軟件的(de)文件傳輸和(hé)傳輸結尾會檢查和(hé)确認數據的(de)完整性。最終妥協的(de)結果是，我們對(duì)抽取的(de)最早，中間和(hé)最近三個(gè)時(shí)間段的(de)三份數據進行MD5碼比對(duì)，并采用(yòng)原軟件進行讀取測試。MD5碼一緻，然後軟件能打開就OK，不需要像以前一樣還(hái)要在打開的(de)數據中去比較信息是不是一緻。

對(duì)于數據庫類型的(de)數據，一般建議(yì)重新搭建一個(gè)測試環境，再将數據庫文件導入進行測試。環境搭建的(de)方式可(kě)在一個(gè)新系統中重新安裝軟件，也(yě)可(kě)采用(yòng)将原系統轉換成虛拟機的(de)方式進行。Waters的(de)單機Empower工作站最早是通(tōng)過轉換虛拟機做(zuò)恢複測試的(de)，但後來(lái)應客戶要求，我們采用(yòng)Oracle RMAN備份出來(lái)的(de)數據集在另外一台計算(suàn)機上從軟件安裝開始，再進行數據導入，恢複成跟原機一模一樣的(de)的(de)系統，包括所有的(de)數據，用(yòng)戶，權限，配置，證書(shū)都是一模一樣的(de)，而采用(yòng)手動導出數據的(de)備份無法做(zuò)到這(zhè)一點。這(zhè)種僅通(tōng)過備份數據得(de)到跟之前一緻的(de)應用(yòng)系統已經接近災難恢複了(le)。當然，我想用(yòng)戶考慮這(zhè)麽做(zuò)還(hái)是非常有意義的(de)，因爲一旦出問題，多(duō)半就是災難性的(de)。

OQ到此并未結束，我們之前在風險評估時(shí)所識别到的(de)風險，也(yě)要在OQ 中去體現，這(zhè)一塊并不困難，在此不再贅述。

OQ結束之後我們就起草(cǎo)了(le)驗證總結報告。驗證總結報告的(de)編寫應該與驗證計劃中要做(zuò)的(de)事情進行對(duì)應。

備份系統的(de)PQ事實上并不需要起草(cǎo)專門的(de)驗證方案去驗證，因爲我們在OQ中就已經對(duì)每台儀器的(de)做(zuò)了(le)備份任務的(de)運行确認。相對(duì)OQ 而言，PQ應該從OQ結束備份系統放行，一直持續到備份系統的(de)退役。性能确認是一個(gè)長(cháng)期的(de)過程。在驗證計劃中，需要就如何維護備份系統處于合規狀态進行規定，其中就要說明(míng)PQ如何執行，其他(tā)的(de)諸如變更管理(lǐ)，人(rén)員(yuán)培訓，偏差處理(lǐ)，需要的(de)支持性SOP一一列出。PQ基本的(de)做(zuò)法是進行日常的(de)監控，異常事件報告，變更的(de)執行和(hé)評估，定期的(de)恢複測試，包括将系統設置爲備份任務成功後或失敗時(shí)自動發送郵件通(tōng)知，以上均是PQ的(de)表現形式。

實驗室電子數據的(de)備份管理(lǐ)，是保障數據安全和(hé)完整性的(de)重要方面之一。一個(gè)成功的(de)備份系統是由備份的(de)軟件，硬件以及備份策略構成的(de)。同時(shí)，一個(gè)備份系統運行得(de)好不好還(hái)與這(zhè)個(gè)系統的(de)可(kě)管理(lǐ)性密不可(kě)分(fēn)。例如國内藥廠很多(duō)采用(yòng)手動備份，就是可(kě)管理(lǐ)性比較差的(de)典型。我們看到很多(duō)客戶的(de)儀器的(de)手動備份工作并未按預定的(de)計劃進行。而且手動備份往往間隔時(shí)間比較長(cháng)，因此無法應對(duì)在間隔期内發生的(de)數據丢失問題。加之儀器的(de)數據日積月(yuè)累，數量不斷增加，備份人(rén)員(yuán)采用(yòng)增量備份還(hái)要對(duì)數據進行挑選，工作量也(yě)大(dà)大(dà)增加，容易出現遺漏。備份的(de)執行是一個(gè)方面，備份數據的(de)管理(lǐ)則會更加混亂。而采用(yòng)自動備份，可(kě)管理(lǐ)性則會大(dà)大(dà)增強，一則系統會自動地進行全備，增量和(hé)差異備份（不出意外地話(huà)），對(duì)備份數據進行管理(lǐ)和(hé)冗餘的(de)計劃性清除，并且會有日志記錄備份的(de)情況。在備份成功或失敗也(yě)會有相應的(de)郵件提醒，備份的(de)可(kě)控性得(de)到有效提高(gāo)。随著(zhe)信息化(huà)，以及計算(suàn)機系統應用(yòng)水(shuǐ)平的(de)提升，手動備份将會成爲曆史，監管部門也(yě)會對(duì)采用(yòng)手動備份提出更多(duō)的(de)挑戰，一些國外的(de)客戶甚至已經完全不接受手動備份的(de)操作方式。

在備份的(de)工具的(de)選擇上，客戶把Veritas備份一體機定位在企業級大(dà)型信息管理(lǐ)系統的(de)備份上，例如公司的(de)财務系統，文檔管理(lǐ)系統，LIMS系統以及CDS系統等，各單機版儀器的(de)備份則采用(yòng)我們提供的(de)備份系統。

最後提一提SOP，客戶在項目開始的(de)時(shí)候并沒有數據備份相關的(de)SOP。在備份項目實施的(de)過程中我們與客戶一起逐步地建立了(le)這(zhè)些操作規程，包括“實驗室數據備份與恢複管理(lǐ)規程“，計算(suàn)機軟件管理(lǐ)規程，以及各台儀器的(de)恢複規程用(yòng)于發生數據丢失時(shí)或系統崩潰時(shí)，如何利用(yòng)備份數據恢複系統的(de)操作步驟。

從去年9月(yuè)項目結束到現在已經有大(dà)半年的(de)時(shí)間，我們這(zhè)套LabSync實驗室數據自動備份系統運行一直都非常穩定，各類儀器的(de)數據都能自動地上傳，消除了(le)長(cháng)久以來(lái)隐患。

對(duì)于此文，有任何建議(yì)或疑問，也(yě)可(kě)寫信與我們聯系bob.yang@labwind.com