發(fā)布日期：2019-09-10
國(guó)家藥品監(jiān)管部門從2015年起陸續(xù)出臺(tái)了《醫(yī)療器械軟件注冊(cè)技術(shù)審查指導(dǎo)原則》《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》《移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則》《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》等審評(píng)指導(dǎo)原則，為我國(guó)醫(yī)療器械軟件上市許可提供了明確的指導(dǎo)路徑，原則中提出，驗(yàn)證與確認(rèn)為醫(yī)療器械注冊(cè)過(guò)程中的重要步驟。據(jù)調(diào)研，目前醫(yī)療器械軟件驗(yàn)證環(huán)節(jié)主要依據(jù)是《GB/T 25000.51-2016 系統(tǒng)與軟件工程 系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)(SQuaRE) 第51部分：就緒可用軟件產(chǎn)品(RUSP)的質(zhì)量要求和測(cè)試細(xì)則》（以下簡(jiǎn)稱《細(xì)則》），對(duì)于審評(píng)要點(diǎn)中提到的安全、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等新技術(shù)服務(wù)能力、AI性能指標(biāo)等尚未形成完備的測(cè)試規(guī)程，亟須依據(jù)最新法規(guī)許可要求和新技術(shù)發(fā)展特點(diǎn)完善智能化醫(yī)療器械軟件評(píng)測(cè)體系。
加強(qiáng)質(zhì)量測(cè)試能力 在《細(xì)則》體系框架下創(chuàng)新測(cè)試方法，具體從軟件功能性、性能、兼容性、易用性、可靠性、信息安全性、維護(hù)性、可移植性八個(gè)維度開(kāi)展測(cè)試。同時(shí)，在測(cè)評(píng)過(guò)程中將重點(diǎn)關(guān)注軟件性能效率（并發(fā)用戶數(shù)、響應(yīng)時(shí)間、吞吐量、資源占用率）和信息安全性（數(shù)據(jù)隱私、訪問(wèn)控制、風(fēng)險(xiǎn)管理、信息安全等）。
開(kāi)展醫(yī)療云服務(wù)評(píng)測(cè) 隨著云計(jì)算的發(fā)展，云計(jì)算服務(wù)正逐漸成為新型基礎(chǔ)設(shè)施，中國(guó)信息通信研究院已經(jīng)在云計(jì)算領(lǐng)域積累了完備的測(cè)試能力，從2013年啟動(dòng)可信云評(píng)測(cè)，目前已建立云計(jì)算基礎(chǔ)服務(wù)和產(chǎn)品評(píng)估、專項(xiàng)能力評(píng)估、可用性監(jiān)測(cè)以及云保險(xiǎn)等在內(nèi)的綜合評(píng)估體系。在不同的應(yīng)用場(chǎng)景中，云服務(wù)的可用性、可靠性、質(zhì)量指標(biāo)有很大差異。針對(duì)智能化醫(yī)療器械軟件，需要在云計(jì)算共性技術(shù)評(píng)估指標(biāo)和評(píng)估方法的基礎(chǔ)上，結(jié)合具體的醫(yī)療應(yīng)用場(chǎng)景，創(chuàng)建智能化醫(yī)療軟件云服務(wù)能力評(píng)測(cè)體系。
構(gòu)建AI軟件性能指標(biāo) 醫(yī)療AI軟件評(píng)測(cè)結(jié)果參考醫(yī)療器械軟件臨床試驗(yàn)評(píng)價(jià)體系，有真陽(yáng)性、假陽(yáng)性、真陰性、假陰性四類結(jié)果（如表1所示）：
真陽(yáng)性［True positives（TP）］：標(biāo)準(zhǔn)數(shù)據(jù)集為陽(yáng)性、AI產(chǎn)品識(shí)別結(jié)果也為陽(yáng)性；
假陽(yáng)性［False positives（FP）］：標(biāo)準(zhǔn)數(shù)據(jù)集為陰性、AI產(chǎn)品識(shí)別結(jié)果為陽(yáng)性；
真陰性［True negatives（TN）］：標(biāo)準(zhǔn)數(shù)據(jù)集為陰性、AI產(chǎn)品識(shí)別結(jié)果也為陰性；
假陰性［False negatives（FN）］：標(biāo)準(zhǔn)數(shù)據(jù)集為陽(yáng)性、AI產(chǎn)品識(shí)別結(jié)果為陰性。
基于上述預(yù)測(cè)結(jié)果，重點(diǎn)圍繞臨床試驗(yàn)常用的性能指標(biāo)（見(jiàn)表2），依據(jù)《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》提到的“假陽(yáng)性/假陰性、重復(fù)性/再現(xiàn)性、魯棒性/健壯性”等性能指標(biāo)，構(gòu)建智能化醫(yī)療器械軟件AI測(cè)評(píng)體系。
研究評(píng)測(cè)應(yīng)用場(chǎng)景 智能化醫(yī)療軟件有很多的應(yīng)用場(chǎng)景，針對(duì)不同病種，軟件需要的訓(xùn)練數(shù)據(jù)以及最終的輸出結(jié)果有很大的差異，比如眼底糖網(wǎng)篩查是通過(guò)對(duì)眼底影像的讀取，輔助醫(yī)生發(fā)現(xiàn)糖網(wǎng)病變，進(jìn)行早期干預(yù)，那該類產(chǎn)品重點(diǎn)關(guān)注的是糖尿病性視網(wǎng)膜病變分類、病灶的檢出等。肺結(jié)節(jié)影像診斷主要功能是對(duì)肺部影像的讀取處理、肺結(jié)節(jié)的檢出、良惡性的判斷。如何評(píng)判糖網(wǎng)眼底篩查和肺結(jié)節(jié)影像診斷則需要采用不同的產(chǎn)品性能測(cè)試方案，我們將探索性地開(kāi)發(fā)具體病種（肺結(jié)節(jié)診斷、眼底篩查、心臟MRI、冠動(dòng)脈CTA、心電生理信號(hào)、CT骨折、腦MRI和CT肝病）診斷情境下AI醫(yī)學(xué)軟件產(chǎn)品效能，研究制定應(yīng)用場(chǎng)景產(chǎn)品性能評(píng)測(cè)體系。
來(lái)源：中國(guó)醫(yī)藥報(bào)
