疾病监测  2017, Vol. 32 Issue (9): 725-730

扩展功能

文章信息

叶楚楚, 朱渭萍, 王远萍, 王静, 徐红梅, 顾霍铮, 孙乔
YE Chu-chu, ZHU Wei-ping, WANG Yuan-ping, WANG Jing, XU Hong-mei, GU Huo-zheng, SUN Qiao
国家传染病自动预警系统探测范围对手足口病聚集性事件预警效果的影响
Effect of narrowing scan area on performance of China Infectious Diseases Automated-alert and Response System on hand, foot and mouth disease cluster detection
疾病监测, 2017, 32(9): 725-730
Disease Surveillance, 2017, 32(9): 725-730
10.3784/j.issn.1003-9961.2017.09.006

文章历史

收稿日期:2017-05-22
国家传染病自动预警系统探测范围对手足口病聚集性事件预警效果的影响
叶楚楚, 朱渭萍, 王远萍, 王静, 徐红梅, 顾霍铮, 孙乔     
传染病监测预警中国疾病预防控制中心重点实验室研究基地 上海市浦东新区疾病预防控制中心, 上海 200136
摘要目的 比较国家传染病自动预警系统(CIDARS)不同的探测范围对手足口病聚集性疫情的预警效果,为CIDARS的完善和改进提供依据。方法 收集2014年1月1日至2016年12月31日CIDARS在上海市浦东新区发出的手足口病时间模型预警信号,以同期该区域发生的聚集性手足口病疫情作为评价标准,分析CIDARS的预警灵敏度、错误预警率;选择浦东新区3个街道/镇,缩小CIDARS预警探测范围,比较每个街道/镇不同探测范围的预警效果差异。结果 2014-2016年,CIDARS在浦东新区共发出393个手足口病预警信号,成功预警了182起聚集性手足口病疫情;同期浦东新区发生手足口病聚集性疫情726起,CIDARS预警灵敏度为24.97%,错误预警率53.69%。对大、中、小3种规模的手足口病聚集性事件预警灵敏度分别为100.00%、45.30%和16.05%,差异有统计学意义。将CIDARS的探测范围从全区缩小为街道/镇后,3个街道/镇的预警灵敏度分别从原来的25.93%、13.04%和50.00%上升至88.89%、78.26%和100.00%,错误预警率有所上升,但无显著性变化。结论 CIDARS对浦东新区小规模手足口病聚集性事件的预警效果欠佳,模型探测范围从全区缩小至街道/镇后,对聚集性手足口病疫情的预警效果明显提高;CIDARS应进一步缩小预警模型的探测范围,以提高对聚集性疫情的预警效果。
关键词手足口病    暴发疫情    预警系统    评价    
Effect of narrowing scan area on performance of China Infectious Diseases Automated-alert and Response System on hand, foot and mouth disease cluster detection
YE Chu-chu, ZHU Wei-ping, WANG Yuan-ping, WANG Jing, XU Hong-mei, GU Huo-zheng, SUN Qiao     
Research Base of State Key Laboratory for Communicable Disease Surveillance and Early Warning of Chinese Center for Disease Control and Prevention, Shanghai Pudong New District Center for Disease Control and Prevention, Pudong 200136, Shanghai, China
This study was supported by the fund for the Youth Scientific Research Project of Pudong New District Health and Family Commission (No.PW2014B-3)
Corresponding author: SUN Qiao, Email: qsun@pdcdc.sh.cn .
Abstract: Objective To compare the performance of China Infectious Diseases Automated-alert and Response System (CIDARS) for hand, foot and mouth disease (HFMD) outbreak/cluster detection with different scan areas. Methods Information of all the signals generated by CIDARS from January 1, 2014 to December 31, 2016 in Pudong New District were collected and descriptively analyzed. Performance of CIDARS was evaluated, including sensitivity and false alert ratio, based on real HFMD clusters during the same period. The assessment of the early warning model currently used in CIDARS was conducted by using the time series data of daily reported HFMD cases in three selected communities, and outbreak detection performance with different scan area were compared in each community. Results From 2014 to 2016, a total of 393 signals of HFMD were generated by CIDARS in Pudong, and 182 HFMD clusters were successfully detected. During the same period, 726 HFMD clusters occurred in Pudong. The sensitivity and false alert ratio of CIDAR was 24.97% and 53.69%. The sensitivities to detect large, medium and small clusters were 100.00%, 45.30% and 16.05% respectively. After adjusting the scan area of early warning model in CIDARS from district to community level, the HFMD cluster detection sensitivities in the three selected communities increased obviously from 25.93%, 13.04% and 50.00% to 88.89%, 78.26% and 100.00%, with a slight increase of false alert rate. Conclusions The HFMD cluster detection performance of CIDARS was unsatisfied and differed with cluster size and scan area. Cluster detection performance of CIDARS could be improved through method optimizing, such as narrowing scan area of early warning models.
Key words: Hand, foot and mouth disease     Disease outbreak     Early-warning system     Evaluation    

手足口病(hand,foot and mouth disease,HFMD)是由多种肠道病毒引起的常见传染病,主要感染5岁以下儿童,通过接触传播,较易导致幼托机构、学校集体机构的聚集和暴发,近年来发病率一直居于全国法定报告传染病之首。为了更加及时、有效的发现异常,提示潜在的暴发流行,2010年5月起,国家传染病自动预警系统(China Infectious Diseases Automated-alert and Response System,CIDARS)将手足口病纳入预警病种,采用美国疾病预防控制中心(CDC)开发的EARS-C3算法[1],以县/区为单位对《疾病监测信息报告管理系统》(大疫情网)中每日报告的手足口病病例的数量进行自动分析,发现可能的暴发。

2014年,CIDARS研发团队在全国范围内对系统的预警效果进行了评价研究,发现CIDARS可以显著提高手足口病暴发疫情探测的灵敏度和及时性,为疫情处置赢得时间[2]。前期研究表明,不同地区的疾病流行水平、暴发规模等特征对CIDARS的预警效果均具有较大影响[3-4],有必要从基层用户角度,在具有不同疾病流行特征的地区开展CIDARS预警效果评价研究,优化预警技术,探索适宜的预警方法。本研究对2014-2016年上海市浦东新区手足口病CIDARS预警结果进行分析,并选择辖区内3个街道/镇作为研究对象,缩小CIDARS的空间探测范围,以街道/镇为单位开展预警,以真实的手足口病聚集性事件为评价标准,比较2种探测范围的预警效果,为预警系统的改进提出建议。

1 资料与方法 1.1 资料来源 1.1.1 手足口病病例

国家《疾病监测信息报告管理系统》网络直报系统中,现住址为上海市浦东新区,报告日期在2014年1月1日至2016年12月31日,临床/实验室诊断为手足口病的所有个案信息,包括病例姓名、性别、年龄、详细现住址、发病日期、报告日期等。

1.1.2 手足口病聚集性疫情

参考《手足口病预防控制指南(2009版)》[5]中对手足口病聚集性定义,本研究纳入的手足口病聚集性事件的定义为:1周内,同一托幼机构/学校/自然村/居委会发生5例及以上手足口病病例。对于同一班级/家庭/自然村2~4例的疫情,由于病例总数过少,暂不纳入本次预警评价研究。

手足口病聚集性疫情资料主要来源于3类途径:① CIDARS发出预警信号,由新区CDC专业人员进行初步核实、排除或确认。② 社区卫生服务中心在每日疫情监测中,对居住地在本辖区的全部报告病例进行人工搜索,一旦发现可疑的聚集性疫情,立即报告浦东新区CDC。③ 幼儿园、学校等集体机构发生聚集性疫情后,主动报告所在的街道/镇社区卫生服务中心,由该社区卫生服务中心报告给浦东新区CDC。

1.2 预警方法 1.2.1 CIDARS中的手足口病时间预警模型

目前CIDARS系统中对手足口病预警采用的是美国CDC早期异常报告系统(EARS)C1、C2、C3模型[1]中的C3模型;其原理是将当天(d0)的观测值(全区手足口病病例数)与标准化后的前3~9 d(d-9~d-3)观测值的移动平均值进行比较,若超过事先设定的预警阈值(h=1.3),则发出预警信号。

1.2.2 基于街道/镇数据的预警方法

根据浦东新区36个街道/镇在2014-2016年期间手足口病发病数,选择发病水平在高、中、低水平的各1个街/镇,分别为北蔡、浦兴、万祥,以每个街道/镇的每日手足口病报告病例数作为观测对象,与CIDARS一样采用C3模型(h=1.3) 对3个街道/镇在2014年1月1日至2016年12月31日期间每日手足口病报告病例数分别进行预警。

1.2.3 预警信号

(1) 全区预警信号:2014年1月1日至2016年12月31日期间,CIDARS在浦东新区发出的全部手足口病时间模型预警信号,包括预警时间,预警相关病例,信号核实卡,现场调查表;根据浦东新区CDC专业人员填写的信号核实卡内容,将全部预警信号分为“疑似信号”和“排除信号”,其中“疑似信号”经过进一步核实和现场调查,若明确指示了手足口病聚集性疫情,则判定为阳性信号,并填写现场调查表,见图 1

图 1 2014-2016年浦东新区手足口病聚集性事件报告与预警流程图 Figure 1 Flow chart of HFMD cluster reporting and early warning in Pudong, Shanghai, 2014-2016

(2) 基于街道/镇的预警信号:将北蔡、浦兴和万祥3个街道/镇报告的手足口病病例数分别作为时间序列进行预警运算,将每个信号发出时间和聚集性疫情报告时间进行比对,若信号发出后0~7 d(参考手足口病聚集性事件的定义和C3模型的基线长度)内该街道/镇有聚集性疫情报告,则判定该信号为阳性信号,其余为阴性信号。

1.3 分析指标与定义

本研究旨在探讨CIDARS发现手足口病聚集性事件的能力,选择灵敏度和错误预警率作为本次研究的预警效果评价指标。

1.3.1 灵敏度

CIDARS探测聚集性事件能力,即CIDARS成功预警的事件数占全部聚集性事件数的比例,灵敏度越高,预警效果越好。

1.3.2 错误预警率

初步核实排除的预警信号占总信号数的比例,错误预警率越低,预警效果越好。

1.4 统计分析方法

使用R3.2.2软件对CIDARS预警数据进行分析,采用χ2检验比较不同探测范围之间的预警效果差异,α=0.05。

2 结果 2.1 基于全区范围的预警结果

2014年1月1日至2016年12月31日,各类途径共发现手足口病聚集性疫情729起,其中通过CIDARS发出预警最终确认的聚集性疫情182起,预警灵敏度为24.97%(182/729),其余547起通过其他途径报告。729起手足口病聚集性疫情中,550起(75.45%)发生在幼托、小学等集体机构,179起(24.55%)发生在街道/自然村。在此期间,CIDARS在浦东新区全区范围内共发出手足口病时间模型预警信号393个,经过核实,211个信号为阴性信号,错误预警率53.69%(211/393);集体机构聚集性事件的错误预警率(76.73%,422/550) 略高于街道/自然村聚集性事件(69.83%,125/179),但二者差异无统计学意义(χ2=3.069, P=0.08)。在每年手足口病的流行季节(5-7月),错误预警率相对较低,见图 2

图 2 2014-2016年浦东新区CIDARS手足口病时间预警模型信号分布 Figure 2 Early warning signals of HFMD clusters by CIDARS in Pudong, Shanghai, 2014-2016

根据聚集性疫情涉及的病例数,将其规模分为大、中、小3类,其中小规模聚集性事件(涉及病例数5~9例)606起(83.13%),CIDARS预警123起,灵敏度为20.30%(123/606);中等规模聚集性事件(涉及病例数10~19例)117起(16.05%),CIDARS预警53起,灵敏度45.30%(53/117);大规模聚集性事件(涉及病例数≥20例)6起(0.82%),CIDARS全部成功探测到,灵敏度100.00%(6/6)。CIDARS对3种不同规模的手足口病聚集性事件预警灵敏度差异有统计学意义(χ2=50.91, P < 0.001),见图 3

图 3 2014-2016年浦东新区不同规模手足口病聚集性事件及CIDARS预警结果 Figure 3 HFMD clusters with different sizes and early warning results by CIDARS in Pudong, Shanghai, 2014-2016
2.2 基于街道/镇范围的预警结果

2014年1月1日至2016年12月31日,浦东新区北蔡镇、浦兴街道、万祥镇分别报告手足口病病例2 403、886和108例,发现聚集性事件数分别为27、23和2起。同期CIDARS在全区发出的预警信号中,经过初步核实(填写信号核实卡)分别有12、5和2个信号被判断可能为该街道/镇的疑似事件,最终判定与CIDARS信号相关的事件数分别为7、3和1起,灵敏度分别为25.93%(7/27),13.04%(3/23) 和50.00%(1/2),错误预警率分别为41.67%(5/12)、40.00%(2/5) 和50.00%(1/2)。

运用EARS-C3模型对北蔡镇、浦兴街道和万祥镇每日报告的手足口病病例数分别进行运算,其中北蔡镇共发出46个预警信号,预警聚集性事件24起,88.89%(24/27),错误预警率47.83%(22/46);浦兴街道共发出40个预警信号,预警聚集性事件18起,灵敏度78.26%(18/23),错误预警率55.00%(23/40),万祥镇共发出20个预警信号,预警聚集性事件2起,灵敏度100.00%(2/2),错误预警率90.00%(18/20),见表 1图 4

表 1 2014-2016年浦东新区3个街道/镇手足口病聚集性事件预警结果(EARS-C3,h=1.3) Table 1 Early warning result for HFMD clusters in three communities of Pudong, Shanghai, 2014-2016(EARS-C3, h=1.3)
街道/镇 病例数 聚集性事件数 模型探测范围 预警结果
信号总数 疑似信号数 阳性信号数 灵敏度(%) P 错误预警率(%) P
北蔡镇 2 403 27 全区数据 - 12 7 25.93 <0.001 41.67 0.703
全镇数据 46 46 24 88.89 47.83
浦兴街道 886 23 全区数据 - 5 3 13.04 <0.001 40.00 0.526
街道数据 40 40 18 78.26 55.00
万祥镇 108 2 全区数据 - 2 1 50.00 -a 50.00 0.260
全镇数据 20 20 2 100.00 90.00
注:a由于评价标准事件数过少,无法进行统计检验
图 4 2014-2016年基于浦东新区3个街道/镇发病数的手足口病预警结果示意图(EARS-C3,h=1.3) Figure 4 Early warning results of HFMD clusters based on case number in 3 communities in Pudong, 2014-2016 (EARS-C3, h=1.3)

与基于全区数据的预警结果相比,3个街道/镇的预警灵敏度均有显著提高,同时,错误预警率也有所上升,但差异无统计学意义(表 1)。

3 讨论

本研究结果显示,2014-2016年CIDARS在浦东新区手足口病时间预警模型的灵敏度仅为24.97%,远低于CIDARS在全国范围内的预警灵敏度[2]。这主要是由于全国范围内的评价研究均采用突发公共卫生事件作为评价标准[6],而浦东新区2014-2016年未报告手足口病暴发事件,本研究仅评价CIDARS对手足口病聚集性事件的探测效果。此外,本研究在分析基于街/镇预警信号时,由于并未开展真实的信号初步核实和现场调查,因此只能通过信号涉及病例的信息和真实的聚集性事件信息进行比对和判定,未考虑实际工作中可能存在的延迟报告、错误判定等情况。综上所述,本研究可能对CIDARS当前的预警效果有所低估。浦东新区每日手足口病发病数水平较高[7],而每起手足口病聚集性疫情涉及的病例数较少,在很高的背景噪声下,单起事件难以被模型探测到,这也可以解释模型对不同规模的聚集性事件探测能力的差别,CIDARS探测大规模事件的能力较好,与其他同类研究结果一致[2,4]

为了保证结果的可比性,在对街道/镇数据进行预警运算时,研究选用了与CIDARS一致的预警参数和阈值,由于此类模型的效果与不同地区的基线发病水平、疾病流行季节性等因素有关[3,8],后续研究可根据疾病流行特征,比较不同参数、阈值下的模型探测效果,筛选出适宜不同地区的预警方法[9]。本研究选择的万祥镇3年仅发生了2起聚集性手足口病事件,若采用基于街镇数据的C3模型,仍会存在错误预警率过高的问题,对这样的地区,可以考虑采用固定阈值法,提高预警效能。

未将及时性指标纳入模型效果评价是本次研究的一个不足。专业人员对预警信号的响应核实过程可能在时间上与其他途径报告的过程有所交叉,而且不同报告途径的手足口病聚集性疫情难以界定真实的“事件发生时间”及先后顺序。

近年来,全国以及各级CDC均对CIDARS的运行效果进行了分析[10-12],此类研究多对CIDARS发出的信号本身进行描述,如响应及时性、疑似信号比例等。本研究从基层用户的角度,采用未构成暴发的小规模聚集性事件数据,对CIDARS的预警效果进行了评价,提示在类似浦东新区这样的面积广、人口多、基线发病水平较高的区(县),CIDARS可将模型的探测范围进一步缩小,尝试以街道/镇为单位开展预警,并针对不同发病水平设置合适的阈值,以获得最佳的预警探测效果。

作者贡献:

叶楚楚  ORCID:0000-0003-4461-4111

朱渭萍  ORCID:0000-0001-7518-4009

叶楚楚、朱渭萍:负责研究设计,监测预警数据分析和文章撰写

王远萍、王静:负责预警信号响应、核实和初步判定

徐红梅、顾霍铮:负责聚集性事件资料分析和整理、现场调查

孙乔:监测预警方案审核,文章指导和质控

参考文献
[1]
Hutwagner L, Thompson W, Seeman GM, et al. The bioterrorism preparedness and response Early Aberration Reporting System (EARS)[J]. J Urban Health, 2003, 80(2 Suppl 1): i89-96.
[2]
Li ZJ, Lai SJ, Zhang HL, et al. Hand, foot and mouth disease in China: evaluating an automated system for the detection of outbreaks[J]. Bull World Health Organ, 2014, 92(9): 656-663. DOI:10.2471/BLT.13.130666
[3]
Zhang HL, Lai SJ, Wang LP, et al. Improving the performance of outbreak detection algorithms by classifying the levels of disease incidence[J]. PLoS One, 2013, 8(8): e71803. DOI:10.1371/journal.pone.0071803
[4]
Zhou DL, Yang WZ, Lan YJ, et al. Effect of magnitude and duration on the performance of Cumulative Sum[J]. Chinese Journal of Epidemiology, 2012, 33(6): 617-621. (in Chinese)
周鼎伦, 杨维中, 兰亚佳, 等. 暴发规模和持续时间对CUSUM预警模型效能的影响[J]. 中华流行病学杂志, 2012, 33(6): 617-621.
[5]
Ministry of Health of the People′s Republic of China, Guideline for the Prevention and Control of Hand, Foot and Mouth Disease (2009 edition) [R]. Beijing: Ministry of Health of the People′s Republic of China, 2009 (in Chinese)
中华人民共和国卫生部. 手足口病预防控制指南(2009版)[R]. 北京: 中华人民共和国卫生部, 2009.
[6]
Lyu W, Lai SJ, Tang Z, et al. Application of the China infectious diseases automated-alert and response system in Guangxi, 2009-2011[J]. Chinese Journal of Epidemiology, 2013, 34(6): 589-593. (in Chinese)
吕炜, 赖圣杰, 唐忠, 等. 广西壮族自治区2009 2011年传染病自动预警系统运行效果分析[J]. 中华流行病学杂志, 2013, 34(6): 589-593.
[7]
Chu Q, Xue CY, Fu YF, et al. Epidemiological analysis of hand-foot-mouth disease in Pudong New Area, Shanghai, 2009-2012[J]. Journal of Environmental & Occupational Medicine, 2014, 31(3): 186-191. (in Chinese)
储强, 薛曹怡, 傅益飞, 等. 上海市浦东新区2009 2012年手足口病疫情流行病学分析[J]. 环境与职业医学, 2014, 31(3): 186-191.
[8]
Li ZJ, Lai SJ, Buckeridge DL, et al. Adjusting outbreak detection algorithms for surveillance during epidemic and non-epidemic periods[J]. J Am Med Inform Assoc, 2012, 19(e1): e51-53. DOI:10.1136/amiajnl-2011-000126
[9]
Wang RP, Chun YL, Guo XQ, et al. A study of early detection for hand, foot and mouth disease in Songjiang district of Shanghai[J]. Chinese Journal of Health Statistics, 2011, 28(3): 264-265. (in Chinese)
王瑞平, 春雅丽, 郭晓芹, 等. 上海市松江区手足口病控制图法预警界值优选研究[J]. 中国卫生统计, 2011, 28(3): 264-265.
[10]
Zhang HL, Lai SJ, Zhang ZK, et al. Performance of China infectious disease automated-alert and response system in 2014[J]. Disease Surveillance, 2016, 31(11): 896-902. (in Chinese)
张洪龙, 赖圣杰, 张子科, 等. 2014年国家传染病自动预警系统运行结果分析[J]. 疾病监测, 2016, 31(11): 896-902. DOI:10.3784/j.issn.1003-9961.2016.11.004
[11]
Wang RP, Jiang YG, Guo XQ, et al. Epidemiological characteristics of infectious disease automatic early warning signal in Songjiang district, Shanghai, 2008-2014[J]. Modern Preventive Medicine, 2016, 43(3): 385-389. (in Chinese)
王瑞平, 姜永根, 郭晓芹, 等. 2008 2014年上海松江传染病预警信号的流行病学特征分析[J]. 现代预防医学, 2016, 43(3): 385-389.
[12]
Yang SH, Xiao D, Yao W, et al. Establishment and efficiency evaluation of an automatic early warning system for communicable disease incident in Dalian city[J]. Chinese Journal of Public Health, 2015, 31(11): 1505-1508. (in Chinese)
杨世宏, 肖丹, 姚伟, 等. 大连市传染病自动预警系统构建及效果评价[J]. 中国公共卫生, 2015, 31(11): 1505-1508. DOI:10.11847/zgggws2015-31-11-42