环境传感器旁的监测曲线保留一段空白,表示该时段没有可用观测数据。

监测曲线少了一段:那十二分钟发生了什么?

监测数据缺值不等于零。通过完整率例子,了解如何记录缺失、呈现图表断点,并区分插补与实测数据。

曲线走到八时十分,忽然断了。十二分钟后,线条才重新出现,继续往右延展。图上的留白不长,却留下了一个问题:那段时间的浓度,究竟如何?不妨先看一个假设情境:某个空气监测点每分钟预定产生一笔数据,上午 8:10 到 8:21 的十二笔数据缺失,其余时间有有效记录。

空白表示没有可用观测,并不表示浓度为零,也不能证明当时没有污染。浓度可能平稳,也可能有变化;只靠这张图,我们无从知道。即使缺口前后的线条接近,也没有足够依据把中间看不见的十二分钟说成同样平稳。

假设 8:00 到 8:59 原定取得 60 笔,其余 48 笔依项目规则判定有效,这一小时的数据完整率就是 48 除以 60,等于 80%。这个比例说明有效数据占预期数据多少,不能代替仪器准确度的确认,也不能单靠它认定数据适合某项用途。80% 只是算例,不是通用合格门槛。

假设一小时 60 个分钟数据格中,08:10 至 08:21 的 12 格标为缺值,其余 48 格标为有效;完整率为 48 除以 60,即 80%。
图 1|假设测点每分钟应有一笔数据,一小时预期 60 笔,其中 08:10–08:21 缺少 12 笔,其余 48 笔有效,数据完整率为 80%。 点击图片可放大查看

缺口从哪里来,答案可能不只一种。设备停电、通信中断或维护,都可能使数据暂时缺失;数据也可能已经收到,却未通过质量检查。台湾环境部的一般测站历年资料以空白表示缺值,并对不同检查中判定为无效的数据加注记号。相同的留白,背后未必是相同的数据状态。

要追查这十二分钟,可以先把监测时间、设备记录、传输记录及质量标注排在同一条时间轴上。在这个假设情境里,追查可以从手上已有的记录展开;不同设备留下的线索不尽相同。每找到一项线索,就记下它能确认的事,以及仍未查明的部分;原因尚未确认时,保留“待查”。

先看供电与设备运行记录:那段时间是否断电、重新启动,或进入维护状态?若有相符的时间,可缩小查找范围,但不能只因附近出现一次重启,就断定十二笔都由此造成。设备恢复运行,也还需要确认后续是否已正常测量与记录。

再看通信与接收端。若设备端仍有记录,平台却没有收到,便应查传输失败或延迟回传的可能。核对时要分清测量时间与接收时间:下午收到的一笔数据,可能对应上午的观测。若把接收时间直接当测量时间,原来的缺口可能仍未被正确补上。

接着回到原始文件,确认相应时段是否真的有数据、时间标记是否一致,以及是否存在重复记录。同时保留原文件与导入记录,才有依据追查数据在哪一层少掉。画面没有显示,可能是传输、导入或呈现环节的问题;在核对以前,不宜一概写成仪器没有测到。

若原始数据已收到,则要接着查质量保证、校准与维护记录,确认哪些数据因何被判为无效。数值存在,不等于已可使用;某笔数据被排除,也不等于整段时间都应套用同一原因。日本环境省的监测手册提醒记录缺测原因,便是让设备维护与数据确认有迹可循。

“未收到”与“已收到但无效”因此值得分开保留。前者仍可能等到数据回传,后者则需要查明质量判定的依据。倘若所有状态都只存成一个空白,日后接手的人便难以辨认该查传输,还是查测量质量,也无法知道原先排除数据的理由。

示意图区分“未收到”与“已收到但未通过质量检查”。延迟回传或重新处理后,数据须经质量规则判定;确认有效才可纳入统计,统计更新应留下记录。
图 2|数据未收到与收到后未通过质量检查,是不同状态;后续是否可纳入统计,仍需依项目质量规则判定并记录更新。 点击图片可放大查看

十二分钟连续缺失,和十二笔零星散落在一小时内,虽然完整率一样,留下的观察条件却不同。前者有整段无法观察的区间;后者在不同时间点留下缺口。若工作关心某个特定时段的变化,缺口与该时段是否重叠,就比单一百分比更能说明限制。

报告因此需要交代数据区间、预定间隔、应有笔数、有效笔数及有效判定方式,让读者看得懂分母从何而来。若项目对停机或维护时段另有计算规则,也应说明适用方式,不能为了让比例好看才事后改动分母。再标出缺失位置,完整率才有可核对的背景。

图上则让曲线在缺值处断开,并注明缺失时段。如果分析需要插补估计,应保留原始缺值,将估计值与实测值清楚区分,说明方法及适用限制。连起来的线可以协助分析,但不会因此成为当时确实测到的证据,也不宜让读者误认十二分钟已有观测。

迟到的数据日后补回,先核对测量时间、来源及重复情形,再依项目质量规则判定是否有效。收到十二笔,并不表示有效笔数必然增加十二笔;只有确认符合规则的数据,才能依其用途纳入统计。原先被判无效的数据若要更改状态,也应留下理由与依据。

有效数据范围一旦改变,就要重算受影响时段的完整率,以及使用这批数据的统计与图表,确认相关报告是否需要更新。若只补了数据表,摘要仍沿用旧结果,读者看到的便是两个版本。在此之前,报告中的最高值只是现有有效数据的最高值,缺口内有没有更高浓度仍然未知。

更新时可记录数据版本、处理日期、变更时段、质量状态与重算项目,并保留前一版结果及修正原因。哪些字段需要留下,取决于数据流程与交付要求;重点是让后来的读者找得到修改依据。交付给别人时,也要指出哪个版本已纳入补回数据,让下一次引用有所依循。

环境部的监测网质量保证规范以有效数据占应收集数据的比例说明完整性;美国环保署的传感器指引则强调依监测目的规划质量。官方测站与一般传感器的用途、质量保证方式不同;涉及安全警报或法定监测,仍须依适用规范与专业判断处理。回到图上,那十二分钟能说到哪里,仍得让记录作答;能确认的写清楚,暂时查不明的,也让读者看得见。

参考资料

MTI 巨晶彙審