曲線は8時10分にふいに途切れた。12分後、線は再び現れ、右へと続いていく。わずかな空白だが、その間の濃度はいったいどうだったのだろう。仮の例を考えてみよう。ある大気モニタリング地点で毎分1件のデータが得られる予定だったが、午前8時10分から8時21分までの12件が欠け、そのほかの時刻には有効な記録が残っていたとする。
空白は、利用できる観測データがないことを示す。濃度がゼロだったことや、汚染がなかったことを示すものではない。濃度は安定していたかもしれないし、変動していたかもしれない。このグラフだけでは判断できない。空白の前後で線の高さが近くても、見えない12分間も安定していたとみなす根拠にはならない。
8時00分から8時59分までに60件を取得する予定で、残り48件がプロジェクトのルールに照らして有効と判定されたとすると、この1時間のデータ完全性は48÷60で80％となる。この割合で分かるのは、予定件数に占める有効データの比率である。測定器の精度の確認に代えることはできず、特定の用途に適したデータかどうかも、この数字だけでは判断できない。80％は計算例であり、一律の合格基準ではない。
欠測の原因は一つとは限らない。停電、通信の途絶、保守作業でデータが一時的に欠ける場合もあれば、受信したデータが品質チェックを通過しない場合もある。台湾環境部は一般測定局の過去データで欠測を空欄にし、各種チェックで無効と判定したデータには記号を付けている。同じ空白でも、データの状態まで同じとは限らない。
この12分間を調べるには、まず観測時刻、機器のログ、通信ログ、品質フラグを同じ時間軸に並べるとよい。この仮の例では手元の記録から調べ始められるが、どのような手がかりが残るかは機器によって異なる。手がかりが見つかるたびに、確認できたことと、まだ分からないことを記録する。原因が確定するまでは「調査中」としておく。
まず電源と機器の稼働ログを確認する。その時間帯に停電、再起動、保守モードへの移行はあったか。時刻が一致すれば調査範囲を絞れるが、近い時刻に再起動が1回あっただけで、12件すべての原因とは断定できない。機器が稼働を再開した後も、測定と記録が正常に行われているかを確かめる必要がある。
次に通信経路と受信側を確認する。機器側に記録があるのにプラットフォームで受信できていないなら、送信エラーやデータの到着遅延を調べる。ここでは測定時刻と受信時刻を区別する。午後に受け取ったデータが午前の観測に対応することもある。受信時刻をそのまま測定時刻に使うと、もとの欠測が正しく補われないおそれがある。
続いて元ファイルに戻り、該当時間帯のデータの有無、タイムスタンプの整合性、重複記録の有無を調べる。元ファイルとインポートのログを残しておけば、どの段階でデータが抜けたかを追跡できる。画面に表示されない原因は、伝送、インポート、表示のいずれにもあり得る。確認する前に、測定器が観測しなかったと一括りにするのは避けたい。
元データを受信しているなら、品質保証、校正、保守の記録から、どのデータが何を理由に無効と判定されたかを確かめる。数値があっても、そのまま使えるとは限らない。1件が除外されたからといって、時間帯全体に同じ理由を当てはめられるわけでもない。日本の環境省のマニュアルが欠測理由を記録するよう促すのも、機器の保守やデータの確認で経緯をたどれるようにするためである。
このため「未受信」と「受信済みだが無効」は区別して記録しておきたい。前者では遅れてデータが届くことがあり、後者では品質判定の根拠を確かめる必要がある。すべてを一つの空白として保存すると、引き継いだ人は通信と測定品質のどちらを調べるべきか分かりにくくなり、データが除外された理由も追えなくなる。
12分続けて欠測する場合と、1時間の中で12件が散発的に欠ける場合では、データ完全性が同じでも、観測できる範囲は異なる。前者はまとまった時間帯が見えず、後者は複数の時点に欠測が点在する。特定の時間帯の変化を見たいときは、欠測がその時間帯に重なるかどうかのほうが、割合だけを示すよりも制約が伝わる。
報告書には、対象期間、予定の観測間隔、予定件数、有効件数、有効とする判定方法を示し、分母をどのように求めたかが分かるようにする。停止や保守の時間帯についてプロジェクトで別の計算ルールがある場合は、その適用方法も示す。割合を良く見せるために後から分母を変えてはならない。欠測の位置も示せば、完全性の数値を記録に照らして確認できる。
グラフでは欠測箇所で線を切り、該当時間帯を明記する。分析のために補完で値を推定する場合は、元データの欠測を残し、推定値と実測値を明確に区別して、方法と適用上の制約を示す。線をつなぐことは分析の助けになるが、その場で測定した証拠にはならない。12分間も観測できていたと読み手に誤解させないようにしたい。
データが後から届いたら、測定時刻と出所、重複の有無を確認してから、プロジェクトの品質ルールで有効性を判定する。12件を受信したからといって、有効件数が必ず12件増えるわけではない。ルールを満たすと確認したデータだけを、用途に応じて集計に含める。無効としたデータの状態を変更する場合も、理由と根拠を残す。
有効データの範囲が変わったら、影響を受ける時間帯の完全性と、該当データを使った集計やグラフを計算し直し、関連する報告書の更新が必要かを確認する。データ表だけを補い、概要に古い結果を残せば、読み手は二つの版に接することになる。それまでは、報告書の最大値は手元にある有効データの最大値にとどまり、欠測時間帯にさらに高い濃度があったかは分からない。
更新時には、データの版、処理日、変更した時間帯、品質ステータス、再計算した項目を記録し、前の版の結果と修正理由を残せる。残す項目はデータ処理の流れや納品条件による。大切なのは、後から読む人が変更の根拠をたどれることだ。引き渡す際には、どの版が追加データを反映しているかも示し、次に引用する人が確認できるようにする。
台湾環境部のモニタリング網の品質保証規範では、収集すべき件数に占める有効データの割合で完全性を説明している。米国環境保護庁のセンサー指針は、観測目的に合わせた品質計画を重視する。公的な測定局と一般のセンサーでは用途や品質保証の方法が異なる。安全警報や法定のモニタリングに関わる場合は、適用される規定と専門的な判断に従う。あの12分間についてどこまで語れるかは、記録が教えてくれる。確かめられたことを明記し、まだ不明なことも見える形で残したい。
参考資料
MTI 巨晶彙審