計測の検収でいちばん嬉しい瞬間は、AIのカウントと人力のカウントがぴったり一致したときです。私たちの実証でも、ある地点でその瞬間がありました。
その日、私たちは喜びました。そして翌日、その数字を疑うことにしました。結論から言うと、疑って正解でした。
一致は「正しさの証明」ではない
AIによる通行量計測の検証は、同じ映像を人が目で数えた値（人力カウント）と突き合わせるのが基本です。合計がどれだけ近いかが「精度」として語られます。
しかし合計の一致には、落とし穴があります。数えすぎ（実際には通過していないものを数える）と、見逃し（実際に通過したのに数えない）が同じ数だけ起きると、合計は完璧に一致するのです。
1件ずつ照合したら見えたもの
私たちは、合計が一致した地点について、AIが記録した通過イベントを1件ずつ動画と突き合わせる監査をしました。結果はこうでした。
- 数えすぎ: 立ち止まっている人のわずかな揺れなどが通過として数えられていたものが複数件
- 見逃し: 集団で歩く人の重なりに隠れて、実際の通過が検出されなかったものがほぼ同数
両者がほぼ同数で打ち消し合い、合計だけを見ると完璧に一致して見えていた——それが実態でした。もし合計の一致だけを見て「この地点は精度が高い」と結論していたら、条件が変わって相殺が崩れた瞬間に、根拠のない自信ごと数字が崩れていたはずです。
合計の一致は「数えすぎ」と「見逃し」の相殺かもしれない。一致した数字ほど、中身を確認する価値があります。
以後の標準: 合計ではなく内訳で検収する
この経験から、私たちは検証のやり方自体を変えました。
第一に、数えすぎと見逃しを分けて評価すること。合計の誤差ではなく「数えすぎが何件・見逃しが何件」を出せば、相殺は隠れられません。
第二に、1通過=1レコードの台帳を残すこと。AIが「何秒時点に・どの向きに・何を」数えたかを、あとから動画と突き合わせられる形で全件保存します。数字は台帳の集計にすぎず、疑わしければいつでも1件単位まで遡れます。
この監査は一度きりのイベントではなく、数字を外に出す前の標準の工程にしています。実際、その後も別の地点で同じ「偶然の相殺」を複数回見つけています。
発注者として、何を確認すればよいか
計測を委託する立場では、次を仕様や検収の要件に入れることをお勧めします。
- 「精度◯%」の算出方法を聞く。何と突き合わせたのか、合計の一致か、内訳（数えすぎ・見逃しの分離）まで確認したのか
- 検証済みの地点と未検証の地点を、報告書上で区別しているか。未検証の数字が検証済みと同じ顔で並んでいないか
- 1件単位で遡れる記録（イベント台帳）が納品物に含まれるか。含まれなければ、あとから数字を監査する手段がありません
おわりに — 疑える数字だけが、使える数字になる
「AIと人力が一致しました」は、営業資料でいちばん見栄えのする一文です。私たちはその一文を出す前に、一致の中身を1件ずつ見るようにしています。手間はかかりますが、施策の根拠になる数字は、誰かが疑ったときに耐えられる数字であるべきだと考えているからです。