AIの計測を検証する「正解」は、人が同じ映像を目で数えた値（人力カウント）です。AIを疑う話はよくしますが、今回はその逆——正解のほうにも品質がある、という話です。
出所の分からない正解は、正解として使えない
私たちは一度、記録に残っていた人力カウントとAIの比較を、撤回したことがあります。数字そのものが間違っていたからではありません。その人力カウントを「いつ・誰が・どの映像のどの範囲を・どう数えたか」の記録が、どこにも残っていなかったからです。
比較というのは、両者が同じものを数えたときにだけ成立します。数えた範囲や時間帯が少しでも違えば、差分は「AIの誤差」ではなく「条件の差」です。出所の記録がない正解と突き合わせて「精度◯%」を語るのは、分母の分からない割合を語るのと同じことです。
画角が動いた映像では、突合自体が成立しない
もうひとつ、映像側の条件もあります。撮影中にズームや大きな構図変更があった映像では、人力カウントが全編を通して数えていても、AI側は座標の基準が途中で変わってしまうため、そもそも同じ土俵の比較になりません。
私たちはこうした映像との突合を「精度が悪い」ではなく「比較不成立」として区別し、検証地点の一覧から外しています。外した記録も、理由つきで残します。
「正解と突き合わせて検証済み」と言われたら、その正解の出所を聞く。正解の品質が、検証全体の品質の上限になる。
人力カウント自体の誤差も測る
さらに言えば、人力カウントも人の作業なので誤差があります。私たちは重要な地点について、同じ映像を独立に数え直す「二重カウント」で人力側の誤差幅を実測しました。結果、人力カウントも数件単位でぶれることが分かっています。
これが分かっていると、AIとの小さな差（数%）を「AIの誤差」と断定しなくなります。差の中には、正解側のぶれも入っているからです。
検収で人力カウントを使うときの作法
- 数えた記録を残す: いつ・誰が・どの映像の何分何秒から何秒まで・何を対象に・どのルール（線のどちら向きを+にするか等）で数えたか
- 映像の条件を確認する: 固定画角か。ズームや構図変更があった区間は突合から除外しているか
- 重要地点は二重カウントし、人力側の誤差幅も数字で持っておく
- 「比較不成立」を用意する: 条件が揃わない地点を、無理に精度の数字にしない
おわりに
検証の議論はAI側の性能に集中しがちですが、天秤は両側の皿でできています。正解の皿の記録が抜けていれば、どれだけ精密に比較しても、出てくる数字は根拠を持ちません。「正解にも作法がある」——検収の場でこの一言を知っているかどうかは、案外大きな差になります。