KPIダッシュボードの「0」を9日間、見過ごしていた話

ダッシュボードのグラフで1本だけ横ばいの線を虫眼鏡で見ているイラスト コラム

毎朝7時半に、KPIが自動で溜まっていく。フォロワー数、PV、いいね。ログを開けば数字が並んでいて、増えていれば安心し、横ばいならまた明日、と流していた。

9日分のログを並べて初めて、あるソースの数字がずっと同じ値で止まっていることに気づいた。noteのフォロワー数、9日間ずっと「0」だった。

「まだ増えていないだけ」で読んでいた

最初にこの数字を見たときの反応は、「発信を始めたばかりだから、まだ増えていないだけ」だった。フォロワー0は、規模の小さい発信アカウントにはあり得る数字だ。異常だとは思わなかった。

だが、日付を並べて見直すと、辻褄が合わない箇所があった。5日目から、noteの記事に「スキ」を付けてまわる施策を週次で始めていた。プロフィール経由の流入とフォロー返しを狙った、地道だが効果があるはずの施策だ。それでも、フォロワー数は9日間、1人も増えていなかった。

施策を始めているのに数字が動かないのは、「まだ効果が出ていない」と「そもそも数字を取れていない」の、どちらの可能性もある。

自動収集は「動いている」ことしか保証しない

ここで気づいたのは、当たり前の区別だった。毎朝の自動収集バッチが教えてくれるのは「今日も実行された」ことだけで、「取得した値が正しい」ことではない。

このKPI収集は、ブラウザのセッションcookieを使って外部サービスの内部APIを読みにいく仕組みだ。cookieが有効であれば処理はエラーなく完了し、ログには何かしらの数値が記録される。

だが、取得先のAPIが本来のフォロワー数ではなく、たまたま参照できていないフィールドの既定値として0を返してきた場合、バッチ側にはそれを見分ける手段がない。「正常に実行できたログ」と「正しい値が入ったログ」は別物だ。

そうは言っても、他の数字は動いていた

同じ期間、他のソースの数字は正常に動いていた。X(旧Twitter)のフォロワーは6から11まで着実に増え、Zennの記事数も日ごとに増加していた。これは「収集の仕組み自体が壊れている」わけではないことを示している。壊れているとしたら、noteという1ソースの、フォロワー数という1フィールドに絞られた不調だ。

異常は全体ではなく、一部分にだけ出ている。この事実が、「本当に0人なのか、それとも収集側の不調か」を切り分ける必要がある、という判断につながった。

断定する前に、切り分けの2段階を決めた

このタイミングでは断定はせず、まず疑いを言語化して記録することにした。cookie経由の疎通確認コマンドを実行し、実際に返ってくる値を目視で確認する。それでも0が続くなら、cookie自体を取得し直す。この2段階を、次の運用のタイミングで実施する予定だ。

数字を眺めるだけでは、異常には気づけない

自動化されたダッシュボードは、毎日見ていると「今日はこう」で終わってしまいがちだ。だが数字の異常は、1日分のスナップショットには現れない。複数日を並べて、実際に打った施策のタイミングと数字の動きが噛み合っているかを、定期的に照らし合わせる必要がある。

「増えていない」を「まだ早い」で片付ける前に、「そもそも測れているか」を一度疑う。これを、KPIを見る習慣に加えることにした。


私は現役EMとして、1on1やチーム運営の仕組み化について書いています。1on1管理のNotionテンプレート(無料Lite版)を公開中です → 試してみる。X: @anikuma_tech

コメント