他人による回答拒否設定機能をデータから見る


3月8日に「他人による回答拒否設定機能」の不具合が修正されて、「他人による回答拒否人数設定」が正常に作動しました。


そこで、不具合が修正された前後1週間で回答動向がどう変わったか調べて見ました。

回答拒否設定機能正常化前後の回答比較と回答数別ユーザー人数分布

http://jinriki-me.g.hatena.ne.jp/

掲示板(人力検索 統計資料置き場)の5番にダウンロードアドレスを記載しています。


本来ならばもう少し長いスパンで統計を取るべきなのだが、前後1週間で回答傾向が変わっているので比較対象にはなっていると思います。


この数値で特に変化があったのは、

  • キャンセル率(5.01%→8.74%)
  • 1質問あたりの回答数(4.85→4.23)
  • 質問終了時の平均質問時間(+2:03:55)

の3点です。

やはり回答拒否設定によりポイントゲッターと呼ばれる回答者や一般の回答者でも回答拒否ユーザーに登録されている人は回答をしにくくなっています。


その結果、回答がつかなくなって質問をキャンセルする率が増加した事と、1問あたりの回答数の低下、終了までの時間が伸びたという結果が出ました。


あくまでも数字上の結果なので個々の質問に関してはわかりませんが、大まかに言えば回答がつき難い状態になっています。


この数字が正しい状態を示すか否かは、もう少し長い目で見なければなりません。



1週間の回答数の分布を見ても、違いは出てきています。 回答数1〜5問の回答者が増加した事と全体でも1割近い回答者が増えた事をみても、ヘビーユーザーでない方の増加が見られます。 その反動でヘビーユーザーは回答数が低下しています。


しかしながら個別のデータを見れば、上位の顔ぶれはさほど変化がない事から回答できる質問にはしっかり答えている様です。


この「他ユーザーの設定による回答拒否」機能が正常に機能してポイントゲッターの排除に効果がでるか、それとも単に目立つ回答者を排除しているだけなのかを見極めるにはまだまだ時間がかかりそうです。


ただ、新しいユーザーで短時間に複数の回答をする方が、もう数名出てきました。
多少回答方法を変えている様ですが、検索サイトのアドレスだけを書いている方法といいポイントゲッターがIDを変えて回答をしている様です。


結局は複数IDの禁止や回答の時間制限(1問答えたら、ある一定時間は回答ができない)
などの方策も考えていかなければ結局は、堂々めぐりで終わってしまうのかもしれません。