人力検索における客観的な評価？
「人力検索」における回答者の評価には、「はてな」から公表されている「平均受け取りポイント」や「受け取り率」、「いるか獲得数」があります。
客観的な数字ではあるのですが、１問あたりの受け取りポイント数やいるかの有無などにより大きな隔たりが発生する事があり、他の回答者との比較や不良回答者の発見にはあまり役に立たない事が、データを集計してわかりました。
例えば２００ポイントの質問で、１０人が回答して均等配分ならば１人あたり２０ポイントですが、１人が回答してポイントを総取りしてしまえば２００ポイントになってしまいます。
これを単純に合計して平均を取ってみてもある程度の目安にはなっても絶対的な評価にはなりません。
そこで考えたのですが、ポイントの多寡を比較するのではなく、回答件数と質問者が支払う総ポイント、それに回答者が受け取るポイントを集計してみれば何かわかるのではないかと考えました。
計算式は以下の通りです。
- 質問者が支払う総ポイントを総回答数（未オープンは除く）で割り、回答者1人あたりの平均獲得ポイントを算出する。
質問者が支払う総ポイント÷総回答数＝回答者1人あたりの平均獲得ポイント- 回答者が獲得したポイントを回答者1人あたりの平均獲得ポイントで割る。
（均等配分や回答数１でのポイント配分は数値が１になり、１より大きければ平均以上のポイントを獲得している事になる。）
回答者が獲得したポイント÷回答者1人あたりの平均獲得ポイント＝１回答あたりのポイント獲得係数- １回答あたりのポイント獲得係数を合算し、回答回数で割る。
回答あたりのポイント獲得係数÷回答回数＝平均獲得ポイント係数
計算した「平均獲得ポイント係数」は１が基本となります。 つまり、全ての質問に対してポイントが均等配分されたか、回答数１でポイントを総取りすれば、その回答者の「平均獲得ポイント係数」は１なるはずです。
これならば１問あたりのポイントの多寡で数値が大きく左右される事はありません。
その上回答未オープンやキャンセルの質問は除外すれば、数値の公平性を高める事ができます。
ただ、現状ではやはり細かなデータを取らなければならないので、私自身のデータを元に集計しました。
- キャンセルや未オープンを除く回答数：４０３
- 平均獲得ポイント係数：１．１９
相対的な数値を絶対的な数値に変換する事により、回答者の評価が公平になると思うのですがどうでしょうか？
ただ、この数値にも弱点があり、「はてなの○○さん」の様に回答者に１ポイントを付与しても許される質問が多いと平均が大きく狂う恐れがあるので完全ではないのですが、今の様な相対的な数値よりはわかりやすい数値になると思うのですが…
「はてな」はこのアイデアを取り上げてくれないかなぁ？
