关于评价机制的一点看法
James Swineson
已而!已而!
任何非通过性[1]的评价机制,如果:
- 它对于中位水平(绝大多数被评价对象处于的水平)的取值是满分或者非常接近满分;
- 这种评价机制的结果将被用于在关键选择时作为排序参数;
那么它一定是一种非常糟糕的评价机制。这样的评价机制具有以下属性:
- 没有区分度:没有办法识别单个被评价客体处于中位水平还是远高于中位水平
- 不允许任何失误:这导致被评价对象承受过大的竞争压力
- 主观的不确定因素对评价结果影响巨大:这导致被评价对象往往会选择通过(广义的)侧信道攻击[2]或者利用信息不对称[3]让评价者的评判结果保持在一个较高的水平上,而这可能是违反规则或者道德准则的
- 难以区分虚假或仿造的评判结果[4]
这几点对评价机制本身和通过该评价机制排序作出的选择都会造成毁灭性打击。尤其是在样本不够大并且大部分评价者没有作出评价的专业能力或者使用的评价标准不统一时,该评价机制会完全失去意义,话语权将被善于利用规则的被评价者牢牢掌握在手中。
==========
注
[1]:通过性评价机制即只有合格和不合格两档评价并且不限制通过的数量或比例的评价机制
[2]:用其他因素影响评价,例如淘宝的好评返现
[3]:例如淘宝的删除评论,以及利用一些规则(比如好评无法修改或者双方互评以后才能显示)来影响用户评价
[4]:例如淘宝刷单;一个能够区分这类结果的例子参见 如何科学理解豆瓣电影评分
文章被以下专栏收录
-
胡说八道
请不要相信我在这里说的任何一句话。包括这句话和上面一句。 有任何问题请发邮件到:jamesswineson+from-mynonsense@gmail.com