评《推荐系统评价指标综述》
周涛  |  2012-03-13  |  科学网  |  470次阅读

众里寻他上百度,暮然回首,那人却在,推荐引擎处!辛弃疾一撇的词句,既暗示了搜索引擎和推荐引擎的区别,又点出了理想的推荐引擎的效果。

推荐系统既要精确把握用户体验,又要给用户惊喜,发掘用户自己都很难描述的趣意。做好一个推荐系统,的确很难。郁筱和琳媛的文章,从准确度、多样性、新颖性、覆盖率等多个方向详尽介绍了评价推荐系统的各种指标,这些指标的应用范围亦不仅仅局限于推荐系统,还可包括数据挖掘和信息过滤的很多方面。Herlocker等人在ACM汇刊,Adomavicius等人在IEEE汇刊,琳媛等人在Physics Reports上都有过相关的综述,但是均远远不及本文系统完整。

曾有业界人士咨询我推荐系统的评价问题,我当时费了老半天口舌,现在简单了,让他们把表2A1的大纸打印出来,贴在公司的玻璃幕墙上,内容向里。以后研发的团队每天面朝指标,春暖花开。

两位作者文章还有一个看点,就是文末提出的五个问题,这些问题已经不再局限于评价指标,而是剑指推荐系统研究最基本的具有共性的问题。

回到评价上,我个人认为有三个层次,一是基于数据的指标,本文讲得很完整了;二是商业应用上的关键表现指标,譬如受推荐影响的转化率,购买率,客单价,购买品类等等,这些业界人士感兴趣;三是用户真实的体验。第三层面最难,没人能知道,只能通过第二层面来估计;如何建立第一层面和第二层面指标之间的关系,就成为了关键,这一步打通了,理论和应用之间的屏障就通了一大半了。

 

【近期将给出全文下载链接】




文章原载于作者的科学网文章,所述内容属作者个人观点,不代表本平台立场。
本文经过系统重新排版,阅读原内容可点击 阅读原文