研究人员发现推荐系统存在偏见的证据

来源：发布时间：2022-01-27 22:59:03 搜集整理：中国产业网

在一项新的预印本研究中，埃因霍温科技大学，德保罗大学和科罗拉多大学博尔德分校的研究人员发现了推荐系统(如在流媒体网站上播放电影的系统)中存在偏见的证据。他们说，随着用户根据建议采取行动并将他们的行动添加到系统中(一个称为反馈循环的过程)，偏见会被放大，从而导致其他问题，例如集合多样性的下降，口味代表的转变以及产品的均质化用户体验。

协作过滤是一种利用有关用户和项目之间交互的历史数据(例如电视节目用户收视率)来生成个性化推荐的技术。但是CF提供的建议通常会遭受某些用户或项目组的偏见，通常是由于输入数据中的偏见和算法偏见所致。

研究人员断言，当用户与建议互动时，偏见会随着时间而加剧。为了检验该理论，他们通过反复生成推荐列表并通过基于接受概率从那些列表中添加项目来更新用户资料来模拟推荐过程。偏见的建模功能考虑了推荐的受欢迎程度与用户在不同项目上提供的评级相比所增加的百分比。

在实验中，研究人员在MovieLens数据集上分析了推荐系统的性能，MovieLens数据集是GroupLens研究小组收集的超过100万部电影分级的语料库。即使采用了向所有人推荐最受欢迎的电影的算法(考虑到已经看过的电影)，随着时间的流逝，偏见的放大也使其偏离了用户的偏好。这些建议往往比用户感兴趣的内容更加多样化，或者过于集中于某些项目。更有问题的是，这些建议显示出“强”同质化的证据。随着时间的流逝，由于MovieLens数据集包含的男性评分高于女性用户，因此该算法导致女性用户资料逐渐接近男性占主导地位的人群，从而导致推荐内容偏离女性用户的偏好。

就像另一项关于偏向推荐系统的研究的合著者一样，研究人员提出了可能解决该问题的方法。他们建议使用基于平均个人资料大小和额定项目的受欢迎程度以及控制受欢迎程度偏差的不同算法的用户分组策略。他们还主张不要限制用户个人资料中已有项目的分级，而应在每次迭代中进行更新。

研究人员写道：“反馈环路对属于少数群体的用户的影响通常更大。”“这些结果强调了算法解决方案对于解决流行性偏见和建议中日益增加的多样性的重要性，因为如果处理不当，即使随着时间的推移，推荐系统的当前状态即使很小的偏差也可能会大大放大。”

扩展阅读