4. 导向性

    算法根据其优化目标函数所产生的结果对受众，尤其是一般C端用户产生的引导效果，可能与用户真实的需求大相径庭，也可能虽然能够满足用户短期的需求，但是带来中长期的负面效果。我们把这类问题归纳为导向性问题，其短期、中期和长期的具体表现有所不同。

    短期表现为算法给出的结果与用户真实需求不符合，用户立刻就有负面的感知。可以说，算法诱骗用户在其需求没有获得有效或充分满足的情况下，帮助算法完成了它拟实现的优化目标。举个例子，在给用户进行个性化新闻推荐或者自动生成新闻的时候[19]，如果算法的目标是最大化推荐的新闻或者自动生成新闻的点击次数，那么计算机自己就会变成一个“标题党”，选择甚至自己生成一些耸人听闻的标题，又或者与当前新闻热点紧密联系的标题，但新闻的实际内容却和标题毫无关系或只有及其浅薄的联系。用户点击进入新闻页面，发现与其需求和期望严重不符合，立刻就会有上当的感觉。但是用户的点击行为实际上帮助完成了算法的既定目标，而且还让计算机认为“推荐这类新闻或者生成这些标题是正确的”，因此算法可能会变本加厉，越来越标题党。对于这类问题，如果算法的设计和使用人员本身不存恶意，其实是较好解决的。因为我们可以通过设计更好的目标函数来提升用户体验——毕竟任何一个目标函数都不可能完全覆盖用户的意图，所以优化目标函数以提升用户体验是一个长期的过程。举个例子，一篇新闻打开后用户停留阅读的时间，或者一个微信打开后被转发和点赞的比率，都可以纳入到目标函数中来。但如果算法的设计和使用人员本身存有恶意，或者完全被短期商业利益绑架，这就可能变成一个难以舒缓的矛盾。譬如百度的魏则西们，搜索病情相关知识的时候，被漫天遍野真假难辨的广告诱骗采用一些不适病情的治疗方案，最终人财两空；又或者如作家木木吐槽在百度搜索上海美国领事馆官网的地址，出来一推广告却几页翻不出真身。如何有效打击这类“恶人利用算法作恶”的问题，就不是简单调整目标函数可以完成的任务了。

    中期表现为算法能够满足用户即时需求，但其累积效果与用户的发展利益不一致。简而言之，就是短期虽然满足了用户，但这种“满足”对用户而言或许并非好事。一些大型的游戏开发公司，可以对海量用户的行为数据进行深入挖掘分析，了解用户容易退出游戏的时间点和前兆行为，分析哪些场景、关卡和境遇最易让用户退出游戏，从而通过赠与装备，下发新任务等方式尽最大可能让用户获得更好的游戏体验，延长游戏时间。一些视频网站，尤其是短视频的网站，正在尝试通过个性化推荐，为用户创造一种沉浸式的美好体验，让用户连续不断地点开视频，停不下来。这些算法很好地满足了用户的需求，用户也不会有负面体验，但是时间长了，对于用户自身的健康成长和学业工作或许会起到负面的作用[20]。某些企业创造经济价值的同时也带来环境的破坏，后者被称为外部成本。类似地，这些累积产生的负面效果也可以看作是“算法的外部性”。由于用户和商家都在这类算法中直接获益，所以这种外部性问题的解决，还需要外部的力量来干预。举例而言，2018年8月30日，教育部官网发布八部门关于印发《综合防控儿童青少年近视实施方案》的通知，其中国家新闻出版署明确将对网络游戏实施总量调控，采取措施限制未成年人使用时间。之后腾迅立刻提出将推进最严格的实名游戏制度，避免未成年人过度沉迷于王者荣耀等游戏。需要特别强调的是，对用户行为数据的分析挖掘这一技术本身是没有善恶的，类似的技术可用于判断在线课程中哪些地方是学习者普遍认为的难点，从而帮助他们更高质量完成课程学习[21]。

    长期表现为算法累积的效果与人类社会整体发展的目标和价值不一致。譬如我们很早就知道，一个人的家庭出身和这个人未来学业和事业所能取得的成绩在统计上是高度相关的[22][23]，因此如果我们能够掌握充分的数据，聪明的算法会在成长的早期和学业工作关键抉择点上倾向于把最优质的资源推荐给家庭背景比较好的人。就一些可以客观量化的指标，如经济发展指标而言，这个算法也许表现优异，但它可能会大幅度加剧阶级的固化，使得原本贫穷、缺少教育或因种族肤色等原因受到歧视的家庭，改变命运的机会变得更加渺茫。如果我们只看数字利益，阶级的流动并不一定带来比阶级的固化更好的经济表现。但是人类整体发展的目标和价值，不是一群人奴役压迫另一群人而获得更高的效率，所以经济上的成功，数目字上的成功，并不一定代表整个人类社会的成功。又比如大规模电子商务网站（如阿里巴巴、京东等）和大规模内容网站（如腾迅视频、爱奇异等）的出现，使得所有流量和关注向少数几个平台汇聚。平台在运营流量的时候，会采用以个性化推荐[15][24]为代表的一系列算法来吸引用户更多点击、浏览、收藏和购买。尽管这些算法都考虑了用户个性化的特征，所给出的推荐结果也不尽相同，但事实上受算法驱动的用户整体的行为所表现出来的多样性会降低，因为推荐小众对象的风险毕竟要大得多[25]。长久而言，小众的喜好和小众的商品都会失去萎缩，人类社会的多样性以及非主流的个性和创造力，都有可能在信息高度丰富的时代反而降低，这对人类社会长远的发展也可能是不利的。

参考文献：

[1] Y. LeCun, Y. Bengio, G. Hinton, Deep Learning, Nature 521 (2015) 436.

[2] D. Silver, et al., Mastering the game of Go with deep neural networks and tree search, Nature 529 (2016) 484

[3]  维克托·迈尔-舍恩伯格，肯尼思·库克耶（著），盛杨燕，周涛（译），《大数据时代：工作、生活与思维的大变革》，浙江人民出版社，2013年。

[4] 吴军，《智能时代：大数据与智能革命重新定义未来》，中信出版集团，2016年。

[5] 周涛，《为数据而生：大数据创新实践》，北京联合出版公司，2016年。

[6] 埃克里·托普（著），张南，等（译），《颠覆医疗：大数据时代的个人健康革命》，电子工业出版社，2014年。

[7] Y. Lu, et al., Traffic flow prediction with big data: A deep learning approach. IEEE Transactions on Intelligent Transportation Systems 16 (2015) 865.

[8] Y. Cao, et al., Orderliness predicts academic performance: Behavioral analysis on campus lifestyle, Journal of the Royal Society Interface 2018.

[9] Executive Office of the President (Obama), National Science and Technology Council Committee on Technology, Preparing for the future of artificial intelligence, 2016.

[10] European Economic and Social Committee, The ethics of Big Data: Balancing economic benefits and ethical questions of Big Data in the EU policy context, 2017.

[11] House of Lords in UK, AI in the UK: ready, willing and able, 2018.

[12] X. Yang, et al., Height conditions salary expectations: Evidence from large-scale data in China, Physica A 501 (2018) 86.

[13] A. Datta, et al., Discrimination in Online Advertising: A Multidisciplinary Inquiry, Proceedings of Machine Learning Research 81 (2018) 1.

[14] A. Caliskan, J. J. Bryson, A. Narayanan, Semantics derived automatically from language corpora contain human-like biases, Science 356 (2017) 183.

[15] L. Lu, et al., Recommender Systems, Physics Reports 519 (2012) 1.

[16] 乔治·奥威尔（著），傅惟慈 ，董乐山（译），《一九八四》，万卷出版公司，2010年。 

[17] 卢克·多梅尓（著），胡小锐 ， 钟毅（译），《算法时代：新经济的新引擎》，中信出版集团，2016年。

[18] 维克托·迈尔-舍恩伯格（著），袁杰（译），《删除：大数据取舍之道》，浙江人民出版社，2013年。

[19] J. Liu, P. Dolan, E. R. Pedersen, Personalized news recommendation based on click behavior, In: Proceedings of the 15th International Conference on Intelligent User Interfaces (ACM Press, 2010) pp. 31-40.

[20] N. Akhter, Relationship between internet addiction and academic performance among university undergraduates, Educational Research Review 8 (2013) 1793.

[21] L. Rai, D. Chunrao, Influencing factors of success and failure in MOOC and general analysis of learner behavior, International Journal of Information and Education Technology 6 (2016) 262.

[22] K. R. White, The relation between socioeconomic status and academic achievement, Psychological Bulletin 91 (1982) 461.

[23] N. A. Gonzales, et al., Family, peer, and neighborhood influences on academic achievement among African-American adolescents: One-year prospective effects, American Journal of Community Psychology 24 (1996) 365.

[24] T. Y. Liu, Learning to rank for information retrieval, Foundations and Trends® in Information Retrieval 3 (2009) 225.

[25] T. Zhou, et al., Solving the apparent diversity-accuracy dilemma of recommender systems, PNAS 107 (2010) 4511.