数据时代的伦理困境（上）请见以下链接：http://blog.sciencenet.cn/blog-3075-1013066.html

----

第二，数据采集者和算法设计者主观的偏见，甚至表面上中立技术本身，都可能会产生和积累结果的偏见。

  Luck Dormehl在《算法时代》一书中讲了一个名为罗伯特.摩西的设计者，他在二十世纪20年代至70年代，为纽约设计并修建了多处道路、公园和桥梁。在罗伯特.摩西的设计下，进入公园前的桥梁特别矮，只有2.7米左右，这就使得那些买得起轿车的有钱富人才能进入公园，而乘坐公共汽车的穷人（其中有很多是黑人）则只能绕道而行。这在当时是一种有代表性的观念，现在来看，则是难以容忍的偏见——这种偏见并不是诉诸文字法律，而是嵌入在城市的设计中了。

  在数据的时代，数据的采集者和算法的设计人员很可能存在一些他们自己都意识不到的偏见，这些偏见会影响他们对数据采集的重点并隐蔽地藏在他们的代码中，最终产生有偏的结果。

  举个例子，我们在给某银行成都分行就企业贷款的贷后管理进行合作的时候，注意到某特定籍贯人员开设的企业存在大量贷款偿还延期甚至恶意支付的现象。在我们把数据分析的结果反馈给银行的同事后，他们针对主要自然人股东中有相应籍贯或者法人股东注册在该地区的企业，添加了新的需要提供的尽调内容（更多的数据），并且人为收紧了放贷。这个结果是我们分析人员不可控的，也是一个典型的头痛医头脚痛医脚的方法，我个人认为不会导致一个解决方案，而只是让数据和模型变得复杂和丑陋。很可能，这个地区之所以出现高风险，是该地区特定经济形势造成的（例如鄂尔多斯等地曾因为能源价格下降发生过系统性经济风险，温州商人的现金流曾因为非法集资遭受整体性的影响），而这个形势过去后，这个问题就会缓解甚至自动消失。但是等到那个时候，这一批技术人员很可能已经离职或者升职，下一批银行的同事估计都不能理解这些“与众不同的数据采集和风控模型”背后的逻辑，所以这个针对特定地区的风控偏见，可能会一直持续下去。

  公共安全的管理也会存在类似问题。有丰富经验的公安人员，对于什么样的人会涉毒、什么样的人可能是邪教分子、什么样的人有暴力犯罪的危险都有自己的一套判断方法，这和他个人曾经成功的经历以及自己的性格特点有关。因此，一个用来管理高风险人权并进行提前预警的系统，如果你们有专家模型，或者参考专家的意见来确认第一批数据采集的方向和内容，那么采访A专家和B专家得到的结果一般是不同的。

  让我们不安的是，这种因为系统设计人员来带的初始偏见，有可能随着数据的积累以及算法的运转慢慢强化放大。举个例子，如果现在我们有一套抓小偷的工具，而能够抓到的小偷只是真实小偷总数的一小部分。如果说中国的小偷主要都来自于两个地方：成都和北京，大约各占一半。设计这个系统的人以前抓过的小偷大部分来自成都，而最早这个系统做验证的时候，所有的数据有一定偏差，成都的小偷更多。于是，算法一开始就会把是否是成都人作为一个重要的参考特征，从而更多提醒警察关注成都人——这当然会让更多成都小偷落网。于是，这就进一步证明了把成都人作为重点监控对象是正确的，因此这个特征的权重会越来越大，算法中成都小偷的样本数占比也会越来越大，于是偏见就积累并且被放大了。有的读者会问：如果不是把“是否是成都人”作为特征，而是把户籍作为一个特征，并且引入自适应的机器学习机制，这个问题就会得到缓解。但是，真实情况比这个要复杂很多，设计人员在选择特征的时候，往往会自以为做出了显著正确的选择，但事实上是受限于初始数据和个人经验的局限性，而赋予了一个“有偏见系统”的第一推动力。

  即便完全去掉个人经验的影响，看起来中立的技术本身，也可能带来偏见。

  比如在美国，面部识别技术对于男性的识别率高于女性，对于非白种人的识别率高于白种人，这就意味着一个犯罪现场出现过的白人女性，被识别出来的概率要小于非洲裔的男性。尽管算法不是有意为之，但是只要不是100%完美，总会存在自身的偏差，这些偏差投射在社会中，就可能成为算法导致的偏见。这种偏差甚至在你出生之前就能遇到，因为随着 B型超声波技术的发展和普及，同样严重等级的出生缺陷，凡是能从B超中检查出来的，就很可能被人工流产，而不能被B超检查出来的，“活着生出来”的概率就大得多——尽管这不一定是一件幸事。随着生物医疗技术的进一步发展，我们可以在胎儿早期就判断他未来罹患重大代谢性疾病的可能性，甚至他期望的智力水平，那么，一个20岁以后可能会不健康的人（但能健康活到20岁并且之后也不会立刻死亡），一个智力水平可能中等偏下的人（但不是弱智），还有机会出生吗？如果这些技术有偏差，对某些类型的“先天不足”检查能力更强，那么这种偏见是不是客观上扼杀或着放行了一些生命。

  我从2007年开始，就一直做个性化推荐方面的算法研究。个性化推荐系统的算法本身是没有什么偏见可言的，无非是根据你以前的购买记录，来预测你最可能购买的东西，从而给你推荐。如果你是一个穷人，以前买过的东西都是相应品类中单价最低的，那么你在系统画像中有一个名为“价格敏感程度”的维度，分数会顶呱呱的高！于是乎，当你搜索一个关键词后，从前到后翻十页，你看到的都是为你这样的穷鬼量身定做的便宜货。如果说LV的店上面挂一个横幅，说“穷人与狗不得入内”，那肯定会被砸了——因为这是不得了的偏见甚至歧视，但是在互联网上，数据和算法带来的偏见却很隐蔽，而且，从综合的算法效果来说，还很正确！

  当我们积累了越来越多的数据，我们的喜好就会被刻画地越来越清晰，于是乎算法会给出越来越精确符合我们需要的服务。逐渐地，我们会被计算机封锁在一个狭窄的空间里面，因为我们所读之书都符合以前的兴趣，所试的衣服都符合以前的审美，所购买的商品都符合以前的经济水平，这很可能也是一种无形的偏见，而且人机互动互为增益——不仅是偏见，还是个性化的偏见。