半月谈原文链接

http://www.banyuetan.org/chcontent/gjgn/jj/2013724/45265.html

大数据：商业革命与科学革命

什么叫大数据？ “大数据”是“数据化”趋势下的必然产物！数据化最核心的理念是：“一切都被记录，一切都被数字化”，它带来了两个重大的变化：一是数据量的爆炸性剧增，最近2年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和；二是数据来源的极大丰富，形成了多源异构的数据形态，其中非结构化数据（包括语音、视频、图像等）所占比例逐年增大。 牛津大学互联网研究所维克托·迈尔-舍恩伯格教授指出，“大数据”所代表的是当今社会所独有的一种新型的能力——以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见①。 这种“前所未有的”巨大价值和深刻洞见，并不仅仅来自于单一数据集量上的变化，而且是不同领域数据集之间深度的交叉关联，可称之为“跨域关联”。譬如微博上的内容和社交关系，Flickr上的图片共享，手机通讯关系，淘宝上的购物记录等数据通过同一个用户关联起来；又如移动手机定位的移动轨迹，车载GPS的移动数据，街旁上的签到数据，顺丰物流的递送数据，智慧城市中的文本描述等数据通过同一个地点关联起来。跨域关联是数据量增大后从量变到质变的飞跃，是大数据巨大价值的基础。 大数据会给整个社会带来从生活到思维上革命性的变化：企业和政府的管理人员在进行决策的时候，会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化；人们所接受的服务，将以数字化和个性化的方式呈现，借助3D打印技术和生物基因工程，零售业和医疗业亦将实现数字化和个性化的服务；以小规模实验、定性或半定量分析为主要手段的科学分支，如社会学、心理学、管理学等，将会向大规模定量化数据分析转型；将会出现数据运营商和数据市场，以数据和数据产品为对象，通过加工和交易数据获取商业价值；人类将在哲学层面上重新思考诸如“物质和信息谁更基础”“生命的本质是什么”“生命存在的最终形态是什么”等本体论问题…… 综上，大数据不是数据量的简单刻画，也不是特定算法、技术或商业模式上的发展，而是从数据量、数据形态和数据分析处理方式，到理念和形态上重大变革的总和——大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。 大数据的战略地位 大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据为材料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机的使用和电气的使用为代表的第一次工业革命和第二次工业革命相媲美。 与提升国家竞争力及国民幸福程度密切相关的重大战略都与大数据的分析和利用息息相关，包括与国家安全社会稳定相关的尖端武器制造与性能模拟实验，群体事件和谣言的预警和干预；与国家科技能力相关的等离子即高能粒子实验分析，纳米材料及生物基因工程；与国民经济繁荣相关的经济金融态势感知与失稳预测，精准营销与智能物流仓储；与环境问题相关的全球气候及生态系统的分析，局部天气及空气质量预测；与医疗卫生相关的个性化健康监护及医疗方案，大规模流行病趋势预测和防控策略；与人民幸福生活相关的个性化保险理财方案，智能交通系统等等。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力。 2012年3月29日，美国政府宣布了“大数据研究和发展倡议”，来推进从大量的、复杂的数据集合中获取知识和洞见的能力。该倡议涉及联邦政府的6个部门（国家科学基金委、国家卫生研究院、能源部、国防部、国防部高级研究计划局和地质勘探局）。这些部门将投资总共超过两亿美元，来大力推动和改善与大数据相关的收集、组织和分析工具及技术。 2012年5月，我国召开第424次香山科学会议，这是我国第一个以大数据为主题的重大科学工作会议。中国计算机学会、通信学会等于2012年分别成立了“大数据专家委员会”。2012年9月13日，北京航空航天大学联合英国爱丁堡大学、英国利兹大学、香港科技大学、美国宾夕法尼亚大学、美国亚利桑那州立大学、加拿大渥太华大学等共同组建大数据科学与工程国际研究中心。 2012年12月13日，在“中关村大数据日”活动会上，由宽带资本、百度、用友、中国联通、联想集团、北京大学、北京航空航天大学、阿里巴巴、腾讯等企业、高校共同发起成立了大数据产业联盟，并在中关村云基地揭牌成立大数据实验室，该实验室以大数据产业孵化基金形态成立，致力于推动学术界大数据创新科技成果产业化以及为相关产业引导注入大数据科技元素。 自然科学基金委于2013年3月5日～7日，在上海同济大学举办了第89届“双清”论坛，论坛的主题是“大数据技术与应用中的挑战性科学问题”，与会的有近十名院士。2013年6月30日，中国信息化百人会以“大数据：挑战与机遇”为主题，在上海召开第四次专题研讨会。 大数据商业革命 传统的商务智能已经应用了数据仓库和数据挖掘的技术，对企业自身的数据进行存储、清洗、索引和分析，并能够提供包括客户价值评价、客户满意度评价、服务质量评价、营销效果评价、市场需求评估等各种基于简单统计和关联挖掘的报表——这些统计结果对于企业自身评估和决策起到了重要的作用。 在商务智能时代积累起来的和数据打交道的经验既是大数据新商业模式技术和理念的基础，又有可能束缚大数据商业革命，因为有经验的商务智能人士会不自觉地把大数据分析庸俗化，认为只是传统商务智能针对更大规模数据集的一种平凡推广。 大数据商业模式也可以粗略地分为1.0版本，2.0版本和3.0版本。 大数据1.0追求从数据到分析，从分析到更多更好的数据，再到更深入分析这样的正向循环。它是指企业自身的产品和服务产生了大量的数据，通过对这些数据进行深入的挖掘分析，改进自身业务，改进后的业务吸引更多用户或客户，产生更大量的数据，形成正向的循环。 亚马逊是一个典型的例子，他们利用以“基于商品的协同过滤”为主要代表的一系列推荐算法②，帮助用户找到他们可能喜欢的商品。百分点科技从事类似的数据分析，但他们不是分析自己的销售数据，而是整合了五百多家电子商务网站和一百多家资讯网站的数据，从用户的浏览、收藏、点击行为中猜测用户意图，推荐用户感兴趣的商品和资讯③。 这些精准的个性化服务的背后，是非常复杂的算法和实时大数据处理能力④。个性化推荐算法大大提高了用户的黏度和企业的销售额，从而产生了更多有价值的数据，这些数据又帮助亚马逊和百分点把分析做得更深入，进一步提高自身或客户的访问和销售量，产生更多高质量的数据。 大数据2.0强调的是数据的外部性。它是指企业用自身业务产生的数据，去解决主营业务以外的其他问题，获得重大的价值；或者引入非企业自身业务的外部数据，来解决企业自己遇到的问题。谷歌（Google）曾利用网页搜索词的记录，来预测流感爆发后随时间变化的新增病例数以及实时电价⑤。 显然，预测流感趋势和实时电价这些需求并不包含在记录网页搜索词的初衷中。ZestFinance有一个口号，就是一切数据都是信用数据，实际上，他们大量采集用户在社会媒体上留下的数据，从这些数据中对用户的信用进行判断，特别地，预测用户拖延还贷的概率。 ZestFinance通过这种分析，能够在低于行业平均拖延还贷率的条件下，进行更快更低成本的贷款发放。显然，用户在社交媒体上产生的数据，并不是ZestFinance自身产生的，但是一样可以服务于ZestFinance的业务。同样，自身业务产生的数据可以用来服务于其他行业，产生重大价值。譬如淘宝的销售记录可以用来估计消费价格指数（CPI），手机移动轨迹数据可以用于交通预报和交通规划，等等。 大数据3.0是一个尚在探索中的商业形态。它首先要求政府和行业，对数据质量、价值、权益、隐私、安全等产生充分认识，出台量化与保障措施。在此基础上，数据运营商出现，提供集成数据和存储、计算的平台。在此基础上，形成了以加工粗数据和已有数据产品，产生新的数据产品为主要活动的数据客（Dacker）。 个人、团队和企业通过数据API接口或其他方式付费使用数据产品，数据客、运营商和被加工原料所有者共同分享数据产品的利益。数据市场也可能应运而生，数据和数据产品有可能像今天淘宝集市上的商品被售卖交换。于是，一种以数据/数据产品为输入，数据/数据产品为输出的新商业模式诞生，这种模式不同于2B（to business）和2C（to customer）的模式——譬如一款精确位置告知实时空气质量的API接口（应用程序接口），既可能被企业和政府使用，也可能被个人使用。为了区分，我们称这种模式为2D（to data）的商业模式⑥。新商业模式的直接后果，就是促进学术团体、企业和政府通过大量异质数据和数据产品产生科学、社会、经济等方面的新价值。 大数据科学革命 科学界实际上比产业界更早意识到了大数据的巨大影响，英国的《自然》杂志在2008年9月就推出了名为“大数据”的封面专栏，讲述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈加重要的角色。越来越多的数据本身，在以数据为准绳的研究理念指导以及愈发强大的计算能力支撑下，正在驱动一次科学研究方法论上的革命。 以前基于实验室小规模控制实验的半定量甚至以定性为主的学科分支将走向基于大规模非控制数据分析的定量科学，其中社会学、心理学和管理学首当其冲。通过数据分析，我们可以在数千万甚至上亿样本的规模下研究宗教问题、亚文化问题、信息传播轨迹、社会流动性问题等，而这在以前的社会科学中是绝对不可想象的。 首先，数据给我们提供了一个解释现象的新颖视角。我们可能都记得道金斯在其饱受争议的名著《自私的基因》中讲很多自然和社会现象都归结于一种将自己基因在生物界中最大可能传播的内在驱动力。这类演化生物学的假设很难再高等生命中获得直接的验证——难道你会承认一段段刻骨铭心的爱情背后仅仅是出于繁殖的目的吗？最近的一项研究另辟蹊径⑦，科学家分析了320万手机用户4.89亿条短信和19.5亿条通话记录，根据通信频繁程度，找出了每个人的第一好友、第二好友等。 统计显示，男性和女性从青春期直到四十多岁，第一好友往往都是一个同龄异性，女性觉醒更早，对异性的高关注度保持的时间比男性长——这个第一好友，不言而喻，就是所爱之人。而到了50岁左右的时间，男性的第一好友往往还是一个同龄的女性（他的太太），第二好友是一个或男或女的20岁左右的年轻人（他的子女），而女性的第一好友往往都是她的子女。这体现了女子很明显地将自己的社会资本从配偶转移到了子代。 有趣的是，男性尽管在30多岁的时候表现出对同龄异性特定高关注度的快速下降，但是在进入中老年后对配偶的依赖性远远高于女性。这样的研究当然不能严格证明任何演化生物学的假说，但是却给出了一种研究这类问题的有趣而新颖的视角。 类似地，2010年科学家通过对全英32482个行政区6500万人口通话关系的研究发现，电话联系人多样性越强的行政区，其经济社会发展水平也越高，从一个侧面证明了社会资本等价于经济资本⑧。我们最近和印第安纳大学合作，通过对8498份菜谱的分析，证明了地理文化因素比气候因素对于饮食结构的形成作用更大，挑战了“气候决定饮食结构”这一广泛为人们接受的常识。 其次，数据给我们提供了一个绕开理论直接走向应用的新途径。Google分析了5000万搜索词，从中找到所有和流感传播趋势有关的搜索词，又通过其中相关性最强的45个词，利用线性回归模型，预测流感的染病人数⑨。 Google的预测非常准确，并且能够比疾控中心早一周对实时染病情况进行预报。我们最近分析了包括亚马逊和Netflix在内的4个网站上数百万用户对各种商品的评分数据，发现用户的评分存在明显的锚定效应⑩，也就是说，用户在给出一个高分之后，下一次评分也偏高，在给出一个低分之后，下一次评分也偏低。 这和我们常识中看过一部烂片之后下一部片子无论如何都不错正好相反——我们甚至可以推论，如果你的前任是极品，你的现任恐怕要受前任连累，而不是从中获益，当然，这还需要大数据科学的验证。我们进一步的研究显示，如果去除掉这些心理的偏差，我们对于用户的评分预测和推荐会变得更加精确。可以看到，Google并没有给出从搜索词到疾病预测之间的某种严谨的理论，我们也没有对人们评分的心理行为给出任何理论解释，但是通过海量数据分析得到的这些研究结果已经可以应用于实际了。 大数据带来了很多新的重要的科学问题，其中最重要的是预测。预测问题主要可以分为两类，一是趋势预测，二是缺失信息预测。趋势预测是指通过事物的一些基本属性信息和早期的态势分析，预测事物发展的轨迹和最终影响力。 譬如通过分析社交网络中注册一个月的用户的行为以及这些用户与其他用户的互动，预测哪些用户将来会成为很有影响力的用户；通过用户-商品两部分图中产品的早期表现，例如一首新歌或一个新歌手上线一周的情况，来预测这首歌或者这个歌手有没有可能走红；通过一条信息早期数小时在微博网络上的传播情况，来预测这条信息最终的影响力等等。 缺失信息预测假设我们观察到的信息只是全部真实信息的一部分，在这个基础上探讨如何利用当前信息去预测未观察到得信息。譬如我们现在通过实验所知道的蛋白质之间的相关作用关系只是全部关系中很小的一部分，但是实验验证费用昂贵，通过预测，预先判断哪些蛋白质之间可能有相互作用并以此指导实验，能够大大节省实验成本。 又比如，新浪微博上的关注对象推荐是一种典型的缺失信息预测，因为做出推荐的基本假设是“某甲应该关注某乙，只不过现在还没有关注”。在可预期的未来，绝大部分深入的大数据应用，都可以转化为某种预测问题。

注释 ①维克托·迈尔-舍恩伯格，《大数据时代：生活、工作与思维的大变革》，浙江人民出版社，2012 ②G. Linden， B. Smith， J. York. Amazon.com recommendations: Item-to-item collaborative filtering， IEEE Internet Computing 7（1） （2003） 76-80. ③龚亮，刘译璟，郭志金，“场景引擎：下一代推荐系统的核心模块”，中国计算机学会通讯，2013年第3期。 ④苏萌，柏林森，周涛，《个性化：商业的未来》，机械工业出版社，2012。 ⑤了解这两款产品详情：http://www.google.org/flutrends/ 和 http://www.google.com/powermeter/about/. ⑥苏萌，周涛，“大数据商业革命”，哈佛商业评论——达沃斯专刊，2012。 ⑦V. Palchykov， K. Kaski， J. Kertész， A.-L. Barabasi， R. I. M. Dunbar， Sex differences in intimate relationships， Sci. Rep. 2 （2012） 370. ⑧N. Eagle， M. Macy， R. Claxton， Network Diversity and Economic Development， Science 328 （2010） 598. ⑨J. Ginsberg， M. H. Mohebbi， R. S. Patel， L. Brammer， M. S. Smolinski， L. Brilliant， Detecting influenza epidemics using search engine query data， Nature 457 （2009） 1012. ⑩Z. Yang， Z.-K. Zhang， T. Zhou， Anchoring Bias in Online Voting， EPL 100 （2012） 68002.