相关性分析

相关性分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量因素的相关密切程度。相关性的元素之间需要存在一定的联系或者概率才可以进行相关性分析。相关性不等于因果性，也不是简单的个性化，相关性所涵盖的范围和领域几乎覆盖了我们所见到的方方面面，相关性在不同的学科里面的定义也有很大的差异。

数学上的相关性分析 当两个变量的标准差都不为零时，相关性系数才有定义。当一个或两个变量带有测量误差时，他们的相关性就会受到削弱。

世界上的任何事物之间存在的关系无非三种：

1、函数关系，如时间和距离，2、没有关系，如你老婆的头发颜色和目前的房价3、相关关系，两者之间有一定的关系，但不是函数关系。这种密切程度可以用一个数值来表示，|1|表示相关关系达到了函数关系，从1到-1之间表示两者之间关系的密切程度，例如0.8。

相关分析用excel可以实现

说判定有些严格，其实就是观察一下各个指标的相关程度。一般来说相关性越是高，做主成分分析就越是成功。主成分分析是通过降低空间维度来体现所有变量的特征使得样本点分散程度极大，说得直观一点就是寻找多个变量的一个加权平均来反映所有变量的一个整体性特征。

评价相关性的方法就是相关系数，由于是多变量的判定，则引出相关系数矩阵。

评价主成分分析的关键不在于相关系数的情况，而在于贡献率，也就是根据主成分分析的原理，计算相关系数矩阵的特征值和特征向量。

相关系数越是高，计算出来的特征值差距就越大，贡献率等于前n个大的特征值除以全部特征值之和，贡献率越是大说明主成分分析的效果越好。反之，变量之间相关性越差。

举个例子来说，在二维平面内，我们的目的就是把它映射（加权）到一条直线上并使得他们分散的最开（方差最大）达到降低维度的目的，如果所有样本点都在一条直线上（也就是相关系数等于1或者-1），这样的效果是最好的。再假设样本点呈现两条垂直的形状（相关系数等于零），你要找到一条直线来做映射就很难了。

SPSS软件的特点

一、集数据录入、资料编辑、数据管理、统计分析、报表制作、图形绘制为一体。从理论上说，只要计算机硬盘和内存足够大，SPSS可以处理任意大小的数据文件，无论文件中包含多少个变量，也不论数据中包含多少个案例。

二、统计功能囊括了《教育统计学》中所有的项目，包括常规的集中量数和差异量数、相关分析、回归分析、方差分析、卡方检验、t检验和非参数检验；也包括近期发展的多元统计技术，如多元回归分析、聚类分析、判别分析、主成分分析和因子分析等方法，并能在屏幕（或打印机）上显示（打印）如正态分布图、直方图、散点图等各种统计

大数据并不是说它大，而是指其全面。它收集全方位的信息来交叉验证，应用在各个

领域。比如银行，你可以去银行贷款，而银行可能会把钱借给你，为什么？？因为在大数据时代，它可以通过一系列信息，通过交叉复现得知你很多东西，比如你的住址，是什么样的校区？是高档的吗？面积多大？银行通过这些就能得知你的经济状况。那可不可以填家地址？当然不行，大数据交叉验证，它可以到你微博，qq上看啊，你只要一发信息，你的地址就出来了，因为你待的最多地方就是家和公司。再比如说，可以查你每个月的电费，这样就知道你家里电器的使用量，这基本就可以衡量出一个人的生活水平和收入水平。再比如说，它知道你的电话号码，你用的是什么类型的电话，每月消费多少，买电话是分期还是一次性交清等等，所有这些信息通过交叉验证，就能够呈现出来你的经济状况。甚至在洛杉矶，有一家银行开展的一个业务，叫高风险贷款。就是放贷款给信用记录为零的或信用记录不好的客户。这家公司就用了很多大数据的手段，它仔细到你无法想象。比如你在银行填这家的姓名，它就看你怎么填。你如果全是小写，这说明你有点粗枝大叶；如果你全是大写，说明你有点自大。标准的填法应该是首字母大写，后面小写，说明你很精细。对精细的人来说，信用度就会好一些，而它就会把这一点点计入对你的信用的判别的整体的数据库。而这家公司经过试验之后，它的坏账率比同行没有用大数据的要低60%。然而大数据时代最大的弱点就是对个人隐私的保护。你自己以为不重要的信息，会利用交叉验证，交叉复现的原理，把你想隐藏的信息曝露出来。还有一个就是保险公司，比如汽车险，它会想尽办法搜集你驾车的一系列的记录，如果未来你驾车的所有数据都被记录，你每一天开多少公里，你经常从哪到哪，是风险路段还是低风险路段，是白天还是晚上出去，是喜欢开快车还是慢车，然后通过你踩油门、踩刹车的行为习惯等等，来判断你的驾驶习惯。这些数据对保险公司有很大用场。这样他们就可以把产品做的更精细化。对不同的人提供不同的保险费用。如果一个保险公司拥有了大数据，以及相应的分析手段，那其他的保险公司就等着倒闭了。商业竞争就是靠这么一丝一毫的精细到毫厘的差距来打败对手。

\"大数据\"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 \"大数据\"首先是指数据体量(volumes)?

大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。

百度知道—大数据概念

大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。 互联网周刊—大数据概念

\"大数据\"的概念远不止大量的数据（TB）和处理大量数据的技术，或者所谓的\"4个V\"之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力 研究机构Gartner—大数据概念

\"大数据\"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，\"大数据\"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。 亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。 研发小组对大数据的定义：\"大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。\" Kelly说：\"大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限\"。 大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。

从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型

和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据技术

数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 数据存取：关系数据库、NOSQL、SQL等。 基础架构：云存储、分布式文件存储等。 数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机\"理解\"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。 统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。 数据挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等) 模型预测：预测模型、机器学习、建模仿真。 结果呈现：云计算、标签云、关系图等。 大数据特点

要理解大数据这一概念，首先要从\"大\"入手，\"大\"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。 第一，数据体量巨大。从TB级别，跃升到PB级别。 第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。 第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。 大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的\"大数据\"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。 当下我国大数据研发建设应在以下四个方面着力

一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。 二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。 三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。 四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。 大数据作用

大数据时代到来，认同这一判断的人越来越多。那么大数据意味着什么，他到底会改变什么？仅仅从技术角度回答，已不足以解惑。大数据只是宾语，离开了人这个主语，它再大也没有意义。我们需要把大数据放在人的背景中加以透视，理解它作为时代变革力量的所以然。 变革价值的力量

未来十年，决定中国是不是有大智慧的核心意义标准（那个\"思想者\"），就是国民幸福。一体现在民生上，通过大数据让有意义的事变得澄明，看我们在人与人关系上，做得是否比以前更有意义；二体现在生态上，通过大数据让有意义的事变得澄明，看我们在天与人关系上，做得是否比以前更有意义。总之，让我们从前10年的意义混沌时代，进入未来10年意义澄明时代。

变革经济的力量

生产者是有价值的，消费者是价值的意义所在。有意义的才有价值，消费者不认同的，就卖不出去，就实现不了价值；只有消费者认同的，才卖得出去，才实现得了价值。大数据帮助我们从消费者这个源头识别意义，从而帮助生产者实现价值。这就是启动内需的原理。

变革组织的力量

随着具有语义征的数据基础设施和数据资源发展起来，组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。最先反映这种结构特点的，是各种各样去中心化的WEB2.0应用，如RSS、维基、博客等。 大数据之所以成为时代变革力量，在于它通过追随意义而获得智慧。

大数据处理

周涛：大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。 大数据处理的流程 具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理

大数据应用与案例分析

大数据应用的关键，也是其必要条件，就在于\"IT\"与\"经营\"的融合，当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。以下是我整理的关于各行各业，不同的组织机构在大数据方面的应用的案例，在此申明，以下案例均来源于网络，本文仅作引用，并在此基础上作简单的梳理和分类。 大数据应用案例之：医疗行业

[1] Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

[2] 在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

[3] 它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

大数据应用案例之：能源行业

[1] 智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

[2] 维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

大数据应用案例之：通信行业

[1] XO Communications通过使用IBM SPSS预测分析软件，减少了将近一半的客户

流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。

[2] 电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。

[3] 中国移动通过大数据分析，对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。

[4] NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

大数据应用案例之：零售业

[1] \"我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。\"Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。

[2] 零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

这几天拜读了维克托·迈尔的《大数据时代》，感慨颇多，技术引领我们进入数据时代。数据存储、分析能力的提高大大改变，基于大数据的分析结果已经完完全全改变了我们的生活，如便捷的翻译、便捷的输入、新产品的推荐等。大数据已经成为学术界、业界关心的热切关心的问题，大数据时代的技术模式、管理模式都尚且未知。本文在梳理大数据的学术研究脉络的基础上，分析大数据和云计算的关系，大数据内涵及与信息技术发展的关系，并尝试对大数据在学术界和业界的发展进行预测。

实验室今年申请的自科基金，或多或少与大数据相关，虽然从技术角度刻意削弱了大数据的内涵，但是从评审意见看出大数据作为亮点被指出，说明学术界对大数据的重视。大数据虽然在互联网行业中如火如荼的被讨论着，基于笔者的既有知识，大数据原本是描述生物学领域下对于基因序列检测所获取的大量的、高速数据，《Nature》在08年发表专刊对大数据进行讨论，而Lynch则从高校科研数据管理中提出科学数据是大数据的一种，提出了数据价值的时间耗散现象。由此看书，大数据起于生物科学，而兴于互联网。无论是Google，还是亚马逊，都记录了大量广大网民日常行为，构成大量数据。对于大数据应用的文章，<哈佛商业评论>上的文章为大数据的商业变革进行了深入分析，认为大数据将互联网的个性化商业服务向个人化推送，企业将能更有效的刻画用户偏好，为客户管理管理、产品推荐都提供较好的数据支撑。然而，就目前为止，学术上对大数据的研究更多停留在定性分析角度，尚且缺乏实证和计算科学上的研究，大数据的关键属性尚未可知，笔者认为学术界满意开展对大数据的研究原因有二：首先，满足大数据的特性的数据集难以获取，既

有定量研究都是基于样本数据；然而，学术界实验的计算能力不够，面向大数据的算法以及应用更多出于企业摸索阶段。《大数据时代》给出的多个案例都证明了大数据的可用性，但是这些案例也都是利用大数据去解释企业行为及得到的效果，直接基于大数据概念下的应用尚未可见，其根本原因是满意界定何为大数据。笔者较为同意维克多在《大数据时代》的定义，大数据不在于数据之大，而在数据的总体，其本质在于利用数据总体而非数据样本去分析数据。大数据带来三个方面的改变：追求总体数据、追求相关关系而非因果关系、追求混杂行而非精确性。对于大数据特征的分析，笔者非常同意清华大学陈国青教授提出的4V，规模巨大(Volumn)，形式多样(vary)，高速产生(V??),以及潜在价值(Value).大数据提供了从个人化层次以及宏观层次两个层面的数据描述。

笔者认为大数据是对云计算的延伸，云计算是大数据简单地应用，前几天关于云计算的多见于云存储以及云音乐等简单应用，但云计算为大数据准备好了技术，实现数据统一，数据共享，而大数据是云计算的进一步延伸，更加关注数据分析技术和数据应用思维。笔者同意《大数据时代》中认为大数据是数据、技术和思维三国鼎立的时代，而大数据时代催生出新的商业模式，数据拥有者、数据中间商等成为新的商业宠儿，对商业模式的巨大冲击，利用大数据预测消费者行为都是大数据的商业内涵，企业有机会更为准确的服务消费者。虽然《大数据时代》提出相关关系在大数据的重要性，但将相关关系至于大数据内涵尚需要深入分析，笔者认为因果关系仍然处于数据分析的核心，大数据概莫如是，原因有二：相关关系的本质是因果关系链；二，人类的逻辑推理能力是基于因果关系的积累，而非相关关系的发现。当然，书中对于是什么的观点无可厚非，问题解决只需要知道是什么即可，对于为什么可以因为效率而暂放一边，但是因此放弃因果关系还是不妥当。

由《大数据时代》，大数据的发展的关键在两个方面：首先是数据的获取，如何合理、有效、快捷、有柔性的获取支持现在以及未来大数据分析的数据集仍然是问题，其中包括，数据获取的合法性以及数据设计问题，获取之后的存储相信在存储成本下降，非关

系型存储技术的发展将不是问题。然后是大数据的分析问题，有效的分析技术仍然是大数据应用的关键，虽然google利用检索词预测流感爆发是大数据的成功应用，但是通用的分析技术，降低分析硬件需求仍然值得讨论，SaaS可能是解决这一问题的可能渠道，但是如何实现数据分析仍然是个问题，现有MapReduce，Hadoop等系统本质上是治标不治本，大数据碎片化的过程中必然数据大量数据关联。笔者认为大数据分析技术的关键在于如何将现有分析技术应用在大数据集，使之能够处理大数据。而《大数据时代》中提出的简单算法在大数据集下显示出比复杂算法较优的效果的现象，笔者更多认为是复杂算法在现有硬件条件下无法有效进行计算，信息技术的发展必然要解决这个问题。

《自然》杂志在2008年9月推出了名为“大数据”的封面专栏，讲述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈加重要的角色，如今这个词语近却成了工商界和金融界的新宠。关于大数据的会议和论坛如雨后春笋层出不穷，但到底什么是大数据，依然众说纷纭。我们认为，大数据具有规模大、价值高、交叉复用、全息可见四大特征！特别地，最后两个特征体现了大数据不仅仅有“规模更大的数据”这种量上的进步，还具有不同于以前数据组织和应用形式的质的飞跃。

数十年来，信息产生、组织和流通方式性的变化，其中个人用户第一次成为信息产生和流通的主体。你上传到flickr的一张照片规模大约一兆，上传到的一个视频恐怕有数十兆，你还通过电子邮件把这些照片和视频发给了你的朋友，用QQ和MSN聊天，用手机打电话发短信，在电子商务网站的浏览和购物，用信用卡支付，发微博，打联网游戏……这一切都将转化为数据存储在世界的各个角落。不论是产生的信息量，可以获取的信息量，还是流通交换的信息量，都一直呈指数增长。仅仅十余年，很多企业爬过MB时代，走过GB时代，现在正被赶着跑过TB时代，去迎接PB时代。事实上，如中国移动、联通、电信这样的移动通讯运营商，如谷歌、百度、阿里巴巴、腾迅、新浪这样的大互联网公司，如国家电网、交通运输部这样的职能部门，每天数据的更新量已经接近或

达到了PB量级。数据规模巨大且持续保持高速增长是大数据的第一个特征。

数据规模爆炸性增长的同时，数据产生的附加价值似乎没有与之同步增长。有学者认为数据价值的密度会随着数据量增加而降低——这种悲观的论调得不到任何必然性因果关系的支持。我们认为，这种滞后情况的症结在于缺乏从海量数据中挖掘价值的高效方法和技术人员。试想一组数据的价值如果是其规模的自然对数，当你从1GB的数据中挣到9块钱，给你1PB的数据，你只能挣到15块钱。而如果该数据的价值和其规模成正比，那么1PB的数据可以给你带来900万元的价值。对于前者，我们实在惭愧称其为大数据，最多只算是“一大堆无用的数据”罢了。举个例子，精确到小数点后几亿位的π值，其规模巨大价值巨小，如果还非要往万亿位、亿亿位上进行计算和存储，恐怕是正好与大数据的理念背道而驰。对于真正的大数据，其价值的增长应该正比于规模的增长，甚至快于规模的增长。

刚才两个特征主要还是针对单一数据，下面的两个特征强调的是若干数据之间新的组织和应用形式。如果每一个数据都是一个孤岛，只能在其直接关联的领域发挥自身的价值，那么这不是一个值得我们兴奋和期待的新时代。我们要找到和实现数据之间一加一远大于二的价值，其间最关键的问题要发挥数据的外部性，譬如国家电网智能电表的数据可以用于估计房屋空置率，淘宝销售数据可以用来判断经济走势，移动通讯基站定位数据可以用于优化城市交通设计，微博上的关注关系和内容信息可以利用于购物推荐和广告推送……以用户为中心，结合用户在不同系统留下的数据，充分利用个性化的数据挖掘技术，是实现通过数据交叉而产生巨大价值的最可行的途径之一。综上，大数据要求数据能充分发挥其外部性并通过与某些相关数据交叉融合产生远大于简单加和的巨大价值！

如果谷歌把每天超过1个PB更新的数据按照他们内部约定的格式开放给一个三四个人组成的科研团队或者创业团队，这种仁善之举不会对这个团队有任何的帮助，因为他们

没有针对这种量级的数据进行检索、抓取、计算、分析的能力。也许他们仅仅只对数据内部的一个特定逻辑片段有兴趣，但是他们没有办法知道这个逻辑片段位于这个数据的哪个位置，以及通过什么办法获取。想象一个披着盔甲的二维生物，其他二维生物无法看到它的内部，但是我们作为三维人，却可以通过第三个维度看到它所有的一切细节——低维物品对于高维生物而言是全息可见的。所以说，大数据规模可以很大，但是用起来应该像操作一个“小数据”一样简单，这就要求数据组织地非常好，内部的各种内容及关联清晰可见且容易调用获取。一句话，一般研究人员和开发人员可以自如获取数据的逻辑片段并进行分析处理。

现在所流行的“大数据的4个V”，只是不痛不痒生搬硬套的无病呻吟，对于深入思考大数据时代的必然性和未来具有阻碍的作用，同时也庸俗化了大数据的意义！举个例子，处理速度快绝对不是大数据的特征，而仅仅是互联息服务的自身需求——10年以前没有人谈大数据，互联网用户也不会苦等1个小时。那个时候数据量较小，但是实时计算的难度不比现在小，因为存储计算能力差，亦没有成熟的云计算架构和充分的计算资源。现在很多数据，譬如用于交通规划、宏观经济分析、电力系统规划、气象预报的数据，以及高能物理、等离子物理、基因工程等等实验数据，都是最最典型的大数据，而相关的计算工作，短的数小时，长的可以达到数月数年，一样价值巨大。显然，1秒钟算出来不是大数据的特征，而“算得越快越好”从人类有计算这件事情以来就没有变化过，把它作为一个新时代的主要特征，完全是无稽之谈。