关于大数据最常见的几个问题（2）

三、大数据行业的从业者是从哪获得数据的？

大数据行业的从业者有多种途径获得数据，也就是我们常说的数据源，具体有一下几种：

1、官方数据（政府部门或企业直接提供的数据或数据接口）；

2、半官方数据：如各类行业协会，俱乐部；

3、生产企业平台数据：通常是企业内部在生产活动中，自己收集和使用的数据，一般不对外公开；

4、电子商务平台数据：如淘宝网、京东、唯品会；

5、从业者自己收集的数据：一般是用一些数据采集工具或软件，工具如：爬虫软件，百度蜘蛛等；

6、购买的数据：一般有一些专门数据采集的机构，像艾瑞、浪潮，以及传统的调研企业。

数据的获取方式有很多种，同样，数据的使用方式也有很多种，比如说行业销售趋势，有人用销售额数据，有人用销量数据。数据就像一个任人打扮的姑娘，使用的人会选取自己想要的数据来展示，所以考量数据的真实性，一个是数据来源，还有就是数据的选择是否合理。

四、大数据分析的常用方法有哪些？

1. Analytic Visualizations（可视化分析）

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。

2. Data Mining Algorithms（数据挖掘算法）

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

3. Predictive Analytic Capabilities（预测性分析能力）

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4. Semantic Engines（语义引擎）

由于非结构化数据的多样性带来了数据分析的新的挑战，需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5. Data Quality and Master Data Management（数据质量和数据管理）

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

图2

五、为什么需要大数据技术？

大数据到底是什么？我们为什么需要大数据技术？

从本质上来说，大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库，一般有一个能支持业务决策的业务重点。但是，它和传统数据库不同的是，大数据不用构建。

在典型的数据库中，数据会被组织成标准的字段，并使用特定的密钥索引。如果你熟悉Microsoft Access应用程序，那么你就能完全理解这个概念。比如，一个顾客记录可以由姓氏、名字、地址和其它信息组成有通用标签的字段。每个顾客记录样式都是相同的，这样可以通过使用搜索关键词来检索，比如搜索姓氏。

现在，如果你想链接到这些客户记录需要怎么做？链接到客户的图片或者视频呢？如果是链接到客户的所有记录呢？

将这么多不同的数据源互相映射，一般的数据库还做不到。另外，需要链接的数据量是非常巨大的。这就产生了“大数据”的概念。大数据使用特殊的数据结构来组织和访问巨大数量的数据，可能达到多个艾字节的范围。一般情况下，这需要跨多个服务器和离散数据存储进行并行计算，而小企业往往难以维持这种大数据的存储库。但是，大数据正逐渐成为云服务提供商能提供的一种服务，从而把大数据应用推向更多的公司。

但是，还有一个“大”问题，就是我们为什么需要大数据？答案就是相关性的价值。如果你能看到乍一看似乎没什么关系的数据设置之间的关系，你会获取很多重要信息。比如你想知道你的公司是不是容易被黑客利用。那么你需要跨多个应用程序和数据中心检查无数条交易。这时如果没有大数据技术和相关的分析技术，这几乎是不可能完成的。

最终，随着数据量的增长、业务的可用性和重要性的增加，大数据的定义可能会用来描述大多数数据库应用。IT专业人士应该掌握大数据相关概念和术语，以免遇到困难。