工业大数据:智能制造的基础元素(1)
工业大数据:智能制造的基础元素(一)
(2019年8月14日)
一、人类正处于一个数据爆炸的时代
近年来,随着互联网、物联网、云计算等信息技术与通信技术的迅猛发展,数据量的暴涨成了许多行业共同面对的严峻挑战和宝贵机遇。“人类正从IT时代走向DT时代,”阿里巴巴集团创始人马云在各种场合都不予余力地推销自己的观点,信息社会已经进入了大数据(Big Data)时代。大数据的涌现改变着人们的生活与工作方式、企业的运作模式。马云认为,IT时代是以自我控制、自我管理为主,而DT(Data technology)时代,它是以服务大众、激发生产力为主的技术。这两者之间看起来似乎是一种技术的差异,但实际上是思想观念层面的差异。
大数据是指,涉及的数据量规模巨大到无法通过目前计算机软件工具,在合理时间内完全实现采集、管理、处理、分析。主要包括,互联网上每天诞生的大量数据,包括随社交网络的普及产生的大量数据,电子商务的交易行为产生的大量数据,还有移动互联网收集到的用户位置以及生活信息等数据以及智能手机、平板电脑以及遍布地球各个角落的各种各样的物联网传感器时时刻刻可所产生的数据。从数据属性来看,大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合。大数据的特征通常用4V来表现(图1)。
图1 大数据的4V特征
?Volume:数据体量巨大。大数据的规模目前仍是一个不断变化的指标,单一数据集的规模范围有可能从几十TB到数PB不等(存储1PB数据将需要两万台配备50GB硬盘的个人电脑)。而且,除个人、企业之外,各种意想不到的来源都能产生数据。据美国市场研究公司IDC预测称,到2020年,全球数据量将扩大50倍。
?Variety:数据类型繁多。除了社交网络、互联网搜索之外,部分传感器安装在道路、桥梁、汽车和飞机上,每个传感器都增加了数据的多样性。类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括图片、音频、视频、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
?Value:价值密度低。价值密度的高低与数据总量的大小成反比,也就是挖掘一条有价值的信息时,往往需要从规模越来越大的海量数据中去找。以电子商务中的消费者购物为例,以往可能从10万个商品浏览数据中,来分析判断消费者购买行为,而如今则可能需要从数千万甚至更多的商品浏览数据中,去挖掘有价值的信息。如何通过强大的深度复杂分析(机器学习、人工智能等),更迅速地完成数据的价值“挖掘”,对未来趋势与模式的可预测分析,成为目前大数据背景下亟待解决的难题。
?Velocity:处理速度快。这是大数据区分于传统数据挖掘最显著的特征。在海量的数据面前,处理数据的效率就是企业的生命。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。
(未完待续)
原创: 王喜文 智造智库
(作者系北京华夏工联网智能技术研究院院长)