物联网将如何改变大数据分析（2）

随着更复杂分析的需要，需要更多和更熟练的数据分析师。从物联网数据流中吸取有用的见解需要高超的技能，不仅要管理数据本身，还要确定最有效的焦点区域。大数据框架(如Hadoop和Spark)以及R数据编程语言的专长正在迅速成为管理物联网生成数据的关键，业务分析越来越依赖于复杂的技能集，其中包括机器学习，复杂算法，深度学习，复杂事件处理等。

从数量提取质量

调查显示，96%的企业遇到通过其接收的数据量进行过滤的问题，而这个问题只会因为大量新数据的涌入而加剧。大数据本身没有什么用途。其它真正的价值在于从这个数量中提取质量并产生有意义的见解。消除噪音的一个重要方法是使用过滤器来消除多余的数据。物联网数据通常是高度粒度的，大多数企业不需要这样的详细信息。使用算法驱动的过滤器将这些数据压缩成更实际的时间间隔中，显著地减少了要分析的数据量，而不会影响其质量，从而使其更有价值。此外，由于物联网传感器已经广泛存在，而且很快就会普及，将有用的数据源从那些不需要的地方进行排序将是最重要的。

新的安全范式

由于物联网由广泛的设备，通信协议和数据类型组成，为了保护其产生的数据，这要求企业必须准备迎接新挑战。许多数据安全专业人员在处理物联网数据方面根本没有太多经验，而且新的来源和技术却快速到来，随着安全威胁的增加，需要企业提高警觉性和灵活性。妥善保护物联网数据将需要所有新的安全措施和协议专门设计来满足这一新的现实。

物联网已经经历了快速增长，似乎有望成为业务分析未来的浪潮，但它仍然是一个新兴的技术。它产生的大量数据将只会增长，并变得更加复杂，现在投资于基础设施和需要处理的技术人员将在未来得到回报。负担得起的，可扩展的，持久的存储将是至关重要的，数据分析师也将具备适应大数据快速变化现实的技能和经验。未来即将到来，必须进行适当的规划和准备。

（续完）

（摘编自 微信公众号 迪富信息）