工业大数据架构分析（10）

工业大数据架构分析（十）

（2019年2月13日）

2 典型工业场景应用实例

本章节将结合某大型工业企业生产场景中新产品导入(New Product Introduce，NPI)环节的案例，具体解释说明其中所使用的技术架构。新产品制造在NPI阶段需在有限的时间内在每个步骤都达到客户的规格要求，因此，在每一个阶段工程单位与测试单位都需要完整的生产信息与关键物料信息的整合，协助FA(Failure Analysis)工程师与RD工程师合作，进行问题分析与解决方案设计。

由于每一个阶段都是分秒必争，并且还要能快速反应问题，求新求变，对于必须在限定时间内分析所有的问题且找出原因(当天的问题当天解决)将是一个高度困难的挑战与目标。为了能加快FA工程师分析的速度以及有更多的时间做进阶数据分析，快速收集所有生产信息，甚至往前追溯上游供应链关键信息都是非常必要的，但却又相当耗费时间。

依据过去的经验，工程师通常会花费80%的时间做数据收集与整合，却只用20%的时间做数据分析与问题诊断；因此需要合理的规划大数据系统的架构建设，形成一套完善的解决方案来扭转这个局面，让工程师只需要投入20%的时间做数据收集，能够留下80%的时间做深入的数据分析与解析。

NPI阶段数据分析需要解决两个业务痛点。1)数据复杂且收集整合耗时：分析数据一般会横跨多个孤岛系统、且涉及不同部门，工程师需要与不同部门进行沟通，并且切换不同系统以取得数据，再加上数据格式不统一、数据质量无法保证，很多数据需要手工进行清洗整理，这样仅一个问题的数据收集就可能花费好几个小时。2)涉及信息太多：数据包含产品各阶段的生产数据(产品测试数据、产线组装数据、进料检验数据、关键物料数据、供货商数据等)，各类数据量都很大(例如工站的监测项就有上千个，甚至上万个)；手动整理数据容易发生错误，且不易察觉；再加上各类分析软件有处理数据量的上限，使用分析软件进行实时数据增加、删除会很耗费精力。

方案中整体架构的实现以基础数据为基底，通过SMC(Spark，Mesos，Cassandra)三套开源大数据产品将关联性数据进行整合，再由数据集成框架DIF(Data Integration Framework)架构进行数据处理并 提供多维度整合数据至数据服务接口DSP(Data Service Provider) API、分析工作流等服务，系统应用层利用多维度数据进行通用性分析、FA分析及查询服务。

（未完待续）

（摘编自 微信公众号 信息通信技术 联通智汇）