工业大数据架构分析（11）

工业大数据架构分析（十一）

（2019年3月17日）

如图4所示，并分述如下。

图4

采集交换层：数据的采集需考虑应业务需求有效且完整的获取各类系统的数据。鉴于采集的数据来源有内部系统、外部系统及非系统化的本地文件等，所以需要各系统之间进行数据交换，分别利用系统接口、网络爬虫转换文件格式储存及电子邮件方式等交换取得各数据。集成处理层：此层级运行包含SMC、DIF及KM。

该层主要考虑为各系统数据的关联整合，因此着重于数据清洗、数据理解及数据的关联，为分析层提供有效的模型处理能力。SMC提供基础的计算和存储资源；DIF主要支撑数据整合、数据处理运算、及信息呈现；KM主要接收各类型文档进行分类储存、解析文本，并利用Elasticsearch(一套支持全文检索的开源项目)建立索引库以及支持全文检索服务。

建模分析层：数据分析层包含三个项目，分别为DSP API、分析工作流、KM API。在分析层构建API主要是为特定业务需求构建分析工作流提供分析模型的支撑。

决策控制层：该层实现用户在单一平台内快速获取数据的需求，并快速开展业务分析。此外，知识库的构建可以满足工程师之间的技术传承及新人训练，帮助工程师自主学习成长，并减少沟通教学时间，可以让工程师的时间得到最有效的利用。

合理设计大数据系统的架构实现使得数据分析的效率大大提升，能够更好地支撑新产品制造NPI环节各种分析需求，使每个步骤都能快速达到客户要求。主要解决的问题可总结为以下几点：

1)时间短，数据整合收集所需时间大幅减少，由以前耗时2~4小时，提升至数分钟以内。

2)数据广，整个NPI周期大约会生产5万个产品，而NPI产线大约150个相关产品测试数据完整收集，涵盖400多个关键物料及平均2000个测试项目，特定工站更高达4万个测试项目，每日原始数据吞吐量可达22万笔。

3)效率快，工程师将原来数据收集的时间专注用来解决问题，并可利用剩余时间进一步分析预见问题。扭转过去80/20的时间分配法则，让工程师只用20%时间收集数据整理数据，而用80%时间专注在问题解决上。

4)传承快，前辈工程师将个人的经验累积于平台上，新人工程师可随时学习到前人的知识。

（未完待续）

（摘编自 微信公众号 信息通信技术 联通智汇）