数据分析，还包括大数据分析，在企业的业务中，特别是在传统的商务行业，有数多年的应用于实践中，在消费者市场的营销中已是了必不可缺的技术。随着工业互联网和智能生产的蓬勃发展和发展，工业大数据技术也更加受到各方注目。在“中国生产2025”的技术路线图中，工业大数据是作为最重要突破点来规划的，而在未来的十年，以数据为核心建构的智能化体系不会沦为承托智能生产和工业互联网的核心动力。

对生产企业而言，不论是新的实行的系统还是老旧系统，要实行大数据分析平台，就必须再行摸明白自己究竟必须收集哪些数据。因为考虑到数据的收集可玩性和成本，大数据分析平台并不是对企业所有的数据都展开收集，而是涉及的、有必要或者间接联系的数据，企业要告诉哪些数据是对于战略性的决策或者一些细节决策有协助的，分析出来的数据结果是有价值的。比如企业只是想要理解产线设备的运营状态，这时候就只必须对影响产线设备性能的关键参数展开收集。再行比如，在产品售后服务环节，企业必须理解产品用于状态、出售群体等信息，这些数据对承托新产品的研发和市场的预测都具有十分最重要的价值。

因此，建议企业在展开大数据分析规划的时候针对一个项目的目标展开准确的分析，较为更容易符合业务的目标。具体目标以后，就要著手开始收集数据并展开预处理了。

本期格物资将跟大家讲解，企业如何构建对工业大数据的预处理。数据采集首先我们想到数据是如何提供的，在现实生活中，我们所面临的问题，往往都是抽象化简单的。我们来看如下两个例子：如何提高产品的良率？有可能这是制造业尤为广泛的一个问题，如果我们要分析解决问题这个问题，经常就不会回答到：什么产品？有多少条产线在分解？经过了哪些机台？影响产品良率的因素有哪些？我们可能会明确提出很多很多这样的问题，解决问题这些问题必须对涉及业务知识十分理解，尽量多的找到与问题有关的数据。

如何展开人脸识别？这问题更为简单一些，虽然我们每个人的大脑每天都在做到人脸识别，但是大脑如何工作的却出现异常晦涩。我们有可能必须做到很多科研工作，去挖出究竟哪些数据不会影响到人脸识别的正确率。如果这些数据本身没，很有可能还必须展开测量收集，比如两眼之间的距离，嘴的宽度和长度等等。

当然，我们还不会评估收集的成本，并对这些数据有效性展开评估，检验我们的成本否有一点去花费精力测量。数据预处理概述数据采集以后，数据往往存放在数据库或文件系统中，我们必须把他们导入到算法模型中展开训练，获得我们想的模型。但是我们的数据往往杂乱无章，总的来说，数据一般不存在如下几类问题：数据类型多种多样我们的数据中经常经常出现字符型，时间型，数字型等多种数据类型。

其中：字符型是无法代入模型计算出来的，所以我们根据必须，可以对字符型数据展开编码切换。常用的编码方法有：数字编码：对于有大小较为的字符型数据，可以必要转换成数字编码。比如：Onehot编码：对于没大小较为的字符型数据，可以用于Onehot独热编码。比如：时间类型往往是一类类似的数据，把时间非常简单看作一个实数的话，往往不合乎逻辑。

对于带上时间的数据，我们一般来说用于时间序列的分析方法展开分析。有时候我们更为注目的是两列时间的差值，这时我们可以建构时间差值佩作为新的变量重新加入模型之中。数字型往往是引入模型展开训练的主要部分，数字型又可以细分为线性型和连续型，因为线性与倒数的数据分布明显有所不同，我们可以对其展开分离处置。

数字型之间各个列常不存在量纲差异，有的数据有可能相当大，有的数据有可能较小，我们必须除去数据量纲，避免模型对数据较小的列展开偏倚（数据值较小时一般来说方差也较小）。常用的数据去量纲的方法有仅次于最小值归一化法，均值标准差标准化法等等。数据格式不对我们希望数据格式是表格结构，矩阵格式，或者是张量格式。

然而我们获得的数据往往不是格式化的数据，比如机台的日志数据，图像数据，音频视频数据。我们必须对上述数据切换，把数据格式转换成我们想的格式。

数据中不存在出现异常数据中还不会经常出现缺陷值，出现异常值等出现异常，这些情况也不会反感影响到模型的训练，我们必须对空值展开补值。如何补值必须我们对数据十分理解，才能推断出该用什么值来补值，才会转变原先的数据分布。

一般的补值方法有：0值补值，均值补值，中位数补值，按上一个数补值，移动平均值补值，线性插值，涉及佩补值法等等，对于缺陷值比例较小的列，可以采行必要移除的方法。出现异常值则必须创立规则，对出现异常值展开辨识，再行用长时间的值展开更换，故出现异常值也有类似于缺陷值的更换方法。

本文来源：gd55光大在老品牌-www.jzhyly.com