基于Matlab的数据预处理软件开发文献综述
2020-05-05 16:47:51
在信息化时代,数据显得尤为重要,从虚拟的互联网文本数据、多媒体数据、社交数据到现实中的工业数据如机器设备数据,生产过程数据、传感器数据等。
然而,我们能够直接获得的这些数据,也就是原始数据,往往难以满足我们的使用要求,究其原因,是因为这些数据的”质量”不过关。
对数据”质量”的研究,主要是从数据的准确性和完整性两个方面进行判断[1]。
准确性包括对于数据是否正确反映生产过程状况、是否合乎实际的判断,对于数据是否有错误,计算是否正确的判断等。
完整性包括对于数据是否有缺失,所测量的项目是否齐全的判断等。
判断数据准确性的方法主要有逻辑检查和计算检查。
逻辑检查主要判断数据是否合乎逻辑,内容是否合理,各数据之间是否有互相矛盾的现象等,该方法较适合对定性的数据进行判断。
数据预处理的主要过程包括四个方面:准确性审核,适用性审核,及时性审核,一致性审核。
其中,准确性审核主要是从数据的真实性与精确性角度检查资料,其审核的重点是检查调查过程中所发生的误差。
适用性审核主要是根据数据的用途,检查数据解释说明问题的程度。
剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付