基于大数据架构的机床温度可视化技术的设计与实现文献综述
2020-04-14 21:35:31
随着数据化时代的到来,计算机、网络、通信等技术迅猛发展。信息数据成为了第一生产要素,同时构成了数据化社会的分析基础和依据。信息的不断积累和产生过程中,衍生了大数据的概念,从原来的应用普遍的数据计量单位KB、MB和GB到现在大数据所需用到的TB、PB和EB等等,得到了日益广泛的应用。大数据的海量数据中蕴含着规律、对未来的预测和商机等等,在国防,交通,天气预测等诸多领域具有重大影响意义。然而,大数据的数据处理由于信息量大,相较于已有信息处理技术而言,仍具有技术层面上的挑战性。因而,大数据的处理、分析和应用正在成为一个蓬勃发展的研究方向,同时,其实用性也日益凸显,大数据正深入渗透到我们日常生活中接触到的方方面面。
大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。而这些框架包括有仅批处理框架:Apache Hadoop; 仅流处理框架:Apache Storm、Apache Samza; 混合框架:Apache Spark、Apache Flink。处理框架和处理引擎负责对数据系统中的数据进行计算。虽然“引擎”和“框架”之间的区别没有什么权威的定义,但大部分时候可以将前者定义为实际负责处理数据操作的组件,后者则可定义为承担类似作用的一系列组件。
机床作为制造领域中的重要装备,其监测数据为实际制造过程提供可靠有效的加工状态监测与控制依据。在机床加工过程中,切削热的产生是不可避免的,它会使切屑、工件、刀具等温度升高。一旦这些物体的温度不断升高,就会直接导致刀具的磨损和使用寿命降
低。因此,控制机床的温度和实时的在线监测对生产实践来说是非常重要的。从机床中实时检测到的温度数据以及各个机床之间温度的协调关系,这些都需要通过大数据架构进行处理和分析,并通过可视化技术呈现在我们面前,以便于了解和分析实时的温度数据。
数据可视化在分析处理数据规律方面具有极其重要的地位。可视化可以把获得的数据以直观的方式表达出来,将数据变得更加便于理解。相较于大量且单调的数字、文字等而言,形状、大小、颜色等图形化的东西更符合人类的理解和分析处理的思维方式。通过可视化将源数据映射为图形化的可视化结果,对数据进行了直观的解释,能帮助人们更有效地从数据中发现其表达的信息,并且可以赋予图表丰富的交互功能,让用户根据自己的需要改变图表,从中进一步发现有价值的规律或结论,为相关领域的研究与相关决策提供重要的参考依据。
可视化的需求是庞大而且多样的,即便现在关于可视化的研究已经很多,但是在许多领域,可视化的研究和应用还不甚完善,不能得到很好地满足。因此,本文以机床产生的实时温度数据为研究对象,基于大数据架构,进行可视化平台的设计和实现。
{title}2. 研究的基本内容与方案
{title} 本文以机床为研究对象,利用大数据架构、ECharts数字统计工具以及编程语言对检测获得的机床温度进行分析处理,设计并制作可视化的web前端。本系统主要包括的额模块包括实时工作的机床、对机床温度进行实时检测并传输温度数据的温度传感器、存储从温度传感器端接收到的数据的存储器、ECharts统计分析工具以及基于Python的web显示前端。本系统核心部分是可视化的实现。图1 结构框图
可视化的流程包括获取数据、数据的预处理、生成可视化结果、结果呈现和用户交互。数据获取是请求可视化的数据源,请求方式基本上可以分为两种,一种是在服务器上以文件或者数据库表的形式预存数据,通过调州服务接口请求数据并将其传递给前端;另一种是获取本地文件,根据客户端类型的不同,具体实现方式各有差异。在获取文件的过程中首先需要进行数据清洗,过滤掉敏感数据、脏数据。数据的预处理是对所收集的数据进行分类或分组前所做的筛选、审核、排序等必要的处理,可以将多个数据源中的数据结合起来统一保存,剔除和目标无关的冗余数据,根据对应图表所需的数据格式重新组合数据。之后便是生成可视化结果即图表图形的绘制,该过程将可视数据映射到图表。最后是用户交互,使用户在看到图表的同时可以对图表做一些操作,更好地对数据进行充分地理解、分析数据隐含的信息。
多种编程语言都可用于实现数据可视化,比如PHP、Javascript、Python等,本文选择Python, 选择它的初衷在于减轻服务器的负担,现在Web应用的业务逻辑都比较复杂,将一些任务由服务端转移到前端处理能够充分利用Web浏览器的内置功能,加快处理进程,提升整个系统的处理响应效率。Python语言现在的发展势头良好,非常适合前后端交互频繁的应用,这也导致了各大主流浏览器在纷纷增加对Python的支持程度,所以本文选用Python作为实现可视化的语言是非常有应用前景的。3. 参考文献[1] 裴丹丹.基于SCharts的数据可视化实现[D].学位论文.2018.
[2] 杨婷. Web页面中的大规模数据折线图优化方法研究[D].2017.
[3] 孙军. 基于CRIO的机床温度数据采集系统设计与分析[A].制造技术与机床.2018,09.
[4] D. Ren, T. H#246;llerer and X. Yuan, "iVisDesigner: Expressive Interactive Design of Information Visualizations," in IEEE Transactions on Visualization and Computer Graphics, vol. 20, no. 12, pp. 2092-2101, 31 Dec. 2014.
[5] K. Park, M. C. Nguyen and H. Won, "Web-based collaborative big data analytics on big data as a service platform," 2015 17th International Conference on Advanced Communication Technology (ICACT), Seoul, 2015, pp. 564-567.
[6] A. Imawan and J. Kwon, "A timeline visualization system for road traffic big data," 2015 IEEE International Conference on Big Data (Big Data), Santa Clara, CA, 2015, pp. 2928-2929.
[7] X. Xiaozhu and Y. Zhang, "Visualization of Geographic Information Retrieval Results Supporting User Participation," 2018 9th International Conference on Information Technology in Medicine and Education (ITME), Hangzhou, 2018, pp. 1077-1080.
[8] 王芳.浅谈大数据技术发展趋势[J].科技资讯,2018,16(25):14-15.
[9] 邓志文,都平平,李新春.基于多数据源的机构知识可视化研究与应用[J].现代情报,2019,39(02):169-177.
[10] 杨露,葛文谦.基于Python的制造业数据分析可视化平台设计[J].信息化研究,2018,44(05):56-61.
[11] 程苇杭. 海洋数据可视化平台设计与实现[D].浙江海洋大学,2017.