英语原文共 10 页

复杂制造过程中以人为本的网络物理系统的沉浸式技术：使用集体智慧的全球专利概况综合概述

以人为中心的网络物理系统的沉浸式技术包括广泛的概念，使物理世界的用户能够以沉浸感与网络世界联系。诸如虚拟现实、增强现实和脑机接口等复杂系统正在成为具有改进制造系统潜力的沉浸式技术。工业4.0包括第四次工业革命的所有技术，标准和框架，以促进智能制造。工业沉浸式技术将用于工业4.0的人机界面环境中的智能制造创新。该研究提供了对文献的全面回顾，领域本体的构建，专利元数据统计分析的呈现，以及使用技术功能矩阵的数据挖掘分析，并使用隐狄利克雷分配模型（LDA）突出了技术和功能发展趋势。共有来自IEEE和IET数据库的179个参考文献和2,672个专利被系统地分析，以确定当前的趋势。本文为复杂制造过程中先进的以人为本的网络物理系统的发展奠定了重要基础。

1、概述

工业4.0（I4.0）是面向数据和计算的先进制造的最新标准。 点放在网络物理系统（CPS）、物联网（IoT）和大数据分析等技术的部署上，以降低制造业成本和提高制造业质量效益。该部署有助于克服诸如可扩展性、分配、及时性、可靠性、安全性和容错等问题。物理层面的各种差分和价格合理的传感器，计算层面的处理能力增加，以及数据层面可用于分析的各种数据，构成了从工业1.0向工业4.0过渡的三大支柱基础。表1显示了工业发展转型，导致技术从工业1.0转向工业4.0。在[10]中解释了从基本用户界面（UI）到支持VR的CPS的进一步发展。

由于动态变化的消费者需求，当前一代产品寿命短。 当需要提高产品质量和增加大规模定制的劳动力成本时，智能工厂成为I4.0的目标。 原则上，CPS为工业对象提供微观智能。 物联网提供了连接互联网的能力，并结合大数据分析解决方案，通过持续学习功能优化生产系统。沉浸式技术有助于实时显示数据和操作，促进对需求的动态响应。 沉浸式技术创造了一个以人为中心的虚拟世界，人与机器无缝交互。

沉浸式技术通过视觉，声音和触觉反馈的集成为物体提供环境，这些物体本质上是虚拟的。 沉浸式技术有三个级别。非线性级别是桌面计算机体验，其中生成虚拟环境而无需专用硬件；半沉浸式关卡使用现实世界的元素来构建虚拟现实应用程序，用于建筑建模，飞行模拟器和机器人导航等应用，用户在虚拟环境中控制他们自己的代表物；完全沉浸式或神经直接模式实现了最高水平的虚拟现实，这个级别提供了沉浸在虚拟世界中，其中人类大脑直接与数据库系统相互连接，并且在虚拟世界中，观察者在其展开时经历当前定位和位置。

这项研究是工业4.0，工业CPS和物联网领域的早期研究的延续，这些研究与以人为中心的工业4.0相关联。 研究目标是整合和传播工业沉浸式技术（IIT）。 该研究为IIT提供了技术规范和本体。 技术出版物和专利的定量和定性分析构成了当前IIT发展的基础。用于分析的数据集来自全球管理机构，包括电气和电子工程师协会（IEEE）、国际标准化组织（ISO）、工程技术学会（IET）、国际电工委员会（IEC）、医疗仪器（AMI）、美国专利商标局（USPTO）、世界知识产权组织（WIPO）和国标标准（中国标准化管理局，GB）的进步。研究结果和分析通过概述将沉浸式技术嵌入先进制造业的增长效益来确定市场潜力。

2、域定义和研究动机

该研究的领域包括虚拟现实（VR）、增强现实（AR）和可互换的脑机接口（BMI），称为脑机接口（BCI）。背景研究表明，虚拟现实领域的大脑研究正在增加。 这项研究的动机来自于涵盖IEEE和IET在线数据库的沉浸式技术背景审查。本研究开发的方法是通用的;可以添加其他文献数据库以加强综合背景研究。 该评论指向BMI相关研究，它将作为将虚拟世界互动转化为现实世界行动的推动因素。背景信息有助于形成BMI将在下一次工业革命中发挥关键作用的假设。 Milgram的现实 - 虚拟性连续体在图1中进行了重新设计。这一假设得到了Lexinnova的通用VR专利态势分析报告的支持。域定义在以下段落中解释。

VR为设计师和工程师提供了创新的方式来进行交互和协作，从而加速创造力和生产力。 VR是一系列模仿交互式3D环境的技术。 这个虚拟世界的设计使用户发现很难区分真实和虚拟之间的差异。 可以通过佩戴支持VR的头盔或护目镜来创建VR世界。 用户可以在沉浸中从各个角度查看事件，并可以操纵虚拟世界中的虚拟元素或构造。

增强现实（AR）结合了混合现实（MR）或替代现实（SR），其中虚拟世界和现实世界在沉浸式设置中融合。 AR可帮助设计人员和开发人员在混合现实世界元素的应用程序中创建图像。 用户能够与现实世界的虚拟内容进行交互并进行区分。脑机接口是一个框架，有助于在人脑和机器之间建立通信通道。有三类BMI，即侵入性，半侵入性和非侵入性BMI。 侵入性BMI是手术放置在大脑皮层区域的微电极阵列。 半侵入性BMI是使用皮层脑电图（ECoG）放置在大脑暴露表面上的电极。 无创BMI使用放置在头皮上的传感器和电路来测量脑脑电图和脑磁场（称为脑磁图）产生的电位。使用脑电图的无创BMI显示信号和系统的显着进步。 稳态视觉诱发电位基于视网膜被视觉刺激激发时产生的脑电信号。 由于良好的信噪比，该技术在脑接口研究中是优选的。 我们当前研究的重点是对无创BMI的评估，这被视为VR和AR的技术演变，使用户能够将虚拟世界中构思的行动转化为现实世界中的行动。

3、研究方法和结构

系统评价交叉引用技术出版物和必要专利。 详细的方法论作为图2中的研究结构流程提出。领域定义是本研究的主要组成部分，反映了当前的科学状况。 主域技术审查（用于域定义）之后是关键术语识别和本体生成。域本体和模式关键术语用作进一步文献和专利搜索的查询输入。查询执行的结果是大量的出版物专利数据。 根据引用次数对出版物数据进行人工审查，分类和组织。这种方法有助于确保与当前IIT状态相关的出版物的高覆盖率。 专利文献是使用计算机辅助算法挖掘的文本和数据，用于描述潜在的专利态势。 交叉引用结果以提高审查准确性。 此外，结果可作为识别关键技术发展趋势的输入

本研究的目的是了解IIT领域的技术，标准和知识产权的结构和机会。 该方法从域定义开始，以识别相关术语。 本研究考虑的领域范围是工业和制造业的沉浸式技术。 域定义之后是文献综述和关键术语语料库的创建。IEEE和IET Web浏览器用作搜索平台，用于收集文献和关键术语，审核基于引用顺序降序排列。 自上而下和自下而上的方法用于构建关键术语语料库，组织技术规范以及创建域本体。 每次识别出相关的关键词时，迭代地增强本体。 生成的本体使用专家评审进行测试和改进。 使用网络上的知识产权搜索界面执行专利检索。传统分析将专利数量信息转换为基本推论，如最高受让人和专利代码。 这些结果的交叉参考有助于验证研究方向。 此外，该分析使用技术函数矩阵（TFM）和潜在Dirichlet分配（LDA）来模拟IIT专利分组。TFM是一个专利地图，有助于根据专利态势中的技术和功能特征可视化定量专利信息。 TFM由一个轴上的关键技术术语和另一个轴上的关键功能术语组成。 针对关键术语计算归一化术语频率（NTF）值。 NTF值越高，该术语越重要。 每个术语库应用一百个关键术语限制以确保准确性。执行专利文本挖掘，其中每个专利中的术语频率用于计算NTF值。 将专利文献NTF载体与术语文库NTF载体进行比较，以确定该专利是否属于特定技术或功能并且分配给TF矩阵中的相应细胞。 当专利数据集中的所有专利完全重复时，最终的TFM就绪。

主题建模是一种用于查找存档语料库中发生的主题的统计方法。 LDA是一种用于熟练信息检查的无监督算法方法。 主题建模在许多行业中广泛用于不同的采矿功能。 结果用于制定业务目标和核心战略，其中理解专利动态是有益的。LDA应用程序允许识别当前行业趋势和对其他研究和商业化有用的新兴应用程序。 通过交叉引用技术规范和专利分析结果来执行一致性检查。

4.沉浸式技术本体论和关键术语

本体论是链接到可视化属性，关系和关联的域中的术语集合。 本体构建领域知识，实现领域知识的重用，并使领域假设明确。 结合专家评估的技术评论用于生成图3中表示的本体。由于VR和AR中的许多子主题高度相关，因此它们被合并为一个技术组。此方法可提高查询性能并减少冗余。通常使用一些缩写作为域术语。 下面用于表示IIT本体模式的缩写如图3所示：

（1）3D：三维空间

（2）EEG：脑电图

（3）SBCI：自定进度的脑机接口

（4）CNC：电脑数控

（5）PLC：可编程逻辑控制器。

图3中表示的本体具有沉浸式技术作为最顶层，其次是VR，AR和BMI。 属于每个域的关键术语按字母顺序排列在每个部分下。 来自异构源的知识被组合以形成用于统一视图的单个模式。 VR和AR的关键术语来自[10,13,34-47]。 BMI的关键术语来自[17-20,24,48-52]。关键术语经过预处理以消除冗余值，并在本体集成之前由主题专家进行审查。 本体论提供了解决语义障碍带来的互操作性问题的视角[53]。 结果表示工业和制造领域内的VR，AR和BMI域类型软件应用中包含的显式知识。 通过交叉引用专利和技术分析结果，在第6,7,8和9节中解释了本体验证。

5、技术评审和规范

在20世纪90年代，许多公司未能向市场提供VR产品和服务。任天堂虚拟男孩在推出市场一年后停产[54]。 计算机处理能力的提高使沉浸式技术目前的市场成功。 VR，AR和BMI正在许多市场渠道中引入，包括工业和消费者应用[23]。 IEEE和IET出版物的理论和方法贡献以及当前知识用于收集沉浸式技术的数据。 IEEE和IET数据库代表了广泛的科学界的研究以及促进高级搜索优化和下载的工具。 研究期刊，会议，电子书和技术标准的多样化覆盖范围可帮助用户收集与当前最新技术相关的数据。搜索反映了列表的出版物数据。 2010-2016数据集第2行表2用于推导初步背景和推论。 第4行（表2）中的数据集用于IIT的文献综述和本体生成。

文献分类需要主题专家（SME）对出版物数据集进行聚类，如图4所示。属于应用程序组的出版物封装了产品/概念设计，机器人控制和制造设备的IIT集成研究。 培训小组的出版物包含了使用3D操纵器进行制造，技能转移和人力资源开发的专业培训系统的研究。案例研究小组的出版物封装了对工业机器人，半导体芯片成形和破损，装配线环境的感知机制，与计算机辅助设计（CAD）的交互以及视觉通信方法进行的IIT研究。 硬件组中的出版物封装了关于动作捕捉设备的IIT定制，脑波捕获，车载环境的定制显示以及专用头戴式显示器的研究。 模拟小组的出版物包括对逃生车辆，精密焊接，动力电池生产和砂轮夹具的研究。算法组中的出版物封装了用于EEG信号的特征提取，几何失真的校正和用于结构优化的遗传算法的研究。 审查小组的出版物包括与中国VR生产线相关的文献综述。 软件组中的出版物封装了VR显示中的运动跟踪和眼睛定位的研究。 运动小组的出版物封装了IIT环境中人类和机器人的导航方法和运动学研究。接口技术组中的出版物将针对大脑的IIT互操作性的研究与硬件设备和软件平台的3D应用程序进行了封装。 大脑研究组的出版物包括对轮椅，无人驾驶飞机控制，步态适应的虚拟化身，使用VR神经认知的时间感知以及用于脑震荡评估的脑成像的研究。

通过人工审查和聚类，可以观察到VR，应用程序，研究和界面等主题的重叠。 重叠强化了米格拉姆的现实 - 虚拟连续体是未来工业VR和AR产品的推动者的假设（图1）。 以下部分介绍了文献和技术规范的关键点。 数据集按引文和时间降序排列，以确保最大范围覆盖关键技术规范。

技术分析师预测，AR和BCI/BMI等沉浸式技术将在商业上获得成功。沉浸式虚拟现实(VR)和增强现实(AR)被用来训练飞行员克服对高度的恐惧以及飞行操作时的迷失方向。在VR的帮助下，科学家可以更好地可视化模型，并通过增强的视觉细节理解化学反应。建筑师使用VR来可视化和改变结构的视角，模拟在原型建筑中行走。VR还提供了潜在的博物馆和艺术画廊，让游客可以从很远的地方进入。计算机是获取物理体验和可视化的门户。领先的沉浸式框架包括Oculus Rift和微软HoloLens。这些低成本的应用程序作为计算机辅助设计(CAD)接口解决方案已经获得了相当大的市场份额。沉浸式技术使设计师和工程师能够在多个地点合作完成项目。微软、苹果、三星、HTC、Facebook和索尼都是这些技术的主要投资者。沉浸式学习与物联网(IoT)相结合，有望开创工业4.0技术的新时代，被称为“在场互联网”(IoP)或“体验互联网”(IoE)。图4所示的SME分类结果表明，应用相关文献的出版物数量最多，其次是培训、案例研究和模拟。以下是高被引行业VR出版物的技术规范。

产业虚拟现实文献表明，产业培训对高等教育创新的要求较高。3D可视化和计算机硬件的进步使得培训材料的种类越来越多。公司、专业人士和研究人员正在创建交互式虚拟现实教育环境[36]，如使用虚拟现实[55]的数学虚拟学习环境(MAVLE)。在产品开发生命周期[56]的许多部分中，Microsoft Visual c 编程平台已被用于识别机会、降低成本和提高竞争力。基于VR的法国海军航空母舰管理系统(GASPAR)进一步展示了工业VR的能力。GASPAR使用VR应用程序[57]模拟环境建模、过程组织和验证。虚拟工厂可以提高生产力。动作捕捉传感器记录用户的动作。

室内运动和算法数字化这些运动的虚拟世界。虚拟漫步可以减少健康问题，减少劳动力流动，降低成本[38]。VR制造降低了从产品概念到生产所需的成本和时间。处理、光学可视化、电源管理和数据科学的进步使得VR成为传统制造和产品实现的可行解决方案[37,58]。

资料编号：[5714]