英语原文共 22 页，剩余内容已隐藏，支付完成后下载完整资料

机器人领域的物理储层计算

赫尔穆特·豪泽

摘要

近年来，人们对在机器人领域里使用物理储层越来越感兴趣。其想法是利用机器人的躯体及其动力学作为一种计算方法。一方面，这是由于数学框架的引入，显示了如何使用复杂的机械结构来构建储层。另一方面，随着智能材料的最新进展、新颖的增材制造技术以及相应的软机器人技术的兴起，一套新的、更丰富的设计和制造机器人的工具得以使用。然而，尽管人们的兴趣越来越大，但仍有很多尚未回答的研究问题和未充分探索的应用领域。我们将讨论目前的技术现状，使用机器人物体作为储层的影响，以及在机器人技术中物理储层计算的巨大潜力和未来的发展方向。

第一章 介绍

储层计算作为一个术语是由Schrauwen等人（2007）提出的。他们的基本见解是，相互独立开发的回声状态网络(ESN)(Jaeger和Haas2004)和液态状态机(LSM)(Maass等人2002)的基本原理是相同的。两者都使用复杂的非线性动力系统（称为储层）作为计算方法。受大脑结构的启发，LSM使用描述神经元的微分方程，而ESN则使用非线性微分方程形式，简单但抽象的节点来实现相同的结果。两者都使用简单的动态构建块来构建一个高维、稳定但非线性的动力系统，即储层。

图1

图1： 根据Hauser等人（2011）的建议，将传统的储层计算(例如ESNS节点)与使用质量-弹簧-阻尼器系统的物理储层计算进行比较。该图改编自Hauser等人（2014）。

储层的作用可以被描述为机器学习意义上支持向量机的的一个内核，参见Vapnik（1998）。低维输入信号（通常以时间序列的形式）被送入储层，并非线性地投射到其高维状态空间中。众所周知，这提高了它之后的任何东西的计算能力。关于储层计算背景下的更详细的讨论，我们请参考Hauser等人（2011,2012,2014）。此外，由于储层是由较小的动力系统（即微分方程）建立起来的，因此它也会随着时间的推移而整合信息。因此，松散地说，除了核属性之外，储层还表现出某种形式的（衰落）内存。这就让我们看到了一个耐人寻味的结果。由于储层已经能够集成信息并执行非线性映射，因此只要添加一个简单的线性静态读出，以获得一个强大的计算设备就足够了。我们只需要找到一组静态的线性权值，组合来自储层的高维状态空间的信号，以实现期望的输出（比较图1）。

由此产生的设置，即储层加线性读出，是一个惊人且强大的计算设备。原则上，它可以近似任何用Volterra级数表示的计算。在实践中，这意味着我们可以模拟任何具有一个平衡点的光滑（即充分可推导的）动力系统。

然而，这种设置的显著部分是我们如何实现学习。我们不改变储层的任何参数（通常它是在某些参数范围内随机初始化的），但我们只需要调整或找到最优的读出权值。由于它们是一组固定的（静态的）值，用于线性组合储层的状态，因此我们可以使用简单的线性回归。注意，这意味着我们可以通过使用简单的线性回归来模拟这样一个设置型非线性动力系统。我们可以说，信息的整合和非线性组合（这在一个非线性的动态系统中都是需要的）被外包给储层，或者储层被开发为一种计算方法。

从机器学习的角度来看，储层计算是递归神经网络(RNN)的另一种方法，通常用于近似动力系统。然而，众所周知，对RNN的学习过程即找到最优的连接权值，是非常繁琐的。有各种各样的方法，例如通过时间反向传播(BPTT)其变化，但它们都容易陷入局部最小值，或收敛速度慢。另一方面，在储层计算中，我们只需要通过线性回归找到一个线性的、静态的输出权值集，根据定义，它总是可以找到全局最优解，并且非常快。

当我们考虑储层必须在计算上有用时，从上面描述的标准储层计算到物理储层计算的步骤是简单的。如前所述，储层具有将非线性的低维输入映射到一个更高维的状态空间的作用，以及随着时间的推移整合信息。耐人寻味的是，这些特性是相当抽象的，因此，广泛的动力系统可以用作储层。它们只需要表现出具有衰落记忆特性（即具有一个平衡点的指数稳定）和高维状态空间的非线性动力学。

例如，在LSM的情况下，使用尖峰神经元模型网络来构建这样一个系统，而在ESN中，使用简单非线性微分方程的随机连接结构。这意味着任何非线性、指数稳定（有一个平衡点）的高维动力系统都可以潜在地用作储层，这自然也包括真实的物理系统。

最早证明这种工作可能是由费尔南多和索贾卡（2003）完成的。他们用一个桶中的水面作为蓄水池来进行音分类。输入结果是激发水的声波，读出结果是通过视频记录像素化版本的水面进行的。从那时起，一个广泛的非线性物理系统已经被提出，并被证明是有用的储层。例子包括激光中的非线性效应（Smerierii等人，2012年）、软机器人的躯体动力学（Nakajima等人，2018a），以及甚至量子力学效应（Fujii和Nakajima 2017）。在本章中，我们将集中讨论在机器人中的应用。

在下一节中，我们将重新介绍，有助于更好地理解机器人的动力学是如何被用作储层的基本理论模型。在第三节，我们讨论最新的技术状况，并概述该领域现有的工作，然后是对其优势的批判性评估（第四节）及其局限性（第五节）。在第六节我们将强调物理储层计算与最近出现的软机器人研究领域的密切联系。最后在第七节我们讨论物理储层计算在机器人领域的未来和巨大潜力。

1. 理论模型

数学模型的引入，证明了某些机械结构可以作为储层，机器人技术中的物理储层计算最近获得了广泛的关注。特别是，Hauser等人（2011,2012）提出的两个模型能够证明，复杂的机械结构可以作为强大的储层。它们由非线性质量-弹簧-阻尼系统组成，连接形成机械网络（见图1右图）。使用这种方法的原因是，这些结构可以作为描述生物系统和软体机器人的躯体的良好模型。两者都表现出相当复杂和非线性的动力学，可以在物理储层计算设置中加以利用。

提出的基于质量-弹簧-阻尼系统的物理储层计算数学框架是Maass等人（2002,2007）最初工作的扩展，该工作表明LSM确实可以进行计算。当他们使用尖峰神经元和神经连接的模型来构建一个计算上有用的结构（即一个储层）来证明这个概念时，Hauser等人证明了对机械结构也是可能的。

与最初的工作一样，这两个主要的储层计算设置之间也有一个区别。所谓的前馈设置直接将输入（通过储层和读出）映射到所需的输出，而反馈设置还包括从输出返回到储层的反馈回路。请注意，图1显示了具有显式反馈循环的设置。现在，我们还将更详细地讨论这两种方法。

2.1前馈设置

如前所述，前馈设置的数学证明已由Hauser等人（2011）给出，并基于Maass等人（2002）的工作。这两篇文章都是基于博伊德和蔡氏（1985）的一篇开创性论文，该论文探索模仿任意沃尔泰拉级数。注意，沃尔泰拉级数是一种简洁的方法来近似非线性，微分方程的一个平衡点。

博伊德和蔡氏表明，任何沃尔泰拉级数都可以用两阶段过程来近似，其中第一阶段必须是动态的（包括内存），但可以是线性的；第二阶段必须是非线性的，但可以是静态的。值得注意的是，只要这两个阶段满足某些属性，它们就可以以任何方式实现。具体来说，第一阶段必须展示衰落内存的特性，必须存在一个足够丰富的子系统池，这样我们就可以保证我们总是可以找到两个子系统来分离任何可能的输入信号（通过滤波）。第二阶段需要一个通用函数逼近器，即一个能够以任意精度近似计算任何足够光滑的非线性函数的系统。正如我们所看到的，这些属性非常普遍，有很多潜在的替换可以体现出。博伊德和蔡氏在他们最初的工作中给出了一些可能实现的例子，大多来自电路领域。

要理解其结果的重要性，理解沃尔泰拉级数的概念是至关重要的。粗略地说，这可以被理解为一个包含时间的泰勒级数扩展。沃尔特拉级数可以近似非线性动力系统，而不是只近似光滑的非线性动力函数。在储层计算的背景下，特别是物理储层计算，这给了我们一种简洁的方法来描述模拟计算。动力系统不必依赖数字解释和图灵机概念，而是在机器人技术中描述模拟计算函数的强大方法。例如，它们可以用来表示复杂的传感器函数（如滤波）以及非线性控制器。

使用沃尔泰拉级数作为描述符的唯一限制是它们只能近似只有一个指数稳定平衡点（或仅在平衡点附近近似）的非线性动力系统。然而，我们必须强调，这仍然是一个非常强大和丰富但可以表示的可能计算集。它包括使用内存的非线性映射。这意味着输出将不仅仅取决于当前输入（这将是一个简单的函数，可以用一个标准的人工神经网络来近似），但也要基于输入值的历史，这需要一个递归神经网络（RNN）来近似计算它。

现在的问题是，我们如何使用形态结构，特别是质量-弹簧-阻尼器系统，来近似沃尔泰拉级数。答案可以直接从博伊德和蔡氏的工作中得到。他们清楚地阐明了构建该过程的第一阶段的潜在构件所需属性。它们必须是（指数级的）稳定的，并且能够像前面讨论的那样分离信号。线性质量-弹簧-阻尼器系统具有这些特性的证明是简单的(更多细节，见Hauseretal.2011)。

对于第二阶段，要求它应该由一个通用函数逼近器组成。我们可以使用ANN，它完全具有这个特性(见Hornik等人，1989年的证明)。请注意，这种两阶段的设置还不类似于标准的储层设置，因为读出仍然是非线性的，而且第一阶段由一组并行的、独立的系统组成。然而，我们已经可以说，至少“记忆部分”（信息的整合）被外包给了第一阶段，即形态学部分。然而，一组平行的质量-弹簧-阻尼器系统看起来不太像一个常见的机器人设计，它也不能很好地描述一个生物躯体。

为了得到一个储层计算设置，我们必须将博伊德和蔡氏的方法推到极端，考虑将非线性外包到第一阶段，留下一个静态的、线性的、线性的简化读数。这就产生了像图1右图所示的网络。请注意，这种推动“打破”了博伊德和蔡氏的证明，到目前为止，还没有关于整个网络结构的数学证明(也没有在Maass等人的原始工作中)。然而，从两阶段过程到完整结构的步骤是合理的，仿真结果（以及在机械结构的情况下的真实例子）证明了它是有效的。

如前面所指出的，唯一的限制是前馈设置仅限于可以由沃尔泰拉级数表示的系统。因为这已经是一个非常丰富的可能映射类，问题就出现了，哪些可能对机器人技术感兴趣的系统不属于这一类？这将在下一节的反馈设置中得到回答。

2.2反馈设置

博伊德已经在他的博士论文(Boyd1985)中暗示了这一局限性。他把沃尔泰拉级数系统和非线性动力系统联系起来。他指出，沃尔泰拉级数只能近似于只有一个指数稳定平衡点的系统。保持在动力系统领域进行讨论，那么哪个动力系统超出了这个定义是很简单的，但在机器人技术的背景下仍然很有意义。首先，我们可以考虑多个平衡点。根据情况/任务的不同，不同的端点可能会引起兴趣。另一种超越指数稳定系统的动力学系统是（非线性）极限环。这些在机器人技术的背景下特别有意义，因为极限环是一种编码重复运动的方式，例如在运动中。此外，其他的非线性效应，如分岔，也超出了沃尔泰拉的描述。如果我们想控制行为中的定性变化，这可能是潜在的帮助。例如，机器人可以平滑地从其前腿的一个运动运动（即极限环）切换到一个到达的运动（即平衡点）——所有这些都由一组微分方程来描述。

耐人寻味的是，克服储层计算中前馈设置的局限性非常简单。解决办法是抵消储层中的能量损失。我们只需要从设置的输出中添加（线性的）反馈循环。同样，在标准的储层计算中，这些信号是抽象的信息流，通过反馈，将改变储层的状态。然而，在物理储层计算中，反馈是一个真实的物理价值，并为机械体提供能量，例如以力的形式。

虽然和更大的情况相比，添加一个反馈回路似乎是一个相当小的变化，但之前基于博伊德和蔡氏的工作的数学模型已经不再适用了。幸运的是，存在一个框架可以处理反馈，即非衰落内存。Maass等人（2007）利用控制理论中的反馈线性化理论，证明了神经模型可以通过静态的非线性反馈和读数进行修正，以近似几乎任何平滑的动力系统。其限制只是平滑性和自由度，即作为构建块的二维系统只能近似于其他二维系统。一种简化的方法是查看描述n维非线性微分系统的标准模型，即˙x=f(x) g(x)u与xisin;Rn。这意味着我们有n个积分器，它们通过非线性映射f(x)依赖于之前的状态，并通过g(x)依赖于输入。反馈线性化能够覆盖这两个函数，通过应用f(x)和g(x)。粗略地说，相反。此外，我们可以在反馈中添加一个非线性，用新的、期望的动态来“覆盖”线性化的系统，以模拟期望的目标计算，即动态输入-输出映射。请注意，这类似于通过应用极点放置方法来为线性系统寻找控制器。我们希望整个系统以某种方式运行（这反映在系统矩阵的期望特征值上），我们试图找到正确的反馈控制器来实现这一点，例如，使用阿克曼的方法。

在不详细说明的情况下，Hauser等人（2012）所使用的数学证明证明了某些类型的非线性质量-弹簧-阻尼器系统是可反馈线性化的，即可以作为一个基本模板，可以被覆盖为新的期望动力学。

然而，Hauser等人提出的证明（以及在Maass等人的原始工作中）仅适用于一个单一的系统，即一个质量-弹簧-阻尼器系统，它需要静态的，但仍然是非线性的反馈和读数。由于复杂，更复杂系统的数学证明是不寻常的。然而，与之前的前馈设置一样，使用线性读数和线性反馈来实现全网络结构（如图1所示）的步骤是合理的。这得到了许多仿真结果和实际例子的支持，显示了该方法的可用性。

虽然前馈设置的模型给我们提供了一些一般的指导方针，但不幸的是，反馈设置的模型对于如何建立更好的储层并不是很有见解。也许唯一的一点是，这样的系统可以相当小，因此有用。Hauser等人（2012）的仿真实例进行了证明和讨论。

然而，在机器人技术的物理储层计算背景下，我们对如何设计和构建更好的储层非常感兴趣。因此，下一节将讨论如何将储层计算中的抽象概念映射到物理储层计算设置中的实际物理解释上。

2.3将理论模型与现实世界联系起来

虽然传统的储层计算并不关心输入或输出的物理意义，但自然地，物理储层计算更关心物理意义。在机器人技术的背景

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[604229]，资料为PDF文档或Word文档，PDF文档可免费转换为Word