英语原文共 22 页，剩余内容已隐藏，支付完成后下载完整资料

有效的监控框架和用户界面设计

摘要：分布式环境需要监控系统来监督各种分布式节点的运行。监控服务至关重要，因为它确保了高质量的计算环境和可靠的服务。界面和框架决定了监控系统的有效性。本文使用用户自适应可视化的概念来设计其界面，并提出了一个灵活的模块化框架。设计人员可以使用提出的模块化框架来灵活扩展现有模块，设计可视界面以满足用户需求，并改进系统故障转移方案。还提供了这种监控数据保存节点监控系统的实现。包括容错和通知功能的系统支持针对存储资源代理（SRB）或集成的面向数据系统（iRODS）的系统的全面监控服务。实验结果表明，提出的框架适用于数据保存服务，并且在面对系统故障时具有强大的响应能力。

关键词：监视系统 监控工具 信息熵 iRODS

1. 介绍

监控系统通常旨在解决分布式环境中的稳定性和可用性问题;因此，许多研究机构和公司投入大量资源来设计高效率的监控系统[1-9]。监控系统用于立即检测系统故障。如果系统由于信息量过多或计算量过大而发生故障或接近故障（例如，磁盘损坏，重载或通信热点），监控系统发出警告信号，防止系统故障或减少系统停机时间。监控系统还可确保计算服务不间断，从而最大限度地减少故障后丢失数据的风险，提高服务质量，满足客户需求。因此，它有助于服务提供商确保其服务的可靠性和可用性。

有效的监控系统可帮助用户从收集的大量数据中获取最关键的信息。常规监控系统要求用户定义每个受监视事件的严重性级别，并指定系统应在哪个级别通知用户。为了避免丢失重要信息，用户通常使用松散的条件来过滤事件;也就是说，用户收到许多无关紧要的通知，由于这些多余的消息，用户无法立即管理重要事件。因此，用户需要更好的系统来帮助他们关注基本信息。然而，传统的监控系统是静态和不灵活的。例如，Ganglia安装过程对于用户来说是复杂的[10]，并且缺少警报机制。仙人掌具有较少的配置可扩展性[12]，而鹰眼不发达[13]。Nagios不支持网格系统，仅通过电子邮件和短信服务（SMS）提供通知[11]。Nagios支持可选的Web界面，用于查看当前的网络状态和通知。前端网站的主要目的是提供一个简单的界面，而不是简单的图形可视化。

为了帮助管理人员处理关键信息并做出更有效的决策，监控系统还应利用环境的独特特征，并提供信息可视化以增强决策性能[14,15]。信息可视化允许用户探索，检索和了解大量数据。随着环境变得越来越大，信息可视化变得越来越重要。更好的监控系统使用某种形式的信息可视化来进行界面设计。信息可视化（如图表和统计技术）可用于以易于理解的格式呈现信息。树结构是用于信息可视化的一般方法和技术之一。

本研究设计了一个视觉界面来查看，理解和分析收集的系统信息。明确界面设计用于清楚地显示问题的来源，并在生成大量数据时帮助用户定位最关键的信息。本研究使用信息熵理论来定义关键信息。信息熵理论[16]用于确定事件权重，以确定被监视节点中的关键事件并将其显示在网站上。因此，尽管有相当多的信息，但可以快速确定关键情况并立即处理。因此，用户可以立即获取关于事件很少发生并处理关键事件的重要事件的信息。此外，树结构被用作用户友好的界面，以简化事件评估的过程，并发生额外的额外开销。树形结构将原始监控数据以易于理解的格式转换为有用的信息，从而提高监控系统发送的信息的有效性。管理员可以在此界面上查看实时状态更新，并灵活定义或修改与系统设置相关的关键条件，参数和阈值。

本研究还提出了一个基于系统组件和服务要求的模块化框架，可以轻松扩展和维护。该框架可以专门为数据保存系统设计，并且易于获得，高效且易于集成。它还包含一个经过完全测试的容错机制，通过在系统突然故障或关闭时使系统重新启动并立即恢复运行，从而防止完全故障。作为台湾电子学习和数字档案计划（TELDAP）[19]的一部分，我们创建了一个中国监测系统（SIAM），为数字档案远程备份项目[17,18]提供可靠的监控服务。SIAM旨在监控数据保存系统;因此，它可以轻松检测保存服务器的实时状态。它还允许用户使用此可视界面跟踪各种类型的监视信息。用户可以修改参数来更改配置文件，设置关键条件和更新监控信息。

本文的其余部分组织如下：第2节介绍了监控可视化的树结构概念;第3节介绍监测基础设施的要求和拟议的监测框架;第4节提出了一个实际的案例研究和评估系统绩效;第5节概述现有的监测系统;最后，第6节提供了结论和未来的研究建议。

1. 用于监控系统的可视化用户界面

2.1.树结构事件

在监视系统中，被监视对象的状态（如CPU状态，硬盘驱动器状态或服务状态）称为事件。提供系统管理员和监控报告，包括监控对象的整体状态很重要。该系统中的监控报告是一系列事件发散的树状图形结构，从起始节点开始，以结束状态结束，如图1所示。

每个发起节点被细分为次要类别，并在相关的情况下细分为子类别。监控信息使用树形结构图形显示进行聚合。每个系统节点（即被监视的主机）被分别分配给不同的树，其中发起节点位于第一分支级。然后将系统节点细分为两个次要类别，次要类别被细分为子类别。分配两个次要类别来评估每个系统节点的UP或DOWN工作状态。某些子类别分为两个以上的分支，并由监控服务分配一组可能的值{1,2，...，i}，例如当前用户，当前负载，交换使用，总进程，超文本传输协议和安全壳。每个子类别被细分为以下状态：正常，警告，关键和未知，而不是严格必要。最终状态表示详细的监控系统状态。

在常规监控系统中，监控报告显示监控对象的所有事件。虽然事件以树状结构显示以提高可读性，但是当对象太多时，仍然难以从报表中访问和获取重要信息。为了避免忽视监测信息淹没的关键信息，需要定量分析机制。定量分析可用于识别和评估所有可能的系统结果，以有效分类大量数据，并快速建模复杂的系统关系。帮助管理员做出决策是有用的。因此，本研究提出了一种基于信息熵理论的方法来计算事件概率并确定每个事件的重要性。每个树枝末端使用条件加权值来确定事件重要性。加权值反映了系统的严重程度。因此，关键的树类别是基于代表最关键类别的权重值，并定期更新重要的监控信息。

2.2.基于信息熵的事件选择

香农在1948年引入熵理论作为不确定性的度量。它已经应用于许多领域，包括工程和管理[16]。令具有n个事件的随机变量X为X 1，X 2，X 3，...，X n，具有相应的发生概率P = {P 1，P 2，P 3，...，P n}。X的熵E计算

（1）

，， （2）

当测量另一事件的不确定性时，较高的熵表示较高的事件不确定度，即较高的熵表示均匀分布或表示更大程度的随机性。如果使用熵来表示事件的惊喜级别，则较高的熵表示发生的可能性较低，并且具有较高的惊喜级别。如果使用熵来评估事件信息的重要性，则较高的熵意味着必须解释更多的信息，或者知道较少的信息。

这里，假设事件作为序列X 1，X 2，X 3，...，X n被长期排序，使得时间（X i 1）其中时间（X i）为发生事件X i时的时间。假设类型（X i）是事件X i的类型，使得如果X i和X j是相同类型的事件，则类型（X i）=类型（X j），例如，所有硬盘可以被分类为相同类型。并且令X（T 1，T 2）= {X i | T 1le;time（X i）le;T2}是在时间间隔T 1和T 2之间发生的事件集合。在时间间隔T 1和T 2期间测量特定类型Y的事件的重要性时，其熵被定义为

（3）

（4）

如果P Y（T 1，T 2）较小，则E Y（T 1，T 2）较大，并且这种类型的事件更重要。注意，T 2可以是系统的当前时间，T 1等于T 2减去一段时间T，例如一个月或几个月。也就是说，T是滑动窗口，E Y（T 1，T 2）= E Y（t-T，t），其中t是系统的当前时间。该计算可以使用滑动窗口的想法逐步执行。由于只有最近的事件被采样，长时间没有发生的事件成为当时间t发生时最重要和最重要的事件。

为了证明基于熵的分析的重要性，本研究使用两个实验来显示基于熵的选择的优点。发生在2013年6月3日至2013年7月2日的事件收集在第一个实验中。

在第一个实验中，如果事件每天发生，事件的熵大约等于2.03。例如，名为“th2磁盘可用空间”的事件的发生次数在一个月内是30，事件总数是3286。因此，磁盘空闲空间的发生概率为0.0091，磁盘空闲空间的熵值为2.03。为了过滤日常事件，监控系统将熵的阈值设置为2.7，以便系统管理员可以看到一些重要事件或罕见事件。例如，在图2中，2013年6月18日发生事件rb09 硬盘41可用空间的第一次，到2013年6月18日收到的警报消息数为1745。由于事件rb09 硬盘41的可用空间为3.24，因此被认为是罕见且重要的事件，因此向系统管理员报告。如果系统管理员无法解决问题，监控系统会在2013年6月18日以后每天检测到rb09硬盘41的可用空间。结果，事件rb09硬盘41的可用空间的熵由于事件的每日检测而减少。这个事件，rb09 disk41的可用空间，2013年6月22日以后，系统管理员不会报告，因为熵低于2.7的预设阈值。

在第二个实验中，本研究构建了2013年6月18日监测系统的观点，以显示何时使用基于熵的选择与何时不同的选择。图3显示了比较结果。在图3（a）中，监控系统的所有事件都显示在浏览器上，当没有基于熵的选择时，监控系统的视图完全由关键信息填满。相比之下，图3（b）显示了使用基于熵的选择时的监控系统，其中监控系统运行与图3（a）中相同的事件日志。如果某些事件被识别为关键事件并且事件的熵低于阈值，则监视系统标记橙色的关键事件。一个罕见且重要的事件用红色字母标记，以通知管理员发生的一个新的重要事件。

根据我们过去的经验，在TELDAP项目中使用基于信息熵的事件选择机制之前，从每个受监控对象收到许多警告/重要信息。到2013年7月2日之前收到的警报信息数量如表1和图4所示。如表I所示，用户收到许多表示为关键的消息;然而，真正重要的消息可能只有总消息的0.0031％。这里，洪泛信息的原因包括各种情况，例如不适当的参数设置，磁盘空间不足，以及硬盘驱动器缺货。例如，如果可用磁盘空间参数在监视系统中设置为60％，则当可用空间小于60％时，用户会持续收到许多关键消息。显然，由于参数设置不当，用户会收到很多次要的消息，用户需要知道的真正重要的消息可能会被相当多的次要消息所困扰。因此，重要的是找到最重要和最重要的事件。显然，信息熵理论可以用来过滤监控信息，解决信息淹没问题。如果一个警告事件不断发生，那么该事件的熵减少，而使用信息熵的系统可以识别事件的重要性。此外，事件的概率和熵值与当前时间有关。因此，不同的事件将被选择在不同的时间显示，然后当罕见和重要的事件发生时，用户可以立即注意到真正关键的消息。

1. 监测系统的模块化结构

与传统监控系统（如Nagios）相比，我们的系统旨在为分布式存储系统提供一般监控功能，并为处理事件提供控制机制。也就是说，系统不仅可以监视计算环境，还可以在发生关键事件时处理事件。由于模块化设计可能是设计系统的最佳方法，因此我们提出了一种模块化系统结构，并讨论了模块中应包含哪些功能以实现我们的监控系统的目标。

如图5和图6所示，所提出的监控系统分为两个子系统：监控内核和可视化接口。监控内核子系统包括六个模块，可视化接口子系统包括三个模块。过滤器/记录是一个独立的模块，用作监视内核和可视化界面之间的网关。当监视内核收集数据时，结果将转发到过滤器/记录。监测数据进行统计分析并存储在过滤器/记录中，以确定在可视化界面中用于实时信息更新的设置。每个子系统和故障转移处理程序的功能和模块如下所述。

3.1.监控内核子系统

监控内核处理控制和调度消息，并提供，收集，组织和通知信息。它包括以下模块：检查服务，通信控制器，数据收集器，分析器，通知程序和故障处理程序，如图6所示。

bull;通讯控制器

为了确保用户可以通过远程网络连接到服务器来传输数据，监控应用程序使用远程访问连接到分布式节点。通信控制器处理外部远程监视节点和检查服务之间的通信。它包含支持数据传输的主要应用和通信协议。

bull;检查服务

检查服务模块接受来自用户的监控策略，并用于轮询远程监控节点并探测监控服务的基本扫描。远程监视器节点通过通信控制器返回监视信息。检查服务还确认网络通信是否可用于远程机器连接，并支持简单的插件界面，允许用户开发其服务检查要求。

bull;数据采集器

当远程监控节点响应检查服务时，数据收集器通过通信控制器收集监控信息。因此，该模块提供存储在数据库（DB）中的历史监视信息和定期监视数据。

bull;分析仪

分析仪执行数据分析，消息识别和监控服务识别。该模块必须能够从存储系统中的分布式节点和其他相关组件的数据收集器中识别重要消息和监视服务。该模块还可帮助系统管理员提供有关系统活动的重要信息。该模块负责定期解析由主机上的系统和服务器创建的日志文件，过滤日志文件中的错误消息或错误字符串，记录检测到的错误或错误字符串

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[141784]，资料为PDF文档或Word文档，PDF文档可免费转换为Word