文 献 综 述

伴随着网络技术的快速发展，网络的信息量变得十分庞大。网络信息越来越丰富，但是，同时，这也带来了一些麻烦。比如网络信息分部具有很大的自由度和随意性，缺少质量控制和管理机制，使得网络信息繁杂、混乱，质量良莠不齐，存在安全隐患。如此庞大的信息量，给用户对信息的选择和网络资源的利用带来了障碍。因此，如何在这浩如烟海的信息世界中找到自己所需要的信息已经成为互联网技术的一个非常重要的研究课题。为了帮助用户找到自己需要的信息，各种搜索引擎应运而生。

搜索引擎是万维网环境中的信息检索系统，其通常提供目录检索和关键字检索这两种方式的服务。在互联网上寻找信息的用户利用搜索引擎获取感兴趣的相关网页链接及网站提供的服务。所以说搜索引擎是信息时代下，人们上网冲浪、检索热点信息、获取专业知识不可或缺的重要工具。搜索引擎包括综合搜索引擎、目录搜索引擎、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。通用搜索引擎是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织后，并将处理后的信息显示个用户，是为用户提供检索服务的系统。通用搜索引擎的出现，为我们快速、准确、有效地获取网络信息资源提供了极大地帮助。通用搜索引擎已经成为网上非常重要的网络导航服务工具，如百度，google。通用搜索引擎极大地提高了Web应用的广度与深度。互联网上拥有大量的web服务器，而且web服务器提供的信息种类与内容也极其丰富。互联网的信息量增长速度极快。同时，web页面的内容是不稳定的。除了不断有新的网页出现之外，旧的网页也会不断更新。这也就暴露出通用搜索引擎的不足之处：信息量大、查询不够准确、深度不够；搜索到的海量信息无序化。

每个用户所需要的信息是非常有限的，但每个用户对信息的需要却都有自己的主体性和个性化的要求，通用搜索引擎往往不能很好的满足用户的这种需求。

针对通用搜索引擎的现状和面临的挑战，人们开始研究一种更为有效的Internet信息检索工具，目的是使得人们在互联网的信息海洋中，尽可能较快的搜索到自己需要的网页信息，节省时间。正是基于这样的目标，以及满足广大用户的实际需要，垂直搜索引擎随之出现。

垂直搜索引擎也被称为专业或专用搜索引擎，就是专门为查询某一个学科或主题的信息而产生的查询工具，专门收录某一方面、某一行业或某一主题的信息，在解决某些实际查询问题的时候比综合搜索引擎更加有效。垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取，也就是将网页的非结构化数据抽取称特定的结构化信息数据。如果说网页搜索时以网页为最小单位，则垂直搜索引擎是以结构化数据位最小单位。讲这些数据存储到数据库中，进行进一步加工处理，如：去重、分类等，后分词、索引、最终以对结构化数据的搜多方式满足用户的信息需求。除此之外，垂直搜索引擎和通用搜索引擎还有以下的区别:

(1)服务的对象不同

通用搜索引擎服务的对象是：有信息检索需求的任何”普通”用户。而垂直搜索引擎服务的对象是：有着特定信息检索需求的”特定”用户。

(2)搜索方式不同

通用搜索引擎的搜索方式是试图抓取网络中存在的所有网页页面，因此需要耗费大量的网络资源；而垂直搜索引擎则是采用一种一定的爬行策略，使得网络蜘蛛在爬行过程中，可以动态的调整爬行方向，尽量抓取与特定主题相关的网页页面，所以耗费的网络资源相对较小。