Change aware distributed file system for a distributed search engine
Change aware distributed file system for a distributed search engine
复制标题
分布式搜索引擎的更改感知分布式文件系统
DOI：
10.1109/icme.2004.1394533
复制
发表时间：
2004
期刊：
影响因子：
--
通讯作者：
M. Uehara
中科院分区：
文献类型：
--
作者：
M. Uehara
Intranet信息检索对于发现有用的知识是非常重要的。在这个过程中，搜索引擎是有用的。然而，传统的基于集中式架构的搜索引擎不适合于内联网信息检索，因为内联网信息经常更新。集中式搜索引擎需要很长的时间来收集网页的机器人。因此，我们已经开发了一个分布式搜索引擎，合作搜索引擎（CSE），检索新鲜的信息。在CSE中，位于每个Web服务器中的本地搜索引擎对本地页面进行索引。并且，Meta搜索服务器集成这些本地搜索引擎以实现全局搜索引擎。CSE需要几分钟来更新索引，因为每个本地搜索引擎都会扫描自己磁盘中的所有文件。在本文中，我们提出了一个通知机制，使用变化感知分布式文件系统。从而实现了实时信息检索
Intranet information retrieval is very important for discovering useful knowledge. In this process, the search engine is useful. However, conventional search engines, which are based on a centralized architecture, are not suited for intranet information retrieval because intranet information is frequently updated. Centralized search engines take a long time to collect Web pages by robots. So, we have developed a distributed search engine, the cooperative search engine (CSE), to retrieve fresh information. In CSE, a local search engine located in each Web server makes an index of local pages. And, a meta search server integrates these local search engines to realize a global search engine. CSE takes a few minutes to update the index because each local search engine scans all files in its own disk. In this paper, we propose a notification mechanism using a change aware distributed file system. As a result, we realize real-time information retrieval