有关河北百度爱采购组织结构的简化

日期:2020年05月15日 /人气: /来源:本站原创

    河北百度爱采购中使用的是倒排索引,有不少朋友并不理解什么叫倒排索引。这里先来介绍一下正向索引。当用户进行查询时,如果对本地文件全面扫描用户所提交的关键词,“查询”的工作量就太大了,而且也是很消耗服务器资源的,所以搜索引擎会把已经处理过的网页先进行索引,放到数据库中等待网民的搜索查询请求个网页被搜索引擎经过以上处理后,就只剩下能够体现网页主体内容的文本了,此时就可以对该网页进行索引了。正向索引指的是文件对应关键词的形式,正向索引数据结构简化。如果使用这种索引直接参与排名,则与不分词没有太大区别,也需要对所有文件进行检索,并且如果用户提交的是长尾词,这种索引对文件內容相关度的计算也会非常消耗资源。为了使得索引文件可以直接用于排名,河北百度爱采购会把上面的对应关系进行转换,做成倒排索引,也就是采用关键词对应文件的形式。倒排索引的数据结构简化示意。
    这样的索引结构就可以直接应用于搜索排名了,比如,用户搜索关键词1,那么搜索引擎只会对包含关键词的文件进行相关度和权重计算;用户搜索“关键词1+关键词2”组合词,那么搜索引擎就会把包含关键词1且包含关键词2的文件调出,进行相关度和权重计算。这样就大大加快了呈现排名的速度。河北百度爱采购中不仅仅记录了包含相应关键词文件的ID,还会记录关键词频率、每个关键词对应的文档频率,以及关键词出现在文件中的位置等信息。在排名过程中,这些信息会被分别进行加权处理,并应用到最终的排名结果中在SEO操作中,会有相对应的加大关键词频率、尽量使核心关键词出现在网页的最前面,以及关键词用H标签和变色加粗等着重标识的操作手法,这些都会被倒排索引所记录,并参与关键词相关度的计算和搜索排名。
    在河北百度爱采购如此发达的今天,同一资料会在多个网站发布,同—新闻会被大部分媒体网站报道,再加上小姑长和SEO人员孜孜不倦地网络采集,造成了网络上拥有大量的重复信息。然而当用户搜索某个关键词时,搜索引擎必定不想呈现给用户的搜索结果都是相同的内容。抓取这些重复的网页,在一定意义上就是对搜索引擎自身资源的浪费,因此去除重复内容的网页也成了搜索引擎所面临的一大问题在一般的搜索引擎架构中,网页去重一般在Spider抓取部分就存在了,“去重”步骤在整个搜索引擎架构中实施得越早,越可以节约后续处理系统的资源使用。搜索引擎一般会对已经抓取过的重复页面进行归类处理,比如,判断某个站点是否包含大量的重复页面,或者该站点是否完全采集其他站点的内容等,以决定以后对该站点的抓取情况或是否直接屏蔽抓取。

作者:chuangxinkeji

上一页: 河北百度爱采购的着陆页面   下一页: 有关河北百度爱采购主要是什么业务?