搜索引擎地址库 SEO搜索引擎优化

搜索引擎地址库

为避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现、但还未抓取的页面,以及已经被抓取的页面。蜘蛛在页面上发现链接后并不是马上就去访问,而是将URL存入地址库,然后统一安排抓取。 地址库...
阅读全文