搜索引擎在评估网站内容，并决定其是不是和搜索者的查看有关时，需要了解该网页确实存在，并从网站摘录内容，以便日后剖析。
1．挖掘网页网页搜索的索引与排名某个搜索引擎一旦对网页知道一些，譬如Google，就会让某个“站点”去搜索这类网页。你非常可能期望整个网站都被搜索。但，这非常或许会因为搜索效率低或者基础结构(阻止站点登陆网站)等原因而遭到妨碍。
3．摘取内容网页搜索的索引与排名网页搜索的索引与排名网站路径：
