一、搜索引擎
、啥叫搜索引擎
依据特定策略，用计算机程序从网上搜集信息，再对信息进行整理，提供给用户检索服务，把相关信息展示给用户的一种系统。
、搜索引擎发展史
分类目录时代→整合分析时代→生态圈搜做时代
、百度算法更新：大家自个儿搜一搜吧
二、百度蜘蛛抓取策略
、抓取友好性
蜘蛛最喜懽文字，所以网站文章发布不能光图不文，这样文章蜘蛛不太待见。
、常用抓取返回码解释
：网站能打开
：提权
：暂时挑战
：网速太慢
：访问路径错误
：网站自身问题
、识别多种URL重定向
：meta refresh、js
、抓取优先级
、深度优先遍历策略，网站所有链接都会爬取
、广度优先遍历策略
、PR优先遍历策略
、反链优先策略
、社会化分享指导策略
、重复URL过滤
用户进入网站首页后，域名后那串码，但搜索一级域名也能进入网站首页，页面一样，URL却不断变化，蜘蛛为减少工作量，会自动屏蔽重复页面，不再抓取信息。
、获取暗网数据
互联网有大量搜索引擎暂时无法抓取的数据，这就是暗网数据。
邀请大家共同学习，提高网站在搜索引擎中的排名，让更多人看到你的内容。
版权声明：掌握百度PHP蜘蛛抓取机制：策略模拟方法解析 系墨家SEO原创发布转载时请以链接形式注明文章出处：https://mihxws.cn/youqing-29000.html
未注明出处链接视为侵权。对于任何侵犯版权的行为，我们将依法采取措施，并保留追诉法律责任的权力
