蜘蛛會不會抓取百度推廣鏈接?今日發現百度統計的SEO建議要求修改百度推廣鏈接后面的谷歌分析參數,說是“在靜態頁面上使用動態參數,會造成spider多次和重復抓取”。但是推廣鏈接并不是24小時都存在的,百度蜘蛛是否真的會抓取推廣鏈接?
自己解決了。查看了下百度首頁的robots.txt,發現百度禁止了蜘蛛抓取百度……User-agent: BaiduspiderDisallow: /baiduDisallow: /s?
所以推廣鏈接是不會被百度蜘蛛抓取到的。
上一篇 H標簽如何合理運用
下一篇 百度蜘蛛抓取圖片返回404,需要怎么處理?
【 微信掃一掃 】
復制微信號并跳轉微信