百度蜘蛛304问题的总结

《百度蜘蛛304问题的总结》由会员分享，可在线阅读，更多相关《百度蜘蛛304问题的总结（1页珍藏版）》请在装配图网上搜索。

1、百度蜘蛛304问题的总结 关于百度蜘蛛304问题的总结年前上线本网站，历经HTTP改https重定向，大量发文章寻求百度收录各个难关，这段时间查看网站日志发现里面全是百度蜘蛛访问首页304问题，当时没有在意；过了3天必应收录直线收录从500调到180，再查看日志里面大局部都是蜘蛛访问首页304问题，赶忙在度娘搜寻各种解决这个问题资料，然而统统不论用还是304，实在是没有方法。 过了两天，想查一下到底百度蜘蛛遇到什么障碍造成304代码，以前总是用百度站长平台诊断抓取内容页测试，忽略了首页也能诊断抓取。尝试首页抓取诊断，一诊断发现了最大的问题首页所有汉字都是乱码，这下明白了本源就在这里：查看源码发

2、现里面包含了UTF-8，下面居然还有个。果决删除这个害人的GB231，再次测试抓取诊断乱码搞定了！过了几个小时查看网站日志304彻底解决了。网上其他解决304问题办法附在下方以便再与此问题时方便查看：1、效劳器缓存设置缓存的作用直接点击首页会发现还是之前访问的页面，而F5重新加载后才会显示新的页面，这其实就是缓存的缘故。另外，有的时候和一些较大的网站换友情链接也会遇到，对方加了友链之后首页不会马上显示，会因为缓存而需要过一段时间才能显示。2、网站结构问题如果网站结构不能有效的让蜘蛛顺利爬行，也就是说虽然蜘蛛有抓取，但由于网站结构问题导致蜘蛛前后两次抓取内容相同，或者说蜘蛛每次抓取首页都只抓了那块固定的内容，则就势必导致蜘蛛对首页的抓取返回304状态码。4、网站内容问题说都是网站内容长期采集或是伪原创也能导致蜘蛛返回该状态码，因为网站内容采集或伪原创确实会降低网站质量，导致百度不收录等情况，搜索蜘蛛也会认为网站内容不具备收录的意义，则也就不会抓取新的内容而返回没有更新的状态。度蜘蛛304问题的确很头疼