沈阳seo分析案例-z6尊龙平台

案例：

我曾经为一家电子商务网站提供seo顾问服务，网站每日新增商品由商家发布，商品发布后便成为一个有效的商品，并会出现到网站平台的商品检索结果以及商品列表中， 同时，平台运营方需要对商品进行审核，对于没有审核通过的商品则进行删除操作；于是，会出现一些情况：新增商品页面被百度爬虫抓取，但随之该页面被删除。

由于网站在百度的权重比较高，几乎每日新增商品页都会很快收录，因此，在这批新收录的商品页面中有一定比例的页面很快不存在了，即：一批刚被收录的页面又向百度spider返回了404状态码，简单以蔽之，“让百度收了再让百度删”，我觉得百度可能会“很生气，后果很严重”。

为解决这个问题，我之前采取了如下方法：

既然将商家发布的商品包含两种状态：已审核和未审核，那么就为商品页面设计2种url规则，如果商品未审核，则使用第1套url规则，同时，利用robots协议限制百度spider爬虫抓取这些页面；如果商品已审核，那么就与已有商品一样，使用第2套url规则。这样就可以确保百度spider抓取到的商品页面都是有效页面，不会由于商品审核不通过而单日内出现大量404页面。

是否可以利用403状态码来解决该问题？思路如下：

判断商品是否通过平台运营方审核，是的话，页面就返回200，否的话，就返回403；对于正常的商品页面，可以确保百度spider正常抓取；对于新增商品，百度新发现的url是返回403的，当再次回访这些页面时，由于商品已经审核通过，返回的状态码由403变成了200，则百度仍可抓取到；方法仍然有待实验，毕竟之间存在一个时间差以及百度对于返回403的页面是否存在收录效果不佳的风险。

对于301状态码，在以往的seo交流中，大家一致认为百度对301并不感冒，而且反应速度超级慢，lee在帖子中也证实了这一点，但无论怎样，301仍然是其推崇的一种规范的处理方式，宗旨，做网站优化，良好的规范是必要的。