又到了夜深人静的时候,对于以前的我来说每天的这个时候都是在敲一下代码啊或者看一会书,但是今夜突然间又一次心血来潮,想写一篇博文来记录一下这一段时间做SEO优化所遇到的问题。
其实对于我来说SEO并不是特别的了解,对它的认识也是在这几年里做一些网站的时候由于搜索引擎对网站页面的抓取量较少而去想改变这一情况所以才去慢慢接触的。
我经常性的没事就刷一下站长工具里面的SEO查询,把自己的域名打进去,看一下索引值,收录值有没有什么变化,但是大多数时间还是带着满腔希望而来,满腔失望而去。。。
这一段时间我在做一个小说网站,想让更多的人来看到我的网站,进到里面去使用它,所以就特别在乎搜索引擎给我带来的流量,而这却又与爬虫对我网站的抓取息息相关
最开始,我的网站既没有sitemap.xml,也没有网上好多网友说的有利于百度爬虫进来的sitemap.html,所以页面的抓取量只有十几或者是二十几,之后我便在网站上加上了网站地图,然后又将几乎所有的动态地址都给rewrite伪静态了,也把页面里面的keywords,description都依据网上的长尾关键词来进行了修改,虽然说收录量有所上升,但也就是在三十到四十之间徘徊。。想我的网站那个时候已经有接近二十五万个页面了啊。。。
之后我便去想有什么问题,我试着将我网站中所有在超链接(a标签)中嵌套的div都给去掉了,超链接都是一个个的纯文字超链接,而且又为每一个超链接都加上了title标签,通过这种方法改造了之后就发现页面的收录量就开始蹭蹭蹭的上涨,虽然不是很清楚这样做的原因,但是我想这很有可能就是讲网页的结构中的div内容和a超链接更加有结构和层次性,对于这样是不是有利于爬虫的爬行还有待于进一步考证。