SEO优化——Robots.txt和Sitemap篇

SEO的话题都差不多,于是我也不能免俗,这饭好像还有点旧,合适的就看看吧。

Robots.txt百度百科

搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜 索引擎只收录指定的内容。

robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站时,首先会检查该网站中是否存在robots.txt 这个文件,如果robots机器人程序找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

 

我的Robots.txt :


User-agent: *

Disallow: /demo
Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /comments

Disallow: */trackback

Disallow: */comments

Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.duyuxian.com/sitemap.xml

除了Sitemap 地址外,其余的你都可以直接复制粘贴放到你网站的根目录下。

 

Sitemap (站长百科)

网站地图一个重要的作用是,方便搜索引擎收录网站中的内容页面,搜索蜘蛛都会先通过网站地图的链接来进入深层次网页,符合规范的网站地图对于网站的搜索引擎优化有很大的帮助。就好像为网站提供了整站的RSS,而搜索引擎就是这些RSS的订阅者,只要网站有更新就会自动通知搜索引擎。这样一来,搜索引擎的收录你的网站由被动变成了主动。

 

关于这个,主要想介绍一个WP插件,叫 BWP Google XML Sitemaps ,虽然打着Google这个名,但对于哪个搜索引擎都是一样效用的。

在我看来这个插件最大的特色是支持 多站点 sitemap 显示,第二大特色是懒人专用,因为只要启用了,就不用再设什么,直接无视后台那一大篇的英文。

但如果你真的想了解点什么的,你可以看看这个文章——BWP GXS:WordPress必装插件

使用时要注意把之前生成的放在根目录下的sitemap删干净,否则爬来爬去都是旧的,装了等于没装。

具体的效果,你可以看看: http://www.duyuxian.com/sitemap.xml  这插件生成的地图结构非常有条理,结构非常清楚。

 

最后,本来是还有两篇关于SEO优化想写的,大约是我的博客读者都比较高端,大家好像越看越无趣,我也越写越无力,剩下的就以后再写了。

近来写技术文多,现在差不多要告一段落了,这些技术文在懂的人看来就像无头苍蝇在觅啊觅,不懂的人看来就像大神在飞啊飞。技术本是无底洞,我不真是什么技术女,也没打算要深学任何编程,更没想过把IT变成专业,我只是在折腾中学习些我用到的技能。

其实最近生活有很多可以写的,貌似在博客中给我忽略太多,不如下篇写写我最近工作没?

加入对话

21条评论

  1. 没有太大的用处的,还是要有原创内容,常更新,适当的外链,SEO的效果自然就来了。

    未来,SEO肯定是一条:内容为王。其它的都是辅助性的东西。

留下评论

回复 好玩 取消回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据