升級到 Wordpress 2.3.2版本之後，當然我的 robots.txt也做了一些修改，當然有關於 robots.txt的說明還是可以參考我的這個文章 WordPress SEO - robots.txt 詳細說明，而在 Wordpress 2.3版本之後，你可以做一些修改

底下這份 robots.txt的事先說明

1. 我的 Wordpress使用的固定網址是 /%postname%.html
2. 我的 Wordpress安裝在 子目錄 /blog下

而重點應該在 tag和 comment的部分，希望大家可以看懂，也許有些地方限制的不好，因為我的 Wordpress這一次改得非常的精簡，很多外掛和側邊欄都簡化很多，因此不需要限制太多的

robots.txt整份的內容如下

User-Agent: *
# disallow all files in these directories
Disallow: /dh_
Disallow: /cgi-bin/
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/wp-content/plugins/
Disallow: /blog/about
Disallow: /blog/contact
Disallow: /blog/tag/
Disallow: /feed/
Disallow: /trackback/
Disallow: */feed$
Disallow: */trackback$
Disallow: /*comment-*

User-Agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-Agent: duggmirror
Disallow: /
# allow google image bot to search all images
User-Agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-Agent: Mediapartners-Google*
Disallow:
Allow: /*