這篇文章只是記錄一下我的 blog的一些修改和心得，觀察了許久的 Google網站管理員工具 (包含 Sitemaps) ，改了 2次我的 robots.txt檔案，覺得我的一些檔案和設定應該比較進入狀況了，但是看到 Google網站管理員中記錄了一堆有關連結的錯誤問題，雖然因為我的 robots.txt檔案撰寫無誤，但是看了一堆 list在這裡，還是有一點怪怪的

於是動手把我首頁的 tags標籤雲移掉了，因為仔細的想想，乾淨清爽的首頁好像才是最重要的吧，我猜也不會有人很喜歡按那個標籤雲才對(但是對 Googlebot而言，有連結它就會爬行進去的)，雖因為robots.txt的限制， Googlebot就算爬也不會把這些頁面放到它的 index中，但看起來 Google網站管理員工具中 叫做 [ 受 robots.txt 限制的 URL ] 的錯誤會有一大堆，奇摩子有點不爽^^a

如下圖 :

這裡的意思是， Googlebot一般會從你的首頁開始，或是從別人的網站和其他的網站上你的 Link頁面開始，只要這個頁面裡有的連結，理論上bot都會一層一層的爬進去看，它也可能參考你放的 sitemap檔案來爬行你的網站，但是當它準備要爬進去的時候，你根目錄下的 robots.txt檔案有告訴他，不行喔!! 符合某個規則的網頁不準爬喔 !!

那 Googlebot就不會將這些網頁收錄進索引中，而且把這類的問題回報到你的 Google網站管理員工具的這裡囉 ~~~ 關於 robots.txt的詳細說明請參考 WordPress SEO - robots.txt 詳細說明

因此，這應該不算什麼錯誤才對吧?? 只是 Googlebot會不會覺得你的網頁上不准它爬行的 Link如果這麼多?? 那你的網頁到底給一般訪查看的時候又是如何呢??

這個問題我不知道在搜尋引擎看起來代表著什麼意義?? 總之覺得標籤雲好像也確實不太有人會點吧，就把它移除了再說吧，首先到你的主題編輯器中將 tag標籤雲的程式碼拿掉

如果你有裝 Wordpress Extended Live Archives外掛 ，直接用這的外掛的標籤雲就也可以，但是當然是放到分頁裡面去

最後把這個分頁的 URL寫到你的 robots.txt中，不然 放到這裡就只是讓頁面乾淨一點，bot還是會去爬的

最後過一陣子再去你的 Google網站管理員裡面看看有沒有改善囉 !!