東莞億網(wǎng)網(wǎng)絡提醒請謹慎在robots.txt中增加sitemap鏈接

一直以來，大家都在尋找各種方式向搜索引擎提供自己網(wǎng)站的內(nèi)容，其中就包括sitemap，甚至很多文章介紹說在robots.txt增加sitemap的指向效果非常明顯。

是否真的有那么神奇呢？其實不然！

東莞億網(wǎng)為工作的原因包括東莞SEO,東莞網(wǎng)絡公司哪家好,東莞網(wǎng)站優(yōu)化,東莞網(wǎng)絡營銷,東莞網(wǎng)站建設,東莞網(wǎng)頁制作,東莞網(wǎng)站設計,東莞畫冊設計,東莞畫冊印刷，有幸接觸到了一次實戰(zhàn)，而且是3個規(guī)模不一的站點同時向robots.txt中增加sitemap的鏈接指向。

sitemaps.org網(wǎng)站上有具體的sitemap的格式以及參數(shù)設置辦法。

根據(jù)不同的站點規(guī)模，我們選擇了不同的方式；

增加的格式如下：

站點1規(guī)模較大，使用的是sitemap的索引文件，索引文件再包含其他sitemap文件。

在robots.txt的最后一行增加 Sitemap：http://www.web1.com/sitemap.xml

sitemap.xml索引文件的內(nèi)容格式如下：

<?xml version="1.0" encoding="UTF-8"?>

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

<sitemap>

<loc>http://www.web1.com/sitemap1.xml</loc>

<lastmod>2011-05-01T18:23:17+00:00</lastmod>

</sitemap>

<sitemap>

<loc>http://www.web1.com/sitemap2.xml</loc>

<lastmod>2011-05-01</lastmod>

</sitemap>

</sitemapindex>

站點2和站點3規(guī)模都較小，采用的是直接指向具體的sitemap.xml

在robots.txt的最后一行增加 Sitemap：http://www.web2.com/sitemap.xml

具體格式如下：

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

<url>

<loc>http://www.web2.com/</loc>

<lastmod>2011-05-01</lastmod>

<changefreq>monthly</changefreq>

<priority>0.8</priority>

</url>

</urlset>

增加完畢3天后，就有了變化，情況并不像預期的那樣好，具體表現(xiàn)如下：

1、百度：3個站的收錄迅速變慢，尤其是站點1，從之前的每天收錄2000多頁變成了每天只收錄10幾頁或者干脆不收錄，分析日志發(fā)現(xiàn)百度的蜘蛛來了，但收錄的內(nèi)容極少，或者干脆只停留幾分鐘就走了，站點2和站點3的每天新收錄數(shù)變成了0，之前是每天基本有10頁左右。

2、google：整體來說，google的效果最好，站點1的收錄迅速上升了，并且很多之前從不收錄的頁面也開始收錄了，站點2和站點3的收錄變化不是很大，排名有所上升，不知道是不是碰巧。

3、soso：所有站點的收錄開始減少，基本沒有收錄新增加的頁面，盡管站點1每天的更新量都在2000左右。

4、sogou：基本類似于百度。

5：bing：收錄有小幅上升，但不是很明顯。

出現(xiàn)這么糟糕的后果，使我們東莞市億網(wǎng)網(wǎng)絡有限公司團隊所有人員都不愿意看到的，于是果斷的刪除了所有的sitemap指向；

3天過后，百度收錄開始正常，google變化不大，其他搜索引擎的收錄基本恢復正常。

由此可以推斷，各個搜索引擎對于sitemap的理解和接受是不一樣的，這里面的技術問題我們也無法去討論，但是實踐證明，如果你的站點結構合理，收錄也正常，完全沒有必要去做什么sitemap，筆者個人認為，sitemap比較適合小規(guī)模的站點，并且是站點結構不太合理的小規(guī)模站點，如果你的網(wǎng)站結構合理，搜索引擎均能自己完成收錄。

另外比較重要的一點，如果你已經(jīng)做了sitemap，就最好保持時刻更新，最好是程序自動化的更新。

以上只是筆者個人的一些實踐體會，不能保證實驗結果一定正確，也不具備指導性，只是和廣大朋友探討交流。