首先是蜘蛛來到網(wǎng)站：大家都知道，搜索引擎來到一個網(wǎng)站靠的是外部鏈接，如果你沒有和其它網(wǎng)站有外部鏈接，那么蜘蛛就不能順著這些網(wǎng)狀結(jié)構(gòu)的鏈接爬行到你的網(wǎng)站，就無從談起抓取收錄，也就不會有排名，因為你的網(wǎng)站在搜索引擎的大門外。當(dāng)蜘蛛來到你的網(wǎng)站首頁時(一般的外部鏈接都是鏈到首頁)，最好讓他沿著首頁繼續(xù)爬行更加深的內(nèi)容和產(chǎn)品頁，這樣才能最大化的進(jìn)行收錄，因此網(wǎng)站需要不錯的外部鏈接來引誘蜘蛛，同時網(wǎng)站內(nèi)部需要良好的網(wǎng)站結(jié)構(gòu)，盡量達(dá)到扁平化或者樹狀結(jié)構(gòu)。讓蜘蛛不但能來到你的網(wǎng)站，也能順著這些合理的結(jié)構(gòu)進(jìn)行爬行。一般情況下，網(wǎng)頁之間最好用文字鏈接，不建議使用JS、Flash或者圖片，現(xiàn)在搜索引擎還無法完全理解這些腳本里邊包含的內(nèi)容是什么。另外，我們可以制作網(wǎng)站地圖，把所有重要的頁面都以鏈接的方式顯示出來，這樣蜘蛛就能順著網(wǎng)站地圖順利的爬行你的網(wǎng)站。最后和大家說的是，最好所有的頁面能在三四次點(diǎn)擊內(nèi)達(dá)到，如果點(diǎn)擊次數(shù)太多的話，收錄很困難。

    接著是蜘蛛抓取網(wǎng)站：在收錄和抓取上，建議大家盡量使用靜態(tài)頁面。雖然現(xiàn)在蜘蛛已經(jīng)完全能讀懂動態(tài)頁面的意思，并且也能很順利的進(jìn)行爬行和抓取，但是通過研究我們可以發(fā)現(xiàn)，往往的靜態(tài)頁面排名要優(yōu)先于動態(tài)頁面。在外部條件相同的情況下，一般靜態(tài)網(wǎng)頁的權(quán)重稍微高于動態(tài)。有時候動態(tài)網(wǎng)頁由于設(shè)計的問題容易讓蜘蛛進(jìn)入無限循環(huán)，所以搜索引擎會遠(yuǎn)離這類URL。另外有些企業(yè)網(wǎng)站是全Flash設(shè)計的，在讀取上非常困難，一般不太容易實現(xiàn)收錄。另外就是避免框架結(jié)構(gòu)，剛開始出現(xiàn)網(wǎng)頁設(shè)計時，框架曾經(jīng)很流行，現(xiàn)在還有很多網(wǎng)站在采用框架結(jié)構(gòu)，但這個是讓搜索引擎很頭痛的東西。搜索引擎基本不對框架里邊的東西進(jìn)行抓取。除了框架之外，還有的就是音頻文件，圖片，廣告代碼，彈窗等都不利于蜘蛛爬行。蜘蛛喜歡文字性的內(nèi)容。因此我們有了足夠的外部鏈接來引誘蜘蛛時，要注意的就是合理的使用網(wǎng)頁設(shè)計的元素，這樣才能讓搜索引擎順利抓取你的網(wǎng)頁和內(nèi)容。

    最后是被搜索引擎提煉：我們的網(wǎng)頁中包含圖片，包含文字，同時也包含很多其它文件，搜索引擎并不會抓取不相關(guān)的文件，只會抓取文字內(nèi)容。所以Html代碼需要進(jìn)行優(yōu)化才能讓搜索引擎以最快的速度提煉出最重要的信息。總體要符合以下六個原則，一是格式標(biāo)簽占的比例越低越好，文字內(nèi)容占的越多越好;二是把css、js等文件放在外部，需要時進(jìn)行調(diào)用;三是把關(guān)鍵詞放在合理的標(biāo)簽中，比如標(biāo)題常常放在H1標(biāo)簽中。四是檢查網(wǎng)頁的兼容性，使用不同的瀏覽器進(jìn)行測試;五是盡量符合W3C標(biāo)準(zhǔn)，雖然這個不容易，但是盡量把代碼標(biāo)準(zhǔn)化;六是只有蜘蛛順利爬行你的網(wǎng)頁并提取有用的信息，才是比較友好的設(shè)計。以上六個原則是進(jìn)行設(shè)計是必須要注意的，有很多網(wǎng)頁里邊包含了大量的CSS以及JS代碼，就會影響蜘蛛的爬行，如果重要內(nèi)容在這些內(nèi)容下，那么很可能不會被搜索引擎爬行到。

    我們做網(wǎng)站的時候需要照顧到用戶體驗，但是用戶體驗并不和友好搜索引擎的代碼相互沖突。如果你的網(wǎng)站一定要使用Flash或者Ajax才能達(dá)到效果，那么也可以用，但盡量少用。很多網(wǎng)站導(dǎo)航喜歡用圖片，其實純CSS的代碼也能設(shè)計出漂亮的菜單，同時也利于搜索引擎抓取。我們在設(shè)計網(wǎng)頁的時候，首先要考慮的是如何服務(wù)用戶，但同時記得不要把搜索引擎的蜘蛛拒之門外就可以了。不必苛求兩者中的任何一個方面。