在"通過HTTP狀態(tài)碼查看搜索引擎蜘蛛如何爬行你 網(wǎng)站”一文中, 我介紹了一些經(jīng)常涉及到 HTTP狀態(tài)碼及含義, 譬如大家經(jīng)常探討并且與本文相關(guān) Http狀態(tài)碼：

404：服務(wù)器找不到指定 資源, 請(qǐng)求 網(wǎng)頁(yè)不存在(譬如瀏覽器請(qǐng)求 網(wǎng)頁(yè)被刪除或者移位, 但不排除日后該鏈接有效 可能性)；
410：請(qǐng)求 網(wǎng)頁(yè)不存在(注意：410表示永久性, 而404表示臨時(shí)性)；
200：服務(wù)器成功返回請(qǐng)求 網(wǎng)頁(yè)；
301：網(wǎng)址永久性重定向
302：網(wǎng)址臨時(shí)性重定向

注意：大部分搜索引擎將"404”與"410”狀態(tài)同等對(duì)待, 如Google. (參見Matt Cutts 說明)

對(duì)HTTP404狀態(tài)碼 理解

　　HTTP 404 錯(cuò)誤意味著鏈接指向 網(wǎng)頁(yè)不存在, 即原始網(wǎng)頁(yè) URL失效, 這種情況經(jīng)常會(huì)發(fā)生, 很難避免, 比如說：網(wǎng)頁(yè)URL生成規(guī)則改變,網(wǎng)頁(yè)文件更名或移動(dòng)位置,導(dǎo)入鏈接拼寫錯(cuò)誤等, 導(dǎo)致原來 URL地址無法訪問；當(dāng)Web 服務(wù)器接到類似請(qǐng)求時(shí), 會(huì)返回一個(gè)404 狀態(tài)碼, 告訴瀏覽器要請(qǐng)求 資源并不存在. 但 , Web服務(wù)器默認(rèn) 404錯(cuò)誤頁(yè)面, 無論Apache還 IIS, 均十分簡(jiǎn)陋,呆板且對(duì)用戶不友好, 無法給用戶提供必要 信息以獲取更多線索, 無疑這會(huì)造成用戶 流失.

　　因此, 很多網(wǎng)站均使用自定義404錯(cuò)誤 方式以提供用戶體驗(yàn)避免用戶流失. 一般而言, 自定義404頁(yè)面通用 做法 在頁(yè)面中放置網(wǎng)站快速導(dǎo)航鏈接,搜索框以及網(wǎng)站提供 特色服務(wù), 這樣可以有效 幫助用戶訪問站點(diǎn)并獲取需要 信息.

HTTP404對(duì)SEO 影響

　　自定義404錯(cuò)誤頁(yè)面 提供用戶體驗(yàn) 很好 做法, 但在應(yīng)用過程中往往并未注意到對(duì)搜索引擎 影響, 譬如：錯(cuò)誤 服務(wù)器端配置導(dǎo)致返回"200”狀態(tài)碼或自定義404錯(cuò)誤頁(yè)面使用Meta Refresh導(dǎo)致返回"302”狀態(tài)碼. 正確設(shè)置 自定義404錯(cuò)誤頁(yè)面, 不僅應(yīng)當(dāng)能夠正確地顯示, 同時(shí), 應(yīng)該返回"404”錯(cuò)誤代碼, 而不 "200”或"302”. 雖然對(duì)訪問 用戶而言, HTTP狀態(tài)碼究竟 "404”還 "200”來說并沒有什么區(qū)別, 但對(duì)搜索引擎而言, 這則 相當(dāng)重要 .

(一)自定義404錯(cuò)誤頁(yè)返回"200”狀態(tài)碼

　　當(dāng)搜索引擎蜘蛛在請(qǐng)求某個(gè)URL時(shí)得到"404”狀態(tài)回應(yīng)時(shí), 即知道該URL已經(jīng)失效, 便不再索引該網(wǎng)頁(yè), 并向數(shù)據(jù)中心反饋將該URL表示 網(wǎng)頁(yè)從索引數(shù)據(jù)庫(kù)中刪除, 當(dāng)然, 刪除過程有可能需要很長(zhǎng)時(shí)間；而當(dāng)搜索引擎得到"200”狀態(tài)回應(yīng)時(shí), 則會(huì)認(rèn) 該url 有效 , 便會(huì)去索引, 并會(huì)將其收錄到索引數(shù)據(jù)庫(kù), 這樣 結(jié)果便 這兩個(gè)不同 url具有完全相同 內(nèi)容：自定義404錯(cuò)誤頁(yè)面 內(nèi)容, 這會(huì)導(dǎo)致出現(xiàn)復(fù)制網(wǎng)頁(yè)問題. 對(duì)搜索引擎而言, 特別 Google, 不但很難獲得信任指數(shù)TrustRank, 會(huì)大大降低Google對(duì)網(wǎng)站質(zhì)量 評(píng)定. （ 什么會(huì)出現(xiàn)返回"200”狀態(tài)碼 情況？？請(qǐng)參看下面內(nèi)容"自定義404錯(cuò)誤頁(yè)面 基本原則”）

　　我一直在使用Google Sitemap, 當(dāng)我們提交XML格式網(wǎng)站地圖文件時(shí), Google會(huì)驗(yàn)證我們 身份以確保 網(wǎng)站合法 管理者. 驗(yàn)證方式有兩種：上傳指定名稱 html頁(yè)到網(wǎng)站根目錄或者在網(wǎng)頁(yè)meta區(qū)域添加一個(gè)標(biāo)識(shí)身份 meta標(biāo)簽. 我通常 使用上傳html網(wǎng)頁(yè) 方式, 但Google卻提示我網(wǎng)站根目錄下找不到這個(gè)網(wǎng)頁(yè)（實(shí)際上我已上傳, 并且通過瀏覽器可以訪問）, 這 一個(gè)很可怕 問題, 見圖：