爬行是(shì)什麽？

爬行指的(de)是(shì)搜索引擎蜘蛛從已知頁面上(shàng)解析出(chū)鏈接指向的(de)URL，然後沿着鏈接發現新頁面（也(yě)就(jiù)是(shì)鏈接指向的(de)URL）的(de)過程。當然，蜘蛛并不(bù)是(shì)發現新URL馬上(shàng)就(jiù)爬過去抓取新頁面，而(ér)是(shì)把發現的(de)URL存放到(dào)待抓地(dì / de)址庫中，蜘蛛按照一(yī / yì ／yí)定順序從地(dì / de)址庫中提取要(yào / yāo)抓取的(de)URL。

抓取是(shì)什麽？

抓取是(shì)搜索引擎蜘蛛從待抓地(dì / de)址庫中提取要(yào / yāo)抓的(de)URL，訪問這(zhè)個(gè)URL，把讀取的(de)HTML代碼存入數據庫。蜘蛛的(de)抓取就(jiù)是(shì)像浏覽器一(yī / yì ／yí)樣打開這(zhè)個(gè)頁面，和(hé / huò)用戶浏覽器訪問一(yī / yì ／yí)樣，也(yě)會在(zài)服務器原始日志中留下記錄。

索引是(shì)什麽？

索引指的(de)是(shì)将一(yī / yì ／yí)個(gè)URL的(de)信息進行整理，存入數據庫，也(yě)就(jiù)是(shì)索引庫，用戶搜索時(shí)，搜索引擎從索引庫中提取URL信息并排序展現出(chū)來(lái)。索引的(de)英文是(shì)index。索引庫是(shì)用于(yú)搜索的(de)，所以(yǐ)被索引的(de)URL是(shì)可以(yǐ)被用戶搜索到(dào)的(de)，沒有被索引的(de)URL用戶在(zài)搜索結果中是(shì)看不(bù)到(dào)的(de)。

要(yào / yāo)注意的(de)是(shì)，所謂“一(yī / yì ／yí)個(gè)URL的(de)信息“，并不(bù)限于(yú)蜘蛛從URL上(shàng)抓取來(lái)的(de)内容，還有來(lái)自其它來(lái)源的(de)信息，如外部鏈接、鏈接的(de)錨文字等。有的(de)時(shí)候，索引庫中關于(yú)這(zhè)個(gè)URL的(de)的(de)信息，根本沒有從這(zhè)個(gè)URL抓取來(lái)的(de)内容，但搜索引擎知道(dào)這(zhè)個(gè)URL的(de)存在(zài)，并且有一(yī / yì ／yí)些其它信息。

抓取和(hé / huò)索引不(bù)是(shì)一(yī / yì ／yí)回事。

收錄是(shì)什麽？

我個(gè)人(rén)覺得收錄和(hé / huò)索引沒有區别。隻不(bù)過收錄是(shì)從搜索用戶角度看的(de)，搜索時(shí)能找到(dào)這(zhè)個(gè)URL，就(jiù)是(shì)這(zhè)個(gè)URL被收錄了(le／liǎo)。從搜索引擎角度看，URL被收錄了(le／liǎo)，也(yě)就(jiù)是(shì)這(zhè)個(gè)URL的(de)信息在(zài)索引庫中存在(zài)。英文并沒有收錄這(zhè)個(gè)詞，和(hé / huò)索引用的(de)是(shì)同一(yī / yì ／yí)個(gè)詞index。

noindex的(de)作用是(shì)什麽？

頁面頭信息中放上(shàng)meta noindex标簽是(shì)告訴搜索引擎不(bù)要(yào / yāo)索引這(zhè)個(gè)URL，也(yě)就(jiù)是(shì)用戶搜索時(shí)找不(bù)到(dào)這(zhè)個(gè)URL的(de)信息，這(zhè)個(gè)URL不(bù)會返回在(zài)搜索結果列表中。

noindex不(bù)是(shì)告訴搜索引擎不(bù)要(yào / yāo)抓取這(zhè)個(gè)URL，實際上(shàng)，noindex要(yào / yāo)起作用，這(zhè)個(gè)URL是(shì)必須先被抓取的(de)，不(bù)然搜索引擎怎麽看到(dào)頁面HTML代碼中有noindex标簽呢？

robots文件的(de)作用是(shì)什麽？

robots文件是(shì)告訴搜索引擎，某些URL不(bù)要(yào / yāo)抓取。注意，這(zhè)裏說(shuō)的(de)是(shì)不(bù)要(yào / yāo)抓取，沒說(shuō)不(bù)要(yào / yāo)索引。和(hé / huò)noindex是(shì)正相反的(de)。

nofollow的(de)作用是(shì)什麽？

給鏈接加上(shàng)nofollow屬性是(shì)告訴搜索引擎，不(bù)要(yào / yāo)沿着這(zhè)個(gè)鏈接爬行，就(jiù)當這(zhè)個(gè)鏈接不(bù)存在(zài)。注意，nofollow隻是(shì)告訴蜘蛛不(bù)要(yào / yāo)爬這(zhè)個(gè)鏈接，沒有說(shuō)不(bù)要(yào / yāo)抓取鏈接指向的(de)URL，也(yě)沒有說(shuō)不(bù)要(yào / yāo)索引鏈接指向的(de)URL，nofollow既沒禁止抓取，也(yě)沒禁止索引。

概念說(shuō)過後，指出(chū)幾個(gè)SEO們經常弄不(bù)明白的(de)情況：

沒有被抓取的(de)頁面是(shì)可以(yǐ)被索引的(de)，蜘蛛沒有訪問和(hé / huò)抓取這(zhè)個(gè)頁面（比如被robots文件禁止抓取），這(zhè)個(gè)頁面卻有信息存在(zài)索引庫中，用戶搜索時(shí)還能看到(dào)。