在(zài)做網站結構分析之(zhī)前，要(yào / yāo)理解搜索引擎蜘蛛是(shì)拟人(rén)化的(de)算法而(ér)已。算法就(jiù)是(shì)按部就(jiù)班的(de)執行事先設計的(de)抓取策略，所以(yǐ)良好的(de)網站結構具備引導、分配權重、提高抓取效率等作用，隻有内部框架搭建好之(zhī)後，内容的(de)布局才能井然有序，蜘蛛才能有序爬行。
　　事先問題思考：
　　1.蜘蛛是(shì)否實現邏輯上(shàng)的(de)全站抓取
　　2.蜘蛛是(shì)否可以(yǐ)區分頁面重要(yào / yāo)性
　　3.蜘蛛是(shì)否可以(yǐ)提取頁面的(de)關鍵詞
　　一(yī / yì ／yí)、邏輯上(shàng)全站爬行
　　1.網站結構優化
　　網站物理結構，即基于(yú)内容聚合的(de)目錄及文件位置決定的(de)結構。目前的(de)主流思維就(jiù)是(shì)網站扁平化設計，即平行結構。如：
　　列表目錄扁平化設計
　　主要(yào / yāo)實現方式：
　　第一(yī / yì ／yí)種 隻是(shì)簡單的(de)上(shàng)下頁操作

    第二種 在(zài)第一(yī / yì ／yí)種的(de)基礎上(shàng) 增加頁面的(de)選擇性

    第三種 目前主流的(de)列表頁設計方式 交流性比較合理

　　首頁的(de)扁平化設計
　　首頁一(yī / yì ／yí)般是(shì)權重的(de)最高頁面，也(yě)是(shì)蜘蛛最先訪問的(de)頁面。所以(yǐ)在(zài)首頁鏈接對于(yú)頁面的(de)“重要(yào / yāo)性”有一(yī / yì ／yí)定影響，但往往一(yī / yì ／yí)個(gè)網站的(de)頁面成千上(shàng)萬，首頁的(de)鏈接數理論上(shàng)維持100-150是(shì)合理的(de)，所以(yǐ)将想要(yào / yāo)頻道(dào)頁、詳細頁在(zài)首頁留下鏈接，實現邏輯上(shàng)首頁扁平化設計。同樣适用頻道(dào)頁等聚合屬性的(de)頁面。
　　那麽問題來(lái)了(le／liǎo)，面對數量巨大(dà)頁面，如何保證都可以(yǐ)實現被爬行抓取?
　　樹形結構的(de)輔助，就(jiù)是(shì)爲(wéi / wèi)了(le／liǎo)解決，扁平化帶來(lái)的(de)不(bù)足，在(zài)導航欄、面包屑導航等設計頁面層級思維，輔助蜘蛛對網站結構的(de)理解。
　　如：采用二級域名的(de)網站樹形結構
　　總體上(shàng)扁平化+樹形結構才是(shì)合理的(de)網站結構優化策略組合。

　　2.鏈接結構優化
　　兩種蜘蛛抓取不(bù)到(dào)的(de)頁面：網站本身不(bù)希望被收錄的(de)頁面;沒有鏈接到(dào)達的(de)頁面，即孤島頁面。對于(yú)沒有被首頁推薦的(de)頁面，可以(yǐ)再内鏈上(shàng)補充。合理的(de)内鏈就(jiù)是(shì)一(yī / yì ／yí)個(gè)四通八達、井然有序的(de)交通系統，蜘蛛就(jiù)是(shì)來(lái)往的(de)車輛。社會化、描文本、設置鏈接入口等。
　　3.Domain結構優化
　　主要(yào / yāo)是(shì)二級域名和(hé / huò)二級目錄的(de)選擇策略。沒有絕對的(de)好與不(bù)好，就(jiù)科易網小編來(lái)說(shuō)目前公司網站正在(zài)有二級域名網站結構向二級目錄轉變，隻是(shì)采取适應當前科易網發展的(de)核心：塑造公司品牌。所以(yǐ)根據自身特點選擇合理的(de)domain策略。
　　二、重要(yào / yāo)性的(de)主導
　　對于(yú)搜索引擎來(lái)說(shuō)，什麽樣頁面會被認爲(wéi / wèi)“更重要(yào / yāo)”?有這(zhè)麽一(yī / yì ／yí)句話：每個(gè)鏈接都是(shì)一(yī / yì ／yí)個(gè)投票，意思是(shì)：頁面的(de)所有鏈接都是(shì)投票。在(zài)搜索引擎看來(lái)：獲得更多内部投票的(de)網頁相對來(lái)說(shuō)更加重要(yào / yāo)。
　　如：搜索引擎角度頁面重要(yào / yāo)性 黃色>紅色>藍色>綠色
　　三、網頁的(de)标簽：關鍵詞
　　搜索引擎在(zài)分析頁面的(de)内容是(shì)優先從TDK入手，即title、description、keyword;之(zhī)後就(jiù)是(shì)H标簽、alt标簽;最後是(shì)TF-IDF ，即詞頻-文件頻率。從三個(gè)的(de)關聯度定義頁面的(de)“标簽”，即抓取的(de)時(shí)頁面的(de)定義的(de)關鍵詞。