很多人(rén)反映說(shuō)網站一(yī / yì ／yí)些頁面已經被删除了(le／liǎo)，源文件中不(bù)存在(zài) ，可是(shì)百度快照裏面卻一(yī / yì ／yí)直顯示存在(zài)，打開頁面肯定是(shì)打不(bù)開了(le／liǎo)，很多人(rén)爲(wéi / wèi)此很是(shì)頭疼！

       1、蜘蛛是(shì)怎麽發現我們網站的(de)鏈接的(de)

我們都知道(dào)，蜘蛛是(shì)沿着鏈接爬來(lái)爬去的(de)，他(tā)會自動提取網站中所有的(de)鏈接，保存入庫，然後進行爬取，這(zhè)也(yě)就(jiù)是(shì)爲(wéi / wèi)什麽我們覺得網站的(de)收錄少了(le／liǎo)或者剛發布的(de)文章沒有被收錄，我們就(jiù)會說(shuō)“引蜘蛛”了(le／liǎo)，其實引蜘蛛就(jiù)是(shì)發外鏈了(le／liǎo)，當這(zhè)條鏈接呗蜘蛛發現之(zhī)後，他(tā)就(jiù)會進行爬取，然後通過一(yī / yì ／yí)系列複雜的(de)算法之(zhī)後，決定是(shì)否放出(chū)該頁面的(de)收錄。

2、爲(wéi / wèi)什麽會爬到(dào)不(bù)存在(zài)的(de)頁面

一(yī / yì ／yí)般情況下，有這(zhè)麽幾個(gè)問題

a、被對手惡意刷外鏈，也(yě)就(jiù)是(shì)說(shuō)競争對手惡意的(de)給你發了(le／liǎo)很多的(de)不(bù)存在(zài)的(de)頁面鏈接，當蜘蛛發現之(zhī)後就(jiù)會來(lái)爬取

b、以(yǐ)前做的(de)外鏈，後來(lái)由于(yú)網站改版而(ér)某些鏈接沒有及時(shí)的(de)去除，蜘蛛定期回訪的(de)時(shí)候爬取了(le／liǎo)這(zhè)條鏈接

c、此種僅限老域名，之(zhī)前的(de)網站結構和(hé / huò)我們現在(zài)的(de)網站結構不(bù)一(yī / yì ／yí)緻，也(yě)類似于(yú)b中的(de)說(shuō)法

d、robots文件沒有對蜘蛛進行限制

e、程序的(de)原因，導緻搜索引擎蜘蛛掉入黑洞

f、url提交或者ping給百度地(dì / de)址有誤

蜘蛛爬取不(bù)存在(zài)的(de)頁面，一(yī / yì ／yí)般情況下都是(shì)由于(yú)這(zhè)些問題導緻的(de)，其中最主要(yào / yāo)的(de)原因就(jiù)是(shì)外鏈部分，所以(yǐ)我們要(yào / yāo)經常性的(de)去檢查下我們網站的(de)外鏈情況。

下面提供解決辦法：

這(zhè)些方面綜合來(lái)講，一(yī / yì ／yí)般我們隻需要(yào / yāo)這(zhè)麽做，基本就(jiù)能夠減少這(zhè)種情況的(de)發生，如果是(shì)鏈接導緻的(de)，那麽就(jiù)去百度站長平台使用外鏈拒絕工具拒絕掉，并提交網站的(de)死鏈接，同時(shí)使用robots屏蔽蜘蛛抓取這(zhè)些内容；如果是(shì)程序問題，就(jiù)修複程序