在seo優(yōu)化的過(guò)程中，經(jīng)常會(huì)遇到日志中有很多無(wú)效抓取，或者同一頁(yè)面收錄多個(gè)等問(wèn)題，那怎樣引導(dǎo)蜘蛛正確抓?。勘苊庠斐梢恍┎槐匾氖珍浐妥ト?？

無(wú)效抓取的原因

通過(guò)我們對(duì)搜索引擎抓取策略的了解，我們知道搜索引擎會(huì)通過(guò)互聯(lián)網(wǎng)鏈接和目錄等形式分布式抓取，那導(dǎo)致我們出現(xiàn)無(wú)效抓取的原因也不外乎是以下5點(diǎn)：

robots.txt未設(shè)置完善，導(dǎo)致無(wú)關(guān)路徑被抓??；

程序規(guī)則適配未設(shè)置，導(dǎo)致單一頁(yè)面重復(fù)收錄；

網(wǎng)頁(yè)鏈接布局重復(fù)，導(dǎo)致無(wú)關(guān)頁(yè)面頻繁被抓?。?/p>

css、js等相關(guān)文件未做合并，導(dǎo)致抓取資源占取較大；

404頁(yè)面未配置，導(dǎo)致的無(wú)效頁(yè)面抓?。?/p>

而這些文件和規(guī)則的配置，通常seo都會(huì)做，但做的還不夠，必須正確配置才能將搜索引擎分配給我們的抓取資源合理利用，況且如果結(jié)構(gòu)不合理或無(wú)效文件抓取過(guò)多也會(huì)給搜索引擎造成質(zhì)量較差的印象。

正確配置的方式方法

關(guān)于robots配置

在robots中，除了對(duì)目錄的屏蔽還有對(duì)鏈接的屏蔽規(guī)則。

我們不希望搜索url被抓取收錄，便可以通過(guò)規(guī)則來(lái)進(jìn)行屏蔽，找到規(guī)則中共有的 ?s= 然后在它的后面加上 * 便可以形成規(guī)則。

關(guān)于程序配置

關(guān)于程序配置需要注意的點(diǎn)便是避免產(chǎn)出重復(fù)url，如果無(wú)法在程序端修改，那一定要在服務(wù)器端適配好跳轉(zhuǎn)規(guī)則，以免造成重復(fù)收錄。典型的案例就是翻頁(yè)重復(fù)問(wèn)題，這個(gè)翻頁(yè)重復(fù)問(wèn)題一般來(lái)說(shuō)都是程序?qū)е碌?，例如：www.xxx.com/news/和www.xxx.com/news/list_1.html

本質(zhì)上來(lái)說(shuō)，這倆頁(yè)面URL雖然不同，但內(nèi)容缺是相同的，所以需要及時(shí)適配跳轉(zhuǎn)規(guī)則，避免無(wú)效抓取和重復(fù)收錄。

關(guān)于網(wǎng)頁(yè)鏈接布局

合理使用 nofollow 屬性，單一頁(yè)面出現(xiàn)重復(fù)鏈接或者無(wú)需抓取鏈接均可以使用 nofollow 屬性來(lái)解決。

關(guān)于css與js相關(guān)文件

對(duì)于搜索引擎來(lái)說(shuō)，一切新的內(nèi)容都可以是被重視抓取的，但眾所周知網(wǎng)頁(yè)中的css和js文件對(duì)于seo來(lái)說(shuō)并不需要占取大量抓取資源，為了合理性考慮，相關(guān)配置文件數(shù)量可少便少，可按照類(lèi)型和用途進(jìn)行歸類(lèi)匯總。

另外我們之前也提到過(guò)，主域名的跳轉(zhuǎn)適配也需要在建站過(guò)程中進(jìn)行正確配置，否則很有可能造成www和不帶www二者同時(shí)收錄的情況，也是權(quán)重不集中的體現(xiàn)。