公眾號文章數(shù)據(jù)采集與處理_147SEO

公眾號文章數(shù)據(jù)采集與處理無處不在。并且數(shù)量龐大。我們目前處于數(shù)據(jù)爆炸的時代，數(shù)據(jù)采集與處理隨時伴隨著我們。不管是網(wǎng)站論壇、公眾號文章還是朋友圈，每天都會產(chǎn)生數(shù)以億條數(shù)據(jù)、文章、內(nèi)容等。

通過數(shù)據(jù)采集與處理工具，我們可以對我們需要采集的公眾號文章數(shù)據(jù)進(jìn)行收集。本地保存，進(jìn)行數(shù)據(jù)分析或進(jìn)行二次創(chuàng)作等操作。

數(shù)據(jù)采集與處理工具操作簡單，頁面簡潔方便，只需要我們鼠標(biāo)進(jìn)行點(diǎn)選就可以完成采集配置，即可開始目標(biāo)網(wǎng)址采集。支持采集資源標(biāo)簽保留（更好的保存格式）、原文敏感詞過濾（電話號碼地址等去除）、原文圖片水印祛除等。

有時網(wǎng)頁抓取是不夠的；通常需要更深入地挖掘和分析數(shù)據(jù)來解開數(shù)據(jù)背后的真正含義并發(fā)現(xiàn)有價(jià)值的見解。數(shù)據(jù)和內(nèi)容的分析利用可以說與我們的工作生活息息相關(guān)。

以網(wǎng)站SEO為例，通過數(shù)據(jù)分析，我們可以統(tǒng)計(jì)出網(wǎng)站每天的流量變化以及頁面的跳出率，得出我們網(wǎng)站某些環(huán)節(jié)的不足。也可以通過數(shù)據(jù)采集分析我們競爭對手的關(guān)鍵詞排名與我們的差距，讓我們能及時調(diào)整做出更好的優(yōu)化應(yīng)對。

當(dāng)然，如果不喜歡用工具，我們也可以通過自行敲代碼完成這部分工作：

第一步是通過創(chuàng)建蜘蛛從目標(biāo)抓取內(nèi)容：

為了保存數(shù)據(jù)，以臉書為例，我們將定義一個包含三個字段的項(xiàng)目：“title”、“content”和“stars”：

importscrapy

classFacebookSentimentItem(scrapy.Item):

title=scrapy.Field()

content=scrapy.Field()

stars=scrapy.Field()

我們還創(chuàng)建了一個蜘蛛來填充這些項(xiàng)目。我們給頁面的起始URL。

importscrapy

fromFacebook_sentiment.itemsimportFacebookSentimentItem

class目標(biāo)Spider(scrapy.Spider):

name="目標(biāo)"

start_urls=[域名]

然后，我們定義一個函數(shù)來解析單個內(nèi)容并保存其數(shù)據(jù)：

defparse_review(self,response):

item=FacebookSentimentItem()

item['title']=response.xpath('//div[@class="quote"]/text()').extract()[0][1:-1]#stripthequotes(firstandlastchar)

item['content']=response.xpath('//div[@class="entry"]/p/text()').extract()[0]

item['stars']=response.xpath('//span[@class="ratesprite-rating_srating_s"]/img/@alt').extract()[0]

returnitem

之后，我們定義一個函數(shù)來解析內(nèi)容頁面，然后傳遞頁面。我們會注意到，在內(nèi)容頁面上，我們看不到整個內(nèi)容，只是開始。我們將通過點(diǎn)擊完整內(nèi)容的鏈接并使用parse_review從該頁面抓取數(shù)據(jù)來解決此問題：

defparse_Facebook(self,response):

forhrefinresponse.xpath('//div[@class="quote"]/a/@href'):

url=response.urljoin(href.extract())

yieldscrapy.Request(url,callback=self.parse_review)

next_page=response.xpath('//div[@class="unifiedpagination"]/child::*[2][self::a]/@href')

ifnext_page:

url=response.urljoin(next_page[0].extract())

yieldscrapy.Request(url,self.parse_Facebook)

最后，我們定義了主要的解析函數(shù)，它將從主頁開始，并且將解析其所有內(nèi)容：

defparse(self,response):

forhrefinresponse.xpath('//div[@class="listing_title"]/a/@href'):

url=response.urljoin(href.extract())

yieldscrapy.Request(url,callback=self.parse_Facebook)

next_page=response.xpath('//div[@class="unifiedpaginationstandard_pagination"]/child::*[2][self::a]/@href')

ifnext_page:

url=response.urljoin(next_page[0].extract())

yieldscrapy.Request(url,self.parse)

所以，要內(nèi)容：我們告訴蜘蛛從主頁開始，點(diǎn)擊每條內(nèi)容的鏈接，然后抓取數(shù)據(jù)。完成每一頁后，它將獲得下一個頁面，因此它將能夠抓取我們需要的盡可能多的內(nèi)容。

可以看出，通過代碼進(jìn)行我們的數(shù)據(jù)采集，不僅復(fù)雜，而且需要比較專業(yè)的知識。在網(wǎng)站優(yōu)化方面我們還是應(yīng)該秉承最優(yōu)解，對于數(shù)據(jù)采集與處理的分享就到這里結(jié)束了，如果有不同意見，不妨留言討論。