公眾號文章數據采集與處理_147SEO

公眾號文章數據采集與處理無處不在。并且數量龐大。我們目前處于數據爆炸的時代，數據采集與處理隨時伴隨著我們。不管是網站論壇、公眾號文章還是朋友圈，每天都會產生數以億條數據、文章、內容等。

通過數據采集與處理工具，我們可以對我們需要采集的公眾號文章數據進行收集。本地保存，進行數據分析或進行二次創作等操作。

數據采集與處理工具操作簡單，頁面簡潔方便，只需要我們鼠標進行點選就可以完成采集配置，即可開始目標網址采集。支持采集資源標簽保留（更好的保存格式）、原文敏感詞過濾（電話號碼地址等去除）、原文圖片水印祛除等。

有時網頁抓取是不夠的；通常需要更深入地挖掘和分析數據來解開數據背后的真正含義并發現有價值的見解。數據和內容的分析利用可以說與我們的工作生活息息相關。

以網站SEO為例，通過數據分析，我們可以統計出網站每天的流量變化以及頁面的跳出率，得出我們網站某些環節的不足。也可以通過數據采集分析我們競爭對手的關鍵詞排名與我們的差距，讓我們能及時調整做出更好的優化應對。

當然，如果不喜歡用工具，我們也可以通過自行敲代碼完成這部分工作：

第一步是通過創建蜘蛛從目標抓取內容：

為了保存數據，以臉書為例，我們將定義一個包含三個字段的項目：“title”、“content”和“stars”：

importscrapy

classFacebookSentimentItem(scrapy.Item):

title=scrapy.Field()

content=scrapy.Field()

stars=scrapy.Field()

我們還創建了一個蜘蛛來填充這些項目。我們給頁面的起始URL。

importscrapy

fromFacebook_sentiment.itemsimportFacebookSentimentItem

class目標Spider(scrapy.Spider):

name="目標"

start_urls=[域名]

然后，我們定義一個函數來解析單個內容并保存其數據：

defparse_review(self,response):

item=FacebookSentimentItem()

item['title']=response.xpath('//div[@class="quote"]/text()').extract()[0][1:-1]#stripthequotes(firstandlastchar)

item['content']=response.xpath('//div[@class="entry"]/p/text()').extract()[0]

item['stars']=response.xpath('//span[@class="ratesprite-rating_srating_s"]/img/@alt').extract()[0]

returnitem

之后，我們定義一個函數來解析內容頁面，然后傳遞頁面。我們會注意到，在內容頁面上，我們看不到整個內容，只是開始。我們將通過點擊完整內容的鏈接并使用parse_review從該頁面抓取數據來解決此問題：

defparse_Facebook(self,response):

forhrefinresponse.xpath('//div[@class="quote"]/a/@href'):

url=response.urljoin(href.extract())

yieldscrapy.Request(url,callback=self.parse_review)

next_page=response.xpath('//div[@class="unifiedpagination"]/child::*[2][self::a]/@href')

ifnext_page:

url=response.urljoin(next_page[0].extract())

yieldscrapy.Request(url,self.parse_Facebook)

最后，我們定義了主要的解析函數，它將從主頁開始，并且將解析其所有內容：

defparse(self,response):

forhrefinresponse.xpath('//div[@class="listing_title"]/a/@href'):

url=response.urljoin(href.extract())

yieldscrapy.Request(url,callback=self.parse_Facebook)

next_page=response.xpath('//div[@class="unifiedpaginationstandard_pagination"]/child::*[2][self::a]/@href')

ifnext_page:

url=response.urljoin(next_page[0].extract())

yieldscrapy.Request(url,self.parse)

所以，要內容：我們告訴蜘蛛從主頁開始，點擊每條內容的鏈接，然后抓取數據。完成每一頁后，它將獲得下一個頁面，因此它將能夠抓取我們需要的盡可能多的內容。

可以看出，通過代碼進行我們的數據采集，不僅復雜，而且需要比較專業的知識。在網站優化方面我們還是應該秉承最優解，對于數據采集與處理的分享就到這里結束了，如果有不同意見，不妨留言討論。