新聞采集

新聞采集，能采集到國內新聞源文章，從文章的數據容量來說，遠遠的滿足了網站對文章的需求，對文章有嚴苛要求的用戶，對文章質量要求會更高，新聞采集的文章能追溯到15年前，很多搜索引擎因為服務器數據量龐大，都會逐步刪除裁剪掉十年前的收錄索引，因此采集幾年十年前的文章發布，對蜘蛛來說，可視為原創。

新聞采集在保存內容的時候，會自動生成時間戳TXT，每個txt容量為50Kb，超出容量后會重新創建txt繼續保存，這個功能是為網站或者站群設計，在大數據高頻率運行讀取的站群系統，如果TXT容量大，比如有的新手站長在放TXT的時候，文件幾兆甚至有的幾十兆，站群在讀取txt數據的時候會造成cpu很高，甚至堵塞，新聞采集為了讓網站和站群更高效率運行，小編建議大家在放置txt的時候文件大小不要超過50kb，不光是文章，關鍵詞域名等文本txt也要嚴格按照這個文件大小。

首次采集后，新聞采集會建立標題文本數據庫，采集到的標題不會重復采集，新聞采集到的標題都是唯一的，絕不會重復。100萬標題數據足夠網站站長操作所有大數據站群，不論是做個人網站，或者內頁站群，目錄站群，新聞熱詞站群，新聞采集都能滿足你的需求。

有了新聞采集的站長不再需要寫采集規則了，因為不是所有人的都會寫的，而且也不適合所有的站點。新聞采集還可以采集未收錄的文章，一般的網站都是可以采集的。新聞采集6大功能：查收錄，查頁面狀態、采未收錄文章、采全部文章、判斷原創度、設置文章字數。

采用了智能采集，不用編寫采集規則（正則表達式）照樣可以采集新聞內容。具有無限制采集功能，可采集遠程圖片到本地，并自動選擇適合的圖片來生成新聞內容縮略圖。新聞采集所有新聞頁面全部采用靜態頁面（.htm文件）生成，極大地提高了服務器的負載能力（根據需要也可以生成.aspx,shtml等類型文件)。可把RSS新聞采集成靜態頁面文件，新聞采集有集成企業級流量分析統計系統，讓站長清楚網站訪問情況。新聞采集所見所得的采集，智能記憶采集，不會重復采集，強大的實時采集，分頁批量采集等。

新聞采集的實現原理，也在這里分享給大家，新聞采集通過python在獲取html方面十分方便，寥寥數行代碼就可以實現我們需要的功能。代碼如下:

def getHtml(url):

     page = urllib.urlopen(url)

     html = page.read()

     page.close()

     return html

我們都知道html鏈接的標簽是“a”，鏈接的屬性是“href”，也就是要獲得html中所有tag=a，attrs=href 值。查閱了資料，一開始我打算用HTMLParser，而且也寫出來了。但是它有一個問題，就是遇到中文字符的時候無法處理。

 class parser(HTMLParser.HTMLParser):

     def handle_starttag(self, tag, attrs):

             if tag == 'a':

             for attr, value in attrs:

                 if attr == 'href':

                     print value

os.getcwd()#獲得當前文件夾路徑

os.path.sep#當前系統路徑分隔符 windows下是“\”，linux下是“/”

#判斷文件夾是否存在，如果不存在則新建一個文件夾

if os.path.exists('newsdir') == False:

    os.makedirs('newsdir')

#str()用來將某個數字轉為字符串

i = 5

str(i)