一提到爬蟲，大多數(shù)同學都想到的是Python，今天小千就給大家上一下不同的菜，利用js制作一個爬蟲，Python用膩了來試試js吧。

      一、引言

      最近娛樂圈比較的火的算是鄭爽事件了，作為一名程序猿如何能或者最新的娛樂熱點新聞呢？ 今天咱們就用js做一個網(wǎng)絡爬蟲，來爬取一個網(wǎng)站的新聞數(shù)據(jù)。

      二、什么是爬蟲？

      網(wǎng)絡爬蟲，又稱為網(wǎng)頁蜘蛛，網(wǎng)絡機器人，意思是我們通過程序去搜集網(wǎng)絡上某些網(wǎng)站的數(shù)據(jù)。典型的通過爬蟲獲取數(shù)據(jù)的網(wǎng)站，比如百度、谷歌等搜索引擎。還有一些新聞聚合類網(wǎng)站，比如今日頭條等網(wǎng)站。之前淘寶的一淘，返利網(wǎng)等網(wǎng)站都是利用了爬蟲技術(shù)去獲取別人網(wǎng)站的一些信息。 爬蟲也不能亂用，無限制的去爬取一個網(wǎng)站的信息，那樣會導致人家公司服務器壓力比較大。之前有句爬蟲界比較流行的話：爬蟲玩的好,監(jiān)獄進的早;數(shù)據(jù)玩的溜,牢飯吃個夠！做技術(shù)的要有自己的底線，之前有程序員用爬蟲為公司做了一些工作，結(jié)果公司被訴訟，程序猿被帶走！

      三、開始之前

      為了防止出一些意外，首先我們可以訪問你要爬取的目標網(wǎng)站的robots協(xié)議。 robots協(xié)議也叫robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡爬蟲：此網(wǎng)站中的哪些內(nèi)容是不應被爬蟲獲取的，哪些是可以被爬蟲獲取的。參考robots.txt去爬取數(shù)據(jù)，再設置一下間歇時間，不會有人在意的。

      紅色部分是關(guān)鍵，所有的網(wǎng)頁都不能被爬取??！有句話不知當講不當講！

      冷靜下來，文章還沒寫就要結(jié)束了嗎？我的kpi咋辦?。。?/p>

      看看我們的今天要爬取的網(wǎng)頁地址，我們今天要爬取的網(wǎng)頁后綴名不是html?。?！

      不知道是不是網(wǎng)站的技術(shù)人員忽略了這樣的地址，哈哈哈。

      四、正式開始

      我們使用nodejs做爬蟲，要使用到兩個npm包，cheerio 和 axios

      首先按照nodej，然后安裝axios和cheerio 。

      五、安裝axios

      axios是一個可以發(fā)起請求從而獲取網(wǎng)頁內(nèi)的包。

      鍵盤上按win+r，輸入CMD，在里面輸入   npm i aixos

      就可以安裝axios

      六、安裝cheerio

      安裝cheerio cheerio 是一的用法跟jQuery的用法差不多。 就是先將頁面的數(shù)據(jù)load進來形成一個特定的數(shù)據(jù)格式，然后通過類似jq的語法，對數(shù)據(jù)進行解析處理。 終端中輸入

      npm i cheerio

      七、爬取數(shù)據(jù)

      新建sp.js文件，寫入如下代碼

      執(zhí)行node sp.js 命令

      網(wǎng)頁的數(shù)據(jù)已經(jīng)獲取到了，然后我們就可以使用jquery的語法獲取頁面中的數(shù)據(jù)了。 下面我們分析一下頁面的結(jié)構(gòu)

      可以看到頁面中所有的新聞標題都在a標簽中，類名是truetit。然后我們就可以使用jq的選擇器獲取頁面中所有類名為truetit的元素。

      終端中結(jié)果

      這樣每次執(zhí)行就可以獲取最新的娛樂新聞，不需要打開網(wǎng)頁就可以獲取到，當然我們只是獲取了第一頁的數(shù)據(jù)，你也可以獲取第二頁、第三頁等其他頁面的數(shù)據(jù)。 我們現(xiàn)在相當于只獲取了一個網(wǎng)站的娛樂數(shù)據(jù)，如果你再分析一些其他的網(wǎng)站，獲取一些其他的網(wǎng)站的數(shù)據(jù)，然后把數(shù)據(jù)都存儲起來，自己就可以做一個只顯示娛樂新聞的網(wǎng)站了！

      學習web前端，可以參考千鋒web前端培訓班提供的web前端學習路線，該學習路線對從零基礎小白到web前端初級開發(fā)工程師，web前端高級開發(fā)工程師，后面的web前端大神級開發(fā)工程師都有一個明確清晰的指導，根據(jù)千鋒web前端培訓機構(gòu)提供的web前端學習路線圖可以讓你對學習web前端開發(fā)需要掌握的知識有個清晰的了解，并快速入門web前端開發(fā)。想要獲取前端完整學習路線和免費的學習資料可以添加我們的web前端技術(shù)分享交流qq群：857920838  加群找群管理領取即可，等你來哦~~