一：對scrapy的認識：
1.scrapy只是一個爬蟲的框架
他把爬蟲的需要的共性的東西都默認寫下來了，只需要我們具體細化，具體分析補充里面的細節(jié)的東西。就像造房子一樣，scrapy就充當了一個房屋架構，至于房屋里面的東西 需要我們自己去補充設計。
2.scrapy的幾個部分
引擎(engine) 爬蟲(spider)調度器(scheduler) 下載器(downloader) items文件pipeline(管道文件) settings.py(進行對爬蟲修改的東西，比如UserAgent可以注釋掉，pipline管道文件可以將其關閉，從而不使用管道文件，robots協(xié)議可以改為False)
3.各個部分的作用
引擎的作用：處理scrapy這幾個部分之間的聯(lián)系，像人類的大腦，由引擎控制其他各個部分,扮演一個事情通知員的角色，是其他部分之間聯(lián)系的橋梁。
調度器：使我們需要爬取的Url做一個個有序排列
下載器：從云端internet上下載東西
spider：爬蟲 對爬蟲的編寫，實現(xiàn)爬取數(shù)據(jù)，是整個爬蟲的主干
items文件：需要爬取的字段寫在里面 如：name=scrapy.Field()
pipeline：管道文件，用來寫存儲代碼的，將爬取的數(shù)據(jù)存儲到本地或者數(shù)據(jù)庫
ps：以上大概了解下各個部分的職能就好了。
二.scrpay框架實現(xiàn)爬蟲的模擬的簡要過程：
1.首先引擎告訴spider我們需要爬取的數(shù)據(jù)的網(wǎng)域domain，然后spider給引擎作出回應表示知道了
2.引擎告訴調度器(scheduler)‘需要你排序啦’，然后spider將域告訴調度器，調度器將域里面每個需要爬取的url做一個排序，然后對引擎說‘’ 我排好序了’’
3.引擎就對下載器說‘調度器排好序了，你待會需要從云端下載東西了’ 。。。下載器就準備開始以一個個的url里面下載我們寫的item文件，下載好后，對引擎說‘’我下載好了“
4.引擎就開始對spider說“下載器把items文件下好了”,下載器將下載的item文件(響應文件)給spider，spider將得到的items文件(響應文件)給pipline管道進行存儲，同時將繼續(xù)要爬取的URl給調度器，然后調度器，然后周而復始 直到需要爬取的url爬完。
寫spider(爬蟲)中需要注意的
1. name是必要參數(shù)，是scrapy爬蟲的名字。domain域可選參數(shù)，可以沒有，start_urls必要的參數(shù)，是指開始要爬取的url。
2. def parse(self,response) 這個函數(shù)是就這個名字，scrapy中定了的，是對響應文件做出處理的函數(shù)。
3. yield 生成器函數(shù)，生成一個新的函數(shù)，再對數(shù)據(jù)做出進一步處理 如：
ps：yield自己理解的也不是很清楚，見諒。
4. xpath中的.extract()方法：從一個列表中(脫殼)得到一個新的列表。一心得到標簽里面的元素，以列表形式返回
(1)第一種
position = response.xpath(’./td[1]/a/text()’)[] 技術類 2 深圳 2018ps：沒有extract()的時候，整個標簽的東西都拿下來了。返回的是一個selector對象(2)第二種
position = response.xpath(’./td[1]/a/text()’).extract()[‘22989-騰訊云虛擬化高級研發(fā)工程師(深圳) 技術類 2 深圳 2018’]
(3)第三種
position=response.xpath‘./td[1]/a/text()’).extract[0]22989-騰訊云虛擬化高級研發(fā)工程師(深圳) 技術類 2 深圳 2018
scrapy寫爬蟲的步驟：
1. 新建項目：scrapy startproject <項目名>，創(chuàng)建爬蟲 scrpay genspider <爬蟲名> “爬取數(shù)據(jù)的域 如：www.cqggzy.com”
2. 明確自己需要爬取的數(shù)據(jù)，寫items字段
3. 編寫spider爬蟲
4. 存儲：編寫管道文件
注意事項：
scrapy默認setting.py中管道文件是關閉的，需要打開，請求頭在settings中最好將headers也打開，UserAgent最好修改全面一點。robots協(xié)議也可以改為False。
京公網(wǎng)安備 11010802030320號