在DC學院買的第一門課程——數據分析，終于搞定了！
今天是大年初六了，跟高中同學聚了一下，再過幾天就要回學校了(ノへ￣、)

感覺爬蟲這塊知識還欠缺，一咬牙，也買下了爬蟲的課，老樣子，主要是記錄下老師每節課的筆記，如果有代碼要運行，補充一些。
OK，開始爬蟲之旅！

爬蟲的定義：

網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。

爬蟲有什么用：

市場分析：電商分析、商圈分析、一二級市場分析等

市場監控：電商、新聞、房源監控等

商機發現：招投標情報發現、客戶資料發掘、企業客戶發現等

認識網址的構成

一個網站的網址一般由域名+自己編寫的頁面所構成。我們在訪問同一網站的網頁時，域名一般是不會改變的，因此我們爬蟲所需要解析的就是網站自己所編寫的不同頁面的入口url，只有解析出來各個頁面的入口，我們才能開始我們的爬蟲。

了解網頁的兩種加載方法

• 同步加載：改變網址上的某些參數會導致網頁發生改變，例如：www.itjuzi.com/company?page=1（改變page=后面的數字，網頁會發生改變）
• 異步加載：改變網址上的參數不會使網頁發生改變，例如：www.lagou.com/gongsi/（翻頁后網址不會發生變化）

認識網頁源碼的構成

在網頁中右鍵點擊查看網頁源碼，可以查看到網頁的源代碼信息。
源代碼一般由三個部分組成，分別是：

• html：描述網頁的內容結構
• css：描述網頁的排版布局
• JavaScript：描述網頁的事件處理，即鼠標或鍵盤在網頁元素上的動作后的程序

查看網頁請求

以chrome瀏覽器為例，在網頁上點擊鼠標右鍵，檢查（或者直接F12），選擇network，刷新頁面，選擇ALL下面的第一個鏈接，這樣就可以看到網頁的各種請求信息。

請求頭（Request Headers）信息詳解：

Accept: text/html,image/*(瀏覽器可以接收的類型)
Accept-Charset: ISO-8859-1(瀏覽器可以接收的編碼類型)
Accept-Encoding: gzip,compress(瀏覽器可以接收壓縮編碼類型)
Accept-Language: en-us,zh-cn(瀏覽器可以接收的語言和國家類型)
Host: www.it315.org:80(瀏覽器請求的主機和端口)
If-Modified-Since: Tue, 11 Jul 2000 18:23:51 GMT(某個頁面緩存時間)
Referer: http://www.it315.org/index.jsp(請求來自于哪個頁面)
User-Agent: Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)(瀏覽器相關信息)
Cookie：(瀏覽器暫存服務器發送的信息)
Connection: close(1.0)/Keep-Alive(1.1)(HTTP請求的版本的特點)
Date: Tue, 11 Jul 2000 18:23:51 GMT(請求網站的時間)

響應頭（Response Headers）信息詳解：

Location: http://www.it315.org/index.jsp(控制瀏覽器顯示哪個頁面)
Server:apache tomcat(服務器的類型)
Content-Encoding: gzip(服務器發送的壓縮編碼方式)
Content-Length: 80(服務器發送顯示的字節碼長度)
Content-Language: zh-cn(服務器發送內容的語言和國家名)
Content-Type: image/jpeg; charset=UTF-8(服務器發送內容的類型和編碼類型)
Last-Modified: Tue, 11 Jul 2000 18:23:51 GMT(服務器最后一次修改的時間)
Refresh: 1;url=http://www.it315.org(控制瀏覽器1秒鐘后轉發URL所指向的頁面)
Content-Disposition: attachment; filename=aaa.jpg(服務器控制瀏覽器發下載方式打開文件)
Transfer-Encoding: chunked(服務器分塊傳遞數據到客戶端） 
Set-Cookie:SS=Q0=5Lb_nQ; path=/search(服務器發送Cookie相關的信息)
Expires: -1(服務器控制瀏覽器不要緩存網頁，默認是緩存)
Cache-Control: no-cache(服務器控制瀏覽器不要緩存網頁)
Pragma: no-cache(服務器控制瀏覽器不要緩存網頁)  
Connection: close/Keep-Alive(HTTP請求的版本的特點)  
Date: Tue, 11 Jul 2000 18:23:51 GMT(響應網站的時間)

理解網頁請求過程

從瀏覽器輸入網址、回車后，到用戶看到網頁內容，經過的步驟如下：

（1）dns解析，獲取ip地址；

（2）建立TCP連接，3次握手；

（3）發送HTTP請求報文；

（4）服務器接收請求并作處理；

（5）服務器發送HTTP響應報文；

（6）斷開TCP連接，4次握手。

通用的網絡爬蟲框架

1.挑選種子URL；

2.將這些URL放入待抓取的URL隊列；

3.取出待抓取的URL，下載并存儲進已下載網頁庫中。此外，將這些URL放入待抓取URL隊列，從而進入下一循環；

4.分析已抓取隊列中的URL，并且將URL放入待抓取URL隊列，從而進入下一循環。

最后，知乎上有一個利用爬蟲技術能做到哪些很酷很有趣很有用的事情？