一、爬蟲

1. 爬蟲是什么
   我們把互聯網有價值的信息都比喻成大的蜘蛛網，而各個接地那就是存放的數據，而蜘蛛網上的蜘蛛比喻成爬蟲，而爬蟲是可以自動抓取互聯網信息的程序，從互聯網上抓取一切有價值的信息，并把站點的html和js返回的圖片爬到本地，并存出起來。

2. 爬蟲用途
   爬取網站信息數據，12306搶票，網絡投票等。

二、BeautifulSoup使用

BeautifulSoup是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.BeautifulSoup會幫你節省數小時甚至數天的工作時間.
看了一些BeautifulSoup的教程文檔，還是推薦大家可以看看 BeautifulSoup中文官方文檔 ，官方文檔還是很好用的。
主要還是分析html的網頁格式，找到想爬取內容在html對應的位置，使用beautifulsoup找到對應元素，獲取標簽內容。

三、爬取豆瓣電影TOP250

1. 分析網頁數據構成，獲取元素位置。如圖，我們可以查看元素在HTML里面對應標簽位置，使用beautifulsoup庫來進行解析獲取想要的數據。
   

2. 直接上代碼

   import requests
   from bs4 import BeautifulSoup
   import re
   import json
   
   #模擬瀏覽器訪問
   headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}
   #爬取數據結果集
   result =[]
   
   # 獲取電影詳情頁鏈接
   def get_deatil_url(url):
       req = requests.get(url, headers=headers)
       bs = BeautifulSoup(req.text, 'html.parser')
       urls = bs.find_all("div", attrs={"class":"info"})
       if len(urls) > 0:
           for item in urls:
               link = item.find("a").get('href')
               get_details(link)
   
   
   # 獲取頁面詳情
   def get_details(url):
       req = requests.get(url, headers=headers)
       bs = BeautifulSoup(req.text, 'html.parser')
       try:
           # 電影排名(這樣寫要確定標簽的屬性或者class值是唯一的能定位到)
           rank = bs.find("span", attrs={"class": "top250-no"}).get_text()
           # 電影名稱
           name = bs.find("span", attrs={"property": "v:itemreviewed"}).get_text().split(' ')[0]
           # 評分
           score = bs.find("strong", attrs={"class":"ll rating_num"}).get_text()
           data = {
               'rank' : rank,
               'name': name,
               'score': score
           }
           print(data)
           result.append(data)
       except Exception as e:
           print(e)
   
   
   ## 3.獲取的數據保存到json文件中
   def save_json(result):
       with open('movie.json','w',encoding='utf-8') as file:
           file.write(json.dumps(result,indent=2,ensure_ascii=False))
           
   
   if __name__ == '__main__':
       ##  1.#根據列表url可以看出start后面為當前頁面第一條的起始序號
       for i in range(0,10):
           url = 'https://movie.douban.com/top250?start={}&filter='.format(i * 25)
           ##  2.通過url獲取頁面詳情
           get_deatil_url(url)
       ## 3.將爬取的數據集保存到json文件中。
       save_json(result)
     
   

3. 運行爬蟲結果
   運行生成的json文件跟python文件會在同一目錄下面。

四、總結

以上算是python爬蟲的簡單例子，很多入門python爬蟲的都有拿豆瓣top250列表做為練手對象，如果對python有興趣可以試試。