• <noscript id="e0iig"><kbd id="e0iig"></kbd></noscript>
  • <td id="e0iig"></td>
  • <option id="e0iig"></option>
  • <noscript id="e0iig"><source id="e0iig"></source></noscript>
  • Python爬蟲之urllib庫的基本使用【urllib3】

    1.扒百度網址頁面

    import urllib.request
    
    response = urllib.request.urlopen("http://www.baidu.com")
    print(response.read())
    

    打印結果:
    在這里插入圖片描述
    2.扒社保登錄界面

    from urllib.parse import urlencode
    
    values = {"username": "---", "password": "---"}
    data = json.dumps(values).encode()
    url = "http://www.cs12333.com/"
    requests = urllib.request.Request(url, data)
    response = urllib.request.urlopen(requests)
    print(response.read())
    
    
    # dumps是將dict轉化成str格式,loads是將str轉化成dict格式。
    # dump和load也是類似的功能,只是與文件操作結合起來了。
    

    打印結果:
    在這里插入圖片描述

    總結:

    // 調用  urlencode
    
    from urllib.parse import urlencode
    
    values = {"username": "111", "password": "111"}
    data = json.dumps(values).encode()
    

    ————————————

    // 調用  urlopen
    
    import urllib.request
    
    response = urllib.request.urlopen("http://www.baidu.com")
    print(response.read())
    

    ————————————

    // 調用  Request
    
    import urllib.request
    
    requests = urllib.request.Request(url, data)
    

    ————————————

    // 調用  CookieJar
    
    import http.cookiejar
    
    cookie = http.cookiejar.CookieJar()
    

    ————————————

    // 調用  HTTPCookieProcessor
    
    import urllib.request
    
    handle = urllib.request.HTTPCookieProcessor(cookie)
    

    ————————————

    // 調用  build_opener
    
    import urllib.request
    
    opener = urllib.request.build_opener(handle)
    

    ————————————

    // 調用  MozillaCookieJar
    
    import http.cookiejar
    
    filename = "cookie.txt"
    cookie = http.cookiejar.MozillaCookieJar(filename)
    
    版權聲明:本文為qq_43096786原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接和本聲明。
    本文鏈接:https://blog.csdn.net/qq_43096786/article/details/109470086

    智能推薦

    【網絡爬蟲】Python3—urllib庫的使用

    前言 \quad\quad爬蟲基礎知識這里介紹了和爬蟲相關的一些基礎知識,其中提到爬蟲最初的操作便是模擬瀏覽器想服務器發出請求,那么我們應該如何操作呢? \quad\quad其實,Python已經為我們提供了功能齊全的類庫來幫助我們完成這些請求,比如HTTP庫有urllib、requests等。 本篇我們就來介紹urllib庫的使用 環境 anaconda3 python3.6 jupyter n...

    python學習(3)Urllib庫的基本使用

    Urllib是Python內置的HTTP請求庫 urllib.request 請求模塊 urllib.error 異常處理模塊 urllib.parse url解析模塊 urllib.robotparser rebots.txt解析模塊 用法: 響應 響應類型 打開cmd——>jupyter notebook 輸出為 <class 'http.client.HT...

    Python2.7爬蟲入門之Urllib庫的基本使用

    我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的,實質它是一段HTML代碼,加 JS、CSS,如果把網頁比作一個人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我們就寫個例子來扒一個網頁下來。 1.扒一個網頁下來 運行: 2、分析扒網頁的方法 首先我們調用的是urllib2庫里面的urlopen方法,傳入一個u...

    神奇的Batch Normalization 如果一個模型僅訓練BN層會是什么樣的

    您可能會感到驚訝,但這是有效的。 ? 最近,我閱讀了arXiv平臺上的Jonathan Frankle,David J. Schwab和Ari S. Morcos撰寫的論文“Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs”。 這個主意立刻引起了...

    用Python實現校園通知更新提醒

    前言 這個項目實已經在一個月前已經完成了,一直都想寫一篇博客來總結這個過程中遇到的一些問題。但最近一個月來都比較忙,所以一直拖到了現在。 首先說說起因吧,我沒事的時候,總喜歡依次點開學校主頁、教務處、圖書館以及學院的網站,看看有沒有什么新通知,雖然大多與我無關。恰逢最近正在學Python,經常聽到別人說用Python寫爬蟲很簡單,但自己尚未接觸過爬蟲。于是抱著試一試的心態看了幾篇關于Python爬...

    猜你喜歡

    spring_ioc相關_第一章

    1 spring是一站式框架,在javaee的三層結構中,每一層都提供不提并的解決技術 web層:springMVC service層:spring的ioc dao層:spring的jdbcTemplate 2 javaee為避免兩個類之間出現耦合,則把對象的創建交給spring進行管理,spring的ioc操作:(1)ioc的配置文件方式;(2)ioc注解方式 3 ioc的底層原理使用技術(1)...

    【Python+OpenCV】視頻流局部區域像素值處理-一種特征提取方法

    參考我之前寫的處理圖片的文章:Python+OpenCV實現【圖片】局部區域像素值處理(改進版) 開發環境:Python3.6.0 + OpenCV3.2.0 任務目標:攝像頭采集圖像(例如:480*640),并對視頻流每一幀(灰度圖)特定矩形區域(480*30)像素值進行行求和,得到一個480*1的數組,用這480個數據繪制條形圖,即在逐幀采集視頻流并處理后“實時”顯示采...

    JavaWeb——【前端】——注冊頁面

    頁面效果 實現代碼 注意事項 主要使用的bootstrap樣式 如果想引用,不要直接復制,沒用的。 先介紹下所引用的文件: boostrap的js、bootstrap的css、jquery的js、以及自己編寫的register.css。 因為博主用的thymeleaf語法,所以有th符號。 若要使用時,根據個人情況導入相應的依賴。...

    網站HTTP升級HTTPS完全配置手冊

    本文由葡萄城技術團隊于博客園原創并首發 轉載請注明出處:葡萄城官網,葡萄城為開發者提供專業的開發工具、解決方案和服務,賦能開發者。 今天,所有使用Google Chrome穩定版的用戶迎來了v68正式版首個版本的發布,詳細版本號為v68.0.3440.75,上一個正式版v67.0.3396.99發布于6月13日,自Chrome 68起,當在加載非HTTPS站點時,都會在地址欄上明確標記為&ldqu...

    echarts 自定義儀表盤設置背景圖片

    echarts儀表盤 使用插件 vue-echarts 代碼示例 HTML部分 js部分 效果圖...

    精品国产乱码久久久久久蜜桃不卡