• <noscript id="e0iig"><kbd id="e0iig"></kbd></noscript>
  • <td id="e0iig"></td>
  • <option id="e0iig"></option>
  • <noscript id="e0iig"><source id="e0iig"></source></noscript>
  • 解決Pyinstaller打包numpy和pandas庫文件過大問題

    標簽: linux  docker  python

    解決Pyinstaller壓縮numpy和pandas庫文件過大問題


    ????今天是2021年的第一天,先祝各位小伙伴現年快樂哈。最近因為做了一個項目,需要打包文件,文件中包含了numpy和pandas庫,結果打包出來幾百行的代碼居然要900m,人都傻了,翻遍了全網找解決方法都搞不定,最后經過大佬的指點,在docker下解決了打包文件過大的問題,最終打包30m,因此記錄下流程,希望對各位遇到同樣的問題能有幫助。

    文件包類型和網上的方法

    import pandas as pd
    import numpy as np
    import time
    import math
    import warnings
    warnings.filterwarnings('ignore')
    from tkinter import *
    from tkinter import ttk
    from tkinter import messagebox
    from tkinter import filedialog
    from PIL import ImageTk, Image
    import re
    
    

    ????這是我項目中導入的庫,其中有numpy和pandas這兩個量級的工具包(目前網上有說pandas和numpy是不能打包的,實際上并不是這樣的),直接在cmd下切入到項目的路徑下,輸入:

    pyinstaller -F main.py
    

    進行打包,其中打包的格式可以參照這篇文章,比較詳細的介紹了如何打包。打包等了n久,還出現在遞歸溢出…不過這個不是重點,通過百度解決了溢出問題最終打包出來的結果居然有900+m,人都傻了。
    ????通過不斷地百度,在這篇文章下面找到了使用pipenv環境進行打包,具體的直接打包文件過大是因為使用pyinstaller會打包anaconda里面一些無關的包,因此弄的文件很大,要壓縮大小就需要一個“干凈”的環境,pipenv就提供了這樣的環境。不過按著pipenv打包,打包出來的結果有200+m,雖然壓縮了一大堆,但是結果還是不夠滿意,具體為什么我也不太清楚,講道理有一個新虛擬的環境應該不會打包這么大的,如果有大佬知道為什么可以在評論區留言討論一下。下圖是我的pipenv中的環境:
    在這里插入圖片描述
    ????后面在某大佬的指點下使用的docker進行打包,效果出奇的好,因此建議使用docker進行打包。

    Windows下docker的安裝

    Windows下如何安裝docker
    ????怎么安裝我就不重復了,參照上面的文章按步驟來就好,這里有個問題,我的電腦沒有Hyper-v,因此需要安裝一個,步驟如下:

    1.將如下代碼添加到記事本中,并另存為Hyper-V.cmd文件。代碼如下:
    pushd “%~dp0”
    dir /b %SystemRoot%\servicing\Packages*Hyper-V*.mum >hyper-v.txt
    for /f %%i in (‘findstr /i . hyper-v.txt 2^>nul’) do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages%%i"
    del hyper-v.txt
    Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL
    2.右鍵Hyper-V.cmd文件以管理員方式運行,然后等待重啟即可生效

    ????有了Hyper-v,運行了docker,結果出現了這個

    System.InvalidOperationException:
    Failed to set version to docker-desktop: exit code: -1
    stderr:
    在 Docker.ApiServices.WSL2.WslShortLivedCommandResult.LogAndThrowIfUnexpectedExitCode(String prefix, ILogger log, Int32 expectedExitCode) 位置 C:\workspaces\PR-15077\src\github.com\docker\pinata\win\src\Docker.ApiServices\WSL2\WslCommand.cs:行號 146
    在 Docker.Engines.WSL2.WSL2Provisioning.d__8.MoveNext() 位置 C:\workspaces\PR-15077\src\github.com\docker\pinata\win\src\Docker.Desktop\Engines\WSL2\WSL2Provisioning.cs:行號 82
    — 引發異常的上一位置中堆棧跟蹤的末尾 —
    在 System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
    在 System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
    在 Docker.Engines.WSL2.LinuxWSL2Engine.d__25.MoveNext() 位置 C:\workspaces\PR-15077\src\github.com\docker\pinata\win\src\Docker.Desktop\Engines\WSL2\LinuxWSL2Engine.cs:行號 99
    — 引發異常的上一位置中堆棧跟蹤的末尾 —
    在 System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
    在 System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
    在 Docker.ApiServices.StateMachines.TaskExtensions.d__0.MoveNext() 位置 C:\workspaces\PR-15077\src\github.com\docker\pinata\win\src\Docker.ApiServices\StateMachines\TaskExtensions.cs:行號 29
    — 引發異常的上一位置中堆棧跟蹤的末尾 —
    在 System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
    在 System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)
    在 Docker.ApiServices.StateMachines.StartTransition.d__5.MoveNext() 位置 C:\workspaces\PR-15077\src\github.com\docker\pinata\win\src\Docker.ApiServices\StateMachines\StartTransition.cs:行號 67
    — 引發異常的上一位置中堆棧跟蹤的末尾 —
    在 System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()
    在 Docker.ApiServices.StateMachines.StartTransition.d__5.MoveNext() 位置 C:\workspaces\PR-15077\src\github.com\docker\pinata\win\src\Docker.ApiServices\StateMachines\StartTransition.cs:行號 92

    解決方法:
    管理員方式執行cmd命令

    netsh winsock reset

    重啟后,docker就可以正常啟動啦。
    在這里插入圖片描述
    運行docker也很簡單,接盤上按win+R進入運行界面,輸入powershell進入windows powershell,輸入

    docker --version
    

    可以查看docker的版本,輸入

    docker pull hello-world
    

    拉下鏡像,然后輸入

    docker run hello-world
    

    如果一切正常說明docker成功安裝,這些操作都和在linux系統一樣的。

    在docker下實現打包

    ????在docker下實現打包,需要用到docker鏡像,具體搜鏡像可以去docker hub里面搜,pyinstaller的鏡像網站:https://hub.docker.com/r/cdrx/pyinstaller-windows
    直接在powershell下輸入

    docker pull cdrx/pyinstaller-windows
    

    拉下鏡像后,創建container,記得掛載主機!!!

    docker run -it -v D:/PyCharm/project/pack:/home/ cdrx/pyinstaller-windows   /bin/bash
    

    其中:

    • D:/PyCharm/project/pack 是我文件的目錄,大家按自己文件的目錄改一下就好了
    • /home/ 是docker下的對應的目錄

    運行完后container就創建好了,輸入

    pip list
    

    看下docker下的環境包吧。
    在這里插入圖片描述
    原裝包真的少,然后安裝你需要的包,我導入的庫有pandas、numpy、還有tkinter,因此需要安裝幾個包,運行pip安裝:

    # 最好對應主機的庫版本
    pip install numpy==1.16.4
    pip install pandas==1.0.5
    pip install Pillow
    

    然后輸入

    pyinstaller -F main.py
    

    打包,結果很喜人,只有30m,但是運行程序報錯,這時候你就看看缺什么包就補什么包吧。
    最終我安裝的包如下:
    在這里插入圖片描述
    最終程序可以執行,如果不想要黑黑的cmd彈窗的話,就在打包時候把-F改成-w吧,這樣的話打包結果為80m左右,也很不錯了。

    版權聲明:本文為weixin_44424296原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接和本聲明。
    本文鏈接:https://blog.csdn.net/weixin_44424296/article/details/112078218

    智能推薦

    解決React引入Ant Design導致bundle過大問題

    問題解決前后的對比: vs 處理后的bundle減少了接近150KB (這150KB正是因為全量引入SVG圖標文件導致) 解決方案適用 Ant Design 3.x 版本; 最新發布的的 Ant Design 4.0 版本已支持按需加載,無需單獨處理; 詳情見:知乎專欄:Ant Design 4.0 正式版來了! 如何驗證全量引入了SVG - ICONS? Bundle分析利器:Webpack B...

    神奇的Batch Normalization 如果一個模型僅訓練BN層會是什么樣的

    您可能會感到驚訝,但這是有效的。 ? 最近,我閱讀了arXiv平臺上的Jonathan Frankle,David J. Schwab和Ari S. Morcos撰寫的論文“Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs”。 這個主意立刻引起了...

    用Python實現校園通知更新提醒

    前言 這個項目實已經在一個月前已經完成了,一直都想寫一篇博客來總結這個過程中遇到的一些問題。但最近一個月來都比較忙,所以一直拖到了現在。 首先說說起因吧,我沒事的時候,總喜歡依次點開學校主頁、教務處、圖書館以及學院的網站,看看有沒有什么新通知,雖然大多與我無關。恰逢最近正在學Python,經常聽到別人說用Python寫爬蟲很簡單,但自己尚未接觸過爬蟲。于是抱著試一試的心態看了幾篇關于Python爬...

    spring_ioc相關_第一章

    1 spring是一站式框架,在javaee的三層結構中,每一層都提供不提并的解決技術 web層:springMVC service層:spring的ioc dao層:spring的jdbcTemplate 2 javaee為避免兩個類之間出現耦合,則把對象的創建交給spring進行管理,spring的ioc操作:(1)ioc的配置文件方式;(2)ioc注解方式 3 ioc的底層原理使用技術(1)...

    【Python+OpenCV】視頻流局部區域像素值處理-一種特征提取方法

    參考我之前寫的處理圖片的文章:Python+OpenCV實現【圖片】局部區域像素值處理(改進版) 開發環境:Python3.6.0 + OpenCV3.2.0 任務目標:攝像頭采集圖像(例如:480*640),并對視頻流每一幀(灰度圖)特定矩形區域(480*30)像素值進行行求和,得到一個480*1的數組,用這480個數據繪制條形圖,即在逐幀采集視頻流并處理后“實時”顯示采...

    猜你喜歡

    JavaWeb——【前端】——注冊頁面

    頁面效果 實現代碼 注意事項 主要使用的bootstrap樣式 如果想引用,不要直接復制,沒用的。 先介紹下所引用的文件: boostrap的js、bootstrap的css、jquery的js、以及自己編寫的register.css。 因為博主用的thymeleaf語法,所以有th符號。 若要使用時,根據個人情況導入相應的依賴。...

    網站HTTP升級HTTPS完全配置手冊

    本文由葡萄城技術團隊于博客園原創并首發 轉載請注明出處:葡萄城官網,葡萄城為開發者提供專業的開發工具、解決方案和服務,賦能開發者。 今天,所有使用Google Chrome穩定版的用戶迎來了v68正式版首個版本的發布,詳細版本號為v68.0.3440.75,上一個正式版v67.0.3396.99發布于6月13日,自Chrome 68起,當在加載非HTTPS站點時,都會在地址欄上明確標記為&ldqu...

    echarts 自定義儀表盤設置背景圖片

    echarts儀表盤 使用插件 vue-echarts 代碼示例 HTML部分 js部分 效果圖...

    RT-Thread Studio部分定時器時鐘不正確的解決方案

    在昨天的RT-Thread Studio硬件定時器hwtimer在stm32f411上的使用筆記中,遇到了部分定時器速度想象中和實際不一致的情況,具體表現在定時器2、3、4、5、9、10、11都正常,但定時器1要快一倍。 仔細查看代碼,找到了原因。 因為代碼使用的是工程是直接生成的時鐘代碼,實際的時鐘頻率是這樣的: 而實際的定時器時鐘配置代碼如下: 針對F411,去掉其中的宏定義是這樣的: 這里說...

    symfony學習筆記之模板渲染-----twig總結

    參考:https://blog.csdn.net/liebert/article/details/77414217 目錄 一、模板引擎工作原理 二、Twig模板引擎 1.運行環境要求 2.基本API用法 3.設計模板 (1)變量輸出         a.全局變量         b.設置變量 (2)...

    精品国产乱码久久久久久蜜桃不卡