• <noscript id="e0iig"><kbd id="e0iig"></kbd></noscript>
  • <td id="e0iig"></td>
  • <option id="e0iig"></option>
  • <noscript id="e0iig"><source id="e0iig"></source></noscript>
  • 無人機抓捕

    無人機開發(基于Dji onboard SDK)

    目前成果

    仿真:發現物體能向大致方向飛行,沒檢測到飛機會停住。

    實驗:飛機沒檢測到無人機無法懸停,跟蹤不穩定。

    1.很容易出現檢測不到無人機的情況,后面需要在新的場景中訓練數據集,并且需要在數據集中加入遠處的無人機的照片。

    2.需要加入uav的probability閾值。

    3.記錄寫下的所發點的坐標,寫入log文件,以便后面分析。

    4.加入跟蹤算法(在ROS中比較麻煩)。

    硬件軟件平臺的搭建

    無人機平臺 :Dji M210 V2 (with RTK)
    機載電腦:Manifold 2-G
    相機: Zenmuse X7
    開發環境:ROS and C++
    在這里插入圖片描述

    ROS

    網絡圖

    在這里插入圖片描述

    工作流程

    dji_sdk作為服務端發布setup_camera_stream服務,這個服務是darknet_ros訂閱main_camera_images的前提,需要drone_get_img這個節點召喚這個服務。

    dji_sdk發布主相機(Zenmuse X7)的圖片(/dji_sdk/main_camera_images)給darknet_ros。

    darknet_ros接受圖片并識別uav,把uav的信息(/darknet_ros/bounding_boxes)發布給drone_catcher_target。

    drone_catcher_target接受uav的信息和飛機的姿態信息(/dji_sdk/attitude),利用圖片的信息和本身的姿態通過卡爾曼濾波將識別到的uav轉換成相對與飛機的ENU坐標,并將該坐標發布給flight_dots節點。

    flight_dots與dji_sdk之間互相通信完成飛點。

    節點介紹

    dji_sdk

    初始化飛機的參數,發布一些例如飛機姿態的信息,發布一些有關飛機的功能的服務例如后續要用的camera_stream。

    同時在這個節點中可以關閉advanced sensing功能,這個功能和Windows中的仿真互相矛盾,當要用到windows中DJI Assistant 2 For Matrice 的Simulator時,要將代碼中的

    enable_advanced_sensing = true;
    

    改為

    enable_advanced_sensing = false;
    

    [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-KUJucyMX-1573643040093)(C:\Users\iusl\AppData\Roaming\Typora\typora-user-images\image-20191112204343151.png)]

    還有當妙算與M210用USB相連時,妙算會把M210自動識別為USB device,此時遙控器上會黑屏,并且顯示X7 SD卡內存不足,此時需要將飛機標識為相機設備,具體方法為

    vehicle->advancedSensing->setAcmDevicePath("/dev/ttyACM0");
    

    啟發于linux版本的camera_stream_callback_sample例子。

    在這里插入圖片描述

    drone_get_img

    call setup_camera_stream service for subscription of main_camera(x7).

    在這里插入圖片描述
    在這里插入圖片描述

    darknet_ros

    接受x7的圖像,識別圖像后發布bounding_box的對應信息(/darknet_ros/bounding_boxes)。
    在這里插入圖片描述
    在~/catkin_ws/src/darknet_ros/darknet_ros/config/yolov3.yaml中修改權重文件(訓練集訓練后的結果)。
    在這里插入圖片描述

    drone_catcher_target

    受uav的信息和飛機的姿態信息(/dji_sdk/attitude),利用圖片的信息和本身的姿態通過卡爾曼濾波將識別到的uav轉換成相對與飛機的ENU坐標,并將該坐標發布給flight_dots節點(/dji_sdk_demo/target)。

    void uav_coord_callback(const darknet_ros_msgs::BoundingBoxes::ConstPtr& msg)
    {
      static ros::Time start_time = ros::Time::now();
      darknet_ros_msgs::BoundingBox boundingBox;
      new_tar_exist = false;
    
      if(!msg->bounding_boxes.empty()) // when camera detects the uav.
      {
         new_tar_exist = true; //indicates that new target shows up.
         ros::Duration elapsed_time = ros::Time::now() - start_time;
         start_time = ros::Time::now();
         dt = elapsed_time.toSec(); // calculate the time between two successful dectections.
         boundingBox = msg->bounding_boxes.at(0);
    
         int xmax = boundingBox.xmax;
         int xmin = boundingBox.xmin;
         int ymax = boundingBox.ymax;
         int ymin = boundingBox.ymin;
        
         int u = (xmax + xmin)/2 - 640; //the size of the pic is 1280*720, indicating the coordinate of the origin is (640,360).
         int v = (ymax + ymin)/2 - 360;
        
         int length = xmax - xmin;
         int width  = ymax - ymin;
         int longm  = length > width ? length: width; //find the bigger value between length and width, giving it to longm.
        
         double dist   = 1956*exp(-0.02185*longm) + 314.8*exp(-0.002346*longm); //the parameter based on calibration work and MATLAB.
         double thetaz = atan2(sqrt(u*u + v*v), 1325);
         double thetab = atan2(v,u);
        
         target.z  = dist/100 * cos(thetaz);
         target.x  = dist/100 * sin(thetaz) * cos(thetab);
         target.y  = dist/100 * sin(thetaz) * sin(thetab);
         if(!init_state) //initialize Matrix.
         {
           state_mear<<target.x, 0, target.y, 0, target.z, 0;
           state_hat <<target.x, 0, target.y, 0, target.z, 0;
           temp      <<target.x, 0, target.y, 0, target.z, 0;
           init_state = true;
         }
    
         state_mear<<target.x, (target.x-temp(0))/dt, target.y, (target.y-temp(2))/dt, target.z, (target.z-temp(4))/dt;
         temp = state_mear;
    
      }
    }
    

    main 函數里的一段。

      ros::Rate r(20); // the average fps of the darknet_ros is about 17, so the rate will not be bigger than 20Hz. 
      while(ros::ok())
      {
        new_tar_exist = false; //reset the new_tar_exist.
        ros::spinOnce();
        if(new_tar_exist)
        {
          KF(F, Q, R, P, state_mear, state_hat);
         //! frame transformation;
          yaw = toEulerAngle(current_atti).z;
          target.x = (state_hat(4) - 3)*sin(yaw) + state_hat(0)*cos(yaw); // leaving 3 meters gap between target and drone.
          target.y = (state_hat(4) - 3)*cos(yaw) - state_hat(0)*sin(yaw);
          target.z = -state_hat(2);
          target_msg_pub.publish(target); // only when camera detects uav, the node publish message.
         }
         r.sleep();
       }
    
    

    測試:

    在這里插入圖片描述

    符合情況

    flight_dots

    基于大疆的dji_sdk_demo包中的demo_flight_control.

    接受drone_catcher_target發送的/dji_sdk_demo/target,并與dji_sdk通信協作飛點.

    void target_callback(const dji_sdk_demo::target::ConstPtr& msg)
    {
      Target target;
      target.x   = msg->x;
      target.y   = msg->y;
      target.z   = msg->z;
      target.yaw = msg->yaw;
      target_list.push_back(target);
    }
    
    // when new target shows up, the drone will abandon current target to track the new target. a little logical problems.
    void real_time_track() 
    {
        Target new_tar    = target_list.back(); // the newest target is at the back of target_list.
        if(size_old <= target_list.size())
        {   if(!square_mission.finished)
            {
              square_mission.step();
              if(target_list.size() > size_old + 1)
              {
                new_tar = target_list.back();
                square_mission.reset();
                square_mission.start_gps_location = current_gps;
                square_mission.start_local_position = current_local_pos;
                square_mission.setTarget(new_tar.x, new_tar.y, new_tar.z,new_tar.yaw);
                i = target_list.size() - 1;
                square_mission.state = target_list.size();
                size_old = target_list.size() + 1;
                ROS_INFO("##### Start route %d ....", square_mission.state);
              }
    
            }
            else
            {
              square_mission.reset();
              square_mission.start_gps_location = current_gps;
              square_mission.start_local_position = current_local_pos;
              square_mission.setTarget(new_tar.x, new_tar.y, new_tar.z,new_tar.yaw);
              i = target_list.size() - 1;
              square_mission.state = target_list.size();
              size_old = target_list.size() + 1;
              ROS_INFO("##### Start route %d ....", square_mission.state);
             }
        }
    
    }
    

    launch file

    在這里插入圖片描述

    仿真

    dji自帶的仿真很不方便,但勉強也夠用,主要有兩種方法。

    windows環境

    1.連接好線材。

    USB連接windows的電腦和M210。

    2.打開遙控器,打開飛機。

    3.在Windows上打開DJI Assistant 2 For Matrice,打開Simulator,有時候仿真的界面有些必要的信息沒有展示,這時候關掉仿真,重開就行了。
    在這里插入圖片描述
    4.運行需要仿真的指令。

    運行

    roslaunch dji_sdk sdk_test_fd.launch
    

    其中我創建了另一個節點,關閉了advanced sensing 和標記飛機為USB device.這樣就不用每次仿真都得重新編譯了。

    5.關閉仿真,關掉飛機。

    Linux環境

    1.線材連接與實地實驗時一致,不過要將妙算連上顯示器。

    2.打開遙控器和飛機。

    3.在Onboard-SDK/utility/bin中運行

    ./M210ConfigTool --usb-port /dev/ttyACM0 --config-file UserConfig.txt --simulation on --latitude 37.422083 --longitude -122.137390
    

    4.運行需要仿真的指令,可以看遙控器中的速度等信息來判斷仿真結果。

    5.運行

    ./M210ConfigTool --usb-port /dev/ttyACM0 --config-file UserConfig.txt --simulation off --latitude 37.422083 --longitude -122.137390
    

    關閉仿真。

    6.關閉飛機。

    Bug list/Tips

    1.advanced sensing功能和windows上的仿真功能相沖突。

    2.在M210中要訂閱main_camera_images要先call setup_camera_stream service.

    3.按照大疆官網給妙算2-G安裝opencv時會出現兩個問題

    一個是error:‘std::shared_ptr’ has not been declared.

    解決辦法是在cmake 命令行里加入 -D CMAKE_CXX_STANDARD=11, 因為查到std::shared_ptr是要C++11編譯的。

    另一個是出現undefined reference to ‘cv::cuda’,解決辦法是在相應文件的CMakeLists.txt中加入set(OpenCV_DIR “…/opencv/build”)。

    4.因為內存不足,我把openCV裝在了128G的自帶硬盤里,每次開機重啟對ROS包再進行編譯的時候又會出現undefined referenced 的問題,這時候解決辦法就是到opencv/build的路徑下,復制路徑,重新粘貼到CMakeLists.txt中,問題又解決了。具體原因不明,若要解決這個問題,可能要把opencv直接安裝在妙算上。

    5.darknet包的編譯,一共有三個問題。

    第一個問題
    在這里插入圖片描述個問題產生的原因是dji_sdk_demo包中的package.xml和CMakeLists.txt中的依賴不一樣,修改了即可。
    在這里插入圖片描述
    我在package.xml中加入了image_transport的build depend 和run depend.

    第二個問題
    在這里插入圖片描述
    我看了一下darknet_ros_msgs中BoundingBoxes消息中的數據,發現并沒有boundingBoxes只有bounding_boxes,因此解決方法是把/stereo_frame.cpp中的BoundingBoxes改成bounding_boxes即可編譯通過。

    第三個問題

    在運行darknet包的時候遇到了CUDA Error::_ _ global_ _ function call is not configured.

    解決辦法是到NVIDIA官網下載cudnn,安裝之后在~/catkin_ws/src/Onboard-SDK-ROS/dji_sdk_demo/CMakeLists.txt中的CUDA區域內加入了add _definitions( -DGPU -DCUDNN).

    6.x7搭載在飛機上,USB連接妙算和飛機時,遙控器會顯示SD卡內存不足,解決辦法是在dji_sdk_node的構造函數的最后加上

    vehicle->advancedSensing->setAcmDevicePath("/dev/ttyACM0")
    

    7.darknet_ros處理后的圖像尺寸為1280*720,對原有圖像會有一定程度的裁剪。

    8.諾曼巴飛機室內飛行時GPS模式定不準,建議室內飛行時帶手套飛行,有炸機風險。

    9.遙控器的顯示屏有時候會顯示連接不到飛機,這時候把顯示屏與遙控器的接口拔了,連上USB線重啟即可。

    10.ROS中可以直接使用矩陣,方法是在CMakeLists.txt中加入

    find_package(cmake_modules REQUIRED)
    find_package(Eigen3 REQUIRED)
    include_directories(${EIGEN3_INCLUDE_DIR})
    add_definitions(${EIGEN_DEFINITIONS})
    
    

    并在頭文件中加入所要的庫。

    #include <Eigen/Dense>
    

    11.drone_get_img建議在dji_sdk_node之后10s左右開啟,因為dji_sdk_node大概要10s左右發送所有的服務消息。

    ros::spinOnce()
    

    這個函數的作用是把已發布話題的回調函數都執行一遍,若在回調函數中執行重復性工作時需要注意這點。

    13.有時候啟動dji_sdk_node和darknet_ros時,會出現Unable to read from Main camera,具體原因不知道,目前屬于概率事件,這時候電腦上是不會出現識別的窗口的,解決辦法是重新運行和重新開機,如果還不行就多試試幾遍。

    版權聲明:本文為qq_44639454原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接和本聲明。
    本文鏈接:https://blog.csdn.net/qq_44639454/article/details/103055297

    智能推薦

    神奇的Batch Normalization 如果一個模型僅訓練BN層會是什么樣的

    您可能會感到驚訝,但這是有效的。 ? 最近,我閱讀了arXiv平臺上的Jonathan Frankle,David J. Schwab和Ari S. Morcos撰寫的論文“Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs”。 這個主意立刻引起了...

    用Python實現校園通知更新提醒

    前言 這個項目實已經在一個月前已經完成了,一直都想寫一篇博客來總結這個過程中遇到的一些問題。但最近一個月來都比較忙,所以一直拖到了現在。 首先說說起因吧,我沒事的時候,總喜歡依次點開學校主頁、教務處、圖書館以及學院的網站,看看有沒有什么新通知,雖然大多與我無關。恰逢最近正在學Python,經常聽到別人說用Python寫爬蟲很簡單,但自己尚未接觸過爬蟲。于是抱著試一試的心態看了幾篇關于Python爬...

    spring_ioc相關_第一章

    1 spring是一站式框架,在javaee的三層結構中,每一層都提供不提并的解決技術 web層:springMVC service層:spring的ioc dao層:spring的jdbcTemplate 2 javaee為避免兩個類之間出現耦合,則把對象的創建交給spring進行管理,spring的ioc操作:(1)ioc的配置文件方式;(2)ioc注解方式 3 ioc的底層原理使用技術(1)...

    【Python+OpenCV】視頻流局部區域像素值處理-一種特征提取方法

    參考我之前寫的處理圖片的文章:Python+OpenCV實現【圖片】局部區域像素值處理(改進版) 開發環境:Python3.6.0 + OpenCV3.2.0 任務目標:攝像頭采集圖像(例如:480*640),并對視頻流每一幀(灰度圖)特定矩形區域(480*30)像素值進行行求和,得到一個480*1的數組,用這480個數據繪制條形圖,即在逐幀采集視頻流并處理后“實時”顯示采...

    JavaWeb——【前端】——注冊頁面

    頁面效果 實現代碼 注意事項 主要使用的bootstrap樣式 如果想引用,不要直接復制,沒用的。 先介紹下所引用的文件: boostrap的js、bootstrap的css、jquery的js、以及自己編寫的register.css。 因為博主用的thymeleaf語法,所以有th符號。 若要使用時,根據個人情況導入相應的依賴。...

    猜你喜歡

    網站HTTP升級HTTPS完全配置手冊

    本文由葡萄城技術團隊于博客園原創并首發 轉載請注明出處:葡萄城官網,葡萄城為開發者提供專業的開發工具、解決方案和服務,賦能開發者。 今天,所有使用Google Chrome穩定版的用戶迎來了v68正式版首個版本的發布,詳細版本號為v68.0.3440.75,上一個正式版v67.0.3396.99發布于6月13日,自Chrome 68起,當在加載非HTTPS站點時,都會在地址欄上明確標記為&ldqu...

    echarts 自定義儀表盤設置背景圖片

    echarts儀表盤 使用插件 vue-echarts 代碼示例 HTML部分 js部分 效果圖...

    RT-Thread Studio部分定時器時鐘不正確的解決方案

    在昨天的RT-Thread Studio硬件定時器hwtimer在stm32f411上的使用筆記中,遇到了部分定時器速度想象中和實際不一致的情況,具體表現在定時器2、3、4、5、9、10、11都正常,但定時器1要快一倍。 仔細查看代碼,找到了原因。 因為代碼使用的是工程是直接生成的時鐘代碼,實際的時鐘頻率是這樣的: 而實際的定時器時鐘配置代碼如下: 針對F411,去掉其中的宏定義是這樣的: 這里說...

    symfony學習筆記之模板渲染-----twig總結

    參考:https://blog.csdn.net/liebert/article/details/77414217 目錄 一、模板引擎工作原理 二、Twig模板引擎 1.運行環境要求 2.基本API用法 3.設計模板 (1)變量輸出         a.全局變量         b.設置變量 (2)...

    小甲魚Python3學習筆記之第六講(僅記錄學習)

    第六講:python之常用操作符 一、知識點: 0.算術運算符:+,-,*,/,%(取模,即求余數),**(冪運算),//(地板除法,取整除,返回商的整數部分) 備注:①雙斜杠 // 除法總是向下取整。             ②從符點數到整數的轉換可能會舍入也可能截斷,建議使用math....

    精品国产乱码久久久久久蜜桃不卡