本文源自笔者在做本科生专业工程设计过程中使用鲁班猫4过程中遇到的一系列问题。特此事无巨细地解释。以下内容仅代表个人观点。使用学习参考官方使用手册。LubanCat-4系列硬件介绍 — 快速使用手册—基于LubanCat-RK356x系列板卡 文档

一、板卡联网问题

        根据官方的技术文件,鲁班猫4板卡拥有多种联网方式,笔者亲测稳定连接的是千兆网口。需要准备一根网线。

1.方式一:连接路由器

        板卡供电后用网线连接千兆网口和路由器,等待几分钟后,路由器会自动为板卡分配地址(板卡插上网线到连上网有一点时间延迟),千兆网口正常工作的话,接口底部的绿色和橙色灯均会常亮,连接不成功的话只有黄色灯亮。此时,可以参考官方快速使用手册,使用MobalXterm软件通过SSH连接到板卡。

remote host : lubancat                                        specify usename : cat (可以不填)


login as : cat    (specify usename没填才会显示,cat要手动输入)

cat@lubancat's password : temppwd   (密码要手动输入,全部英文小写,且页面内不会明文显示,输入之后光标不动,页面内不显示为正常现象,输完密码之后按enter确认)

        点击OK开始SSH连接之后的每一个连接步骤都会有不同长度的等待时间。这是正常现象,需要等待响应,此时不要在页面内点击鼠标,会造成连接失败。登陆成功界面如下。

2.方式二:网线连接电脑(由电脑网卡共享网络)

        将网线连接板卡和电脑的网口,电脑需要连接网络,可以是有线网络,也可以是无线网络。注意在连接电脑之前在控制面板→网络和 Internet→网络和共享中心→更改适配器设置找好电脑连接的网络。例如笔者此处的WLAN(后称网络1

        插上网线后会有一个选项的×消失,例如笔者此处的以太网。(后称网络2

        右键网络1,进入属性共享,勾选允许其他网络用户通过此计算机的Internet连接来连接,下方家庭网络连接里选择网络2确定

        此时鲁班猫已经联网,但是使用MobalXterm同上的办法无法直接从SSH登录板卡。需要先在cmd终端里用指令ipconfig,找到网络2的IPv4地址。然后,在MobalXterm顶端菜单栏ToolsNetWork Scanner,在IP address range: 里输入刚才的地址,点击Start scan。点击SSH下面对应的会自动跳转到SSH连接界面,直接点击确认开始连接,后续步骤参考方式1中的登录流程,如遇扫描不成功或如第一行所示全×,可以重启MobalXterm,重新扫描。

        此时的硬件连接形式是板卡借用电脑网卡连接互联网,软件连接形式是电脑通过应用程序(VScode或MobalXterm)登录了板卡搭载的系统,可以进行命令行操作。

补充说明:笔者使用VScode进行项目中的脚本编写,在VScode的终端也可以进行SSH登录,需要使用到VScode的SSH插件,登陆方式与MobalXterm相似。用VScode登录可以直接可视化操作板卡搭载系统,而MobalXterm需要使用命令行命令进行操作。如有可视化操作需求,可以使用vncviewer远程桌面进行显示。以上提及的各种软件可以同时连接使用,不会冲突。

温馨提示:由于板载内存小和共享网络不稳定的原因,不建议在板端下载IDE编辑脚本。但使用板卡通常需要做环境配置,有些需要使用的环境管理软件建议选择轻量化的版本安装使用(单纯因为下载容易断)。

二、环境配置问题

环境配置问题是当时困扰笔者最久的问题之一。笔者使用的模型是yolo11n,在此处,笔者仅展示经实验可兼容使用的环境。

1.环境管理软件

        笔者使用的是miniconda,用VNC远程桌面打开可视化界面后在浏览器内搜索下载安装,如有大神通过命令行下载安装也可。这个软件用于管理不同的虚拟环境,防止因为某个环境崩溃导致整机不可用。

2.python环境

        笔者的项目为简化脚本编写,采用python。环境采用的是python3.10,可以与大部分的深度学习框架和深度学习库兼容。笔者通过命令行下载安装,比较便捷且不容易断联。命令如下,逐行执行。

sudo apt update
sudo apt install -y software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa -y
sudo apt update
sudo apt install python3.10 python3.10-venv python3.10-dev

之后通过miniconda创建虚拟环境并打开的命令如下,每次使用虚拟环境的时候都要激活

conda create -n 自定义虚拟环境的名字(英文) python=3.10 -y        #创建
conda activate 自定义虚拟环境的名字(英文)                        #激活

3.依赖库

(1)深度学习框架

        笔者的电脑是Windows系统,所以使用Pytorch框架,如果有Linux系统的电脑建议使用Linux系统的电脑。此处安装的是Pytorch 2.1.0,注意要在创建好的虚拟环境中安装使用,命令如下。

conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 cpuonly -c pytorch   
#如需使用GPU可以浏览器搜索Pytorch,在官网有不同系统,使用不同硬件的Pytorch安装命令
pip install numpy==1.23.5    #为兼容,手动降低numpy的版本,1.23.5是可兼容的版本

https://pytorch.ac.cn/链接是Pytorch官网

(2)计算机视觉库

        笔者此处使用的是OpenCV,选择opencv-python版本为4.7.0。

pip install opencv-python-headless===4.7.0.72

(3)Ultralytics

pip install ultralytics

4.yolo11模型文件

        笔者使用的是轻量化的yolo11n,下载链接来自ultralytics官网,点击蓝色字体就可以下载,得到的就是模型文件。

Ultralytics YOLO11 - Ultralytics YOLO 文档

5.模型格式转换工具RKNN-Toolkit2和RKNN-Toolkit-lite2

        由于笔者没有使用Linux系统的电脑,所以没有使用到这两个工具。在此仅解释这两个工具。

        RKNN-Toolkite2和RKNN-Toolkit-lite2是将模型文件从onnx格式转化成rknn格式用的工具,可以在野火电子官方的GitHub里下载。这两个工具目前都只能兼容Linux系统。这两个工具是配合使用的,RKNN-Toolkite2装在PC端,主要用于模型格式转化,RKNN-Toolkit-lite2装在板卡端,主要用于模型部署。rknn格式的模型在鲁班猫上运行能使用板载的NPU,速度和性能会比onnx和pt格式的更好。

结语:以上方法为笔者实验的经验,不一定是最科学的方式,仅供参考。

Logo

openvela 操作系统专为 AIoT 领域量身定制,以轻量化、标准兼容、安全性和高度可扩展性为核心特点。openvela 以其卓越的技术优势,已成为众多物联网设备和 AI 硬件的技术首选,涵盖了智能手表、运动手环、智能音箱、耳机、智能家居设备以及机器人等多个领域。

更多推荐