UVC/UAC - 模块场景搭建

UVC（USB Video Class）全称USB视频类，其定义适用于所有用于USB操纵视频和相关功能的复合设备中的所有设备或功能。v861平台UVC版本为1.1。

UAC （USB Audio Class）全称USB音频类，是一种通过USB连接传输音频数据的标准协议。它允许音频设备（如耳机、麦克风、音频接口、扬声器等）与计算机或其他支持USB的设备进行通信。USB Audio Class定义了音频设备与计算机或其他USB主机之间的数据交换方式，从而使音频设备能够在无需专用音频接口卡的情况下，直接通过USB接口与计算机连接。v861平台UAC版本为1.0。

UVC/UAC 支持功能：

支持MJPEG、H264、YUY2、NV12格式
支持ISOC/BULK传输模式

本文将展示如何将 v861 配置成为 USB 摄像头，通过 MIPI 摄像头输入图像，MIC 输入音频，通过 UVC/UAC 将音视频数据传输到 PC 端相机软件。将 v861 作为一个 USB 摄像头使用。

模块配置说明

SDK 提供快速配置 quick_config 方式来配置 UVC 模块，也可以手动配置模块功能。下面分别介绍快速配置和手动配置的方法。

快速配置

在v861/目录下运行quick_config

quick_config

可见 enable_uvc_and_demo 选项，输入序号并回车。然后显示是否同意执行配置，输入 Y 回车

接下来 SDK 会自动配置该功能，结束后编译并打包固件。

make -j32
pack

打包可能会失败，出现如下提示

解决方法: 执行 auto_update_partition，一路选择默认配置，会自动更新分区表并打包固件

auto_update_partition

编译打包流程结束后可以在 platform/allwinner/eyesee-mpp/middleware/sun252iw1/sample/bin 找到应用程序，复制到 SD 卡插入开发板。

手动配置

内核配置

在v861/目录下运行m kernel_menuconfig

m kernel_menuconfig

Device Drivers  --->
	{*}Multimedia support  --->
		Media drivers  --->
			[*]Media USB Adapters  --->
				<M>USB Video Class (UVC)

进入Device Drivers

Y勾选Multimedia support

Y勾选Media drivers

Y勾选Media USB Adapters

M勾选USB Video Class

回到`kernel_menuconfig`最初页

Device Drivers  --->
	<*>Sound card support  --->
		<*>Advanced Linux Sound Architecture  --->
			[*]USB sound devices  --->
				<*>USB Audio/MIDI driver

进入Device Drivers

Y勾选Sound card support ,并回车进入

Y勾选Advanced Linux Sound Architecture，并回车进入

Y勾选USB sound devices ，并回车进入

Y勾选USB Audio/MIDI driver

回到`kernel_menuconfig`最初页

Allwinner BSP  --->
	Device Drivers  --->
		USB Drivers  --->
			USB Gadget Drivers  --->
				<*>Allwinner USB Gadget support
                                <M>Allwinner USB Webcam function
                                <*>Allwinner Audio Class 1.0                            

进入Allwinner BSP

进入Device Drivers

进入USB Drivers

进入USB Gadget Drivers

Y勾选Allwinner USB Gadget support

M勾选Allwinner USB Webcam function

Y勾选Allwinner Audio Class 1.0

Tina配置

在v861/目录下运行m menuconfig

m menuconfig

Kernel modules  --->
	USB Support  --->
		<*> kmod-sunxi-uvc

进入Kernel modules

进入USB Support

Y勾选kmod-sunxi-uvc

回到`menuconfig`最初页

Allwinner  --->
	eyesee-mpp  --->
		[*] eyesee-mpp-middleware-demo config
                [*] select mpp sample  --->
                        [*] sample uvc in
                        [*] sample uvc_vo（要先勾选mpp sample uvc in才会出现这一项）
                        [*] sample uvcout                                                     
                        [*] sample uac

进入Allwinner

进入eyesee-mpp

Y勾选eyesee-mpp-middleware-demo config
Y勾选select mpp sample

Y勾选mpp sample uvc in

Y勾选mpp sample uvc_vo（要先勾选mpp sample uvc in才会出现这一项）

Y勾选mpp sample uvcout

Y勾选mpp sample uac

这四个sample可以根据需要来开

回到`menuconfig`最初页

Allwinner  --->
	eyesee-apps  --->
		<*> demo_uvc

进入Allwinner

进入eyesee-apps

Y勾选demo_uvc

设备树配置

vi ~/tina-v861/device/product/configs/bga_perf1/linux-6.6-xuantie/board.dts

找到udc节点

修改节点信息

&udc {
        status = "okay";
        aw,suspend_not_disconnect;     //增加此行
};

配置UVC设备

输入 setusbconfig uvc 即可配置 V 为 UVC 设备，可以看到提示新设备 Tina UVC

setusbconfig uvc

可能会有这种报错，可以先不用理会

运行后,ls /dev/video*可以看到出现了新的 video1 节点

ls /dev/video*

PC 可以看到提示新设备 Tina UVC（也可能不提示，可以进设置，设备看看有没有Tina UVC设备）

运行测试用例

这个用例

./sample_uvcout -D 0 -d 1 -B 10 &

参数	功能描述	示例
-D / --vipp_dev	选择 vipp 设备。	-D 0 表示选择 /dev/video0
-d / --uvc_dev	选择 uvc 设备。	-d 1 表示选择 /dev/video1
-B / --bitrate	设置 MJPEG/H264 流的比特率。	-B 5 表示设置比特率为 5 Mbps
-s / --dual_stream	启用 MJPEG 插入 H264 流的功能。	-s 1 表示启用双流功能
-s_vipp_dev / --dual_stream_vipp_dev	设置双流使用的 vipp 设备。	-s_vipp_dev 4 表示双流使用 /dev/video4
-b / --uvc_bulk_mode	启用 UVC 批量传输模式。	-b 1 表示启用 UVC 批量传输模式
-uac_in / --uac_in	启用 UAC1 输入功能。	-uac_in 1 表示启用 UAC1 输入功能
-uac_out / --uac_out	启用 UAC1 输出功能。	-uac_out 1 表示启用 UAC1 输出功能
-uac_sr / --uac_sample_rate	设置 UAC1 音频采样率。	-uac_sr 16000 表示设置 UAC1 音频采样率为 16000Hz
-uac_ch / --uac_channel	设置 UAC1 音频通道数。	-uac_ch 1 表示设置 UAC1 音频通道为 1
-uac_bw / --uac_bitwidth	设置 UAC1 音频位宽。	-uac_bw 16 表示设置 UAC1 音频位宽为 16位
-uac_aec / --uac_aec	启用音频 AEC（回声消除）功能。	-uac_aec 1 表示启用音频回声消除功能
-uac_agc / --uac_agc	启用音频 AGC（自动增益控制）功能。	-uac_agc 1 表示启用音频自动增益控制功能
-uac_ans / --uac_ans	启用音频 ANS（自动噪声抑制）功能。	-uac_ans 1 表示启用音频自动噪声抑制功能
-enable_dual_uvc / --enable_dual_uvc	启用双 UVC 设备功能。	-enable_dual_uvc 表示启用双 UVC 设备功能
-debug / --debug_mode	启用调试模式，发送图片。	-debug 1 表示启用调试模式，发送图片

PC端打开PotPlayer，右键-->选项-->设备-->摄像头-->格式 选择对应格式及分辨率角打开设备。

右键-->选项

设备-->摄像头

选择格式

应用并确定

右键-->打开-->摄像头/其他设备

注意，此时应该不会有画面，还有可能有如下提示，这是正常的

配置支持格式与支持分辨率

修改setusbconfig脚本，路径如下：

platform/allwinner/usb/setusbconfig/setusbconfig

找到enable_uvc函数，修改如下代码格式为：

uvc_create_frame <format> <flag> <width> <height> <index>

...

uvc_create_frame mjpeg m 1920 1080 1
uvc_create_frame mjpeg m 1280 720 2
uvc_create_frame mjpeg m 640 480 3
uvc_create_frame uncompressed u 320 240 1
uvc_create_frame h264 h 1920 1080 1
uvc_create_frame h264 h 1280 720 2
uvc_create_frame nv12 nv12 320 240 1

...

修改时注意，需要按照如上代码配置format、flag。相同格式下index从1开始递增，每个格式的 index 都是独立的。

UVC BULK传输模式配置

使用如下指令初始化UVC BULK模式。

setusbconfig uvc,bulk

可能会有这种报错，可以先不用理会

使用测试用例加入-b 1 参数。

./sample_uvcout -D 0 -d 1 -B 10 -b 1 &

右键-->打开-->摄像头/其他设备

可见potplay上有画面

串口调试信息如下

双路UVC设备

使用如下指令初始化双路UVC设备。

setusbconfig uvc,dual

使用如下指令测试：

sample_uvcout -D 0 -d 1 -B 10 -enable_dual 1 -D 4 -d 2 -B 10 &

接入Windows PC打开设备管理器可以看到两个UVC设备，使用potplayer打开对应的UVC设备进行预览。

UVC 和 UAC1 复合设备的使用

初始化设备

勾选驱动后进行编译打包烧录，小机端串口输入：

setusbconfig uvc,uac1

切换到UVC+UAC1复合设备。

接入Windows PC后设备管理器会显示出UVC（UVC Camera）+UAC1（AC Interface）设备。（HD Audio 这个是电脑显示屏的，可以无视）

运行测试用例

./sample_uvcout -D 0 -d 1 -B 5 -uac_in 1 -uac_out 1 -uac_sr 16000 -uac_bw 16 -uac_ch 1 -uac_aec 1 -uac_ans 1 -uac_agc 1

配置设备 0（/dev/video0）为视频输入设备，
配置设备 1（/dev/video1）为 UVC 视频输入设备，
设置视频流比特率为 5 Mbps，
启用音频输入输出功能，并设置音频相关参数（采样率、位宽、通道数等），
启用音频的回声消除、自动噪声抑制和自动增益控制功能。

Windows PC可在声音设置界面进行测试验证：

UAC1播放测试：

UAC1采集测试：

使用侦听功能进行测试验证。

默认参数修改

默认UAC1设备参数为支持双向对讲、16k采样率、16bit位宽、单通道，req size为200Bytes。

音频参数可通过setusbconfig脚本进行修改。

platform/allwinner/usb/setusbconfig/setusbconfig

找到如下位置进行修改。

echo 0xef > /sys/kernel/config/usb_gadget/g1/bDeviceClass
echo 0x02 > /sys/kernel/config/usb_gadget/g1/bDeviceSubClass
echo 0x01 > /sys/kernel/config/usb_gadget/g1/bDeviceProtocol
[ -d /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0 ] || {
mkdir /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0

}

# playback and capture
echo 0x1 > /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0/p_chmask
echo 0x1 > /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0/c_chmask
echo 16000 > /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0/p_srate
echo 16000 > /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0/c_srate
echo 0x2 > /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0/p_ssize
echo 0x2 > /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0/c_ssize
echo 0x2 > /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0/req_number
echo "Tina UVC,UAC1" > /sys/kernel/config/usb_gadget/g1/strings/0x409/product
ln -s /sys/kernel/config/usb_gadget/g1/functions/uac1.usb0/ /sys/kernel/config/usb_gadget/g1/configs/c.1/uac1.usb0
enable_uvc 0

参数	说明	默认值
p_chmask	playback 音频通道数（0x1：单通道 0x3：双通道）	0x1
c_chmask	capture 音频通道数（0x1：单通道 0x3：双通道）	0x1
p_srate	playback 音频采样率	16000
c_srate	capture 音频采样率	16000
p_ssize	playback 音频位宽	16
c_ssize	capture 音频位宽	16
req_num	UAC1驱动req个数	2

UAC1 out/capture指主机HOST到小机端Device，即小机端作为USB喇叭。

UAC1 in/playback指小机端Device到主机端HOST，即小机端作为麦克风。

某些门锁猫眼板厂商会对 UAC wMaxPacketSize 大小有要求，这就需要对应修改。

例如在某某厂商某型号猫眼板，对模组的 UAC wMaxPacketSize 要求16 bytes。

在 V861上 wMaxPacketSize 在UAC1驱动中进行修改，如下图修改为16 bytes。

文件路径：

bsp/drivers/usb/gadget/function/u_uac1.h

修改 UAC1_OUT_EP_MAX_PACKET_SIZE 宏定义的数值。

#define UAC1_OUT_EP_MAX_PACKET_SIZE     16

常见问题

PotPlayer 打开设备卡住最后显示未响应

问题现象：

问题分析：出现这个现象说明 UVC 设备未响应，那么大概率为小机端没有跑 UVC 测试用例或者打开的 video 节点不对。

问题排查步骤：

检查是否运行了 UVC 测试用例，是否 UVC 测试用例报错退出。

UVC设备节点也是 /dev/video 节点与VIPP的节点类似，需要分清楚。可以参考以下几种方式确认打开的UVC节点是否正确。

执行 setusbconfig uvc 前后查看生成的video节点，如下图 UVC 节点为 /dev/video1

root@(none):/# ls /dev/video*
/dev/video0  /dev/video4
root@(none):/# setusbconfig uvc
root@(none):/# ls /dev/video*
/dev/video0  /dev/video1  /dev/video4
root@(none):/#

通过 class 设备模型确认，如下图 video1 节点为UVC节点

root@(none):/# cat /sys/class/video4linux/video1/name
sunxi_usb_udc
root@(none):/# cat /sys/class/video4linux/video0/name
vin_video0

BULK 模式 PotPlayer 打开失败或者黑屏无图像

问题现象：

提示该没问题无法播放

进入了播放界面确没有图像显示

问题分析：V861 支持两种UVC传输模式，每个模式都需要配置对应的UVC设备描述符并且上层处理UVC协议逻辑也要对应选择。所以针对该问题需要对UVC设备描述符和上层应用逻辑一起分析。

问题排查步骤：

接入PC使用 usbview 工具查看UVC设备描述符配置是否正确，如下图说明该设备为UVC BULK传输模式。

UVC驱动通过驱动模块参数判断是否要配置为BULK模式，可根据如下来确认。

# 1代表UVC BULK模式
root@(none):/# cat /sys/kernel/config/usb_gadget/g1/functions/uvc.usb0/streaming_bulkep
1
# 0代表UVC ISOC模式
root@(none):/# cat /sys/kernel/config/usb_gadget/g1/functions/uvc.usb0/streaming_bulkep
0

确认设备树~/tina-v861/device/product/configs/bga_perf1/linux-6.6-xuantie/board.dts中udc节点已经修改如下

&udc {
        status = "okay";
        aw,suspend_not_disconnect;     //增加此行
};

确认UVC测试用例加入了 -b 1 参数

./sample_uvcout -D 0 -d 1 -B 10 -b 1 &

UVC测试用例输出colorbar测试单UVC通路

加入 -debug 1 选项输出colorbar图像。

./sample_uvcout -D 0 -d 1 -B 10 -debug 1 &

如何修改音量大小

采集音量大小设置

platform/allwinner/eyesee-mpp/middleware/sun252iw1/sample/sample_uvcout/uac/uac.c

result = AW_MPI_AI_EnableChn(ai_dev, ai_chn);

if (result != SUCCESS)
{
    aloge("enable ai chn %d fail!", ai_chn);
    goto _destroy_ai_chn;
}

AW_MPI_AI_SetDevVolume(ai_dev, 80); //加入这句

while (1)

采集音量大小范围0~100，默认为80。

播放音量大小设置

修改如下文件：

platform/allwinner/eyesee-mpp/middleware/sun252iw1/sample/sample_uvcout/uac/uac.c
 

...
result = AW_MPI_AO_StartChn(ao_dev, ao_chn);
if (result != SUCCESS)
{
    aloge("ao dev %d ao chn %d start fail!", ao_dev, ao_chn);
    goto _destroy_ao_chn;
}
  

AW_MPI_AO_SetDevVolume(ao_dev, 80); //加入这句
  

while (1)
...

播放音量大小范围0~100，默认为80。

UVC/UAC - 模块场景搭建

模块配置说明​

快速配置​

手动配置​

内核配置​

回到kernel_menuconfig最初页​

回到kernel_menuconfig最初页​

Tina配置​

回到menuconfig最初页​

回到menuconfig最初页​

设备树配置​

配置UVC设备​

运行测试用例​

配置支持格式与支持分辨率​

UVC BULK传输模式配置​

双路UVC设备​

UVC 和 UAC1 复合设备的使用​

初始化设备​

运行测试用例​

默认参数修改​

常见问题​

PotPlayer 打开设备卡住最后显示未响应​

BULK 模式 PotPlayer 打开失败或者黑屏无图像​

UVC测试用例输出colorbar测试单UVC通路​

如何修改音量大小​

采集音量大小设置​

播放音量大小设置​

模块配置说明

快速配置

手动配置

内核配置

回到`kernel_menuconfig`最初页

回到`kernel_menuconfig`最初页

Tina配置

回到`menuconfig`最初页

回到`menuconfig`最初页

设备树配置

配置UVC设备

运行测试用例

配置支持格式与支持分辨率

UVC BULK传输模式配置

双路UVC设备

UVC 和 UAC1 复合设备的使用

初始化设备

运行测试用例

默认参数修改

常见问题

PotPlayer 打开设备卡住最后显示未响应

BULK 模式 PotPlayer 打开失败或者黑屏无图像

UVC测试用例输出colorbar测试单UVC通路

如何修改音量大小

采集音量大小设置

播放音量大小设置