AXERA-TECH/AX-Meeting-Studio

AX Meeting Studio

本仓库是面向 AX8850N 板端部署 的 AX Meeting Studio，用于将已经构建并验证的 wheel、外置模型、HTTPS 证书和启动脚本整体部署到设备上运行。

工程能力

AX Meeting Studio 面向离线和实时会议场景，提供语音活动检测、说话人聚类与归属、语音识别、 会议转写以及大模型总结工作台：

• **VAD + CAM++**：检测有效语音并进行说话人嵌入、聚类和标签归属。
• 双 ASR 后端：默认的 sensevoice 支持常规转写和词级时间戳；firered_punc 使用 FireRed AED 加 CT-Transformer 标点，适合更高准确度的最终稿，但不提供词级时间戳。
• 多种使用方式：提供 HTTPS Web UI、ax-meeting-studio 命令行和 Python API；Web UI 支持离线文件上传、浏览器麦克风实时转写和可选的大模型会议总结。
• 板端资源管理：VAD 与 CAM++ 常驻；两种 ASR 按需加载和切换，避免同时占用 AX Engine 资源。Web 服务以单个 AX Engine worker 运行，确保模型生命周期和并发请求安全。

性能统计

模型预加载已单独执行并排除；未计入 HTTP 上传、任务排队、浏览器轮询和 LLM 总结，音频测试长度：时长 1955.236 s（32:35）。

后端	端到端耗时	端到端 RTF	ASR 耗时	ASR RTF（按全音频）
SenseVoice 模式	206.063 s（3:26）	0.1054	101.090 s	0.0517
FireRed AED + Punc 模式	428.629 s（7:09）	0.2192	332.480 s	0.1700

RTF 越低越快。两者都满足离线快于实时：

• SenseVoice 端到端约 9.49× 实时；
• FireRed/Punc 端到端约 4.56× 实时。

(不同的音频长度和说话人数量会影响 RTF，以上仅为参考。)

运行时目录说明

AX Meeting Studio/
├── wheel/       # 为 AArch64 / 对应 CPython 版本构建的 ax_meeting_studio wheel
├── models/      # 外置推理模型：VAD、CAM++、SenseVoice、FireRed、Punc
├── certs/       # HTTPS 证书和私钥
├── src/         # 运行时资产清单等随部署保留的资源
├── tools/       # 模型资产完整性检查工具
├── .runtime/    # 首次启动后记录 wheel 安装状态（自动生成）
└── run_web_studio.sh  # 预检、依赖/wheel 安装与 Web 服务启动入口

1. 下载

将整个 AX Meeting Studio/ 目录下载到板端，例如：

cd /root
hf download AXERA-TECH/AX-Metting-Studio --local-dir AX-Metting-Studio
cd AX-Metting-Studio

板端需要具备 AArch64 AX8850N、CPython 3.10或CPython 3.13，以及 /soc/lib 下的 AX Engine 运行库。当前 包已带有证书；若部署环境不同，请替换 certs/cert.pem 和 certs/key.pem。

cd AX-Metting-Studio
chmod 600 certs/key.pem

2. 启动

大模型总结功能需要在板端启动大模型后端服务，参考AXERA-TECH/Qwen3.5-2B-AX650-GPTQ-Int4进行下载和部署

首次启动会按需安装 wheel 与 Python 运行依赖。直接使用板端已有 BSP 运行库：

cd AX-Metting-Studio
AXMEETING_BSP_MSP_DIR=/soc ./run_web_studio.sh --port 8443

# output
AX Meeting Studio
  URL:      https://10.126.102.188:8443
  Bind:     0.0.0.0:8443 (single AX Engine worker)
  Backends: SenseVoice + FireRed AED/Punc
  Models:   /root/AX-Metting-Studio/models
  Wheel:    /root/AX-Metting-Studio/wheel/ax_meeting_studio-0.2.0-cp313-cp313-linux_aarch64.whl
  Logs:     uvicorn=warning, access=OFF, ax=WARN

Web UI: https://10.126.102.188:8443

浏览器访问Web UI：

https://<板端IP>:8443

--port 可改为任意未占用的 1-65535 端口；也可使用 PORT=8443 环境变量。

工作台界面：

离线会议转录和总结：

实时会议转录和总结：

3. 启动前检查

AXMEETING_BSP_MSP_DIR=/soc ./run_web_studio.sh --port 8443 --check

--check 不会安装依赖或 wheel，因此首次部署请先正常启动一次。

4. 常用配置

模型默认位于本目录的 models/。模型在外接磁盘时：

AXMEETING_BSP_MSP_DIR=/soc \
AX_MODEL_DIR=/mnt/models \
./run_web_studio.sh --port 8443

自定义证书时：

AXMEETING_BSP_MSP_DIR=/soc \
SSL_CERT=/etc/ssl/cert.pem \
SSL_KEY=/etc/ssl/key.pem \
./run_web_studio.sh --port 8443

Python API 与 CLI 使用新命名：

from ax_meeting_studio import ModelBundle, MeetingEngine

ax-meeting-studio --help

Web UI 的“参数设置”可配置本地 OpenAI API、总结模型、模板及自定义要求。

TODO:

• AX8850算力卡支持
• 更多后端ASR模型