feat: add ASR provider support for voice co-creation
This commit is contained in:
@@ -26,6 +26,7 @@ docker compose ps
|
||||
|
||||
- 用户端:http://localhost:52080
|
||||
- 本地登录:http://localhost:52080/auth/dev/signin
|
||||
- 语音共创:http://localhost:52080/voice-studio
|
||||
- Admin:http://localhost:52888
|
||||
- 后端健康:http://localhost:52000/health
|
||||
- Admin 后端健康:http://localhost:52800/health
|
||||
@@ -46,6 +47,18 @@ docker compose ps
|
||||
SMOKE_AUDIO=1 ./scripts/demo_smoke.sh
|
||||
```
|
||||
|
||||
需要检查语音共创 Alpha 时:
|
||||
|
||||
```bash
|
||||
SMOKE_VOICE=1 ./scripts/demo_smoke.sh
|
||||
```
|
||||
|
||||
需要同时检查 TTS 和语音共创时:
|
||||
|
||||
```bash
|
||||
SMOKE_AUDIO=1 SMOKE_VOICE=1 ./scripts/demo_smoke.sh
|
||||
```
|
||||
|
||||
通过标准:
|
||||
|
||||
- [ ] backend health 返回 `ok`
|
||||
@@ -62,9 +75,10 @@ SMOKE_AUDIO=1 ./scripts/demo_smoke.sh
|
||||
- [ ] 绘本 provider stats 返回成功率、耗时和成本字段
|
||||
- [ ] 绘本图片 retry 后 `image_status=ready`
|
||||
- [ ] 绘本阅读页能看到生成轨迹和资源重试历史
|
||||
- [ ] `/admin/providers/capabilities` 返回 `text/image/tts/storybook`
|
||||
- [ ] `/admin/providers/capabilities` 返回 `text/image/tts/storybook/asr`
|
||||
- [ ] `/api/audio/{story_id}/status` 能查询音频缓存状态且不触发生成
|
||||
- [ ] 如果启用 `SMOKE_AUDIO=1`,音频 retry 后 `audio_status=ready`
|
||||
- [ ] 如果启用 `SMOKE_VOICE=1`,语音共创会话可完成文本 fallback、上传回合、analytics 和 finalize 到 Story
|
||||
- [ ] 验证结果已记录到 `docs/planning/demo-validation-log.md`
|
||||
|
||||
---
|
||||
@@ -101,11 +115,26 @@ SMOKE_AUDIO=1 ./scripts/demo_smoke.sh
|
||||
1. 打开 Admin。
|
||||
2. 说明管理端不是用户主链路,而是产品拥有者维护供应链路的辅助能力。
|
||||
3. 通过接口或页面说明:
|
||||
- Capability: `text/image/tts/storybook`
|
||||
- Capability: `text/image/tts/storybook/asr`
|
||||
- Provider: 具体供应商配置
|
||||
- Adapter: API 调用实现
|
||||
- Routing Policy: 优先级/成本/延迟/轮询
|
||||
|
||||
### 路径 D: 语音共创 Alpha
|
||||
|
||||
1. 打开用户端并进入“语音共创”。
|
||||
2. 创建一个新会话,先使用文本 fallback 快速演示:
|
||||
- 首轮:`我想听一个小熊和星星一起找家的故事`
|
||||
- 修正:`不要让小熊害怕,让月亮姐姐帮它`
|
||||
3. 展示每轮内容:
|
||||
- 用户表达 / 系统理解
|
||||
- 系统文字回应
|
||||
- TTS 语音回应状态
|
||||
- 最近事件和待处理提示
|
||||
4. 演示低置信度确认:说明系统会提示“本轮系统理解为”,家长可选择继续、重说或改成文本。
|
||||
5. 点击结束并保存,确认正式 Story 进入故事库。
|
||||
6. 打开生成轨迹,说明语音共创 finalize 后的封面资产补全已经接回统一 generation job。
|
||||
|
||||
---
|
||||
|
||||
## 4. 3 分钟讲解结构
|
||||
@@ -137,6 +166,8 @@ DreamWeaver 是面向 3-8 岁亲子场景的个性化 AI 绘本与陪伴式讲
|
||||
| 网络导致 TTS 失败 | 说明音频是可恢复资产,不阻塞故事阅读;使用已缓存样本或跳过 TTS |
|
||||
| 图片 provider 未补全 | 展示 partial ready,说明主内容已可读、资产可稍后补全 |
|
||||
| 图片 provider 失败 | 展示 degraded completed 与 retry 机制 |
|
||||
| 录音或 ASR 不稳定 | 切到文本 fallback,说明 Alpha 阶段已保留降级路径 |
|
||||
| 语音共创低置信度卡住 | 使用“按这个理解继续”或“改成文本输入”完成本轮 |
|
||||
| Docker 冷启动慢 | 演示前提前运行 smoke 脚本并保持容器运行 |
|
||||
| Admin 页面不适合主展示 | 只用 Provider 分层说明辅助讲系统设计 |
|
||||
| 面试官追问生产部署 | 明确当前是求职版 MVP,本轮重点是产品闭环和系统边界 |
|
||||
@@ -149,4 +180,5 @@ DreamWeaver 是面向 3-8 岁亲子场景的个性化 AI 绘本与陪伴式讲
|
||||
- [ ] 能现场看到普通故事和绘本结果。
|
||||
- [ ] 能解释失败降级和资产重试。
|
||||
- [ ] 能解释为什么 Provider 分层是产品设计,而不是单纯技术炫技。
|
||||
- [ ] 能说明语音共创当前是 Phase A Alpha,而不是实时语音最终形态。
|
||||
- [ ] 能说明下一步计划,而不是让项目停在 demo。
|
||||
|
||||
@@ -2,6 +2,48 @@
|
||||
|
||||
这份记录用于演示前快速说明“当前本地 Docker 环境已经验证到什么程度”。新的验证记录按时间倒序追加。
|
||||
|
||||
## 2026-04-24
|
||||
|
||||
补充验证:
|
||||
|
||||
- 已拉取远端 `main` 到 `7e450aa fix: stabilize auth and generation workflows`。
|
||||
- 用户端 `npm run build` 通过,包含最新 Voice Studio、登录态修复和 generation trace 变更。
|
||||
- 管理端首次 `npm run build` 因 Rollup Linux optional dependency 缺失失败;执行 `npm install` 补齐 `@rollup/rollup-linux-x64-gnu` 后,管理端 `npm run build` 通过。
|
||||
- 后端当前仓库内 `.venv` 是 Windows 虚拟环境结构,WSL/bash 下无法直接执行 `.venv/bin/python`;系统也没有全局 `pytest`。尝试创建 Linux venv 时发现当前 WSL 缺少 `python3.12-venv`,尝试使用 Docker 时发现当前 WSL 未启用 Docker Desktop 集成。本轮未完成后端 pytest,需要后续在 Linux venv、Docker 或 Windows PowerShell 环境补跑。
|
||||
- 语音共创 PRD 已从 Discovery Track 更新为 Phase A Alpha,并补充 Alpha 验收矩阵、退出标准和未完成项。
|
||||
- 演示 checklist 已新增 Voice Studio 入口、语音共创 Alpha 手动演示路径和风险预案。
|
||||
- `scripts/demo_smoke.sh` 已新增可选 `SMOKE_VOICE=1` 分支,覆盖 Voice Session 创建、文本 fallback、上传回合 demo transcript hint、会话 detail/events、voice analytics、finalize 到 Story 和故事可读性断言。
|
||||
- ASR 已纳入 Provider 能力分层:默认 `ASR_PROVIDERS=["demo"]`,真实转写可配置 `ASR_PROVIDERS=["openai_asr", "demo"]` 与 `OPENAI_API_KEY`。
|
||||
- 管理端 Provider UI 已补 `asr`:运营摘要支持按语音识别筛选,Provider tab 可创建/查看 ASR provider,用户端嵌入的 Provider 管理页同步新增 `asr` tab。
|
||||
- `bash -n scripts/demo_smoke.sh` 通过。
|
||||
|
||||
执行命令:
|
||||
|
||||
```bash
|
||||
cd frontend && npm run build
|
||||
cd admin-frontend && npm run build
|
||||
cd admin-frontend && npm install
|
||||
cd admin-frontend && npm run build
|
||||
cd backend && pytest -q
|
||||
cd backend && ./.venv/bin/python --version
|
||||
cd backend && python3 -m venv .venv-linux
|
||||
docker compose ps
|
||||
bash -n scripts/demo_smoke.sh
|
||||
```
|
||||
|
||||
结果:
|
||||
|
||||
- 用户端 `vue-tsc && vite build` 通过。
|
||||
- 管理端 `vue-tsc && vite build` 在补依赖后通过。
|
||||
- `scripts/demo_smoke.sh` shell 语法检查通过;受当前 WSL 未启用 Docker 影响,未执行完整接口 smoke。
|
||||
- 后端测试未运行成功,原因是当前执行环境缺少 Linux 可用的 Python dev venv / pytest,且 WSL 未启用 Docker。
|
||||
|
||||
后续补验建议:
|
||||
|
||||
- 在 WSL 下先安装 `python3.12-venv`,再执行 `cd backend && python3 -m venv .venv-linux && .venv-linux/bin/pip install -e ".[dev]" && .venv-linux/bin/python -m pytest -q`。
|
||||
- 或在 Windows PowerShell 下执行 `cd backend; .\.venv\Scripts\python.exe -m pytest -q`。
|
||||
- 后端通过后,再运行 `docker compose up -d --build`、`SMOKE_VOICE=1 ./scripts/demo_smoke.sh`,并手动走一遍 Voice Studio Alpha 路径。
|
||||
|
||||
## 2026-04-18
|
||||
|
||||
补充验证:
|
||||
|
||||
@@ -1,9 +1,9 @@
|
||||
# Product Requirements Document: 语音共创模式增量方案
|
||||
|
||||
**Version**: 0.1
|
||||
**Date**: 2026-04-19
|
||||
**Author**: Codex (based on founder direction)
|
||||
**Status**: Discovery Track / 不插队当前主开发线
|
||||
**Version**: 0.2
|
||||
**Date**: 2026-04-24
|
||||
**Author**: Codex (based on founder direction)
|
||||
**Status**: Phase A Alpha / 已进入可演示收束
|
||||
|
||||
---
|
||||
|
||||
@@ -13,7 +13,7 @@ DreamWeaver 当前已经具备“输入主题 -> 生成故事/绘本 -> 补全
|
||||
|
||||
这个方向的价值不在于再加一个输入方式,而在于把 DreamWeaver 从“生成结果”推进到“陪伴式创作过程”。孩子不是先写清楚需求再等待结果,而是可以像和讲故事的人对话一样,说出自己想要的角色、情节和变化,系统实时或准实时地接住这些表达,再继续讲下去。
|
||||
|
||||
本增量 PRD 的目标不是立刻把语音共创插入当前主开发线,而是先把它定义为一条独立、可评估、可拆阶段落地的产品路线。当前主线仍应继续沿着统一生成工作流、跨环境观测、断点续跑与稳定性治理推进;语音共创作为下一波产品升级方向,先完成需求定义、架构判断和分阶段实施策略。
|
||||
本增量 PRD 最初用于把语音共创定义为一条独立、可评估、可拆阶段落地的产品路线。2026-04-24 更新后,远端 `main` 已经提前跑通 Phase A Alpha:独立 Voice Studio、语音/文本回合、低置信度确认、安全改写、TTS 回复、会话恢复、finalize 保存为 Story,以及接回统一 generation job 的资产补全与 trace。下一步不应继续扩大到 Phase B 实时化,而应先完成 Alpha 验收、真实 ASR Provider 接入、成本/观测补齐,并回到原主线的跨环境 Provider 汇聚、监控告警和断点续跑。
|
||||
|
||||
---
|
||||
|
||||
@@ -21,19 +21,20 @@ DreamWeaver 当前已经具备“输入主题 -> 生成故事/绘本 -> 补全
|
||||
|
||||
### Decision
|
||||
|
||||
语音共创模式 **现在进入产品发现与方案设计阶段**,但 **不插队当前主开发线**。
|
||||
语音共创模式已经从 **产品发现与方案设计阶段** 进入 **Phase A Alpha 可演示收束阶段**。
|
||||
|
||||
### Why
|
||||
|
||||
- 当前主线已经明确:统一生成工作流、任务控制、Provider 运营分析、监控与恢复能力。
|
||||
- 语音共创会引入新的交互模式、新的数据模型和新的低延迟系统要求,如果直接插入,会同时打断稳定性主线和架构收束节奏。
|
||||
- 先写清楚增量 PRD,可以避免后续“想到什么做什么”,也能帮助后面的技术选型、原型验证和资源预估。
|
||||
- 当前主线已经完成统一生成工作流、任务控制、Provider 运营分析、资产补全 trace 和基本恢复能力。
|
||||
- Phase A 的数据模型、API、Voice Studio 和 finalize 链路已经落地,但仍处于 Alpha;它需要验收、真实 ASR 接入和观测补齐,而不是继续扩大范围。
|
||||
- Phase B/Phase C 会引入流式 ASR、WebSocket、barge-in 和更高实时性要求,应等 Phase A 的产品价值和稳定性被验证后再启动。
|
||||
|
||||
### Proposed Sequencing
|
||||
|
||||
1. 继续推进当前主线:跨环境 Provider 汇聚、监控告警、断点续跑与更细粒度任务控制。
|
||||
2. 并行完成语音共创模式的交互原型、增量 PRD 和技术预研。
|
||||
3. 等当前主线进入相对稳定阶段后,再按分阶段方案启动语音共创 MVP。
|
||||
1. 先完成 Phase A Alpha 收束:回归验证、演示清单、验收矩阵和已知限制记录。
|
||||
2. 补齐真实 ASR Provider、turn 级成本/指标归因、Voice Studio smoke 路径和失败降级验收。
|
||||
3. 回到生产化主线:跨环境 Provider 汇聚、监控告警、断点续跑与更细粒度任务控制。
|
||||
4. Phase A 稳定并验证产品价值后,再评估 Phase B 准实时共创。
|
||||
|
||||
---
|
||||
|
||||
@@ -498,6 +499,32 @@ DreamWeaver 的语音共创模式应当成为一种“孩子可以开口参与
|
||||
|
||||
## MoSCoW Prioritization
|
||||
|
||||
## Phase A Alpha Acceptance Snapshot(2026-04-24)
|
||||
|
||||
| Requirement | Status | Evidence | Next Action |
|
||||
| --- | --- | --- | --- |
|
||||
| FR-001 语音发起故事共创会话 | Alpha Done | `VoiceStudio` 已提供独立入口,支持录音上传回合和文本 fallback;后端有 `POST /api/voice-sessions/{id}/turns` | 用真实儿童表达样本补演示 smoke |
|
||||
| FR-002 区分开始、继续、修正 | Alpha Done | turn service 已按 `start/continue/correct` 更新会话状态,修正不会清空整段故事 | 增加更多真实儿童表达样本验收 |
|
||||
| FR-003 系统语音回应并继续讲述 | Alpha Done | 每轮生成 assistant 文本后调用 TTS,TTS 失败保留文本响应 | 记录 TTS 延迟与失败率到更细指标 |
|
||||
| FR-004 保存为正式故事资产 | Alpha Done | `finalize` 已持久化 Story,并返回 `generation_job_id` 接回封面资产补全 trace | 补 finalize 后故事库/详情页端到端 smoke |
|
||||
| FR-005 记录语音会话状态 | Alpha Done | 已有 `voice_sessions / voice_turns / voice_session_events`,前端展示最近 turn 与事件 | 补 turn 级成本与 Provider 归因 |
|
||||
| FR-006 家长确认关键改写 | Alpha Done | 低 `transcript_confidence` 或 `intent_confidence` 会触发确认,支持继续、重说、改文本 | 打磨确认文案和移动端操作密度 |
|
||||
| FR-007 分段插图节点 | Partial | 当前支持结束后统一封面补全,并为 asset job 接回统一 trace | 后续评估关键段落插图,不进当前 P0 |
|
||||
| FR-008 分支剧情 | Deferred | 当前状态模型不阻断未来扩展,但未实现分叉体验 | 保持 P2,Phase A 不做 |
|
||||
| NFR-001 响应可接受 | Needs Measurement | 回合式体验已实现,但尚无 p95 指标采集 | 加入 ASR/TTS/turn 编排耗时埋点 |
|
||||
| NFR-002 儿童内容安全 | Alpha Done | 已新增用户转写安全检查、assistant 柔性改写和 `safety_flags` 事件 | 扩充安全样本和误伤回归 |
|
||||
| NFR-003 成本可观测 | Partial | generation job/provider analytics 已覆盖资产补全;voice turn 级 ASR/TTS 成本仍需细化 | 把 ASR/Dialogue/TTS 成本写入 turn/event metadata |
|
||||
| NFR-004 会话可恢复 | Alpha Done | Voice Studio 支持最近会话恢复和 active session 查询 | 补刷新/切页手动验收记录 |
|
||||
| NFR-005 架构可插拔 | Alpha Done | ASR 已纳入 `asr` Provider capability,默认 demo fallback,可配置 `openai_asr` | 后续补更多 ASR provider 与管理端体验 |
|
||||
|
||||
### Alpha Exit Criteria
|
||||
|
||||
- 后端测试、前端构建、管理端构建和 Docker smoke 在当前环境可重复通过。
|
||||
- Voice Studio 手动路径覆盖:创建会话、文本 fallback、录音回合、低置信度确认、重说/改文本、finalize、故事库回看、资产 trace。
|
||||
- 真实 ASR Provider 至少完成一个可配置适配器,并保留 demo fallback。(已接入 `openai_asr`,待真实 Key 环境验收)
|
||||
- turn 级事件至少能区分 ASR、Dialogue、TTS、Safety、Confirmation、Finalize 和 Asset Generation。
|
||||
- PRD、技术方案、演示 checklist 与当前实现保持一致。
|
||||
|
||||
### Must Have
|
||||
|
||||
- 语音发起故事
|
||||
|
||||
@@ -446,8 +446,8 @@ Phase A 明确不做以下内容:
|
||||
|
||||
理由是:
|
||||
|
||||
- 当前 admin Provider 只有 `text/image/tts/storybook`
|
||||
- 如果一开始把 `asr` 也并进全套管理能力,改动面会大很多
|
||||
- 当前 admin Provider 已扩展到 `text/image/tts/storybook/asr`
|
||||
- Phase A Alpha 已把 ASR 纳入最小 Provider 能力,但仍保留 demo fallback,避免真实转写不可用时阻塞演示
|
||||
|
||||
### B. Dialogue Orchestrator
|
||||
|
||||
|
||||
Reference in New Issue
Block a user