Soul 的情绪识别并非靠单一“读心术”，而是 “感知→理解→记忆→决策” 的工程化链路。核心思路是：不强行“识别”抽象情绪，而是捕捉可量化的信号，再用模型推断意图。 ??? 实现链路与技术栈 1. 感知层：多模态信号采集 · 语音信号：不依赖传统 VAD（语音活动检测），而是用 GLM-4-Voice speech tokenizer 以 12.5Hz 提取语音令牌，保留语气、停顿、结巴、情绪起伏等副语言信息。 · 文本信号：用户过往的聊天记录、发帖内容（如“广场”上的真实社交困境）构成数据基础。 2. 理解层：双 LLM 架构解耦 这是 Soul 技术栈的关键设计，避免“边听边想”导致模型降智： · Dialogue Model：负责语义理解和对话生成。它接收语音令牌，不直接处理声音，而是生成文本 Token 并传递高维上下文。 · Speech Model：负责语音生成。接收上面的上下文，产出带情绪的语音。 3. 记忆层：区分“事实”与“情绪” · 固化记忆：存用户基本信息（姓名、家乡）。 · 情绪记忆：用总结模型提取情绪波动点（如“昨天被领导批评”），确保 AI 记得为什么用户此刻需要安慰。 4. 决策层：建模“说话时机”与“沉默” · 流式状态预测：基于 SoulX-Duplug 模块，将“音频令牌 → 识别文本 → 状态令牌”交替预测，让 AI 具备语义感知的 VAD 能力——能区分用户是在“思考停顿”还是“说完等回应”。 · 沉默建模：显式预测静音持续时长。如果判断用户需要冷静，AI 会主动保持沉默，而不是急着找话。 ?? 一个具体的例子 当你说“我今天好累啊”（声音低沉、语速慢）： 1. 感知：语音令牌捕捉到低沉、慢速的声学特征。 2. 理解：Dialogue Model 推断语义是“求安慰”而非“陈述事实”。 3. 决策：状态预测模块判断此时不适合立刻接话，先输出一个短暂的沉默令牌。 4. 响应：几秒后，用舒缓的语调说“辛苦啦，要和我聊聊吗？”。 总的来说，Soul 是试图通过工程化的“感知-记忆-决策”链路，让 AI 在正确的时间，用正确的语气，说出记住用户痛点的那句话。