技术与方向
系统级推理加速改写效能曲线
联合小红书、北大、华为多方团队共同研发推理加速栈，在注意力与前馈计算路径上做精细化调度与复用。 在近似无损精度的前提下，大幅裁剪冗余算力，极大降低显存、时延与 Token 成本。 上下文越长、负载越重效果越显著。
- 预填充算力下降约 50%–70%极端长上下文场景可达约 80%，同等硬件承载更高业务峰值
- 首字时延加速约 1.35×–2.2×峰值可达约 3.5×，交互体验与并发能力同步跃升
- 近似无损生成质量部分场景效果不降反升，效能与效果不必二选一
- 长上下文规模化面向 16K 以上、RAG / 长文档 / Agent 负载持续放大收益