腾讯混元发布并开源Hy4 preview：770B参数MoE架构，上下文突破1M
2026年8月28日，腾讯混元正式发布并开源了新一代大语言模型Hy4 preview，这是一款采用MoE（混合专家）架构的巨型模型，总参数高达770B（7700亿），激活参数为49B，上下文长度突破1M（100万token）。
这是腾讯混元自2月重建基础设施以来，平均每两个月迭代一次大版本的最新成果。
核心架构与技术特点
Hy4 preview采用了MoE（Mixture of Experts）架构，总参数规模达到770B，但每次推理仅激活49B参数。这种设计使得模型在保持强大能力的同时，显著降低了计算成本。
- MoE架构：通过稀疏激活机制，仅使用约6.3%的参数参与每次推理
- 超长上下文：支持超过100万token的上下文窗口，可处理超长文档和复杂任务
- 开源策略：采用Apache License 2.0协议开源，包含BF16原始权重与FP8量化权重
定价与应用场景
Hy4 preview延续了腾讯混元系列的高性价比路线：
- 输入价格：6元/百万tokens
- 输出价格：18元/百万tokens
- 缓存命中：0.3元/百万tokens
目前，Hy4 preview已在WorkBuddy/CodeBuddy国内版及国际版、元宝、ima等腾讯产品同步首发。用户还可以通过腾讯云Tokenhub和OpenRouter接入API使用。
性能表现
据腾讯官方介绍，在腾讯内部组织的163名专家评测中，Hy4 preview在代码执行、办公自动化、科学研究等真实生产力任务上表现优异。其优势领域集中在：
- 代码生成与执行：能够处理复杂的编程任务
- 办公辅助：文档生成、数据分析、报告撰写
- 科学研究：文献分析、实验设计辅助
行业影响
Hy4 preview的发布标志着国产大模型在MoE架构和超长上下文领域迈出了重要一步。自2月重建基础设施以来，混元大模型以每两个月迭代一次大版本的速度推进，显示出腾讯在AI领域的持续投入力度。
同时，开源策略也意味着开发者社区可以基于Hy4 preview进行二次开发和定制化部署，这将进一步推动AI技术的普及和创新。
小结：腾讯混元Hy4 preview的发布，不仅展示了国产大模型在参数规模和上下文长度上的突破，更通过开源和普惠定价策略，为AI技术的广泛应用奠定了基础。
本文内容基于公开网络资讯整理