SENQICE NET - 混元
type: channel
link: https://www.senqice.net/tag/%E6%B7%B7%E5%85%83/
items: 腾讯混元发布并开源新一代大语言模型Hy4 preview：770B参数MoE架构

腾讯混元发布并开源新一代大语言模型Hy4 preview：770B参数MoE架构
type: item
date: 2026-08-29T09:10:27+08:00
description: 腾讯混元发布并开源Hy4 preview：770B参数MoE架构，上下文突破1M2026年8月28日，腾讯混元正式发布并开源了新一代大语言模型Hy4 preview，这是一款采用MoE（混合专家）架构的巨型模型，总参数高达770B（7700亿），激活参数为49B，上下文长度突破1M（100万token）。这是腾讯混元自2月重建基础设施以来，平均每两个月迭代一次大版本的最新成果。核心架构与技术特点Hy4 preview采用了MoE（Mixture of Experts）架构，总参数规模达到770B，但每次推理仅激活49B参数。这种设计使得模型在保持强大能力的同时，显著降低了计算成本。MoE架构：通过稀疏激活机制，仅使用约6.3%的参数参与每次推理超长上下文：支持超过100万token的上下文窗口，可处理超长文档和复杂任务开源策略：采用Apache License 2.0协议开源，包含BF16原始权重与FP8量化权重定价与应用场景Hy4 preview延续了腾讯混元系列的高性价比路线：输入价格：6元/百万tokens输出价格：18元/百万tokens缓存命中：0.3元/百万tokens目前，Hy4 preview已在WorkBuddy/CodeBuddy国内版及国际版、元宝、ima等腾讯产品同步首发。用户还可以通过腾讯云Tokenhub和OpenRouter接入API使用。性能表现据腾讯官方介绍，在腾讯内部组织的163名专家评测中，Hy4 preview在代码执行、办公自动化、科学研究等真实生产力任务上表现优异。其优势领域集中在：代码生成与执行：能够处理复杂的编程任务办公辅助：文档生成、数据分析、报告撰写科学研究：文献分析、实验设计辅助行业影响Hy4 preview的发布标志着国产大模型在MoE架构和超长上下文领域迈出了重要一步。自2月重建基础设施以来，混元大模型以每两个月迭代一次大版本的速度推进，显示出腾讯在AI领域的持续投入力度。同时，开源策略也意味着开发者社区可以基于Hy4 preview进行二次开发和定制化部署，这将进一步推动AI技术的普及和创新。小结：腾讯混元Hy4 preview的发布，不仅展示了国产大模型在参数规模和上下文长度上的突破，更通过开源和普惠定价策略，为AI技术的广泛应用奠定了基础。本文内容基于公开网络资讯整理