6月15日新闻，王幼川新创业公司百川智能，推出70亿参数量的中英文预训练大模型——baichuan-7B。

目前这款大模型已在Hugging Face、Github以及Model Scope平台颁布。

公司CEO王幼川暗示：“本次开源模型的颁布是百川智能成立2个月后的第一个里程碑，对百川智能而言是一个优良的开局。baichuan-7B模型，不仅能为中国的AGI事业添砖加瓦，也为世界大模型开源社区贡献了新的力量。”

据相识，baichuan-7B在C-Eval、AGIEval和Gaokao三个中文评估基准进行了综合评估。

百川智能颁布开源中英文大模型，清华北大率先使用

在中文C-EVAL的评测中，baichuan-7B的综合评分达到了42.8分，超过了ChatGLM-6B的38.9分。

百川智能颁布开源中英文大模型，清华北大率先使用

C-Eval评测基准由上海交通大学、清华大学以及爱丁堡大学结合创建，是面向中文说话模型的综合考试评测集，覆盖了52个来自分歧业业领域的学科。

在AGIEval的评测里，baichuan-7B综合评分达到34.4分，超过LLaMa-7B、Falcon-7B、Bloom-7B以及ChatGLM-6B等其他开源模型。

AGIEval评测基准由微软钻研院提议，旨在全面评估基础模型在人类认知和问题解决有关工作上的能力，蕴含了中国的高考、司法考试，以及美国的SAT、LSAT、GRE和GMAT等20个公开且严谨的官方入学和职业资格考试。

在GAOKAO评测中，baichuan-7B的综合评分达到了36.2分，当吓宗同参数规模的各类其他预训练模型。

GAOKAO评测基准是复旦大学钻研团队创建的评测框架，以中国高考标题作为数据集，用于测试大模型在中文说话理解和逻辑推理能力方面的阐发。

此表baichuan-7B在英文上阐发同样亮眼。在MMLU的评测中baichuan-7B综合评分高达42.5分，当吓注文开源预训练模型LLaMA-7B的34.2分以及中文开源模型ChatGLM-6B的36.9分。

百川智能颁布开源中英文大模型，清华北大率先使用

MMLU由加州大学伯克利分校等驰名高校共同打造，集中了科学、工程、数学、人文、社会科学等领域的57个科目，重要指标是对模型的英文跨学科专业能力进行深刻测试。其内容宽泛，从低级水平一向涵盖到高级专业水平。

百川智能介绍称，训练语料对大模型的训练了局至关沉要。在构建预训练语料库方面，公司以高质量中文语料为基础，同时融合了优质的英文数据。在数据质量方面，通过质量模型对数据进行打分，对原始数据集进行篇章级和句子级的精确筛；在内容多样性方面，利用自研超大规模部门敏感哈希聚类系统和语义聚类系统，对数据进行了多档次多粒度的聚类，最终构建了蕴含1.2万亿token的两全质量和多样性的预训练数据。相较于其他同参数规模的开源中文预训练模型，数据量提高了超过50%。

在万亿优质中英文数据的基础上，为了更好地提升训练效能，baichuan-7B深度整合了模型算子来加快推算流程，并针对工作负载和集群配置，自适应优化了模型并行战术以及沉推算战术。通过高效的训练过程调度通讯，baichuan-7B成功地实现了推算与通讯的高效沉叠，进而达到了超线性的训练加快，在千卡集群上训练吞吐达到180+Tflops的水平。

同时，已有的开源模型窗口长度在2K以内，对于一些长文本建模工作，如必要引入表部知识做搜索加强的场景，更长的处置长杜仔助于模型在训练与推理阶段捕获越多的高低文信息，2K的处置长度存在比力大的造约。baichuan-7B基于高效的attention算子优化实现了万级别超长动态窗口的扩张能力，本次开源的预训练模型盛开了4K高低文窗口，使模型利用场景越发宽泛。

此表，baichuan-7B还对模型训练流程进行了深杜着化，选取了更科学且不变的训练流程和超参数选择，使得baichuan-7B模型的收敛快率大大提升。与一致参数规模的模型相比，baichuan-7B在猜疑度（PPL）和训练损失（training loss）等关键机能指标上阐发越发优良。

百川智能称，baichuan-7B代码选取Apache-2.0和谈，模型权沉选取了免费商用和谈，只需进行单一登记即可免费商用。

baichuan-7B这次开源的内容蕴含了推理代码、INT4量化实现、微调代码，以及预训练模型的权沉。其中，微调代码方便用户对模型进行调整和优化；推理代码与INT4量化实现则有助于开发者低成本地进行模型的部署和利用；预训练模型权沉开源后，用户则能够直接使用预训练模型进行各类尝试钻研。

据相识，北京大学和清华大学两所顶尖大学已率先使用baichuan-7B模型推动有关钻研工作，并打算在将来与百川智能深刻合作，共同推动baichuan-7B模型的利用和发展。