虎博TigerBot

3年前发布 403 00
收藏 0

TigerBot是一个多语言多任务的大规模语言模型（LLM）。TigerBot致力于开源，目前已经开源的成果包括模型（TigerBot-7B,TigerBot-7B-base,TigerBot-180B）、基本训练和推理代码、数据、API、领域数据等。另外TigerBot还致力于不同类型的插件研发，目前已经推出的代表性的插件有“Tiget...

所在地：
中国
收录时间：
2023-09-21
打开网站手机查看
虎博TigerBot虎博TigerBot
虎博TigerBot打开网站

TigerBot 是一个多语言多任务的大规模语言模型(LLM)。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测，TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%，并且这只是我们的 MVP，在此我们将如下探索成果开源：

  • 模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B (research version)，
  • 代码：基本训练和推理代码，包括双卡推理 180B 模型的量化和推理代码，
  • 数据：预训练 100G，从 2TB 过滤后的数据中经过去噪去重清洗而得；监督微调 1G 或 100 万条数据，按比例涵盖用户指令常见的 10 大类 120 小类任务，
  • API: chat, plugin, finetune, 让用户能在半小时内无代码的训练和使用专属于自己的大模型和数据，
  • 领域数据：涵盖金融，法律，百科，广邀大模型应用开发者，一起打造中国的世界级的应用。

我们在 BLOOM 基础上，在模型架构和算法上做了如下优化：

  • 指令完成监督微调的创新算法以获得更好的可学习型(learnability)，
  • 运用 ensemble 和 probabilistic modeling 的方法实现更可控的事实性(factuality)和创造性(generativeness)，
  • 在并行训练上，我们突破了 deep-speed 等主流框架中若干内存和通信问题，使得在千卡环境下数月无间断，
  • 对中文语言的更不规则的分布，从 tokenizer 到训练算法上做了更适合的算法优化。
tigerbot-70b-chat example

数据统计

相关导航

XVERSE-13B

XVERSE-13B

深圳元象科技自主研发的支持多语言的大语言模型，使用主流 Decoder-only 的标准Transformer网络结构，支持 8K 的上下文长度（Context Length），为同尺寸模型中最长，构建了 1.4 万亿 token 的高质量、多样化的数据对模型进行充分训练，包含中、英、俄、西等 40 多种语言，通过精细化设置不同类型数据的采样比例，使得中英两种语言表现优异，也能兼顾其他语言效果；基于BPE算法使用上百GB 语料训练了一个词表大小为100,278的分词器，能够同时支持多语言，而无需额外扩展词表。
清华大学ChatGLM2-6B

清华大学ChatGLM2-6B

基于开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，引入了GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练；基座模型的上下文长度扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练；基于 Multi-Query Attention 技术实现更高效的推理速度和更低的显存占用；允许商业使用。