开源大模型资料总结

时间:2024-10-04 12:12:53

基本只关注开源大模型资料,非开源就不关注了,意义也不大。

基座大模型:

LLaMA:7/13/33/65B,1.4T token 

LLaMA及其子孙模型概述 - 知乎

GLM:6/130B,

ChatGLM基座:GLM(General Language Model)

GPT-J:

OPT:125M、350M、1.3B、2.7B、6.7B、13B、30B、66B、175B 9个不同的参数规模和版本,175B需要申请

BLOOM:BLOOM-560M、BLOOM-1.1B、BLOOM-1.7B、BLOOM-3B、BLOOM-7.1B

【LLM系列之BLOOM】BLOOM: 多语言大模型

对话大模型:

中文

chatglm,GLM,6B,中/英:

GitHub - LemonQu-GIT/ChatGLM-6B-Engineering: ChatGLM-6B Prompt Engineering Project

GitHub - yanqiangmiffy/InstructGLM: ChatGLM-6B 指令学习|指令数据|Instruct

/liucongg/ChatGLM-Finetuning

GitHub - mymusise/ChatGLM-Tuning: 一种平价的chatgpt实现方案, 基于ChatGLM-6B + LoRA

GitHub - hiyouga/ChatGLM-Efficient-Tuning: Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调

BELLE,BLOOMZ,7B,中,instruction:1.5M

GitHub - LianjiaTech/BELLE: BELLE: Be Everyone's Large Language model Engine(开源中文对话大模型)

Guanaco,LLaMA,7B,中/英,instruction:534k,

Chinese-LLaMA-Alpaca,LLaMA,7/13B,中英,instruction:2/3M,

/ymcui/Chinese-LLaMA-Alpaca

Luotuo,LLaMA,7/13B,中,instruction:52k

/LC1332/Luotuo-Chinese-LLM

Phoenix,BLOOMZ,7B,中英,instruction:40+,conversation:40+

GitHub - FreedomIntelligence/LLMZoo: ⚡LLM Zoo is a project that provides data, models, and evaluation benchmark for large language models.⚡

HuatuoGPT,

Chinese-Vicuna:

GitHub - Facico/Chinese-Vicuna: Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca

Ziya-LLaMA-13B-v1:

Linly LLaMa

“伶荔”(Linly) 开源大规模中文语言模型 - 知乎

Chinese chat T5:

GitHub - core-power/Chinese_Chat_T5_Base: 中文聊天小模型,用t5 base在大量数据上有监督。

Firefly,BLOOM

GitHub - yangjianxin1/Firefly: Firefly(流萤): 中文对话式大语言模型

英文:

Alpaca,LLaMA,7B,instrucation:52k,

Dolly,GPT-J,6B,intruction:52k,

/databrickslabs/dolly

Vicuna,LLaMA,7/13B,conversation:70k,

GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large languages. Release repo for Vicuna and FastChat-T5.

Koala,LLaMA,13B,instruction:355k,conversation:117k

成本不到100美元!UC伯克利再开源类ChatGPT模型「考拉」:数据量大没有用,高质量才是王道 - 知乎

BAIZE,LLaMA,7/13/30B,instruction:52k,conversation:111.5k

/project-baize/baize-chatbot

Deepspeed Chat,OPT

DeepSpeed/ at master · microsoft/DeepSpeed · GitHub

多模态:

VPGTrans

VPGTrans: 用10%的成本定制一个你自己的GPT4多模态对话模型

MiniGPT-4:

GitHub - Vision-CAIR/MiniGPT-4: MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models

LLaVA:

GitHub - haotian-liu/LLaVA: Large Language-and-Vision Assistant built towards multimodal GPT-4 level capabilities.

VisualGLM-6B:

GitHub - THUDM/VisualGLM-6B: Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型

VisionLLM:

宣传下最新工作,VisionLLM - 知乎

MMGPT:

MMGPT (Multi-modal GPT) 安装指南和初体验 - 知乎

OpenFlamingo:

GitHub - mlfoundations/open_flamingo: An open-source framework for training large multimodal models.

X-LLM:

中科院发布多模态 ChatGPT,图片、语言、视频都可以 Chat ?中文多模态大模型力作

测评:

C-EVAL:

 

综述:

大语言模型调研汇总 - 知乎

最近大模型遍地开花,你在大模型实践过程中的经验有哪些? - 知乎

GitHub - chenking2020/FindTheChatGPTer: ChatGPT爆火,开启了通往AGI的关键一步,本项目旨在汇总那些ChatGPT的开源平替们,包括文本大模型、多模态大模型等,为大家提供一些便利