基本只关注开源大模型资料,非开源就不关注了,意义也不大。
基座大模型:
LLaMA:7/13/33/65B,1.4T token
LLaMA及其子孙模型概述 - 知乎
GLM:6/130B,
ChatGLM基座:GLM(General Language Model)
GPT-J:
OPT:125M、350M、1.3B、2.7B、6.7B、13B、30B、66B、175B 9个不同的参数规模和版本,175B需要申请
BLOOM:BLOOM-560M、BLOOM-1.1B、BLOOM-1.7B、BLOOM-3B、BLOOM-7.1B
【LLM系列之BLOOM】BLOOM: 多语言大模型
对话大模型:
中文
chatglm,GLM,6B,中/英:
GitHub - LemonQu-GIT/ChatGLM-6B-Engineering: ChatGLM-6B Prompt Engineering Project
GitHub - yanqiangmiffy/InstructGLM: ChatGLM-6B 指令学习|指令数据|Instruct
/liucongg/ChatGLM-Finetuning
GitHub - mymusise/ChatGLM-Tuning: 一种平价的chatgpt实现方案, 基于ChatGLM-6B + LoRA
GitHub - hiyouga/ChatGLM-Efficient-Tuning: Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调
BELLE,BLOOMZ,7B,中,instruction:1.5M
GitHub - LianjiaTech/BELLE: BELLE: Be Everyone's Large Language model Engine(开源中文对话大模型)
Guanaco,LLaMA,7B,中/英,instruction:534k,
Chinese-LLaMA-Alpaca,LLaMA,7/13B,中英,instruction:2/3M,
/ymcui/Chinese-LLaMA-Alpaca
Luotuo,LLaMA,7/13B,中,instruction:52k
/LC1332/Luotuo-Chinese-LLM
Phoenix,BLOOMZ,7B,中英,instruction:40+,conversation:40+
GitHub - FreedomIntelligence/LLMZoo: ⚡LLM Zoo is a project that provides data, models, and evaluation benchmark for large language models.⚡
HuatuoGPT,
Chinese-Vicuna:
GitHub - Facico/Chinese-Vicuna: Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
Ziya-LLaMA-13B-v1:
Linly LLaMa
“伶荔”(Linly) 开源大规模中文语言模型 - 知乎
Chinese chat T5:
GitHub - core-power/Chinese_Chat_T5_Base: 中文聊天小模型,用t5 base在大量数据上有监督。
Firefly,BLOOM
GitHub - yangjianxin1/Firefly: Firefly(流萤): 中文对话式大语言模型
英文:
Alpaca,LLaMA,7B,instrucation:52k,
Dolly,GPT-J,6B,intruction:52k,
/databrickslabs/dolly
Vicuna,LLaMA,7/13B,conversation:70k,
GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large languages. Release repo for Vicuna and FastChat-T5.
Koala,LLaMA,13B,instruction:355k,conversation:117k
成本不到100美元!UC伯克利再开源类ChatGPT模型「考拉」:数据量大没有用,高质量才是王道 - 知乎
BAIZE,LLaMA,7/13/30B,instruction:52k,conversation:111.5k
/project-baize/baize-chatbot
Deepspeed Chat,OPT
DeepSpeed/ at master · microsoft/DeepSpeed · GitHub
多模态:
VPGTrans
VPGTrans: 用10%的成本定制一个你自己的GPT4多模态对话模型
MiniGPT-4:
GitHub - Vision-CAIR/MiniGPT-4: MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models
LLaVA:
GitHub - haotian-liu/LLaVA: Large Language-and-Vision Assistant built towards multimodal GPT-4 level capabilities.
VisualGLM-6B:
GitHub - THUDM/VisualGLM-6B: Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型
VisionLLM:
宣传下最新工作,VisionLLM - 知乎
MMGPT:
MMGPT (Multi-modal GPT) 安装指南和初体验 - 知乎
OpenFlamingo:
GitHub - mlfoundations/open_flamingo: An open-source framework for training large multimodal models.
X-LLM:
中科院发布多模态 ChatGPT,图片、语言、视频都可以 Chat ?中文多模态大模型力作
测评:
C-EVAL:
综述:
大语言模型调研汇总 - 知乎
最近大模型遍地开花,你在大模型实践过程中的经验有哪些? - 知乎
GitHub - chenking2020/FindTheChatGPTer: ChatGPT爆火,开启了通往AGI的关键一步,本项目旨在汇总那些ChatGPT的开源平替们,包括文本大模型、多模态大模型等,为大家提供一些便利