#nanochat

2个月前

前特斯拉AI总监Karpathy推出开源项目"nanochat"，仅用约8000行代码复现ChatGPT全流程。项目在GitHub上线不到12小时，星标数已破4.2k。用户只需一台GPU、约4小时和100美元成本，就能训练出一个能写诗、回答基础问题的“小型ChatGPT"。 nanochat的主要功能分词器训练：使用Rust语言实现训练分词器，负责将文本转换为符号码本序列。预训练：在FineWeb数据集上对Transformer架构的大语言模型进行预训练，并通过CORE指标评估模型性能。中期训练：在SmolTalk用户-助手对话数据集、多项选择题数据集、工具使用数据集上进行中期训练，使模型适应对话场景。监督微调（SFT）：在世界知识多项选择题数据集（ARC-E/C、MMLU）、数学数据集（GSM8K）、代码数据集（HumanEval）上进行监督微调，提升模型在特定任务上的表现。强化学习微调（RL）：使用“GRPO”算法在GSM8K数据集上对模型进行强化学习微调，进一步优化模型性能。推理部署：实现高效模型推理，支持KV缓存、简易预填充/解码流程、工具使用（轻量级沙箱环境中的Python解释器），并通过CLI或类ChatGPT的WebUI与模型交互。成绩单生成：生成单一的Markdown格式报告卡，总结整个训练推理流程，并以“游戏化”形式展示结果。 Github仓库：

前特斯拉AI总监推出100美元ChatGPT克隆项目引发热议· 5 条信息

#Karpathy #nanochat #开源项目 #ChatGPT复现 #AI

2个月前

在以前想训练一个专属 ChatGPT，即便是小模型也动辄几百万美元，还要复杂的技术栈，让众人望而却步。现在通过 nanochat 这个开源项目，只需 100 美元就能训练出一个完整的 ChatGPT，作者正是前特斯拉 AI 总监 Andrej Karpathy。整个代码库只有 8000 多行、45 个文件，却实现了从分词、预训练、微调到推理的完整流程。 GitHub：同时支持多种评估指标，可自动生成模型性能报告，并内置 ChatGPT 风格的 Web 聊天界面，模型训练完即可对话。在 8XH100 节点上一键运行脚本，仅需 4 小时就能完成训练，得到一个能对话、写诗写故事、回答简单问题的模型。如果想进一步提升性能，经过 12 小时训练，它的 CORE 指标就能超越 GPT-2，花费大概在 300 美元。对于想深入理解 LLM 训练流程的 AI 开发者来说，这是一个不可多得的学习项目，短短两天便斩获 14000+ GitHub Star。

前特斯拉AI总监推出100美元ChatGPT克隆项目引发热议· 5 条信息

#nanochat #Andrej Karpathy #ChatGPT训练 #低成本AI #开源项目

2个月前

nanochat：从零实现LLM训练和推理 Andrej Karpathy开源的项目，可以认为是一个极简版ChatGPT。包含8000 行代码，4小时、100美元训练成本，即可实现训练到微调全流程。 Github：技术报告：

#nanochat #LLM #ChatGPT #Karpathy #开源