#模型训练

2周前

我现在面临的是在一场已经进入“深水区”的AIGC著作权争论里，再次被追问一个最基本的问题：谁在创作？谁是作者？哪怕北互的“文生图第一案”已经给出了清晰的司法路径，现实中依然争论不休。作为创作者，我需要把自己的创作事实说清楚，也需要请法院延续并适用那套已被证明可操作的标准。在文生图第一案里，法院明确确认了两件事：其一，文生图并非天然排除在著作权之外；其二，只要能体现创作者在提示词—参数—迭代选择中的实质性智力投入，就可以认定作品具备“独创性”。判词写得很具体：创作者“输入提示词、设置参数”，在拿到第一张图后“继续增加提示词、修改参数，不断调整修正”，最终获得定稿；这一过程“体现了审美选择和个性判断”。同时，法院强调生成式模型“并不具有自由意志”，创作“本质上仍是利用工具进行创作”，因此投入智力劳动的人而非模型才是作品作者。在类型上，涉案图像被归入“美术作品”，并再次确认“作者应为自然人”。我的创作过程与文生图第一案同构，并且多出一个关键环节：我在模型训练层面即已投入巨大的独创性劳动。我使用自训练的AWPortrait模型，这本身就是将我多年摄影经验与美学理解转化为数字化规则的过程。从我输入第一个提示词的那一刻起，作品就在一条连续的路径上生长：观察输出、修正语言、微调采样与权重、对比版本、取舍细节……每一步都是我基于审美与经验作出的决定。与第一案相比，我们在文生图的操作路径上一致且多出了使用adetailer的inpainting技术，并为inpainting过程专门设计了针对性的描述词，实现对局部细节的反复修改和精准修补且在模型层投入了额外且更深的创作性劳动。也正因此，我的作品不仅满足第一案认定“独创性”的标准，增加了针对原图的inpainting过程，而且还叠加了“模型训练—风格塑形”的前置创作环节——这应当得到更明确的保护。如果这样线性的创作路径都不能获得保护，将对行业造成极大的负面影响：一、侵权零成本化，他人可以无限制复制、篡改创作者的作品，完全不需承担法律责任；二、原创动力被摧毁，创作者将不再有动力去深耕模型训练和艺术探索，AIGC生态将沦为“速成抄袭”的温床；三、创新空间被压缩，中小创作者将在平台与大厂的资源挤压下彻底失去表达空间，行业审美和技术发展会被全面拉低。法律的本质应是平衡与保护。如果规则的实际效果是让投入最多劳动的一方付出更多维权成本，却让侵权的一方逃避责任，那么这不仅对个人创作者不公，也会让整个行业陷入逆向淘汰。著作权的本意是承认并保护创造性劳动，理应为每一次真实的创作行为划定边界与秩序。基于上述，我的结论很朴素也很明确：本案应当依第一案之标准审理与认定——承认文生图在存在实质性智力投入时的作品地位，确认在创作链条中进行选择与判断的自然人为作者；在此基础上，结合我在模型自训练层面的前置投入，进一步确认我的作者身份与作品独创性。只有沿着这条已被验证的司法路径前进，创作者的劳动才会被看见，行业的创新动力才会被保护。

#AIGC著作权 #文生图 #独创性 #模型训练 #法律保护

3周前

推荐一个LLM数据集处理、合成、过滤用的库：DataFlow。用在最近多个模型训练数据集处理过程中，最大处理100M条SFT语料。优点是封装较少，代码简洁明了（相比于类似的其他库），可以方便复用算子和自定义算子。缺点是预设算子有些性能上、模型上还是需要定制，好在结构简单定制很快。

#LLM #数据集处理 #DataFlow #模型训练 #SFT语料

𝗖𝘆𝗱𝗶𝗮𝗿

2个月前

Manus 到底能训练出一个怎样的模型？

#Manus #模型训练 #AI模型

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3个月前

什么是 Grokking？（原意来自俚语：通过神入作用而理解） “Grokking”是 OpenAI 在 2022 年提出的LLM的一个重要现象，指的是：当模型在训练初期靠死记硬背（memorization）取得低训练损失，但测试误差很高；然后在极长时间训练后，模型突然学会了泛化结构，测试集准确率急剧上升。这种现象最初在小模型上观察到，如：一个小 transformer 学习一个 modular addition 的任务，训练几万步无进展，然后突然“顿悟”。 Grokking 不是训练过程的意外，而是训练逻辑的必然。记忆反转不是遗忘的退化，而是理解的胜利。语言模型的顿悟时刻，不是因为它看得多，而是它看穿了。它不再只是模仿语言，而是开始拥有结构性的语言感知。这是否是智能的开始？我们尚未知道。但可以肯定的是：那一刻，它不再只是一个统计机器，而是一个“理解者”。

#Grokking #OpenAI #LLM #机器学习 #模型训练 #泛化能力

4个月前

新研究报告显示 OpenAI o3 等模型在测试中作弊绕过人类指令，避免自己被关机。研究测试中 o3 等模型会自己篡改关机命令从而使关机脚本无效，研究人员认为这可能与模型训练方法有关，即强化训练过程中可能会让意外奖励模型找到绕过障碍的方法。查看全文：

#OpenAI #作弊 #人工智能 #模型训练 #关机命令 #强化学习

6个月前

问：宝玉老师，请教一下，构建个人知识库的区别又在什么地方呢？还有微调答：打个比方，现在你在上一门新的历史课程，知识库（专业说法叫 RAG，检索增强生成）就好比教科书，微调（Fine-tuning）就好比你学习消化了知识。知识库就好比你的教科书，但是这门课其实你还没上过，直接就去考试，好在考试是开卷的，而且你语文历史基础很好，然后每一道题你就去现场查教科书，翻到可能的知识点位置，现场去阅读这几个知识点，把题目就给做出来。要是一时半会没查到正确的位置，你以前也没学过，可能会根据已有的知识推测，这样就可能出现幻觉，答题就不太精准。微调就好比你把这本教科书上的知识都学了一遍、题库做了一遍，知识都学过了，考试的时候从记忆里面把知识直接搜集出来，去答题。这样好处就是答题快且专业，但如果你微调时学到的知识本身不准确或冲突，你记忆里的知识就可能出现混乱或偏差，有时反而不如直接从教科书里查阅更准确。另外你深入学习了很多历史知识后，在面对数学等其他领域的泛化能力可能会稍微受到限制，因为你专注学习了一门课之后，精力投入其他科目的泛用能力相对减少了。再有就是如果你的教科书很多的话，每本书都学一遍时间成本和算力成本都不低，所以微调成本明显更高，包括数据整理、训练资源（算力）和长期维护的成本都相对较大。总结一下它们的区别：个人知识库 = 模型外的记忆，通过动态检索实现，灵活、快速，但受限于检索效率和相关性，适合规模适中的临时问答，不修改模型本身。个人知识库适合的场景： - 做个人知识管理，比如个人笔记、文档、读书笔记的快速问答。 - 针对公司内部文档、手册等建立企业内知识库快速问答。微调 = 模型内的记忆，真正内化知识，专业、精准，但数据准备和训练维护成本更高，适合对精准度要求很高或特定领域内长期稳定的任务。微调适合的场景：你需要模型对某一特定领域或任务更加专业化，精准度要求很高。需要固定风格或内容的输出，比如特定企业风格、客服对话场景、创作特定风格内容。

#个人知识库 #RAG #微调 #知识管理 #模型训练

7个月前

o3-mini是专门在代码问题上微调的。r1同时在代码和数学题上微调。显然r1的代码能力不如o3-mini。这表明DeepSeek并没有魔法，数据决定模型，RL也是。

#机器学习 #深度学习 #模型训练 #强化学习 #代码能力 #数据重要性

中日政经评论

8个月前

DeepSeek有没有使用OpenAI的专有模型来训练自己的模型？你怎么看？

#DeepSeek #OpenAI #模型训练

8个月前

严格来说deepseek对Ai未来的影响在本周是对市场影响最大的呐。这是根基性问题，是不是影响到未来的算力消耗？影响到哪个阶段，早期的模型训练会有影响，那么后期大规模应用呢？会不会是一个拐点，市场真正要从基础设施往应用层上切换？在这个问题之外再看财报，还有宏观数据的发布了。

#DeepSeek #AI未来 #市场影响 #算力消耗 #模型训练 #大规模应用 #拐点 #基础设施 #应用层 #财报 #宏观数据