相关新闻

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2周前

AI落地的直接价值在自然语言的决策思考，而非形式语言coding

placeholder

Tom Huang

1个月前

很多自然语言流程的创业公司都要被干掉了🤓 ChatGPT 终于！进行了完整的 MCP 支持🔥 支持开发者模式下，可以创建 Connector 进行 CRUD，如更新 Jira 工单，触发 Zapier 工作流，或者组合连接器实现复杂的自动化

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

日常阅读，更多是一种pretraining，只需要关注过程。 过往，我们人脑的语言能力还是在于自然语言社会解释性，形式语言的逻辑证明是这种解释性的产品化，二进制计算机程序则是解释性的极致体现-可计算的可trackable也可以scalable，把形式语言关于计算确定性完全offloaded。 LLM的出现带来了彻底的offloading。不仅仅是形式语言如coding的生成，还在于自然语言本体

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2个月前

看来大家都醒悟过来了： 不再在自然语言的泥潭里打滚了，转向先math再coding的形式语言水晶宫。

placeholder

johann.GPT

3个月前

最近研究 RAG 多了，很少关注微调，今儿看到一个不错的指南文章，分享一下对 LoRA 和 QLoRA 的理解： LoRA 通过分解权重更新矩阵为小矩阵来高效微调，大幅降低计算资源需求。QLoRA 在此基础上引入 4-bit 量化，结合高精度计算和低精度存储，进一步优化内存使用。两者都能在保持模型性能的同时显著降低训练成本。 特别有趣的是 QLoRA 的量化感知训练机制，通过 LoRA 适配器