#自然语言处理

avatar
johann.GPT
2周前
最近研究 RAG 多了，很少关注微调，今儿看到一个不错的指南文章，分享一下对 LoRA 和 QLoRA 的理解： LoRA 通过分解权重更新矩阵为小矩阵来高效微调，大幅降低计算资源需求。QLoRA 在此基础上引入 4-bit 量化，结合高精度计算和低精度存储，进一步优化内存使用。两者都能在保持模型性能的同时显著降低训练成本。 特别有趣的是 QLoRA 的量化感知训练机制，通过 LoRA 适配器来补偿量化误差，实现了性能和效率的完美平衡。这些技术让企业能够更经济地部署定制化模型，是 LLM 落地的重要工具。 #AI #LLM #MachineLearning
#LoRA #QLoRA #微调 #模型压缩 #自然语言处理
avatar
小互
2周前
📢 ChatGPT 搜索功能改进 重点提升了响应质量、对复杂问题的处理能力，以及更自然的对话上下文理解。 支持基于图像内容进行搜索 ✅ 主要改进亮点 1. 回答更智能、更全面 更好地理解用户提问意图，输出内容更丰富、逻辑更强。 可处理更长的上下文，让长对话中的回答更贴合前文。 2. 指令执行能力增强 更准确地遵循用户指令，尤其是在多轮对话中不会反复输出相同内容。 可以自动运行多次搜索，处理复杂或模糊问题。 3. 支持图像搜索 你现在可以上传一张图，ChatGPT 会基于图像内容自动在网页上搜索相关信息。 ⚠️ 已知限制 - 新系统有时响应变得更长，因为它尝试更全面地回答。 - 某些简单问题中，可能意外触发“链式思考”（Chain of Thought）推理模式 —— 开发团队已在修复。 - 仍可能出现错误或不准确的回答，建议用户核对关键信息。
AI编程：Gemini领跑，协作创新涌现· 189 条信息
#ChatGPT升级 #搜索功能改进 #人工智能 #图像搜索 #自然语言处理
avatar
onevcat
2周前
说实话，我是真的没想到，“文档和代码不同步”这个历史难题，最终居然是被LLM彻底解决了…
#文档和代码不同步 #历史难题 #LLM #大语言模型 #生成式AI #人工智能 #自然语言处理
avatar
howie.serious
2周前
chatgpt跨对话窗口的无限memory功能，真的是大杀器。 基本上实现了sam altman说的：chatgpt记住了关于你的一切。 只要你和ta聊过的，不用担心，新窗口直接说，之前聊的，chatgpt都记得。 这个功能太好用了。
#ChatGPT #自然语言处理 #人工智能 #OpenAI #记忆 #技术创新
avatar
sitin
2周前
OpenAI高级语音功能大升级！对话像真人般自然流畅，语调有起伏、节奏更真实，还自带情绪表达，从同理心到讽刺全都拿捏。 语音翻译更是厉害，多轮对话无需重复指令，旅行、商务、学习全搞定。
AI编程：Gemini领跑，协作创新涌现· 189 条信息
#OpenAI #语音技术 #自然语言处理 #语音识别 #情感表达 #语音翻译 #人工智能 #技术升级
avatar
小互
3周前
证实了 OpenAI 发布了ChatGPT 高级语音模式升级说明： 现在GPT说话更加像真人 还能进行双向自动翻译 - 说话过程中加入了自然停顿和重音处理 - 可以听出同理心（Empathy） - 能表达讽刺（Sarcasm） - 可充当“双语翻译官”，会根据说话人语言自动切换 - 可自动“保持翻译模式”，直到你要求停止 此次更新已面向所有付费用户开放使用
AI编程：Gemini领跑，协作创新涌现· 189 条信息
#OpenAI #ChatGPT #语音升级 #人工智能 #双语翻译 #自然语言处理
avatar
看到个热别好的文章：ChatGPT 的记忆是如何工作的 文章对 ChatGPT 的记忆系统进行了逆向分析，它有双层记忆架构： 1. 保存记忆系统：当用户手动控制的时候就可以进行保存（"Remember that I..."） 2. 聊天历史系统：包含当前会话历史，对话历史（2周内的直接引用），用户洞察（AI自动提取的该用户的对话特征） 其中用户洞察系统贡献了80%+的性能提升和体验，核心原理是通过聚类算法自动分析用户行为模式。 这个文章特别好的地方是还提供了开源的技术实现方案，可以用现有技术 Clone 一个跟 ChatGPT 一样的私有实现。 文章地址：
#ChatGPT #记忆系统 #人工智能 #自然语言处理 #用户体验
avatar
夜谈
1个月前
ai的又一小步 全ai论文被顶级学术会议接受！ 论文题为《Tempest：通过树搜索实现大型语言模型的多轮自动越狱》，已被 ACL 2025 主会录用 ACL 2025 即计算语言学协会 2025 年年会。它是自然语言处理（NLP）和计算语言学领域最具权威和影响力的国际学术会议之一。
#AI #学术论文 #ACL 2025 #自然语言处理 #计算语言学 #多轮自动越狱
avatar
AI Will
1个月前
8. 变换器模型和 BERT 在你所学的基础上继续深入。 完成后获得 Google 证书。 👉
#变换器模型 #BERT #谷歌证书 #机器学习 #自然语言处理
avatar
Lex Tang
1个月前
Grok 集万推于一身，闲聊起来更像活人
#Grok #人工智能 #聊天机器人 #自然语言处理
avatar
Xiaowen
1个月前
两年前，设计了这个一个结构，用来在日常的很多小事上帮自己 all in one。 现在 ai 的能力和价格和速度已经到了另外一个数量级。我把整个网关拆了改成了纯自然语言一把梭的架构。 记账，记事，等等都在一起。（突然感觉这其实也是一个 mcp 的架构呢）
#AI #自然语言处理 #MCP架构 #技术进步 #自动化
avatar
读书笔记：当 LLM 成为 Agent——从自然语言到“协议语言”的演化 这两周选了四篇极其出色的文章做了分享，ReSearch, ReTool, APR 和 PASTA。 它们虽然解决的具体问题不相同，但 general 的目标都一致，即让LLM知道 when and how 做决策，这就是agent的核心，要做精准的决策。 而这种精准与人类语言的模糊性不一致，但 LLM 的 token 与人类的语言一致性更强，所以 LLM 的输出具有一定的模糊性，作为 Agent , 在做上述精准决策的时候就会出现问题。 于是四篇文章的方法在思想上完全一致，即在自然语言中，插入“协议 token”，让自然语言更有结构化，更偏近机器语言。 PASTA， 引入 <<promise>> <<async>> <<sync>>， 来完成精准的切换异步/同步解码。 APR，引入spawn() / join()， 来决策何时并行／收束多推理线程。 ReSearch， <think> <search> <result> ， 来决策何时搜索、何时用结果。 ReTool， 引入<code> <interpreter>， 来决策何时执行代码解释器。 这些“协议 token”，并不存在于人类的自然语言中，但却跟机器语言息息相关。 它们都用显式标记把“语言”切片成更像API 调用或并发原语的片段，让模型能在生成阶段“自编写脚本”，再由调度器或工具链执行。 人类语言 vs. 机器语言： 人类语言：高容错、重语义、含糊其辞，适合表达不确定性与情感。 机器语言：零歧义、结构化、强约束，适合编排确定性任务。 当 LLM 既要与人类沟通又要驱动工具，它必须在两种范式间切换。于是“协议语言（Protocol Language）”就必然出现了：在自然语言流中嵌入可解析的指令标记，既让人类读得懂，又让机器能精准执行。 一些展望： 未来的一段时间，类似的在自然语言中插入“协议 token”的工作一定会越来越多。 未来的“协议 token”可能携带类型、权限、资源预算等元数据，让决策粒度从 When 进一步细化到用多少 computing resource 。 目前的“协议 token”还基本停留在，一套协议解决一个问题的阶段。如果LLM的generalization继续演化，可以会出现一套协议多个问题，或者多套协议多个问题的形态。 当 LLM 从Chatbot演化为Agent，语言的角色正在从沟通媒介变成执行协议。但自然语言不会被淘汰，而是被包裹进更精确、更可组合的结构化符号中——让instruct与action在同一个文本流里无缝衔接。
#LLM #agent #自然语言处理 #协议语言 #去模糊化 #决策
avatar
宝玉
2个月前
认识 Codex CLI —— 一个开源的本地编码智能体，可把自然语言直接转换成可运行的代码。只需告诉 Codex CLI 你想构建、修复或解释什么，它就能把你的创意变成现实。 在这段视频里，来自 Agents Research 团队的 Fouad Matin 和 Developer Experience 团队的 Romain Huet 将首次演示，讲解如何在本地安全使用 Codex CLI，快速搭建应用、修复 Bug，并更高效地理解代码库。 Codex CLI 兼容所有 OpenAI 模型，包括 o3、o4‑mini 以及 GPT‑4.1。
#开源 #Codex CLI #编程 #智能体 #代码转换 #自然语言处理 #技术演示 #团队介绍
avatar
小互
2个月前
OpenAI 发布了GPT-4.1 提示工程指南 以前许多典型的最佳实践和提示依旧适用于 GPT-4.1 由于GPT-4.1 更严格、更字面地遵循指令，会非常严格地按照字面指令去执行任务。 这使得它对明确、清晰的提示尤其敏感。也就是说，只要你发现 GPT-4.1 的表现与预期不符，通常只需增加一句简洁明确的说明，就能迅速把模型引导到正确的行为上。 过去的模型（如 GPT-4） 会更自由地揣测或推断用户指令和系统提示背后的真实意图，即使提示不够精确，也可能猜出用户的意图并完成任务。 所以开发者需要对原有的提示方式进行一定调整（迁移）才能使用。 官方给出了详细的针对 GPT-4.1 的提示工程（Prompting）最佳实践，从基础原则到高级策略，帮助开发者高效构建提示以提升模型表现。
#OpenAI #GPT-4.1 #提示工程 #人工智能 #自然语言处理
avatar
偶像派作手
2个月前
DeepSeek 这个大模型好懂中文，这句直接翻成：“慌的一匹”。
#DeepSeek #大模型 #中文理解 #翻译 #自然语言处理
avatar
小互
2个月前
卧槽？ 效果这么好？ 感觉目前只有4o能这么丝滑吧…
#AI技术 #自然语言处理 #机器学习 #人工智能 #技术突破 #创新
avatar
小互
3个月前
OpenAI 在 o1 和 o3-mini 模型中提供了基于 Python 的数据分析功能。 用户可以要求这些模型执行一些任务，例如： △对测试数据进行回归分析（运行回归模型）。 △可视化复杂的商业指标（比如生成图表来展示业务数据）。 △进行基于场景的模拟（比如模拟不同的假设条件下的结果）。 让用户可以通过自然语言提出需求，然后模型会帮忙完成相关的计算和可视化任务。
#OpenAI #Python #数据分析 #回归分析 #可视化 #商业指标 #模拟 #自然语言处理 #机器学习模型
avatar
向阳乔木
4个月前
惊奇发现，目前最强 Agent 竟然是这个组合： Visual Studio Code + Cline + Deepseek V3 除写代码，探索发现有很多场景和玩法。 比如背单词，只需要打字说：列20个天气相关的单词，解释并造句，写入md文件。 比如列计划，支持自然语言增删改查。 比如查文件，可以自然语言询问：“检查下载目录，我昨天都下载了什么文件，直接执行” … 甚至可调用浏览器完成复杂任务.... 强烈推荐都玩起来！
#开发工具 #人工智能 #编程 #生产力 #自动化 #自然语言处理
avatar
宝玉
4个月前
问：AI怎么调用外部工具的？是外部工具从AI输出的文字中识别到了关键词？ 答：AI 不直接调用工具，程序代码调用 AI 接口，AI 返回一段结构化的JSON文本，告诉程序是不是要用工具，用什么工具，参数是什么，程序解析JSON后去调用工具。 举例来说你问 AI 今天上海天气多少，AI 是不知道的，AI 会告诉程序： 1. 你要去调用天气查询工具； 2. 查询的参数是“上海”。 程序去调用天气工具，告诉 AI 今天上海天气是晴转小雨/1度，然后 AI 再返回消息：“今天上海的天气是晴转小雨，1度，出门带伞，多穿点衣服。”
#AI #工具集成 #自然语言处理 #人工智能 #API调用 #关键词识别
avatar
张平
4个月前
有位有心的网友，让Deepseek写了一首诗，指令就是简单的一句话“给特拉维夫张平教授写首诗”，结果如图一。我深感震惊，因为这首诗可以说是无一句无典故，只有深入了解我的人才能全部看懂。显然，Deepseek 1）大量搜索了有关我的中文资料。2）准确判断出哪些是有价值的资料。3）提纲挈领地概括了我的学术思想和实践。4）马屁拍的恰到好处，很舒服，但不肉麻，歌功颂德方面，可以说是顶尖高手。诗也写得很棒。震惊之余，我给ChatGPT发了同样的指令，结果如图二和图三，完全是敷衍了事，诗也写得一塌糊涂，一股子油滑气。总结一下：至少在中文资料搜寻整理和文学写作方面，Deepseek已经远远地把ChatGPT甩到了身后，差距之大，几乎就是活人和木偶之间的差距！
#人工智能 #诗歌创作 #学术评价 #自然语言处理
avatar
宝玉
4个月前
罗福莉（福莉），出生于四川农村的“95后AI天才少女”，现任DeepSeek公司深度学习研究员，是国产大模型DeepSeek-V2的核心开发者之一。她本科毕业于北京师范大学计算机专业，硕士保送至北京大学计算语言学专业，师从万小军教授，期间在国际顶级会议ACL上发表8篇论文（含2篇一作），奠定了其在自然语言处理（NLP）领域的学术声誉。职业生涯始于阿里巴巴达摩院，主导开发了多语言预训练模型VECO，推动AliceMind项目开源；2022年加入DeepSeek后，参与研发了MoE架构大模型DeepSeek-V2，该模型以“中文能力第一梯队”和超高性价比（1元/百万Tokens）成为行业焦点。 2024年底，网传小米创始人雷军以千万年薪邀请其领导AI大模型团队，但截至2025年2月，罗福莉仍通过高中班主任回应“暂未决定”，其知乎认证信息显示为DeepSeek员工。分析认为，她的选择或反映对技术深耕与产业使命的权衡：DeepSeek正处“与国运共振”的上升期，而小米的邀约则凸显行业对顶尖人才的争夺。 罗福莉的成长轨迹融合了个人奋斗与时代机遇。她以“农村女孩”身份突破性别与资源限制，成为AI领域标杆人物，既印证“知识改变命运”的普世价值，亦展现中国AI产业崛起中青年科学家的关键角色。其职业路径的选择，不仅是个人发展问题，更折射出国产AI技术生态中企业与人才协同创新的深层命题。 罗福莉在采访中回顾了自己从农村到顶尖AI开发者的逆袭之路。她出身贫寒，父母曾质疑“女生学计算机是否适合”，但她以“探索更多可能性”的决心打破桎梏。在北师大转专业至计算机后，她通过提前规划与贵人指引（如北大导师万小军），以“目标拆解+死磕精神”实现学术突破：大三自学Python并投出首篇顶会论文，硕士期间以“博士生标准”产出20余篇顶会论文，成为业内瞩目的“ACL8篇作者”。 她坦言职业选择中的试错与坚持：曾短暂尝试产品经理方向，但最终回归技术研究，并先后加入阿里达摩院、幻方量化及DeepSeek。在DeepSeek期间，她深度参与模型研发，强调团队“技术驱动”特质，并公开评价DeepSeek-V2为“性价比之王”。
#爱上川妹子 #国产人工智能 #深度学习 #语言模型 #自然语言处理 #学术论文 #ACL会议 #北京师范大学 #北京大学 #阿里巴巴
avatar
同一个问题，DeepSeek和ChatGPT的回答。
#DeepSeek #ChatGPT #AI对比 #自然语言处理 #人工智能
avatar
Gantrol
5个月前
ChatGPT的Operator，可以用自然语言操作浏览器。通过不断往4o发截图实现，想象空间大，能完成简单操作，但目前很难用： 1. 4o不太聪明 2. 慢 3. “分辨率”低 有三段视频帮你进一步理解，为防降权，链接逐条放评论： 1. Operator值不值得200美元体验？ 2. 当AI用浏览器回复微博 3. 玩井字棋
#ChatGPT #Operator #自然语言处理 #浏览器 #AI #井字棋
avatar
宝玉
5个月前
字节的 AI 自动化测试框架，自然语言就可以测试 Web UI，比如像这样的测试代码： await ai('在搜索框中输入 "Headphones"，然后回车'); 当然需要多模态的模型，支持的模型包括： - gpt-4o - claude-3-opus-20240229 - gemini-1.5-pro - qwen-vl-max-latest - doubao-vision-pro-32k 最新的 Gemini 2.0 Flash 不知道支持不支持 项目网页： Repo：
#字节 #人工智能 #自动化测试 #多模态 #Web UI #自然语言处理 #AI 模型
avatar
这俩货谁是翻译😗
#翻译 #TI #人工智能 #聊天机器人 #AI #自然语言处理 #NLP #跨语言 #技术 #口译