相关新闻

placeholder

howie.serious

9小时前

claude 有一个 usage页面，提醒你当前session的使用量、本周使用量、以及opus模型的单独用量。 这个功能很好，各家大模型工具都应该跟进。

placeholder

GitHubDaily

12小时前

想在自己电脑上跑大模型处理长文档，但动辄几十 GB 的模型参数让普通显卡根本吃不消，更别说处理 10 万字的超长上下文了。 无独有偶，找到了 oLLM 这个轻量化推理库，专为消费级 GPU 优化，用 8GB 显存就能跑 80B 参数的大模型。 通过巧妙的内存管理策略，将模型权重和 KV 缓存分层加载到 GPU 和硬盘，再配合 FlashAttention 优化，在不使用任何量化的情况下实现了惊

placeholder

宝玉

1天前

如何编写 prompt 才能让大模型更好地理解工具？ 这个问题的答案很简单：让模型来写 Prompt，让模型给你反馈。 举个案例，我上个帖子说到帮朋友做一个他们设计系统的 Coding Agent，初始提示词的产生是这样的： 1. 先让 Claude Code，去基于设计系统（Design System）做一个 Login 页面，要求只能用设计系统的组件，要求搜索、阅读设计系统的文档去了解怎

placeholder

Barret李靖

3天前

一些科普和资讯类的音视频，经常不想花太多时间看完，想着先将字幕扔给大模型总结，觉得有必要再回头细看。 找了好几个抓字幕的 Chrome 插件，要么是抓不到内容，因为有些视频根本没提供字幕文件；要么是支持的网站有限，需要每个网站装一个插件。干脆就自己撸了一个😅，大概思路： 1）劫持网络请求接口，当探测到域名中包含类似 subtitle 的单词时，将内容打印出来。支持配置单词关键词。 2）当网页

placeholder

Barret李靖

5天前

Attention is all you need，顺着历史脉络去看 Transformer 自注意力机制的发展，还经历了Bag-of-Words、Word2vec、RNN、Attention 等概念的演进。《图解大模型》把 LLM 的内部原理，包括预训练、微调、语言模型的应用和优化等，一步步做了图解分析，写得挺不错👍