想在自己电脑上跑大模型处理长文档，但动辄几十 GB 的模型参数让普通显卡根本吃不消，更别说处理 10 万字的超长上下文了。无独有偶，找到了 oLLM 这个轻量化推理库，专为消费级 GPU 优化，用 8GB 显存就能跑 80B 参数的大模型。通过巧妙的内存管理策略，将模型权重和 KV 缓存分层加载到 GPU 和硬盘，再配合 FlashAttention 优化，在不使用任何量化的情况下实现了惊

#大模型 #轻量化推理 #消费级GPU #oLLM #FlashAttention

相关新闻

howie.serious

7小时前

claude 有一个 usage页面，提醒你当前session的使用量、本周使用量、以及opus模型的单独用量。这个功能很好，各家大模型工具都应该跟进。

宝玉

1天前

如何编写 prompt 才能让大模型更好地理解工具？这个问题的答案很简单：让模型来写 Prompt，让模型给你反馈。举个案例，我上个帖子说到帮朋友做一个他们设计系统的 Coding Agent，初始提示词的产生是这样的： 1. 先让 Claude Code，去基于设计系统（Design System）做一个 Login 页面，要求只能用设计系统的组件，要求搜索、阅读设计系统的文档去了解怎

dontbesilent

2天前

现在每天和大模型对话的次数不超过5次了，就是 manus 得开高级会员，基础会员不够用了

Barret李靖

3天前

一些科普和资讯类的音视频，经常不想花太多时间看完，想着先将字幕扔给大模型总结，觉得有必要再回头细看。找了好几个抓字幕的 Chrome 插件，要么是抓不到内容，因为有些视频根本没提供字幕文件；要么是支持的网站有限，需要每个网站装一个插件。干脆就自己撸了一个😅，大概思路： 1）劫持网络请求接口，当探测到域名中包含类似 subtitle 的单词时，将内容打印出来。支持配置单词关键词。 2）当网页

Barret李靖

5天前

Attention is all you need，顺着历史脉络去看 Transformer 自注意力机制的发展，还经历了Bag-of-Words、Word2vec、RNN、Attention 等概念的演进。《图解大模型》把 LLM 的内部原理，包括预训练、微调、语言模型的应用和优化等，一步步做了图解分析，写得挺不错👍