Jeff Li

统计数据

99

文章

0

粉丝

0

获赞

1062

阅读

11个月前

DeepSeek估值1500亿美元，是OpenAI的一半…稍有夸张，不过也挺不错🤓

#DeepSeek #估值 #OpenAI

11个月前

『还曾协助某头部比特币挖矿公司高管解除边控…』不明觉厉🤓🤓

#比特币 #挖矿公司 #高管 #边控

11个月前

【李飞飞团队“50美元”复刻DeepSeek的R1真相：基于阿里云Qwen模型监督微调而成】财联社说李飞飞团队训练出s1人工智能推理模型，在数学和编码能力测试中与OpenAI的O1和DeepSeek的R1等尖端推理模型不相上下。我看了原始paper，核心信息如下：【1】s1的基座模型为阿里通义千问Qwen 2.5-32B(图二红线部分)。在已经训练好的模型基础上，通过监督微调(supervised finetuning)并进行budget forcing后，模型 s1-32B 在竞赛数学问题上的表现比 o1-preview 高出 27%（MATH 和 AIME24）。李飞飞只是第五作者。【2】s1模型只是在配置了16块H100 GPU的机器上训练了26分钟(图三)，就达到了这样的效果，机时折合费用不足50美元。【3】之所以只需要如此短的训练时间，关键之一是因为团队通过精选训练数据，提炼出1000个精心设计的问题(图四)。跑完这1000个问题，就能让模型能力有巨大提升。【4】这1000个问题包含了思维链(reasoning traces)和正确答案，从Google的 Gemini Thinking Experimental 提炼蒸馏而来。【5】可贵的是，使用同样知识覆盖，但不够精炼的5.9万个问题(1000个问题的超集)进行模型训练，与1000个问题相比，并没有带来显著的性能提升！！【6】同时使用的关键技术还有 budget forcing。这是强制模型在测试时间上所花费的token数量。过短的思考时间/token数量会导致模型准确度不佳。而强制模型“深入思考”则线性提升了模型的回答质量(图五)。【7】图六可以看到，黄色是s1在1000条数据训练后三大测试的结果，而绿线是s1的基座模型Qwen 2.5-32B的原始结果。AIME2024(美国数学邀请赛)从26.7直接拉升到56.7；MATH-500(竞赛数学问题集)从84 提升到93；GPQA(生物、化学和物理博士研究问题)从49提升到59.6。注意，这只是26分钟高质量数据训练的成果，已经接近蒸馏后的DeepSeek r1的水平。这个模型的出色表现充分说明了高质量训练数据“画龙点睛”的作用，同时在强制模型“深度思考”方面加以控制的话，可以更加充分挖掘出现有大模型的潜力。

#李飞飞团队 #DeepSeek #人工智能 #Qwen模型 #阿里云

11个月前

短短六天内，10家国产AI芯片企业（华为昇腾、沐曦、天数智芯、摩尔线程、海光信息、壁仞科技、太初元碁、云天励飞、燧原科技、昆仑芯）相继宣布适配或上架DeepSeek模型服务。中国公司一旦切进来，性价比分分钟卷死同行啊

#国产AI芯片 #DeepSeek模型服务 #行业竞争

11个月前

微博上有传言说，Apple计划在新款 iPhone上使用基于华为升腾云的DeepSeek R1 AI 模型。在此之前，Apple曾尝试使用百度的AI模型，但遇到很多问题。这个传说很狂野，但我觉得也不是不可能。

#Apple #iPhone #华为 #升腾云 #DeepSeek R1 #AI模型 #百度 #传言

1年前

半导体深喉媒体SemiAnalysis发文称，DeepSeek 获得了1万个H800 和约1万个 H100。2021年美国出口管制前，公司已弄到1万片A100。他们还订购了3万个 H20。这些 GPU由幻方量化和 DeepSeek 共享，用于交易模型和AI研究。 DeepSeek 的服务器资本支出总额接近 13 亿美元，运营成本高达 7.15 亿美元。

#半导体 #DeepSeek #GPU #AI研究 #服务器资本

1年前

#Jeff科技视角大模型的“蒸馏”：

#大模型 #蒸馏 #Jeff科技视角

1年前

李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控

#大模型 #蒸馏 #DeepSeek #技术讲解 #模型蒸馏指控

1年前

2024年AI工具下载排名前三分别是ChatGPT，Google Gimini和字节跳动的豆包。AI对话工具的下载量远高于AI多媒体内容生成工具。图表来源：SensorTower

#2024年 #AI工具 #下载排名 #ChatGPT #Google Gimini #字节跳动 #豆包 #AI对话工具 #AI多媒体内容生成工具 #SensorTower

1年前

见过不要脸的，没见过韩国棋院这么不要脸的

#韩国棋院 #围棋 #体育事件

1年前

相信美国普通鸡蛋12个9美元的大陆人，和相信大陆吃不起茶叶蛋的台湾人有什么区别？#终于活成了自己讨厌的样子

#美国经济 #鸡蛋价格 #大陆生活 #台湾误解

1年前

美国的房屋保险涨得真凶啊：全国平均保费从2020年的1902美元涨到2023年的2530美元，涨幅33%。在1980年代，每年造成10亿美元以上损失的灾祸平均只有3.3起。到了2023年，每年造成10亿美元以上损失的灾祸达到24.3起。佛罗里达价值 30 万美元房屋的保险平均年费为 5,376 美元，是全国第二贵的州。这比全国平均水平 2,185 美元高出 3,195 美元。加利福尼亚州的平均成本为 1,381 美元。

#房屋保险 #保险费率上涨 #自然灾害影响 #美国保险市场 #佛罗里达房屋保险 #加利福尼亚保险市场

1年前

没想到TikTok的大限将以无比简单且粗俗的方式被延期：大限到期后是公众假期。再然后，川普任命的国家安全顾问表示政府不会去执法。好吧，你犯法了，但我置之不理。主打一个没想到😹 TikTok被封杀这个长青话题还能在我这里继续发光发热，真好😹😹

#TikTok禁令 #川普政府 #国家安全顾问 #公众假期 #执法宽松 #社交媒体 #时事热点

1年前

今早The Information报道，监管部门指示小红书加强英文内容审核。小红书开始减少英文海外用户内容在中国用户信息流里出现的频率。

#小红书 #内容审核 #信息流 #国际用户 #监管部门

1年前

大家可能知道国投证券首席经济学家高善文12月份彼得森国际经济研究所论坛上表示，中国经济的实际增速可能不到官方所称的5%左右的一半。WSJ报道他因此言论遇上了一些麻烦。这个视频是他在论坛上的演讲，值得一看。惹麻烦的言论是在演讲结束后的Q&A环节。

#国投证券 #彼得森国际经济研究所 #中国经济增速 #高善文 #经济学家言论 #WSJ报道 #论坛演讲 #Q&A环节

1年前

【中国大陆“AI造假传播”第一案】 1月7日，西藏定日县发生6.8级地震。之后，一系列“小男孩被埋图”在互联网平台广泛传播，并配文日喀则地震等关键词，引发大量关注和转评赞。图片存在明显AI生成痕迹(手部六指)。公安机关网安部门核查后发现图片确由AI工具创作。原作者在2024年11月18日发布了相同画面的短视频，并未关联地震且声明是AI生成。青海某网民将“小男孩被埋图”与日喀则地震相关的信息进行关联拼凑，致使信息传播扩散。目前涉案人员已被属地公安机关依法行政拘留。

#中国大陆 #AI造假 #地震 #西藏 #网络传播

1年前

拜登离任前将推出最严格的AI算力限制措施，把全球各国划分为三个tier。不同的tier实施不同力度的控制措施，以此强化美国企业在AI方面的全球影响力。今晚 #Jeff科技视角我和大家聊一聊

#拜登 #AI算力限制 #全球影响力 #tier划分 #美国企业

1年前

Bloomberg Intelligence预计未来3-5年内，全球银行的20万岗位将被AI取代，或者说，行业3%的岗位。其中主要是后台和中台操作的岗位。去年六月花旗报告说，银行是最容易被AI影响的行业，其中54%的岗位有很大潜力被AI取代。

#AI #全球银行 #裁员 #人工智能 #银行行业 #自动化

1年前

过去一年，美国增加了200多万个就业岗位。但更多失业者发现很难重新找到工作。截至去年11月，超过700万美国人失业，这意味着他们没有工作并且正在找工作。根据美国劳工部的数据，在这些失业者中，有超过160万人已经求职至少六个月。自2022年底以来，找工作时间如此之长的求职者人数增加了50%以上。美国劳工部的数据显示，现在人们平均需要大约六个月的时间才能找到工作，这比2023年初疫情后招聘热潮期间大约长了一个月。求职难主要集中在高薪白领工作，包括科技、法律和媒体行业，这些行业在经济从疫情中复苏时快速增长，但现在对新员工的需求减少。新闻报道中的就业市场看起来很健康，但实际上却比看起来要疲软。目前美国失业率为4.2%，仍远低于疫情暴发之前十年的平均水平。但现在职位空缺与失业人数之比大约只有1：1，低于2022年初的2：1。强劲的招聘已仅限于少数几个行业。美国政府将于周五发布的月度就业报告将提供劳动力市场健康状况的最新概况。越来越多领取失业救济金的人需要更长时间依靠公共援助。美国劳工部上周公布的新数据显示，截至去年12月底，有180万人继续申领此前获批的失业救济金，接近疫情后的高点。工资同比增幅已从本十年初招聘热潮高峰期的约6%降至4%。这表明许多雇主不必再费力地吸引员工。招聘网站Indeed的经济学家科里·斯塔勒(Cory Stahle)说，去年年底，该网站上软件开发、数据科学和营销岗位的招聘信息都比疫情前水平低了至少20%。政府数据显示，信息行业的招聘率比疫情前下降30%，金融行业的招聘率下降28%。相比之下，采矿业、制造业和运输业的招聘情况依然保持韧性。在过去12个月里，仅医疗健康和政府工作这两个行业就占了新增就业岗位总数的一半以上。为了找到工作，越来越多的人被迫转行。招聘网站ZipRecruiter经济学家茱莉娅·波拉克(Julia Pollack)援引该公司的调查称，在过去六个月里，超过半数新员工表示，他们转行是为了获得新工作，而通常这一比例约为40%。

#失业 #就业增长 #美国经济 #找工作困难 #长期失业者

1年前

腾讯和宁德时代被五角大楼列入“涉军黑名单”。五角大楼的黑名单本身并没有具体的制裁措施，但往往会阻止美国公司与指定实体进行交易。腾讯的美国存托凭证一度下跌 9.8%，至 47.94 美元，创下近三个月来的最大盘中跌幅。

五角大楼将腾讯、宁德时代列入军事企业黑名单事件· 16 条信息

#腾讯 #宁德时代 #五角大楼 #涉军黑名单 #股价下跌

1年前

大家都还不知道量子计算是啥的时候，我率先从量子计算领域挣到了120加币🤪🤪

#量子计算 #挣钱 #领域领先

1年前

割断中华电讯海底光缆的Shunxing39货轮最近一个月的行驶路线

#中华电讯 #海底光缆 #Shunxing39 #货轮 #行驶路线

1年前

美国四分之三的H1-B都被印度捞走了，最近几年其实没什么改变(图二)

#美国 #H1-B签证 #印度 #移民政策

1年前

我以为搞政治学的才会自带反贼气质，没想到搞法律的也自带反贼气质；后来搞社会学的也染上反贼气质；接着是互联网和码农的普遍反贼化；目前反贼气质已经蔓延到经济学家群体… 这让我想起老蒋的一句话：天下何人不通共。

#政治学 #法律 #社会学 #互联网 #经济学 #反贼气质 #普遍化