Jeff Li
3个月前
数以百万计的美国人在新冠疫情期间得以暂停偿还学生贷款。而现在,他们又得开始还款了。许多没有还款的人现在被认定是拖欠或违约,这种状态会降低借款人的信用评分。在今年前三个月里,约有560万借款人的学生贷款开始被标记为拖欠。 纽约联邦储备银行在本月报告称,学生贷款拖欠率从去年第四季度的0.7%跃升至今年第一季度的8%,回到了疫情之前的水平。 摩根士丹利(Morgan Stanley)的经济学家在本月估计,今年的每月还款总额将增加10亿至30亿美元。他们表示,这可能会使2025年的国内生产总值(GDP)减少约0.1个百分点。 摩根士丹利的经济学家还指出,大约有800万借款人参加了拜登(Biden)政府时期推出的“节省宝贵的教育费用”(Saving on a Valuable Education)计划,该计划允许借款人根据自己的收入情况还款,但该方案遭到了司法质疑。这些借款人可能需要在今年晚些时候或明年初开始还款。 美国政府暂停联邦学生贷款和利息累积的措施早在2023年秋季就结束了。但直到去年秋天,拖欠还款的情况才会被报告给信用评级公司,许多借款人在今年发现自己的信用评分大幅下降,可能就是以惨痛的代价才意识到这一点。 根据纽约联邦储备银行的数据,在数以百万计被标记为新近拖欠学生贷款的借款人中,许多人本就是次级信用评级。但有200万人的信用评分在620至719分之间,按照纽约联邦储备银行的定义,这属于近乎优质的级别。另有40万借款人被标记为优质级别,信用评分超过720分。这些近乎优质级别借款人的平均信用评分下降了140分,而优质级别借款人的平均信用评分则下降了177分。
Jeff Li
7个月前
【李飞飞团队“50美元”复刻DeepSeek的R1真相:基于阿里云Qwen模型监督微调而成】财联社说李飞飞团队训练出s1人工智能推理模型,在数学和编码能力测试中与OpenAI的O1和DeepSeek的R1等尖端推理模型不相上下。 我看了原始paper,核心信息如下: 【1】s1的基座模型为阿里通义千问Qwen 2.5-32B(图二红线部分)。在已经训练好的模型基础上,通过监督微调(supervised finetuning)并进行budget forcing后,模型 s1-32B 在竞赛数学问题上的表现比 o1-preview 高出 27%(MATH 和 AIME24)。李飞飞只是第五作者。 【2】s1模型只是在配置了16块H100 GPU的机器上训练了26分钟(图三),就达到了这样的效果,机时折合费用不足50美元。 【3】之所以只需要如此短的训练时间,关键之一是因为团队通过精选训练数据,提炼出1000个精心设计的问题(图四)。跑完这1000个问题,就能让模型能力有巨大提升。 【4】这1000个问题包含了思维链(reasoning traces)和正确答案,从Google的 Gemini Thinking Experimental 提炼蒸馏而来。 【5】可贵的是,使用同样知识覆盖,但不够精炼的5.9万个问题(1000个问题的超集)进行模型训练,与1000个问题相比,并没有带来显著的性能提升!! 【6】同时使用的关键技术还有 budget forcing。这是强制模型在测试时间上所花费的token数量。过短的思考时间/token数量会导致模型准确度不佳。而强制模型“深入思考”则线性提升了模型的回答质量(图五)。 【7】图六可以看到,黄色是s1在1000条数据训练后三大测试的结果,而绿线是s1的基座模型Qwen 2.5-32B的原始结果。AIME2024(美国数学邀请赛)从26.7直接拉升到56.7;MATH-500(竞赛数学问题集)从84 提升到93;GPQA(生物、化学和物理博士研究问题)从49提升到59.6。注意,这只是26分钟高质量数据训练的成果,已经接近蒸馏后的DeepSeek r1的水平。 这个模型的出色表现充分说明了高质量训练数据“画龙点睛”的作用,同时在强制模型“深度思考”方面加以控制的话,可以更加充分挖掘出现有大模型的潜力。