#后验概率修正凯利公式

polymaster
1个月前
接下来的一周里,我计划把主要开发精力放在Polymarket天气类市场,具体来说就是伦敦和纽约最高气温这两个市场,原因主要是看起来天气类市场可以解决我之前在其他市场建模时遇到的一些问题。 当然这也很像一个半途而废的开场:在过去几周的时间内,我分别清理了一年的马斯克推文数据,企图对马斯克推文速率的变化所导致市场outcomes的二元期权价格波动进行建模,也通过魔改lightning-whisper-mlx,使其达到了和YouTube官方(自动识别)几乎同步的性能和不输于官方字幕的准确度,并企图使用NLP的词袋算法和马尔可夫链对上文进行实时扫描,评估预期关键字,来以此抢跑市场。 关于前者马斯克推文数据的清洗,我写过系列推文,也得到了推上各位大佬的宝贵建议,但最终结果仍然不甚满意——因为删推和系统屏蔽,尤其是整个推文串的删除所带来的影响,从七周以前的数据就开始出现偏差,最后通过插值和不得不放弃一些偏差过大的数据,也只勉强回溯到了今年一月份,并且抛弃/插值编辑了大约三分之一的数据,这样就从源头削弱了算法的可信度,更遑论LSTM/霍克斯过程等建模方法是否真的能够如实反映市场的定价策略并且做出预测,我心中始终有个大大的问号。 而经过与NLP专业人士的深入讨论,我们对抢跑 mentions 类型市场这个方向的评估只能说是"值得一试"——毕竟这两种算法框架的原型开发周期也就一两天,但问题的核心在于信息损失的权衡。如果我们采用纯粹的传统概率模型,不做向量化和embedding处理,也不依赖基座大语言模型(主要是考虑到实时语音交易的速度要求,目前即使最快的大模型,其推理延迟加上交易决策的时间窗口可能都无法满足实时性需求),那我们就会面临一个根本性的语义理解缺陷:模型会丢失上下文的语义关联性。这种快速概率模型很容易产生一些表面上语法正确、但在特定语境下毫无意义的"概率优势"判断。比如说,当模型遇到"iPhone"和"China"这两个词时,仅从词频和共现统计来看,可能会给出某种概率分布,但如果放在完整的语境中——比如苹果发布会上讨论供应链问题或是讨论市场策略——这些词汇的实际概率权重可能完全不同。更复杂的是,每次发布会或财报会议都伴随着大量的外部信息噪声:投资者情绪、消费者预期、分析师的尖锐提问、记者的追问角度,这些都会对原本基于历史数据训练的概率预测产生巨大扰动。虽然模型性能问题理论上可以通过架构优化和混合方案来缓解,但说实话,没有任何一种技术路径能给我足够的信心说这事儿值得深入下去。即便我们不追求什么"一劳永逸"的完美架构,光是应对mention类市场那种几周一次的节奏,每次都要针对新的热点事件——苹果发布会、英伟达财报——重新准备语料、整合外部信息源,这种持续的数据工程工作就已经够让人头疼的了,而且投入产出比还很难预期。 而目前的天气类市场,似乎可以初步解决我前面遇到的数据方面的问题:首先,最热门的最高气温市场,主要是伦敦和纽约,它们都来自两个知名的机场气候采集点:无论是KLGA和EGLC,它们在几大官方数据源,无论是商用的还是政府、NOAA、英国气象局、欧盟,都有着同源的数据:它们本身在气象类数据源里面都具有自己独立的站名,无论是从气象站还是从经纬度,你都可以得到一致性很高的完整气象数据而非插值,而且历史数据稳定度极高,不会像推文那样被修改、删除和屏蔽。 其次,几个好的数据源各有千秋,起步很容易,你甚至可以直接用商用的预测,但是上限非常高,甚至是无限:这类市场往往会在一两天以前提前开出,在当天早上9-11点逐步收敛,每一注容许2°的误差,复合投注两注往往不会超过100¢,也就是你的基础投注允许4°的误差比如(30-31°,32-33°)。自研算法你也可以从简单的回归开始玩起,难度你甚至可以上到ERA5,ERA5有点像是一个地球气候的"数字孪生":它可以提供从1940年至今的、每小时一次的全球天气数据。这意味着你可以获取这两个机场过去几十年的详细天气状况,例如气温、风速、风向、湿度、气压、降水等,当然也会受限于算力,但这里面的核心利润来源(alpha)其实在于对于气候预报基础预报和实时矫正之间对这两地特定气候条件的一个实时矫正: 一个是KLGA的海风日:其气温受海风(Sea Breeze)的强烈影响。在春夏的晴天,午后(通常在当地时间13:00-15:00)突然涌入的海风往往导致气温在半小时到一小时内骤降3-8°F。 另一个是EGLC的低云日:EGLC会受到城市热岛(Urban Heat Island, UHI)效应影响,同时紧邻泰晤士河。这意味着它的夜间最低温和白天的最高温通常都比周边乡村地区高得多。此外,泰晤士河道有时会成为引导气流的"风管",并为雾的形成提供水汽,这些都给精确预测增加了难度。而这两个站又因为是机场站,它们都积累了丰富的实时气压、云层、湿度等数据,结合ERA5和领域内知识,理论上其实是可以专门为这两地的"小气候"去进行建模的,而不是像前面那两个我已经举步维艰的市场那样去生搬硬套机器学习方法,为了概率而去寻找另一个概率的概率。 当然天气预报本质也是一门概率科学,但是相比前面我已经"举步维艰"的预测市场,它拥有更丰富的历史数据积累和更深厚的学科研究基础。更加关键的点在于,我们可以利用自己构建的后验模型来估算真实的概率分布,然后用这个概率来修正凯利公式中的胜率参数。这样一来,我们就不是盲目地按照市场给出的隐含概率去投注,而是基于我们对天气系统更深入的理解来调整投注策略。当我们进行复合投注时,考虑到单注可以横跨两度的温度区间,而我们可以同时布局2-3注并通过不同的资金配比来构建投注组合,这样理论上最大容错空间就达到了6度——即使我们的温度预测出现偏差,只要在这个范围内,通过合理的仓位分配和风险对冲,整体策略的期望收益仍然可以保持正值。这种基于后验概率修正的凯利公式应用,结合多注位覆盖策略,确实给我们在天气衍生品市场中创造了相当大的操作空间。