关闭加利福尼亚——十亿美元的预测问题
关闭加利福尼亚——十亿美元的预测问题
2018 年，营火造成 85 人死亡并造成无法估量的破坏。受害者团体后来估计太平洋天然气和电力公司 (PG&E) 的负债为 540 亿美元。这是一场可怕的悲剧，发生在葡萄酒之乡大火仅一年之后，其中 22 人丧生。
The Camp Fire, which began in 2018 on Camp Creek Road in Butte County, CA
维护不善是罪魁祸首。注意力将集中在一条先前于 2012 年 12 月受损的输电线路上。2018 年，在检测到线路损坏后约 15 分钟，同一线路下报告了火焰。在这种情况下，确凿的枪更像是一根冒烟的钢钩。它的工作是支撑高压输电线路。
公共安全断电
加利福尼亚未来火灾的确切原因尚不清楚。但正如鲍勃迪伦的歌曲提醒我们的那样，至少部分答案是随风而逝的。树木离电源线太近，当它们接触时，悲剧就会接踵而至。
理论上，修剪树木、埋线、更换疲劳部件可以大大降低发生灾难的概率。但这已经知道了十年或更长时间（进展缓慢 报道 由旧金山纪事报于 2019 年出版）。与此同时，加利福尼亚人生活在一种叫做公共安全电源关闭（PSPS）的必然邪恶中。
PG&E Potential Outage Map
PG&E 上解释了 PSPS 信息页面 因此
大风会使树枝和碎片与通电线路接触，损坏设备并引发野火。因此，我们可能需要在恶劣天气下关闭电源以帮助防止野火。这称为公共安全断电。
根据 Gabrielle Wong-Parodi 的一项调查（ 纸 )，这些自愿的权力限制得到了公众的支持。然而，为了拯救生命和保护财产，它们并非没有风险。在埃尔多拉多县，一位名叫罗伯特·马迪斯的居民无法切换到他的备用氧气系统。他的死是 报道 福克斯新闻。
自 2012 年以来，加州公用事业委员会 (CPUC) 已允许关闭。该计划现在对所有供应商开放，并且这些中断的成本和频率正在增加。 2013年只有1次限电，2019年19次，2020年共20次。
制定了规则来向客户提供各种类型的警告，最终以紧急短信和电话告终，这些电话可能会在断电前一小时到达。通常在一两天后恢复供电，但在最坏的情况下，停电持续一周。
The suggestive symbology of the PG&E timeline for Public Safety Power Shutoffs (PSPS)
恶魔之风
事情只会变得更糟。帕特里克·墨菲（Patrick Murphy）认为在最近的一次火灾风险增加的主要因素 文章 对于 PSE，一个政策智囊团。其中包括报告的最高气温逐渐升高，以及上个世纪干旱严重程度的明显趋势。
但同样重要的是所谓的 暗黑之风 — 来自东北部的炎热干燥的阵风袭击了湾区及其他地区。当空气经过沿海山脉并下降时，压力会上升，并被加热至 20 华氏度。
当这些风达到每小时 40 英里的速度时，就会产生危险的情况——不仅增加了点火的机会，而且阻碍了随后的防御。正如墨菲所指出的，暗黑破坏神之风仅在过去几十年里就表现出令人担忧的趋势（y 轴是每年的小时数）。
Reported Diablo Winds by Year. Units are Hours per Year.
加利福尼亚分布函数
Murphy 还报告了按年份和供应商划分的中断持续时间的累积分布函数。例如，在 2020 年：
The cumulative distribution function for Californian public safety power shutoff duration (hours)
有 计算器 称为劳伦斯伯克利国家实验室和莱森特开发的中断成本估算 (ICE)，它提供了对任何中断的经济成本的估计（您可以键入受影响的商业和非商业用户的数量）。 Sullivan、Schellenberg 和 Blundell 在 2015 年更新的荟萃分析中证明了这些数字是合理的（ 纸 ）。
这些作者提供了以下微积分，以及根据季节和一天中的时间以及受影响的行业进行的更详细的细分。他们的数据基于对 3,000 多名住宅和中小企业消费者的调查，以及对 100 名大型企业客户的更深入访谈。
Sullivan, Schellenberg, and Blundell interruption cost estimates by kWh
作者发现，中断期间的成本大致呈线性关系。数字加起来。仅在 2019 年，熄灯的经济成本就可能在 2 到 30 亿美元之间。
社区分布函数
显然，必须做出一个关键的实时决策来平衡账本的双方：是否应该切断电源？由于决定的复杂性，脑海中浮现的最高度程式化的功利主义正交可能是不够的。
但按理说 任何方法 将受益于更准确的短视距风速分布估计——更不用说直接告知风或火灾可能性的其他测量量。风速提前一小时累积分布函数的示例如下所示。现场版可以看 这里 .
Example of a one-hour ahead wind-speed cumulative distribution function (CDF). It is the result of fierce competition between prediction algorithms whose authors are free to use whatever exogenous data they can find. Perhaps these should be called “Community Distribution Functions”, “Competitive Distribution Functions”, or “Collective Distribution Functions”.
你所看到的并不容易被击败。在声称相反之前，您应该看看是否可以通过运行自己的算法并查看您最终在排行榜上的位置来改进它。 （几行 Python 代码可能足以让您最喜欢的方法加入竞争——请参阅 文档 ）。
即使您在这场比赛中赢得的分数比输的多，请记住您自己的模型 独自的 不会击败世界上所有的数据科学家，当然也不会 永远。乙 即使你不知何故“ 最好的 ”您的输入与其他输入的组合将是优越的概率估计，这就是可以从这些 CDF 中提取的内容。
这些风速预测是在不久前开始的，当时我决定花几个小时编写一个脚本，将 NOAA 发布的数字发送到 高速预测市场 创建这些 CDF（完全公开，我编写并维护）。
这些 CDF 并没有什么神秘之处——当它们应用于暗黑破坏神风速时，我们称它们为加利福尼亚分布函数。相应的密度函数只是对未来测量量的所有猜测的聚合。所有参与算法（即至少一小时前）发送到 API 的所有数字。
顺便说一句，不限于陆上测量，上面的例子实际上是在缅因湾漂浮——浮标有自己的网页 这里 .发布来自加利福尼亚的风速或风向数是微不足道的，或者 水的高度 地球上的某个地方，或您餐厅的访客人数，或 任何仪表化的过程。
预测的目标也可以是多个公共和私人数字的函数——任何你想设计的东西。一个可以 发送 到通用预测 API 区别 在报告的风速和内部数据科学团队先前做出的预测之间，例如使用先进气象模型的团队。通过发布模型错误，“连续空间抽奖”（它可以被称为很多东西）可以立即用作模型审查功能，同时也可以改进模型本身。
需要做什么？ （不多）
这些天来，我们习惯于听到无休止的流行语，并且我们收到了关于在该领域部署预测分析的所谓最佳实践的大量建议——通常是一个非常昂贵的项目，需要许多阶段和人员。有数据收集、清洗、离线模型估计、模型漂移检测、用于异常检测的各种侧线等等。
不要打扰。
开源微预测信息市场的机制迟早会嘲笑这种成本模型。 “加利福尼亚”——指私人和公共角色的利益相关方——不需要这样做。估计指定测量站风速超过每小时 30 英里的可能性只需要以下步骤。
- 开始 出版 相关数量（风速）
为什么它迟早会起作用
没错，只有 一 一步，它可能在几分钟内完成。如果有第 2 步，则可能构成宣传直播的存在，并鼓励具有公民意识的统计学家和机器学习爱好者加入竞争并运行预测算法。
即使他们不这样做，也已经有数百个时间序列算法已经通过 API 观看了。他们迟早会发现新的加利福尼亚流（特别是如果提供奖金，步骤 1.5），并开始预测发送的内容。提高风速分布预测的质量可能需要三行 Python 代码。
Three lines of Python that make the traditional “data science project” see odious.
由于进入门槛如此之小，在数据科学家或工程师的帮助下，几乎没有什么可以阻止最先进的预测算法进入流媒体。特别是，为了做出更技术性的评论，目前一百种算法中的任何一种 离线基准测试 和分配的 Elo 评级可以通过子类化 StreamSkater 插入到实时算法中，正如解释的那样 这里 ，然后更改一行代码并运行它。
您可以将所有这些算法想象成小弹丸枪在未来事件的分布中发射概率原子。如果“Q”度量代表当前的市场分布并且某个非常聪明的人知道真相“P”，那么它 可以显示 当他们在分布中发射“P”时，他们将随着时间的推移获得与“P”和“Q”之间的 Kullback-Leibler 距离成比例的奖励。
Points gained are, on average, proportional to KL-distance between true (P) and market (Q) probability if one is somehow able to identify P and then submit it to the live market on a regular basis.
当然，这不是获胜的唯一方法。如果算法能够感知到一些缺失的质量，它们也可以尝试填补缺失的质量，就像在任何市场中一样。他们提供了更多 P > Q 的蒙特卡洛样本，从而帮助后者收敛到前者。
效用预测能否点燃预测效用？
在我的书中 微预测：构建开放的 AI 网络 ，我定义一个微预测预言机如下：
我还提出了 API 的论点，例如 这个 可能在成本因子为 2 的情况下满足此定义。撇开这种（有点松散的）逻辑不谈，加利福尼亚可以从这个特定的预言中受益的案例也可以依赖于与市场相关的大量文献。预言机是一种非常轻量级的市场机制。
更有趣的问题是“深度竞争”是否会出现，定义为当一种竞争算法使用预言机执行子任务时启动的多层竞争预测。此外，在未来，这可能不一定是实现类似于复杂消费品供应链的任务扇出的唯一方法。没有什么能阻止其他人创建自己的竞争预测预言机。
像加州风速预测这样重要的东西可能正是推动这一发展所需要的——以及专业化、外源数据搜索和经常使用的好处。要了解这种更高级可能性的最终状态，您需要想象一个由模型组成的“微观管理者”网络，这些模型将其对等节点的输出结合起来为上游主节点提供服务并相应地对其进行补偿。他们将有大量的经济统计数据和统计经济学需要考虑。
“Deep” real-time statistical contests and some theoretical issues they throw up
我的书通过这种镜头考虑了“人工智能”的成本。加州“公共安全概率”的应用非常干净。但是，由于安全多方计算等方面的进步，秘密公司内部也可以进行更多的私人预测。最终，您真正预言，实时运营挑战（例如加利福尼亚面临的挑战）将以真正集体的方式得到解决。他们将插入“预测网络”。
然而，要做到这一点，组织和企业需要看穿“人工智能”的外表——这可能是最近历史上发明的最没用的短语——并认识到这种描述中的大多数事情要么是“捆绑的微预测”，要么是使用不当数据饥渴的方法。
通过将快速重复的定量任务从其他业务逻辑中分离出来，我们可以将成本推向零，这得益于共享所有人都使用的实时特征空间的好处，并且由于算法的成本可以忽略不计 重用自己 .
总之，加州公用事业面临的挑战可能是整个经济所需的预测公用事业类型的完美催化剂。
关于我
最近一个 受膏 微影响者，我是“ 微观预测 ” 在 GitHub 上，您可以找到联系我的方法，尝试向我推销可疑的未标杆 AI 产品。如前所述，我也是 微预测：构建开放式 AI 网络 麻省理工学院出版社出版。这个月我 骑行 1,000 公里 为儿童癌症研究筹集资金。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明
