🤗 模型 | 📄 技术报告 | 📊 数据 | 💻 代码 | 🌎 嵌入浏览器 | 🗺️ 交互式故事
今天,我们发布 OlmoEarth v1.3,这是一个最先进的卫星嵌入模型。与 OlmoEarth v1.3 一起,我们还分享了整个星球的预计算年度嵌入(10 米分辨率、64 维和 128 维),以及一款全新的基于浏览器的工具,用于探索和定制基于这些嵌入的地图—— OlmoEarth Embeddings Explorer。这意味着任何人都可以立即使用 OlmoEarth v1.3,从追踪随时间的变化到寻找相似地点——无需登录,也不需要高深的技术知识。
在此之前,使用 OlmoEarth 的主要方式是在 OlmoEarth Studio 中进行微调:为每个任务训练一个模型,并在卫星影像上运行以生成地图。这需要 GPU 访问权限,以及下载和存储 影像的能力。嵌入模型将卫星数据压缩为即用型特征,可以低成本地重复用于许多任务。
借助 OlmoEarth v1.3,我们很高兴能为用户提供更多方式,以最适合他们的方式探索和使用行星尺度的成果。
一次计算,处处复用
嵌入代表了模型从数百万张图像中学到的内容。OlmoEarth v1.3 读取一年的雷达(Sentinel-1)和多光谱(Sentinel-2 和 Landsat)卫星时间序列,并为地球上每个 10 米像素生成一个 128 维向量;前 64 个维度也可以单独作为一个更小的嵌入使用。
基础模型和全球嵌入的生产成本高昂,为确保每个人都能享受到这些成果,我们为整个星球计算了这些嵌入,并在 Source Cooperative上与社区分享。由此,作物地图、土地覆盖图或变化分析都变成了轻量级的建模问题:在其上训练一个小型分类器,并在本地运行即可。
OlmoEarth v1.3 如何生成嵌入:视觉变换器读取卫星数据,一个 Attention Pooler 将其池化为每个地块区块一个向量,然后一个线性层将其降维为 128 个数字。
最先进的嵌入
我们在 27 项评估中将 OlmoEarth v1.3 的嵌入与 AlphaEarth Foundations(AEF)和 Tessera v2 进行了比较,覆盖六大洲和多种不同任务。OlmoEarth 的 128 维嵌入在 27 项评估中的 20 项得分最高,总体排名第一。大小减半的 64 维版本仍在 27 项评估中的 18 项上领先。作为此次评估的一部分,我们推出了 PLANTEUR,一个针对热带农业的新型作物类型基准,且这些嵌入在分类器从未见过的地区泛化效果最好(PLANTEUR 技术报告可在 此处获取)。其背后的一切完全开放:模型权重、预训练数据和预训练代码。
在实践中,这意味着在 OlmoEarth 嵌入上训练一个小型分类器就足以绘制地面上的情况:例如对肯尼亚小农户的作物进行分类、检测达卡以西的砖窑、评估印度尼西亚的火灾损失,以及追踪秘鲁亚马逊的金矿开采。
与上一代 OlmoEarth 模型相比,OlmoEarth v1.3 也是我们训练成本最低的模型。它耗费的计算时间是我们上一版本(v1.2)的 53%、第一个版本(v1)的 18%,碳排放分别为其 50% 和 22%。而且它仍然是一个强大的微调模型,在研究和合作伙伴标签上与 v1.2 的性能相当。我们的最新模型建立在早期 OlmoEarth 版本相同的根基之上,经过调优,使嵌入保持轻量而不牺牲跨任务的准确性,并且这项效率优化工作将在未来的版本中延续。
完整结果和方法见我们的 技术报告.
如果你想复现它,预训练 OlmoEarth v1.3 Base 最终一轮大约需要花费 2,720 美元的租用 H100 时间。权重、数据和代码全部开放。
一个地方,九年
每个像素的嵌入在2017年至2020年(左)以及2020年至2025年(右)之间变化了多少。品红色表示变化最大。左图:采矿向东南蔓延,即右下方的大块区域。右图:那个角落已归于沉寂;变化现在位于西侧较老的采矿带,部分是植被重新生长,部分是重新开挖。你可以自己在 OlmoEarth 嵌入浏览器。
在秘鲁的马德雷德迪奥斯地区,拉潘帕周边的非法金矿开采在2017年和2018年达到顶峰,清除了坦博帕塔国家保护区缓冲区内超过1,200公顷的森林, 根据 Amazon Conservation 的 MAAP 监测项目2019年2月,秘鲁的"水星行动"(Operation Mercurio)关停了它的大部分业务。此后的问题一直是:它是否就此沉寂了?
这些嵌入向量有助于回答这个问题。将每个像素的向量在不同年份之间进行比较,无需训练模型,2017到2020这一对比在矿区向东南蔓延的位置亮了起来。再用同样的方法比较2020到2025,信号发生了转移。这场整治行动在嵌入向量中清晰可见。
更有意思的是第二张地图上依然显示的内容。它并非一片黑暗。据 MAAP,西北部的矿点仍在运营,而老矿区随着土地恢复也在不断变化。嵌入数据同样记录到了这一点。喘息是短暂的,压力又在积聚。2026年8月, 美联社 据报道,在检察官发现采矿活动已越过边界进入坦博帕塔保护区本身之后,秘鲁派海军巡逻队重新进入该保护区。
我们的 互动故事 文章从马德雷德迪奥斯河的这一段展开,并由此介绍了其他几个例子。
OlmoEarth嵌入浏览器
该 OlmoEarth 嵌入浏览器 是一款直接由嵌入本身构建的交互式分析工具,以伪彩色地图的形式呈现整个星球。你可以随意平移浏览、在不同年份之间切换以查看地貌如何变化,并调取底层的 Sentinel-2 影像,将地图与真实景象进行比对。然后开始提问:点击某个地点以找到看起来相似的其他地点,或者放置几个带标签的点,当场训练一个小型分类器,再将结果导出为 GeoTIFF。无需账户,无需任何设置。
对于许多团队来说,针对 OlmoEarth 验证一个想法意味着一次微调运行,耗时以小时计。而在 explorer 中,初次尝试只需几秒钟。你无需 GPU,仅凭少量标注即可分析整个区域。当某项任务确实需要微调时,这些嵌入可以帮助你判断它是否值得投入算力,以及模型在哪些方面存在不足。
Explorer 背后的档案库以10米分辨率存储嵌入向量,每年约150 TB,覆盖陆地及邻近近海水域。发布时,2025年、2024年和2023年为全球覆盖,2017年至2022年覆盖部分国家,更多覆盖范围正在陆续推出。你可以以完整的128维版本或较轻量的64维版本检索这些嵌入向量。每个嵌入向量还附带其来源记录。对于每个20公里的图块和年份,公开的溯源表列出了模型读取的 Sentinel-1、Sentinel-2 和 Landsat 影像场景,并附带托管这些影像的公共目录链接,因此你可以将任意像素追溯至其背后的影像。
开始使用
本次发布包括 OlmoEarth v1.3 Base 模型、预先计算的全球嵌入、OlmoEarth Embeddings Explorer 以及技术报告。如果您的工作需要特定的时间窗口,OlmoEarth Studio 可以在您选择的日期、模态和分辨率上运行同一模型,并且 教程 演示了如何在您自己的算力上生成嵌入。这些工具协同工作:在 Embeddings Explorer 中进行探索,当任务需要时在 Studio 中进行微调,然后从那里获取您的地图。所有内容均以 OlmoEarth Artifact License 发布,与 v1 和 v1.2 相同的开放许可证。
提取你关心的某个地点的嵌入向量,向它们提出你的问题,并向我们展示你的发现。