收藏文章 楼主
NASA因存储数据过大,支付不起AWS的费用了!
网友【尴尬了吧】 2020-04-03 01:21:54 分享在【时代发展的印记】版块    1    2

单是这一项决策失误,就让 NASA 的云战略从天堂瞬间跌进了地狱。

到 2025 年,美国宇航局(NASA)计划新增 215 PB 数据存储空间,并希望 AWS 能够提供其中大部分云存储的容量。但让 NASA 没想到的是:把数据迁移至云端之后,出口端的数据下载成本却大幅激增,而他们并没给这比投入做预算。

换句话说,以后科学家们必须得付费才能下载这些本就属于他们的数据。

单是这一项决策失误,就让 NASA 的云战略从天堂瞬间跌进了地狱。

按原定计划,NASA 到 2025 年将拥有 247 PB 的数据处理能力,这些数据放在云端。NASA 跟 AWS 签下的是一笔多大的单子呢?每月花费达 543.9 万美元。到 2025 年,除 6500 万美元的原有交易额外,NASA 每年还得额外向 AWS 支付约 3000 万美元的新增云服务开销。

NASA因存储数据过大,支付不起AWS的费用了!

NASA 忘了一个前提——云端数据下载成本

受到影响的数据主要来自 NASA 下辖的地球科学数据与信息系统(ESDIS)计划,此项计划旨在从与地球观测相关的众多空间任务中收集信息。收集完成后,相应读数将由地球观测系统数据与信息系统(EOSDIS)向各研究机构交付。

为了存储所有数据并支持整套 EOSDIS,NASA 运营有 12 处分布式主归档中心(DAAC),并借此带来安全稳定的冗余和备份。但沉重的基础设施管理负担也让宇航局倍感压力,因此在 2019 年,他们决定选择 AWS 托管所有基础设施,并逐步通过 Earthdata Cloud 项目将观测记录迁移至亚马逊云。从本地存储向云端的首次数据迁移,原本计划在 2020 年第一季度进行,剩余部分则后续分批处理。宇航局方面希望能在未来几年内,陆续将全部数据迁移至云环境当中。

NASA 当然很清楚,接下来还将有 PB 级别的数据洪流不断涌来。后期预计约有 15 个即将上线的新任务考验这套新的基础设施,包括 NASA-ISRO 合成孔径雷达(NISAR),以及用于检测地表水与海洋地形(SWOT)的专用卫星,它们每天都将产生超过 100 TB 的数据。这里之所以着重强调 SWOT 与 NISAR,是因为二者将成为首批直接将数据转为存储至 Earthdata Cloud 的空间科研项目。

按预定计划发展,宇航局方面到 2025 年将拥有 247 PB 的数据处理能力,远远高于目前的 32 PB。

宇航局对这项云端计划本来是颇为兴奋的,并在迁移项目文档中提到:

美国宇航局地球科学数据的研究员与商业用户将得以快速访问并处理大量数据,加快研究与分析速度。以往在地理层面相互孤立的数据现在可以通过云端统一访问,从而节约时间与资源。

但他们忘了一个前提——数据下载成本。

这是一个现实但却极易被忽视的问题,NASA 监察长在今年 3 月发布的审计报告中注意到:EOSDIS 并没有在这项云端计划当中正确核算数据在出口端被下载产生的费用。

监察长办公室评论道,“具体来看,NASA 忽略了从云端传出数据所带来的成本大幅提升这一问题。”目前,在用户通过 DAAC 访问数据时,宇航局方面并不会承担额外的成本。“但如果最终用户从 Earthdata Cloud 处下载数据,那么每次数据传出都会给 NASA(而非用户)增加对应的成本。”

“这意味着 ESDIS 将面临巨大的“云出口”成本。最终,ESDIS 将同时面临 12 处 DAAC 的成本,外加云资源使用成本(包括出口费用)。”

NASA 为何总犯这样愚蠢的错误?

更糟糕的是,宇航局方面“还没有确定具体需要将哪些数据迁移至 Earthdata Cloud,也尚未根据运营经验、使用情况与出口指标组织成本模型。”

“结果就是,现有的预估成本可能会远远低于未来运营中的实际成本:把数据迁移到云端反而会令整个体系变得成本高昂且难以管理。”

不止如此,监管机构得出的结论是,“总体而言,如果出于成本控制的考量而对数据输出量加以限制,那么宇航局的最终用户很可能无法获得必要的科学数据。”

最重要的是,这份报告还发现项目的组织方并没有进行过充分咨询,没能遵循 NIST 提出的数据完整性标准,甚至因为审计团队中的半数成员都直接参与到项目当中,而未能在内部审计流程中充分考虑到成本节约的问题。

下面是审计机构提出的三点建议:

一旦 NISAR 与 SWOT 投入运行并产生足够的数据,宇航局方面应对其进行独立分析,借此确定在保持现有 DAAC 设施之外推动云迁移与云运营,是否具备长期的财务可持续性。

结合相关机构提供的指导,宇航局应在数据管理计划制定期间之内,特别是 ESDIS 与 OCIO 任务的生命周期早期,对这两个项目的运营需求进行协调。

确保在 DAAC 分类过程中考虑到所有适用的信息类型,确定在哪些条件下适合使用本地基础设施,并将这种分类程序组织为新的标准。

通过以下账目,可以看到 NASA 跟 AWS 签下的是一笔多大的单子:通过亚马逊方面提供的云成本计算器,我们发现在 S3 服务当中存储 247 PB 数据(配合即用即付计费模式),如果不包括 12% 的套餐折扣的话,每月的花费高达惊人的 543.9 万美元。审计结果同时显示,到 2025 年,除了高达 6500 万美元的原有交易额外,NASA 每年还得额外向 AWS 支付约 3000 万美元的新增云服务开销。

我们用不着像火箭科学家那么聪明,也能轻松理解数据出口端成本这个基本概念。这就更让人惊讶了,像 NASA 这样一个能够把真人送入地球轨道、甚至向火星发射探测器的顶尖机构,居然也会犯下这样愚蠢的错误。

事实证明,NASA 犯的错可不止这么一点。就在前几天,我们还从他们移动发射架项目的审计报告中发现了新的猛料。有些朋友可能不太熟悉,所谓移动发射架,专为 SLS 及 Orion 火箭及太空舱组装、运输与发射所设计的大型运载工具。

审计报告显示,该项目在“ML-1 的开发过程已经造成严重的成本超支,且项目进度远远落后于预期。截至 2020 年 1 月,为满足 SLS 要求而对 ML-1 进行的改造工作已经花费 6.93 亿美元,而宇航局方面 2014 年 3 月给出的初步预算仅为 3.08 亿美元。与此同时,项目的当前进度也比原定计划落后了三年有余。”

参考链接:https://www.theregister.co.uk/2020/03/19/nasa_cloud_data_migration_mess/?

编译:InfoQ

meiguo.com 发布人签名/座右铭这家伙浪费了“黄金广告位”,啥也没签!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

2   2020-04-03 01:21:54  回复

回复/评论:NASA因存储数据过大,支付不起AWS的费用了!

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. “全球最强护照”排行榜又更新了(2025版)
  2. 孩子沉迷手机的真相和破局之道
  3. 在美国可以感受欧洲风情的五座小镇
  4. 美国移民新机遇:紧缺人才的绿卡通道“无需排期”
  5. 核聚变技术或将成为黄金价格的颠覆者
  6. 中美经贸谈判重启,瑞典磋商和商界代表团访华“双管齐下”
  7. 萝莉岛是美国的政治中心?马斯克并非不懂政治,而是太懂了!
  8. 韦伯望远镜(JWST)发布迄今为止最大的早期宇宙地图
  9. 美国再次宣布退出联合国教科文组织
  10. 中国政府在构筑战略资源防线,重拳打击稀土走私!
  11. 马斯克声称川普在“爱泼斯坦名单”,白宫回应:局面令人遗憾!
  12. 川普总统批评支持者,马斯克激烈回应!
  13. QQ等级256级用户诞生,首次解锁“时光企鹅”图标!
  14. 移民并非背叛,是一种勇敢的人生轨迹选择!
  15. 美国国会通过了减税法案,马斯克和川普总统再次激烈交锋!
  16. 马斯克打算组建新党“美国党”代表中间派
  17. 川普政府计划改革移民签证制度和入籍考试
  18. “外星来客”以每小时21.6万公里的速度向地球飞来
  19. 川普总统宣布“金卡计划”网站开放
  20. 美国新法案“大漂亮”引发了全球资本配置大调整
  21. 川普和马斯克的公开交锋升级了
  22. 川普政府打算“发钱啦”
  23. 川普总统签署了“对等关税令” 引发全球震荡
  24. 麻省理工学院发布AI学习平台“MIT Learn”
  25. 比尔盖茨的财富突然蒸发了510亿美元,真相却令人肃然起敬!
  26. 川普总统声称希望中国“增加美油采购”
  27. 川普政府在力推药价改革和数字医疗系统
  28. 突然“失去住持”的少林寺情况如何了?
  29. 遥控器电池,被幼儿误吞… 欧系保险公司赔付了近1.4亿元人民币!
  30. 英伟达的市值突破了四万亿美元,创人类历史纪录!
  31. 广西防城港“奔驰女司机事件”引发全网热议
  32. 难怪马斯克公开认错… 川普总统的相关杀器可以更多?
  33. 中国🇨🇳开始质疑英伟达芯片“存后门”
  34. 宗庆后家族的多处海外房产曝光,价值数亿元!
  35. 健身网红在飞机上的着装引争议
  36. 中美连谈5小时,川普总统公开感叹“中国太强硬”… 英伟达在加紧扩大芯片出口量

美国动态 美果搜索

Your IP: 216.73.216.57, 2025-08-09 19:13:27

Processed in 0.36277 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(2) 分享
分享
取消