收藏文章 楼主
NASA因存储数据过大,支付不起AWS的费用了!
网友【尴尬了吧】 2020-04-03 01:21:54 分享在【时代发展的印记】版块    1    2

单是这一项决策失误,就让 NASA 的云战略从天堂瞬间跌进了地狱。

到 2025 年,美国宇航局(NASA)计划新增 215 PB 数据存储空间,并希望 AWS 能够提供其中大部分云存储的容量。但让 NASA 没想到的是:把数据迁移至云端之后,出口端的数据下载成本却大幅激增,而他们并没给这比投入做预算。

换句话说,以后科学家们必须得付费才能下载这些本就属于他们的数据。

单是这一项决策失误,就让 NASA 的云战略从天堂瞬间跌进了地狱。

按原定计划,NASA 到 2025 年将拥有 247 PB 的数据处理能力,这些数据放在云端。NASA 跟 AWS 签下的是一笔多大的单子呢?每月花费达 543.9 万美元。到 2025 年,除 6500 万美元的原有交易额外,NASA 每年还得额外向 AWS 支付约 3000 万美元的新增云服务开销。

NASA因存储数据过大,支付不起AWS的费用了!

NASA 忘了一个前提——云端数据下载成本

受到影响的数据主要来自 NASA 下辖的地球科学数据与信息系统(ESDIS)计划,此项计划旨在从与地球观测相关的众多空间任务中收集信息。收集完成后,相应读数将由地球观测系统数据与信息系统(EOSDIS)向各研究机构交付。

为了存储所有数据并支持整套 EOSDIS,NASA 运营有 12 处分布式主归档中心(DAAC),并借此带来安全稳定的冗余和备份。但沉重的基础设施管理负担也让宇航局倍感压力,因此在 2019 年,他们决定选择 AWS 托管所有基础设施,并逐步通过 Earthdata Cloud 项目将观测记录迁移至亚马逊云。从本地存储向云端的首次数据迁移,原本计划在 2020 年第一季度进行,剩余部分则后续分批处理。宇航局方面希望能在未来几年内,陆续将全部数据迁移至云环境当中。

NASA 当然很清楚,接下来还将有 PB 级别的数据洪流不断涌来。后期预计约有 15 个即将上线的新任务考验这套新的基础设施,包括 NASA-ISRO 合成孔径雷达(NISAR),以及用于检测地表水与海洋地形(SWOT)的专用卫星,它们每天都将产生超过 100 TB 的数据。这里之所以着重强调 SWOT 与 NISAR,是因为二者将成为首批直接将数据转为存储至 Earthdata Cloud 的空间科研项目。

按预定计划发展,宇航局方面到 2025 年将拥有 247 PB 的数据处理能力,远远高于目前的 32 PB。

宇航局对这项云端计划本来是颇为兴奋的,并在迁移项目文档中提到:

美国宇航局地球科学数据的研究员与商业用户将得以快速访问并处理大量数据,加快研究与分析速度。以往在地理层面相互孤立的数据现在可以通过云端统一访问,从而节约时间与资源。

但他们忘了一个前提——数据下载成本。

这是一个现实但却极易被忽视的问题,NASA 监察长在今年 3 月发布的审计报告中注意到:EOSDIS 并没有在这项云端计划当中正确核算数据在出口端被下载产生的费用。

监察长办公室评论道,“具体来看,NASA 忽略了从云端传出数据所带来的成本大幅提升这一问题。”目前,在用户通过 DAAC 访问数据时,宇航局方面并不会承担额外的成本。“但如果最终用户从 Earthdata Cloud 处下载数据,那么每次数据传出都会给 NASA(而非用户)增加对应的成本。”

“这意味着 ESDIS 将面临巨大的“云出口”成本。最终,ESDIS 将同时面临 12 处 DAAC 的成本,外加云资源使用成本(包括出口费用)。”

NASA 为何总犯这样愚蠢的错误?

更糟糕的是,宇航局方面“还没有确定具体需要将哪些数据迁移至 Earthdata Cloud,也尚未根据运营经验、使用情况与出口指标组织成本模型。”

“结果就是,现有的预估成本可能会远远低于未来运营中的实际成本:把数据迁移到云端反而会令整个体系变得成本高昂且难以管理。”

不止如此,监管机构得出的结论是,“总体而言,如果出于成本控制的考量而对数据输出量加以限制,那么宇航局的最终用户很可能无法获得必要的科学数据。”

最重要的是,这份报告还发现项目的组织方并没有进行过充分咨询,没能遵循 NIST 提出的数据完整性标准,甚至因为审计团队中的半数成员都直接参与到项目当中,而未能在内部审计流程中充分考虑到成本节约的问题。

下面是审计机构提出的三点建议:

一旦 NISAR 与 SWOT 投入运行并产生足够的数据,宇航局方面应对其进行独立分析,借此确定在保持现有 DAAC 设施之外推动云迁移与云运营,是否具备长期的财务可持续性。

结合相关机构提供的指导,宇航局应在数据管理计划制定期间之内,特别是 ESDIS 与 OCIO 任务的生命周期早期,对这两个项目的运营需求进行协调。

确保在 DAAC 分类过程中考虑到所有适用的信息类型,确定在哪些条件下适合使用本地基础设施,并将这种分类程序组织为新的标准。

通过以下账目,可以看到 NASA 跟 AWS 签下的是一笔多大的单子:通过亚马逊方面提供的云成本计算器,我们发现在 S3 服务当中存储 247 PB 数据(配合即用即付计费模式),如果不包括 12% 的套餐折扣的话,每月的花费高达惊人的 543.9 万美元。审计结果同时显示,到 2025 年,除了高达 6500 万美元的原有交易额外,NASA 每年还得额外向 AWS 支付约 3000 万美元的新增云服务开销。

我们用不着像火箭科学家那么聪明,也能轻松理解数据出口端成本这个基本概念。这就更让人惊讶了,像 NASA 这样一个能够把真人送入地球轨道、甚至向火星发射探测器的顶尖机构,居然也会犯下这样愚蠢的错误。

事实证明,NASA 犯的错可不止这么一点。就在前几天,我们还从他们移动发射架项目的审计报告中发现了新的猛料。有些朋友可能不太熟悉,所谓移动发射架,专为 SLS 及 Orion 火箭及太空舱组装、运输与发射所设计的大型运载工具。

审计报告显示,该项目在“ML-1 的开发过程已经造成严重的成本超支,且项目进度远远落后于预期。截至 2020 年 1 月,为满足 SLS 要求而对 ML-1 进行的改造工作已经花费 6.93 亿美元,而宇航局方面 2014 年 3 月给出的初步预算仅为 3.08 亿美元。与此同时,项目的当前进度也比原定计划落后了三年有余。”

参考链接:https://www.theregister.co.uk/2020/03/19/nasa_cloud_data_migration_mess/?

编译:InfoQ

meiguo.com 发布人签名/座右铭这家伙浪费了“黄金广告位”,啥也没签!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

2   2020-04-03 01:21:54  回复

回复/评论:NASA因存储数据过大,支付不起AWS的费用了!

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 骨胶水的研发获突破,临床试验显示了安全有效!
  2. 川普总统在联合国演讲,声称中国不愿用风力发电?
  3. 美国司法部起诉了柬埔寨“电信诈骗集团”的头目
  4. 中美因为“稀土管制”引发的贸易摩擦升级了
  5. 中美航班“绕行俄罗斯领空”政策引关注
  6. 川普政策变动,竟然催生了智利的生育旅游热潮?
  7. 川普总统签署了备忘录,贩毒集团成为“国家之敌”!
  8. 美国青少年“67”流行语的现象引关注
  9. 我的人生有三个账户!伊隆·马斯克在斯坦福大学的最新演讲
  10. 川普政府“双失利”?
  11. TikTok美国业务的“合规运营”方案细节披露
  12. 大学排名更新:顶尖学府稳固,新兴学校快速上升
  13. 中美稀土博弈,美国政策在急转直下!
  14. 谷歌的科学家已经连续两年摘得了诺贝尔奖
  15. 马斯克的模块化生产技术在革新汽车行业
  16. 美国“风行者”超大运输机计划曝光
  17. 福建舰“电磁弹射系统技术”获全球关注
  18. 中美贸易的争端升级,中国实施“长臂管辖”颁布3项针对性措施!
  19. 美国的房地产市场显现了矛盾信号
  20. 在美国买房半年后,总结了两个扎心感受!
  21. 马斯克的净资产创纪录,突破5000亿美元!
  22. 45岁后“人生黄金期”是认知和创造力的新高峰
  23. 美国“H-1B”签证新规:在境内的申请人,免缴10万美元费用!
  24. 母亲给大一女儿恋爱八项要求
  25. 川普总统宣布加沙战争结束,峰会聚焦“中东和平”!
  26. 全球高等教育的新趋势:留学生求学地“多元化”
  27. 联邦法院驳回了川普政府的“出生公民权”行政令
  28. 川普政府打算发放两千美元的关税补贴
  29. 佛罗里达的一名中学生在AI提问,然后被捕了!
  30. 马斯克成为全球首位身家5000亿美元的富豪
  31. Zillow和Redfin“摊上大事儿”!五大州的总检察长起诉了房产平台合谋做局
  32. 联合国大会“史上最尴尬”一幕:他上台后,观众纷纷撤离!
  33. AWS最大区域故障,带崩多项服务!
  34. 美股市值突破“全球GDP半数”大关
  35. 华人购房遭遇国籍歧视,法院裁决后依然隐忧犹存!
  36. 700万人参与了反川普集会?

美国动态 美果搜索

Your IP: 216.73.216.0, 2025-11-01 19:02:42

Processed in 0.07598 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(2) 分享
分享
取消