收藏文章 楼主
NASA因存储数据过大,支付不起AWS的费用了!
网友【尴尬了吧】 2020-04-03 01:21:54 分享在【时代发展的印记】版块    1    2

单是这一项决策失误,就让 NASA 的云战略从天堂瞬间跌进了地狱。

到 2025 年,美国宇航局(NASA)计划新增 215 PB 数据存储空间,并希望 AWS 能够提供其中大部分云存储的容量。但让 NASA 没想到的是:把数据迁移至云端之后,出口端的数据下载成本却大幅激增,而他们并没给这比投入做预算。

换句话说,以后科学家们必须得付费才能下载这些本就属于他们的数据。

单是这一项决策失误,就让 NASA 的云战略从天堂瞬间跌进了地狱。

按原定计划,NASA 到 2025 年将拥有 247 PB 的数据处理能力,这些数据放在云端。NASA 跟 AWS 签下的是一笔多大的单子呢?每月花费达 543.9 万美元。到 2025 年,除 6500 万美元的原有交易额外,NASA 每年还得额外向 AWS 支付约 3000 万美元的新增云服务开销。

NASA因存储数据过大,支付不起AWS的费用了!

NASA 忘了一个前提——云端数据下载成本

受到影响的数据主要来自 NASA 下辖的地球科学数据与信息系统(ESDIS)计划,此项计划旨在从与地球观测相关的众多空间任务中收集信息。收集完成后,相应读数将由地球观测系统数据与信息系统(EOSDIS)向各研究机构交付。

为了存储所有数据并支持整套 EOSDIS,NASA 运营有 12 处分布式主归档中心(DAAC),并借此带来安全稳定的冗余和备份。但沉重的基础设施管理负担也让宇航局倍感压力,因此在 2019 年,他们决定选择 AWS 托管所有基础设施,并逐步通过 Earthdata Cloud 项目将观测记录迁移至亚马逊云。从本地存储向云端的首次数据迁移,原本计划在 2020 年第一季度进行,剩余部分则后续分批处理。宇航局方面希望能在未来几年内,陆续将全部数据迁移至云环境当中。

NASA 当然很清楚,接下来还将有 PB 级别的数据洪流不断涌来。后期预计约有 15 个即将上线的新任务考验这套新的基础设施,包括 NASA-ISRO 合成孔径雷达(NISAR),以及用于检测地表水与海洋地形(SWOT)的专用卫星,它们每天都将产生超过 100 TB 的数据。这里之所以着重强调 SWOT 与 NISAR,是因为二者将成为首批直接将数据转为存储至 Earthdata Cloud 的空间科研项目。

按预定计划发展,宇航局方面到 2025 年将拥有 247 PB 的数据处理能力,远远高于目前的 32 PB。

宇航局对这项云端计划本来是颇为兴奋的,并在迁移项目文档中提到:

美国宇航局地球科学数据的研究员与商业用户将得以快速访问并处理大量数据,加快研究与分析速度。以往在地理层面相互孤立的数据现在可以通过云端统一访问,从而节约时间与资源。

但他们忘了一个前提——数据下载成本。

这是一个现实但却极易被忽视的问题,NASA 监察长在今年 3 月发布的审计报告中注意到:EOSDIS 并没有在这项云端计划当中正确核算数据在出口端被下载产生的费用。

监察长办公室评论道,“具体来看,NASA 忽略了从云端传出数据所带来的成本大幅提升这一问题。”目前,在用户通过 DAAC 访问数据时,宇航局方面并不会承担额外的成本。“但如果最终用户从 Earthdata Cloud 处下载数据,那么每次数据传出都会给 NASA(而非用户)增加对应的成本。”

“这意味着 ESDIS 将面临巨大的“云出口”成本。最终,ESDIS 将同时面临 12 处 DAAC 的成本,外加云资源使用成本(包括出口费用)。”

NASA 为何总犯这样愚蠢的错误?

更糟糕的是,宇航局方面“还没有确定具体需要将哪些数据迁移至 Earthdata Cloud,也尚未根据运营经验、使用情况与出口指标组织成本模型。”

“结果就是,现有的预估成本可能会远远低于未来运营中的实际成本:把数据迁移到云端反而会令整个体系变得成本高昂且难以管理。”

不止如此,监管机构得出的结论是,“总体而言,如果出于成本控制的考量而对数据输出量加以限制,那么宇航局的最终用户很可能无法获得必要的科学数据。”

最重要的是,这份报告还发现项目的组织方并没有进行过充分咨询,没能遵循 NIST 提出的数据完整性标准,甚至因为审计团队中的半数成员都直接参与到项目当中,而未能在内部审计流程中充分考虑到成本节约的问题。

下面是审计机构提出的三点建议:

一旦 NISAR 与 SWOT 投入运行并产生足够的数据,宇航局方面应对其进行独立分析,借此确定在保持现有 DAAC 设施之外推动云迁移与云运营,是否具备长期的财务可持续性。

结合相关机构提供的指导,宇航局应在数据管理计划制定期间之内,特别是 ESDIS 与 OCIO 任务的生命周期早期,对这两个项目的运营需求进行协调。

确保在 DAAC 分类过程中考虑到所有适用的信息类型,确定在哪些条件下适合使用本地基础设施,并将这种分类程序组织为新的标准。

通过以下账目,可以看到 NASA 跟 AWS 签下的是一笔多大的单子:通过亚马逊方面提供的云成本计算器,我们发现在 S3 服务当中存储 247 PB 数据(配合即用即付计费模式),如果不包括 12% 的套餐折扣的话,每月的花费高达惊人的 543.9 万美元。审计结果同时显示,到 2025 年,除了高达 6500 万美元的原有交易额外,NASA 每年还得额外向 AWS 支付约 3000 万美元的新增云服务开销。

我们用不着像火箭科学家那么聪明,也能轻松理解数据出口端成本这个基本概念。这就更让人惊讶了,像 NASA 这样一个能够把真人送入地球轨道、甚至向火星发射探测器的顶尖机构,居然也会犯下这样愚蠢的错误。

事实证明,NASA 犯的错可不止这么一点。就在前几天,我们还从他们移动发射架项目的审计报告中发现了新的猛料。有些朋友可能不太熟悉,所谓移动发射架,专为 SLS 及 Orion 火箭及太空舱组装、运输与发射所设计的大型运载工具。

审计报告显示,该项目在“ML-1 的开发过程已经造成严重的成本超支,且项目进度远远落后于预期。截至 2020 年 1 月,为满足 SLS 要求而对 ML-1 进行的改造工作已经花费 6.93 亿美元,而宇航局方面 2014 年 3 月给出的初步预算仅为 3.08 亿美元。与此同时,项目的当前进度也比原定计划落后了三年有余。”

参考链接:https://www.theregister.co.uk/2020/03/19/nasa_cloud_data_migration_mess/?

编译:InfoQ

meiguo.com 发布人签名/座右铭这家伙浪费了“黄金广告位”,啥也没签!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

2   2020-04-03 01:21:54  回复

回复/评论:NASA因存储数据过大,支付不起AWS的费用了!

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 美国签证新规:申请人须回母国面谈
  2. Niche发布2026全美最佳大学榜单 MIT重回榜首
  3. 相差3米!星舰试飞“精准溅落”展现技术突破
  4. 持中国大陆护照在申请美国签证的注意事项更新(2025年8月版本)
  5. iPhone 17系列新品、iPhone Air发布了!
  6. 美国市场的智能手机“印度制造”的份额激增
  7. 全美房地产市场在趋向中性,区域分化明显!
  8. 白宫开通了TikTok 账号,传播政策信息!
  9. 麦当劳CEO声称美国品牌的声誉在全球下滑
  10. 华人科学家身陷“杀猪盘”,短短数月就被掏光250万美元积蓄!
  11. 最高法院裁定:支持川普政府的移民执法政策
  12. 不输常春藤!盘点学费低、薪资高的25所美国公立大学
  13. 从近期的中国留学生在美国入境的悲惨遭遇说起
  14. 马斯克“xAI”起诉前工程师“泄露机密”
  15. SpaceX的星舰“第十次试飞”成功了
  16. 休斯顿机场“小黑屋内的铝箔纸”:中国留学生遭遇遣返的36小时煎熬
  17. 植物油更健康?动物油脂摄入或将加速肿瘤生长
  18. 敌友即友?马斯克和扎克伯格开始接触,图谋合伙收购OpenAI?
  19. 加州州长竟然模仿川普总统的风格发帖,粉丝数和支持率“都涨了”!
  20. 华人留学生“索赔1亿美元控诉”大学期间的农药伤害
  21. 美国宣传制裁东南亚的19个电信诈骗网络实体
  22. 中国留学生在入境美国时遭遇驱逐,禁止五年内再入境!
  23. 中国留学生在入境美国时遭遇盘查,中方大使馆发布安全提醒!
  24. 从美国回到中国的,基本都会被问及这些问题!
  25. YouTube“反诈频道”助力警方,破获6500万美元诈骗案!
  26. 美国众议院通过了巨额军费预算,马斯克警示财政风险!
  27. 2025年度的美国公立高中排名发布,咱只关注前三!
  28. 李开复:如果老板不AI,公司将会被AI淘汰!
  29. 在美国生活半年,真实观察了文化差异!
  30. 美国“真放宽”了对中国留学生的入境政策?
  31. 川普总统的“科技巨头宴”收获千亿级的投资承诺
  32. 美国签证新规“取消第三国面签”的选项了
  33. 美国的七大都会区“房市调头”,买方作主了!
  34. 启程回国:美元很香,但回家的路更香!
  35. 选择西雅图、圣地亚哥还是洛杉矶?全面对比“三城生活”
  36. 川普总统的态度突变,暗示乌克兰应该反击俄罗斯本土?

美国动态 美果搜索

Your IP: 216.73.216.117, 2025-09-23 11:40:17

Processed in 0.07776 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(2) 分享
分享
取消