外部规模计算的解释：下一代超级计算机如何改变科学、工业和创新。探索推动外部规模性能的技术与影响。
- 外部规模计算简介
- 外部规模定义：什么使其与众不同？
- 推动外部规模系统的关键技术
- 重大外部规模项目和全球倡议
- 科学和工业应用
- 实现外部规模性能的挑战
- 对人工智能和大数据的影响
- 能源效率和可持续性问题
- 未来展望：超越外部规模
- 来源和参考文献
外部规模计算简介
外部规模计算代表了高性能计算（HPC）的变革性飞跃，它定义为能够每秒执行至少一个外部浮点运算（exaflop），即一千万亿（1018）次计算的系统。这种前所未有的计算能力使研究人员能够解决以前难以处理的复杂科学、工程和数据分析问题。外部规模系统预计将通过提供模拟、分析和预测前所未有的规模和分辨率的现象的能力，从而彻底改变气候建模、基因组学、材料科学和人工智能等领域。
实现外部规模计算的进程需要在硬件架构、软件开发和能源效率方面取得显著进展。实现外部规模性能需要克服与并行性、内存带宽、数据移动和系统可靠性相关的挑战。这些系统通常集成数百万个处理核心，并利用异构计算、先进互连和新型内存层次结构等创新技术。外部规模计算的发展是一项全球努力，主要的倡议由美国能源部、欧洲高性能计算联合体和日本的RIKEN计算科学中心领导。
随着外部规模系统的上线，它们预计将推动科学学科的创新，支持国家安全，并加速新技术的发展。外部规模计算的影响将超越研究，影响工业、健康护理和整个社会，通过提供数据驱动的发现和解决方案，帮助解决一些世界上最紧迫的挑战。
外部规模定义：什么使其与众不同？
外部规模计算代表了计算能力的变革性飞跃，定义为能够每秒执行至少一个外部浮点运算（exaflop），即一千万亿（1018）次计算的系统。这个阈值标志着比拍规模系统提高了千倍，根本改变了科学研究、工程和数据分析的格局。外部规模与众不同的不仅仅是其原始速度，更在于为了实现这种性能而必须在硬件架构、能源效率和软件可伸缩性方面的创新融合。外部规模系统必须有效协调数百万个处理核心，管理庞大的内存层次结构，并处理前所未有的数据移动，同时保持可管理的功耗，通常目标在20-30兆瓦，这本身就是一个重大的工程挑战。
另一个显著特征是能够解决以前无法达到的规模和复杂性的问题。外部规模计算使气候建模、基因组学、材料科学和人工智能等领域实现高保真度的模拟，其中数据的庞大和细粒度性要求的计算资源远远超出以前的世代。外部规模系统的发展还推动了编程模型、算法和系统软件的进步，促进了新生态系统工具和专业知识的形成。美国能源部科学办公室和欧盟的EuroHPC联合体是推动外部规模计划的主要组织，强调了这一技术里程碑的全球重要性和协作性质。
推动外部规模系统的关键技术
外部规模计算系统能够每秒执行至少一个外部浮点运算（1018次浮点运算），依靠先进技术的融合来实现前所未有的性能、效率和可伸缩性。其中一项基础技术是异构计算，它将传统的中央处理单元（CPU）与图形处理单元（GPU）或专用人工智能芯片等加速器集成在一起。这一方法使得能够并行处理大量数据集和复杂模拟，例如在橡树岭领导计算设施的Summit和Frontier超级计算机中看到的。
另一个关键技术是先进的互连技术。高带宽、低延迟的网络，如InfiniBand和定制拓扑，促进了数百万个处理元素之间快速的数据移动，减少了瓶颈并支持高效扩展。内存层次结构的创新，包括高带宽内存（HBM）和非易失性内存，进一步提高了数据访问速度和能效。
能源效率在外部规模水平上至关重要。配电架构、动态电压和频率缩放以及先进的冷却解决方案是保持功耗在可行范围内的必要条件。软件创新，如新编程模型和准备好了的外部规模库，对于充分利用这些系统的潜力也至关重要。美国能源部的外部规模计算项目等倡议推动了可扩展算法和软件生态系统的发展，以适应外部规模架构。
综合来看，这些技术使外部规模系统能够处理科学、工程和人工智能等领域的重大挑战，推动计算可能性的极限。
重大外部规模项目和全球倡议
全球向外部规模计算的竞赛促使各国间重大的投资和合作，各国都希望在科学发现、国家安全和工业创新方面取得突破。美国通过美国能源部主导的外部规模计算项目（ECP），在橡树岭国家实验室开发如Summit和Frontier等外部规模系统。于2022年推出的Frontier成为全球首个被正式认可的外部规模超级计算机，其性能超过一外部浮点运算，并在气候建模、材料科学和人工智能中实现了前所未有的模拟。
中国也取得了显著进展，报告称像Sunway OceanLight和天河-3等系统已达到外部规模性能，但由于国家安全考虑，细节较少公开。欧洲联盟的EuroHPC联合体协调泛欧的努力，资助芬兰的LUMI和意大利的Leonardo等项目，以培养数字主权并支持成员国间的研究。
日本的Fugaku超级计算机，由RIKEN和富士通开发，也发挥了关键作用，名列全球最快计算机之一，并为COVID-19研究和灾害预防做出了贡献。这些重大外部规模项目不仅推动了计算能力的极限，也促进了国际合作、劳动力发展和开源软件与硬件生态系统的进步。
科学和工业应用
外部规模计算系统能够每秒执行至少一个外部浮点运算（1018次浮点运算），正在彻底改变科学研究和工业创新。在科学领域，外部规模系统能够实现前所未有的模拟和数据分析。例如，气候科学家现在能够以千米尺度的分辨率对全球天气模式进行建模，从而改善对极端事件和长期气候变化的预测。在生命科学中，外部规模计算通过模拟复杂的生物分子相互作用和分析大量基因组数据加速了药物发现，美国能源部科学办公室支持的项目展示了这一点。
在工业界，外部规模计算正在转变航空航天、汽车和能源等行业。制造商利用外部规模模拟来优化设计、降低原型成本和提高产品安全性。例如，汽车公司利用高保真度的碰撞模拟和气动建模来开发更安全、更高效的车辆。在能源领域，外部规模系统促进了对新材料的探索，应用于电池和太阳能电池，并改善了油气勘探的地下模型的准确性，这一点在外部规模计算项目中得到了强调。
此外，外部规模计算支持人工智能和机器学习在前所未有的规模上运作，从而在金融、医疗等多个领域实现实时分析和决策。外部规模能力的整合预计将推动创新，缩短上市时间，并保持全球竞争力，正如欧洲高性能计算联合体所强调的那样。
实现外部规模性能的挑战
实现外部规模性能——定义为能够每秒进行至少一个外部浮点运算，即十亿亿（1018）次计算的系统——面临一系列严峻挑战，涵盖了硬件、软件和能耗等多个方面。主要障碍之一是所需的并行性规模。外部规模系统必须协调数百万个处理核心，要求在互连技术和内存结构方面创新，以最小化延迟并最大化吞吐量。这种级别的并行性也加大了硬件故障的风险，迫使需要强大的容错和可靠性策略，以确保系统在长期运行中保持可靠。
能源效率是另一个关键问题。如果不在电力管理方面取得显著进展，外部规模系统可能需要数百兆瓦，这将使其难以操作。研究重点在于开发高效的处理器、先进的冷却技术和动态电源管理，以使能耗保持在合理范围内。此外，编程外部规模系统的复杂性也是一个主要障碍。现有的软件和算法往往无法有效扩展到外部规模，促进新编程模型、库和工具的开发，以利用庞大的并行性，同时保持可移植性和易用性。
数据移动和存储也提出了重大挑战。在外部规模所产生和处理的数据量巨大，需要高带宽、低延迟的存储解决方案和高效的输入/输出子系统。解决这些多方面的挑战是美国能源部科学办公室和欧洲高性能计算联合体等协调国际努力的重点，推动能使外部规模计算具备实用性的研究和开发。
对人工智能和大数据的影响
外部规模计算有望通过提供前所未有的计算能力和内存带宽，彻底改变人工智能（AI）和大数据分析领域。每秒超过一个外部浮点运算（1018次浮点运算）的能力，使研究人员和组织能够训练更大、更复杂的AI模型，并以更快的速度和更高的准确性处理海量数据集。性能的这种飞跃对深度学习尤其重要，因为模型大小和数据需求呈指数级增长。外部规模系统可以加速神经网络的训练，促进实时数据分析，并探索之前计算上不可承受的新AI架构。
在大数据分析中，外部规模计算可以集成和分析来自基因组学、气候建模和社交媒体等来源的多样化，高容量数据集。这种能力支持更准确的预测建模、模式识别和决策过程。例如，外部规模资源被用于推进个性化医疗的研究，分析海量基因组数据以识别疾病标记并为个别患者量身定制治疗。同样，在气候科学中，外部规模计算使能模拟更复杂的地球系统，以更高的分辨率改善气候预测的准确性。
外部规模计算、人工智能和大数据之间的协同效应正在被全球的国家实验室和研究机构积极追求。美国能源部外部规模计算项目和欧洲高性能计算联合体等倡议处于开发外部规模基础设施和软件生态系统的前沿，以支持这些变革性应用。
能源效率和可持续性问题
外部规模计算系统能够每秒执行至少一个外部浮点运算（1018次浮点运算），在能源效率和可持续性方面提出了重大挑战。随着计算能力的提升，对电能的需求也随之增加，早期外部规模系统的电力需求估计在20-30兆瓦之间——相当于一个小镇的能源消耗。这种水平的能源使用不仅推高了运营成本，而且也因其相关的碳足迹而引发了环境担忧。
为了解决这些问题，外部规模倡议已经将开发节能硬件和软件作为优先事项。创新包括先进的处理器架构，例如低功耗的CPU和GPU，以及集成旨在最大化每瓦性能的专用加速器。此外，动态电源管理技术，例如自适应电压缩放和工作负载感知资源分配，正在被实施，以实时优化能源使用。在软件方面，正在开发节能算法和调度策略，以最小化不必要的计算和数据移动，这些都是功耗的重要来源。
可持续性努力还扩展到外部规模设施的物理基础设施。高效的冷却系统、废热回收和使用可再生能源的方式正在越来越多地被采用，以减少这些超级计算机的环境影响。例如，橡树岭国家实验室和洛斯阿拉莫斯国家实验室在其外部规模项目中均实施了先进的冷却和能源管理系统。随着外部规模计算的普及，持续的能源效率和可持续性创新将对确保这些强大的系统在经济和环境上都保持可行性至关重要。
未来展望：超越外部规模
随着外部规模计算系统的投入使用，高性能计算（HPC）研究和开发的重点已经开始转向后外部规模的时代，通常被称为“超越外部规模”或zettascale计算。这一下一阶段的目标是实现约一泽浮点运算（zettascale），即每秒1021次浮点运算，比外部规模高出千倍。向zettascale的过渡将需要硬件架构、能源效率、数据移动和软件生态系统方面的变革性进展。
主要挑战之一是能耗。目前的外部规模系统已经消耗数十兆瓦；使用现有技术扩展到zettascale将无可持续性。正在探索低功耗处理器、先进冷却技术和新材料（如量子和神经形态部件）的创新以应对这些问题。此外，科学模拟和人工智能（AI）工作负载所生成的数据复杂性和规模的增加，将需要在内存层次、存储解决方案和互连技术方面取得突破。
软件和编程模型也必须演变，以利用预期在后外部规模系统中的大规模并行性和异构性。为开发更具弹性、可扩展和智能的软件框架，能够适应动态硬件环境并支持AI、气候建模和精准医疗等新兴应用的努力正在进行中。国际合作与倡议，例如美国能源部科学办公室和欧洲高性能计算联合体的领导，都是推动zkettascale时代所需的研究和基础设施的重要组成部分。
最终，超越外部规模的旅程承诺解锁前所未有的科学发现和技术创新，但这需要在整个计算堆栈中进行协同进步。
来源与参考文献
