数据中心部署HPC基础设施的首要考虑问题
发布时间：2022-06-21 14:25:48 所属栏目：系统 来源：互联网
导读：几十年前，高性能计算(HPC)只有一些科研人员、科学家和工程师等使用，作为解决困难数学问题的经济实惠且可扩展的方法。但随着云计算、物联网和大数据等技术的发展，HPC越来越受到行业的广泛欢迎，而其在数据中心领域的应用也越来越多。许多企业组织需要借助H
|
几十年前，高性能计算(HPC)只有一些科研人员、科学家和工程师等使用，作为解决困难数学问题的经济实惠且可扩展的方法。但随着云计算、物联网和大数据等技术的发展，HPC越来越受到行业的广泛欢迎，而其在数据中心领域的应用也越来越多。许多企业组织需要借助HPC来处理复杂的计算任务，例如金融风险建模、政府资源跟踪、航天器飞行分析以及许多其他“大数据”项目。 HPC结合了硬件、软件、系统管理和数据中心设施，以支持大量互连的计算机协同工作来执行单台计算机无法单独完成的过于复杂的共享任务。一些企业可能会寻求租赁或购买他们的HPC，而其他企业可能会选择在自己的数据中心内构建HPC基础设施。 通过了解HPC基础设施的主要要求和限制因素，您可以确定HPC是否适合您的业务以及如何最大限度地发挥它的价值。 什么是高性能计算(HPC)? 一般而言，HPC 是使用大型且功能强大的计算机来有效处理数学密集型任务。尽管存在 HPC“超级计算机”，但除了最大的企业外，其他所有企业往往无法触及此类系统。 只有对用例、利用率和投资回报指标有透彻的了解，才能获得成功的HPC项目。 实施HPC需要什么? 在商业数据中心实施HPC集群的三个主要要求包括计算硬件、软件层和容纳所有这些的设施。更准确的要求取决于HPC部署的规模。 计算要求。构建HPC集群需要服务器、存储和不应共享日常业务流量LAN的专用网络。理论上，您可以在单台服务器上实施Hadoop等HPC软件，这可以帮助员工学习和获得HPC软件和作业调度方面的经验。但是，基于Hadoop的典型HPC集群至少需要使用三台服务器：主节点、工作节点和客户端节点。 软件要求。成熟的堆栈必须能够随时支持HPC集群管理功能套件。Bright Cluster Manager和OpenHPC等软件堆栈通常包含各种用于集群管理的工具，例如： 配置工具 监控工具 系统管理工具 资源管理工具 MPI 库 数学库 编译器 调试器 文件系统 一些组织可能会采用HPC框架(例如Hadoop框架)来管理他们的HPC。Hadoop包括HDFS 文件系统、Hadoop Common、MapReduce和YARN等组件，它们提供了许多与上面所列相同的功能。 HPC部署需要对数据中心设施进行仔细评估，并对系统电源和冷却要求与容量进行详细判断。如果设施不足以进行HPC部署，您必须寻求内部HPC的替代方案。 应对HPC实施挑战 计算挑战。尽管HPC硬件很常见且随时可用，但您可以使用模块化高密度服务器来解决计算限制。模块化设计使服务器易于扩展和更换。您可以使用带有专用高速LAN的专用高性能服务器来实现最佳性能，这使您能够通过定期的技术更新周期和额外投资来随时间更新HPC程序。 设施挑战。处理装满服务器和网络设备的额外机架所需的可用物理数据中心空间、电源和冷却问题，限制了许多希望实施HPC的组织。对于这一点，服务器升级或许可以提供帮助。通过部署更大、功能更强大的服务器来支持更多的VM，您可以有效地添加 HPC“节点”，而无需添加更多物理服务器。此外，在同一物理服务器内对VM进行分组可以缓解网络问题，因为VM可以在服务器内进行通信，而无需通过LAN传输流量。 HPC拥抱云? 包括AWS、Google Cloud Platform和Microsoft Azure在内的几家公有云提供商都在为面临构建和运营HPC挑战的企业提供HPC服务。公有云克服了个体企业面临的规模和成本挑战，这也使得它们成为了部署HPC任务的理想选择。云可以提供： 贯穿全球可用数据中心的几乎无限扩展; 各种专用CPU、GPU、现场可编程门阵列和快速互连硬件功能，可优化机器学习、可视化和渲染等任务的工作性能; 成熟且随时可用的HPC服务，例如Amazon EMR上的Azure CycleCloud和Apache Hadoop，可减轻本地IT人员的学习曲线和支持负担; 即用即付的成本模型，使企业只需在实际使用这些云服务和资源时才为HPC付费。 执行频繁和适度HPC任务的企业可以选择构建和维护有限的HPC集群，以实现本地数据处理项目的便利性和安全性，但对于其内部无法支持的、偶尔要求更高的HPC项目，他们可能仍会转向公有云。 （编辑：云计算网_泰州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
热点阅读
浙公网安备 33038102330476号