2024年11月19日至21日，超级计算大会（SuperComputing Conference 2024, SC24）在美国佐治亚州亚特兰大盛大帷幕，汇聚了高性能计算（HPC）、人工智能（AI）和数据科学领域的顶尖专家，推动数据驱动创新的前沿。每年，SC 超级计算大会都会展示突破性的研究成果、前沿技术以及定义计算能力的未来趋势，今年也不例外。从 E 级计算和 AI 工作负载的最新进展，到量子技术的创新突破，超级计算大会早已成为重塑行业与社会的大规模计算创新理念的试金石。
在这场展示超级计算最新进展的盛会上，WEKA 与合作伙伴一同，带来了专为应对 HPC 和 AI 不断变化的挑战的全新解决方案。随着 AI 模型的日益复杂、数据量的剧增以及实时处理需求的增加，企业亟需超越传统存储和数据管理能力的可扩展、高弹性、高性能解决方案。我们最新的创新正是为满足这些需求而设计，提供前所未有的速度、灵活性和可靠性，支持从数据中心、云端以及边缘部署的各种数据密集型工作负载。这些解决方案不仅帮助企业动态扩展并最大化资源利用率，还能以变革性的速度下解锁数据洞察，从而实现前沿研究与实际 AI 应用之间的无缝衔接。
在今年的大会上，WEKA 携手 NVIDIA、Supermicro、Arm 和 Run:ai 等合作伙伴，展示如何支持企业大规模扩展、应对负载波动，提供多组件高效编排、提升安全性和系统稳定性，并在降低能耗、实现更高冷却效率的同时提升 AI 计算能力。
首款为NVIDIA Grace CPU超级芯片打造的存储解决方案
随着 AI 和 HPC 工作负载的不断演进，对超高速数据访问和高效处理能力的需求日益增加。WEKA 与英伟达 NVIDIA、超微 Supermicro和 Arm 联手应对这一挑战，共同推出结合 WEKA 超高速数据平台与 NVIDIA Grace CPU 超级芯片的解决方案，树立了数据密集型环境下性能、可扩展性和能效的新标杆。这一强强联合不仅能加速 AI 模型训练，减少延迟，还能显著优化资源利用效率，同时保持低能耗水平。
在 SC24 大会上，WEKA 宣布推出业内首款专为 NVIDIA Grace™ CPU 超级芯片设计的高性能存储解决方案。该方案基于全新的 Supermicro 存储服务器，配备 WEKA® Data Platform 软件，并搭载 Arm® Neoverse™ V2 核心，借助 NVIDIA Grace CPU 超级芯片提供前所未有的性能密度和能效优势，助力企业加速 AI 工作负载。通过减少 I/O 瓶颈并提升数据访问效率，这一联合解决方案让数据中心在保持极低能耗的同时，实现前所未有的性能突破。WEKA Data Platform 预计将于2025年初在 Grace 服务器上提供服务，标志着面向未来的基础设施的诞生，并能随着企业需求增长而扩展。
NVIDIA Grace CPU 拥有144个高性能 Arm Neoverse V2 核心，能效是传统 x86 服务器的两倍。这一配置与 WEKA 的 AI 原生数据架构相结合，确保了整个 AI 数据管道的最佳性能，最大限度提升了 GPU 利用率，并在大幅降低能耗的同时加速数据洞察。这一组合使企业能够更高效地处理复杂的 AI 工作负载，提升速度和效率。
Grace CPU 采用高带宽 LPDDR5X 内存，提供 1 TB/s 的内存带宽，与WEKA 的架构无缝结合，有效消除数据瓶颈，确保了数据流的高效传输。这使得 AI 训练更快，训练周期更短，推理速度更快，企业能够在不牺牲性能的情况下扩展 AI 工作负载。这样的资源优化能够顺畅高效地满足数据密集型环境的需求。
除了性能提升之外，这一存储解决方案还在能源和空间效率方面设立了新标准。专为大规模 AI 和现代 HPC 工作负载而生，WEKA Data Platform 能够帮助企业降低数据中心的占地面积和能源消耗。能效优异的 Grace CPU 与 WEKA 的基础设施整合能力相结合，让企业能够以更少的资源实现更多成果，在推动 AI 性能的同时支持可持续发展目标。
WEKA Data Platform 通过提高 GPU 堆栈效率10至50倍，优化了大规模 AI 和 HPC 工作负载。通过减少数据冗余和实现灵活的云端扩展，它将数据基础设施需求减少了4到7倍，并大幅降低碳排放，每存储1PB数据每年可减少高达260吨的二氧化碳排放，同时降低多达10倍的能源成本。加上 Grace CPU 超级芯片两倍的能效，这一解决方案帮助客户能够用更少的资源完成更多任务，在提升AI性能的同时推动可持续发展目标。
这一业界首创的联合架构为企业降低成本、加速性能并推动 AI、HPC 和数据分析的市场化进程提供了可靠支持。对于运行复杂 AI 模型、大规模仿真或实时数据处理的企业而言，这一强大组合提供了数据驱动世界中至关重要的速度、效率和节能优势。
WARRP：面向可扩展、可持续生产环境的云无关 AI RAG 参考平台
随着企业越来越多地采用 AI 驱动的应用，部署能够无缝处理大规模数据密集型工作负载的检索增强生成（Retrieval-Augmented Generation，RAG）推理环境变得至关重要。然而，从概念验证到生产环境的转变带来了许多复杂的挑战。这些生产级 AI 环境需要可靠的可扩展性、高效的资源调度，以及跨多个基础设施（从本地数据中心到多个云服务供应商）的无缝连接。此外，在确保高性能的同时，还需要管理成本、满足严格的安全要求，并减少碳排放，也是企业在将 RAG 解决方案投入生产时必须面对的难题。
我们非常高兴向大家介绍 WEKA AI RAG* 参考平台 WARRP（WEKA AI RAG Reference Platform），这是一个云无关*的解决方案，专为应对生产级 AI 挑战而设计，提供一致的性能、简化的管理和可扩展的部署能力，适用于数据中心和云环境。WARRP 利用 WEKA 先进的数据平台，解决了传统共享文件系统难以实现的一些功能。通过支持高性能向量数据库、简化跨地点的数据传输以及灵活的扩展能力，WARRP 让企业能够高效部署高效可持续的 AI 推理环境，并能够随着新框架和工具的出现不断演进。
“Cloud agnostic”（云无关/云不可知）是指一种技术、解决方案或架构，能够在多个云平台之间无缝运行，而不依赖于任何特定云提供商的技术、工具或服务。简而言之，云无关性意味着某个应用程序、服务或基础设施可以在不同的云环境中部署、运行和管理，而无需做出重大修改或适应。
*Retrieval-Augmented Generation (RAG)（检索增强生成）是一种结合了检索技术与生成模型的自然语言处理（NLP）方法，旨在增强生成模型的表现力和准确性，尤其在面对需要大量外部知识的任务时。简单来说，RAG模型通过在生成答案之前首先进行信息检索，从外部知识库中获取相关信息，然后将这些信息与生成模型结合，以生成更为准确和上下文相关的答案。
我们创建了 WARRP（WEKA AI RAG 参考平台），作为一个云无关的 RAG 推理平台，无论部署在数据中心还是云中，都能提供一致的框架、可管理性和结果。WARRP 充分利用了 WEKA 独特的功能，解决了共享文件系统中常见的挑战。例如，它支持高性能向量数据库、通过我们的高速 POSIX 系统进行批量数据摄取，同时通过 S3 索引，并可以在数据流动过程中在不同位置之间无缝传输数据（比如在一个位置导入数据，再在另一个位置进行处理）。
WARRP 定义了一个强大的生产级 RAG 推理解决方案所需的基础层。首先是基础设施层，跨越多个数据中心或云服务供应商。接下来是 WEKA 数据层，它在本地环境和云环境中提供相同的性能和功能。然后是编排层，包括 Kubernetes 容器编排器和像 Run:ai 这样的 GPU 编排解决方案。为了简化部署和管理，我们选择了英伟达的框架，如 NIMs 和 Nemo，这些框架构成了英伟达的企业级技术堆栈。上层是开发层，利用 Jupyter 等工具进行编程。其次，Langsmith 和 Milvus（分布式向量数据库）等中间件工具支持部署，最后模型分层在它们之上，由英伟达 NIMs 打包或根据企业需求进行容器化。最后，应用程序将提供用户界面并提取有价值的信息。
WARRP 的核心优势在于它能够根据推理需求动态扩展，并根据需要在微调和推理之间切换。它还能在 WEKA 上运行分布式向量数据库，为整个 RAG 管道提供卓越的性能和可扩展性，并能灵活地备份数据并将其发送到远程环境，以实现冗余或突发处理。
通过 WARRP，我们为生产级 RAG 推理管道建立了基础层并验证了特定框架。展望未来，我们将不断为每一层添加新的框架，如 EKS、AKS 或 GKE 等托管 Kubernetes 服务，并整合其他社区发布的具有价值的框架。这种迭代方法使 WARRP 与 AI 生态系统的最新进展保持一致。
SC24 强调了高性能计算和人工智能领域的创新前沿，WEKA 很荣幸能够为现代数据密集型环境实际挑战提供的解决方案。我们与英伟达（NVIDIA）、超微（Supermicro）和 Arm 等合作伙伴的合作带来了重新定义了企业 AI 和 HPC 工作负载可能性的前沿技术。从针对英伟达 Grace CPU 超级芯片的革命性存储解决方案到多功能 WARRP 架构，WEKA 致力于提供可扩展、高效和节能的 AI 平台，帮助企业将 AI 从概念验证推向大规模生产。这些解决方案既能满足当前工作负载的需求，又能适应未来不断发展的需要。通过降低能耗、优化数据处理和云无关的灵活性，WEKA 为企业提供了强大的工具，加快了洞察时间，最大限度地提高了资源利用率，并有助于实现可持续发展目标。在前进的道路上，我们致力于通过可无缝集成新兴技术的自适应架构为行业提供支持，确保企业在数据驱动的世界中保持领先地位。
关于WEKA
WEKA 正在为 AI 时代的企业数据堆栈设计全新的解决方案。WEKA® Data Platform 采用云和 AI 原生架构，可以在任何地方部署，实现本地、云端和边缘环境的数据无缝迁移。它将传统的数据孤岛转变为动态数据管道，加速 GPU、AI 模型训练和推理，以及其他性能密集型工作负载，使其更高效地工作、同时降低能源消耗和碳排放。WEKA 帮助全球最具创新性的企业和研究机构克服复杂的数据挑战，实现更快、更可持续的发现、洞察和业务成果——包括《财富》50强中的12家公司。
