集成式 AI 加速器是 IBM® Telum 处理器的一项功能。这是一个片上处理单元,具有内存一致性,并像任何其他通用核心一样直接连接到结构。它通过共置来最大限度地减少 AI 和数据之间的延迟,从而提高 AI 推理性能。
本次网络研讨会将讨论 IBM LinuxONE 如何能帮助您解锁各行各业的 AI 新用例。
IBM 正与 IBM® LinuxONE 生态系统合作,帮助 ISV 提供解决方案,以应对当今的 AI、可持续发展和网络安全挑战。
深入了解专为金融和医疗保健机构量身定制的两个创新解决方案:用于实时预防欺诈的 Clari5 Enterprise Fraud Management on IBM LinuxONE 4 Express,以及用于大规模高级 AI 解决方案的 Exponential AI 的 Enso Decision Intelligence Platform on LinuxONE。
Clari5 Enterprise Fraud Management Solution on IBM LinuxONE 4 Express 为金融机构提供了强大的决策引擎,可实时预防欺诈。它旨在监控、检测和影响交易,确保合规,并提高生产力,同时提供前所未有的速度和可扩展性。
Exponential AI 的 Enso Decision Intelligence Platform on LinuxONE 提供了用于大规模构建、训练、编排和管理近乎实时的 AI 解决方案的尖端功能。该平台提供由 Exponential AI 开发的智能自动化解决方案,以应对领先的国家医疗保险支付机构在复杂交易环境中面临的挑战。
TensorFlow 是一款开源机器学习框架,为模型开发、训练和推理提供了一整套工具。它拥有丰富、强大的生态系统,并与 Linux 上运行的 LinuxONE 环境兼容。
IBM SnapML 库专为热门机器学习模型的高速训练和推理而设计。它利用 IBM Integrated Accelerator for AI 来增强随机森林、极度随机树和梯度提升机模型的性能。作为 IBM Z 和 LinuxONE 的 AI 工具包以及 IBM CloudPak for Data 的一部分提供。
Triton Inference Server 是 Nvidia 开发的开源模型服务器,支持 CPU 和 GPU 设备上的模型推理。它广泛应用于各种平台和架构,包括 s390x (Linux on Z)。具体来说,在 Linux on Z 上,Triton 可以利用 AI 框架来同时使用 SIMD 架构和 IBM Integrated Accelerator for AI,从而优化性能。
IBM Z Deep Learning Compiler 是一款功能强大的工具,可支持数据科学家使用熟悉的工具和框架开发深度学习模型。可以将这些模型部署到任务关键型数据所在的 Linux on IBM Z 上。该编译器有助于现有模型快速轻松地利用全新 Telum 处理器的 AI 集成加速器。
1 与 IBM z15 处理器相比,IBM z16 上的 IBM Telum 处理器每插槽性能增长超过 40%。
免责声明:结果基于对 IBM Telum 处理器和 IBM z15 处理器提供的总处理能力的工程分析,以及 IBM 大型系统性能参照 (LSPR) 比率,发布于:https://www.ibm.com/support/pages/ibm-z-large-systems-performance-reference。一般用途的每个处理器插槽的核心数量会因系统配置而异。总处理能力因工作负载、配置和软件级别而异。
2 片上 AI 加速旨在增加芯片上所有内核共享的高达 5.8 TFLOPS 的处理能力。
免责声明:结果为单个片上 AI 引擎可执行的 16 位精度每秒浮点运算 (FLOPS) 的最大理论次数。每个芯片均有一个片上 AI 引擎。
3 免责声明:性能结果是根据 IBM 内部测试推断而得,这些测试在 Ubuntu 20.04(SMT 模式)上配备 48 个内核和 128 GB 内存的 IBM LinuxONE Emperor 4 LPAR 中运行本地推理操作,并使用合成信用卡欺诈检测模型 (https://github.com/IBM/ai-on-z-fraud-detection) 和 Integrated Accelerator for AI。该基准测试使用 8 个并行线程运行,每个线程连接到了不同芯片的第一个内核。lscpu 命令用于识别内核芯片拓扑结构。采用的规模为一批 128 个推理操作。结果会有所相同。