Databricks 将利用 NVIDIA 全栈解决方案,加速生成式 AI,提高数据处理效率。
NVIDIA 创始人兼首席执行官黄仁勋在 2024 年 Databricks Data + AI 峰会上与 Databricks 联合创始人兼首席执行官 Ali Ghodsi 进行台上交谈时表示,加速计算正在深入改变企业的数据处理和分析方式。
黄仁勋表示:“每家公司的商业数据都是他们自己的金矿。”他解释道,每家公司都有着海量的数据,但如何从中获得洞察和提炼智能一直是一个难题。
Databricks 利用 NVIDIA 全栈解决方案加速生成式 AI 应用
为了释放所有这些智能,黄仁勋和 Ghodsi 宣布整合 NVIDIA 的加速计算与 Databricks Photon。Databricks Photon 是 Databricks 的快速数据处理引擎,旨在为 Databricks SQL 提供一流的性能与成本效益。
黄仁勋表示“此次合作意义重大”,并补充道,加速计算和生成式 AI 是当今最重要的两大技术趋势,“NVIDIA 与 Databricks 将携手合作,整合双方在这些领域的技能,并带给所有人。”
黄仁勋分享道,NVIDIA 花了五年时间构建了一套可以加速 Photon 的程序库,让用户能够“更快、更经济高效地处理数据,并大幅减少能耗。”
Ghodsi 表示:“我们非常高兴能与 NVIDIA 合作,一起在 Photon 引擎上使用 GPU 加速功能来增强核心数据处理,并使其也能在 NVIDIA GPU 上运行。”
利用 NVIDIA NIM创建生成式 AI 工厂
NVIDIA 和 Databricks 还宣布,Databricks 的开源模型 DBRX 现已作为一项 NVIDIA NIM 微服务托管在 NVIDIA API 目录上。
NVIDIA NIM 推理微服务提供的模型是经过完全优化的预构建容器,可以在任何地方进行部署。
黄仁勋解释道:“创建这些端点十分复杂。我们将所有内容都优化成一项微服务,它可以在任何云端和本地系统上运行。”
微服务提供了一种简单、标准化的方式,将生成式 AI 模型添加到应用中,显著提高了企业开发者的生产力。
DBRX 于今年 3 月推出,完全建立在 Databricks 的基础上,充分利用了 Databricks 客户与合作伙伴可用的所有工具和技术,并且使用 NVIDIA DGX Cloud(面向开发者的可扩展端到端 AI 平台)训练而成。
企业可以利用企业数据定制 DBRX,以创建专属于企业的高质量模型,或使用它构建定制的 DBRX 式混合专家模型作为参考架构。
黄仁勋表示,加速数据处理是一个巨大的机遇,他鼓励每个人都将加速计算和生成式 AI 应用到工作中。
他表示:“无论你做什么,先开始做起来。你必须登上这班快到令人难以置信的列车。记住,生成式 AI 正在以指数级的速度增长。千万不要等在原地观察这一趋势,因为再过几年,你就会远远落后。”
加入对话
此次峰会的与会者能够参与各场会议,并与 NVIDIA 专家互动,进一步了解 NVIDIA 和 Databricks 如何推动 AI 与数据智能的未来发展。