Home 综合新闻 Nvidia PAIR 通过将 PC 集成到网络中来加速 AI 代理。

Nvidia PAIR 通过将 PC 集成到网络中来加速 AI 代理。

7
0
Nvidia PAIR 通过将 PC 集成到网络中来加速 AI 代理。
英伟达

Nvidia PAIR 代表个人人工智能路由器,它是解决我们大多数人尚未遇到的问题的巧妙解决方案。至少现在还没有。对于那些经常需要在家运行复杂或 GPU 密集型人工智能代理的人来说,这是一个新系统。如果你的代理的工作可以划分为多个可以并行工作的子代理。 (因此,它们不是相互依赖的。)PAIR 通过将工作卸载到网络上的另一台计算机来帮助加快代理速度或释放主系统。

换句话说,理论上,我能够在台式电脑上运行 PAIR,但让我的 MacBook Pro 处理分类和分析数万张图像的繁重工作。或者让你管理你的智能设备(我有一个愚蠢的房子),而我们在电脑上单独玩游戏。一切都保持本地化。

PAIR 是开源的。它今天进入测试阶段,并且是 可在 Github 上获取它还建立在以下标准之上: 移动域名系统 (用于搜索本地网络上的设备)和 多点传输层安全 为了安全

它是如何运作的?

PAIR 与 Windows、Mac 和 Linux 系统兼容,但我想基本系统将需要 RTX 级 GPU。 Nvidia 没有提及 Windows 或 Linux 的系统要求,但它确实需要配备 M4 处理器或更高版本的较新 Mac,因为代理在远程系统上运行。因此,该系统必须配备并能够使用所需的AI模型,目前仅兼容Ollama和LM Studio引擎(尚不清楚是否会有新的LM Bionic)。

CNET AI Atlas品牌;点击查看更多

在每个系统上安装软件并连接后,您将在主系统上运行代理,例如 Hermes Desktop 或 OpenClaw。代理将提供诸如决定和编码需要分配哪些子代理之类的过程。并将子代理发送到 PAIR,就好像它是一种机制一样。 (作为代理)另一方面,PAIR 将子代理分配给其他计算机。并接收结果反馈给代理。代理决定需要做什么,PAIR 管理在哪里运行并管理代理和子代理之间的通信。

它不是什么

PAIR 根据几个标准分配子代理:系统是否接受分配。如果安装了必要的推理机制和模型 系统当前的工作负载是多少?以及系统有多少可用 GPU 带宽。英伟达表示,它正在扩大和改进这些标准。有一个显示实时状态的仪表板视图。

该软件无法弥补一个难以解决的问题:给定系统中资源不足。它不集成 GPU 处理或内存。所以你不能用它来运行更大的模型。如果系统不能正常支持但是如果各个子代理在不同的系统上工作至少并行作业不会过度拥挤单个内存池。并且不破坏子代理跨系统工作每个人被分配到一个系统。

为了正常工作,您可能需要让许多您可能不希望的系统保持打开状态。目前尚不清楚,如果有人决定在系统已经处理子代理的情况下播放视频或玩游戏,会发生什么情况。