据 NVIDIA 技术博客称，Brev.dev 已与 NVIDIA 合作，通过与 NVIDIA NGC 目录集成来增强 AI 解决方案的开发和部署。此次合作旨在简化部署 GPU 优化软件的过程，只需单击一下即可访问。
解决方案亮点
Brev.dev 和 NVIDIA NGC 目录之间的集成解决了与在云中启动 GPU 实例相关的多个挑战。该解决方案的主要功能包括：
- 一键部署： 用户无需大量专业知识或设置即可部署 NVIDIA AI 软件，将部署时间从数小时缩短到几分钟。
- 随处部署： Brev 的 API 充当各种环境（包括本地数据中心、公共云和私有云）的统一接口，从而缓解潜在的供应商锁定。
- 简化的设置过程： Brev 的开源容器工具 Verb 简化了 CUDA 和 Python 在任何 GPU 上的安装，从而有效地解决了依赖问题。
- 安全网络： Brev 的 CLI 工具可以安全地管理 SSH 密钥，无需处理复杂的 IP 配置或 PEM 文件，即可促进与计算源的连接。
微调 Mistral Jupyter Notebook
NVIDIA 提供的一个示例用例涉及使用 Mistral 7B 模型微调大型语言模型 （LLM）。通过利用 NVIDIA NeMo，开发人员可以训练、评估和测试问答任务的模型。NeMo 是开发自定义生成式 AI 的端到端平台，提供用于数据管理、训练、检索增强生成 （RAG） 和护栏的工具。
借助 Brev 的一键式部署集成，开发人员可以快速访问 GPU 并开始自定义生成式 AI 模型。所需的软件堆栈，包括 NeMo，由 Brev 的平台设置，允许开发人员专注于 AI 开发而不是基础设施管理。
步骤 1：设置先决条件
首先，开发人员可以从NGC目录中获取笔记本。一旦部署在 Brev 上，就可以从浏览器访问它以开始执行代码块。新用户需要在 Brev 上创建一个帐户，然后才能继续。
步骤 2：准备基础模型
开发人员需要下载 Mistral 7B 模型，并使用 NeMo 提供的命令将其转换为 .nemo 格式。这种转换对于利用 NeMo 框架进行微调是必要的。
步骤 3：准备微调数据
该示例在 PubMedQA 数据集上对 Mistral 7B 进行了微调，该数据集涉及回答医学研究问题。给出命令将数据集转换为 .jsonl 格式，以便使用 NeMo 进行参数高效微调 （PEFT）。
第 4 步：运行训练
设置 GPU 配置和其他参数后，可以使用 NeMo 框架初始化训练管道。这包括导入必要的类和模块、创建训练器实例以及加载预训练的威震天 GPT 模型。
第 5 步：查看性能和结果
最后，可以根据测试数据集评估微调模型的性能。输出将显示测试指标，包括测试损失和验证损失，从而深入了解模型在 PEFT 后的性能。
通过充当所有云的单一接口并自动执行设置过程，Brev.dev 使开发人员能够充分利用 NVIDIA 软件的强大功能，从而增强了 AI 开发和部署在各种项目中的便利性。
开始使用
Brev.dev 为其一键式部署功能提供两小时的免费试用，提供了轻松配置 GPU 基础设施的机会。该公司还在扩展此功能，以在NGC目录中包含更多NVIDIA软件。探索 Quick Deploy with Brev.dev 集合。
图片来源：Shutterstock
