Согласно отчету журнала Science and Technology Innovation Board Daily от 14 сентября, на Глобальном саммите AI Chip Summit 2023 технический директор NVIDIA по решениям и архитектуре Чжан Жуйхуа представила новейшее программное обеспечение NVIDIA с открытым исходным кодом TensorRT-LLM. Она сказала, что TensorRT-LLM может в основном решать проблемы текущая проблема. Проблемы включают быструю разработку моделей, частые обновления и большое количество пользователей. Программное обеспечение поддерживает несколько узлов графического процессора и просто в программировании. В сочетании с Triton оно может уменьшить проблемы с задержкой многопользовательской работы, тем самым полностью используя GPU и снижение затрат. Для обучения больших моделей NVIDIA также предложила NeMo Framework, которая представляет собой комплексную облачную среду обучения для создания, настройки и развертывания генеративных моделей ИИ, охватывающую, по сути, весь жизненный цикл обучения больших моделей. . Чтобы предотвратить тарабарщину больших моделей, NVIDIA также предоставляет функцию ограждения безопасности (Guardrails), которая помогает большим моделям лучше обобщать знания. Чжан Жуйхуа считает, что модели искусственного интеллекта имеют огромное пользовательское пространство. В будущем они будут существовать не только в исследовательских институтах, но могут стать приложениями на мобильных телефонах и компьютерах каждого.

Согласно отчету IT House от 27 июня, Nvidia вчера объявила о заключении стратегического партнерства с Snowflake, компанией по анализу облачных данных, чтобы помочь корпоративным клиентам в различных отраслях использовать свои собственные данные для создания моделей ИИ. Хуан Ренсюнь сказал: «Анализ больших данных, такой как Snowflake, неотделим от облачных вычислений.» Nvidia помогла Snowflake внедрить платформу NeMo для обучения и запуска генеративного ИИ в облако данных Snowflake. Генеральный директор Snowflake Фрэнк Слутман сказал, что компании, использующие Snowflake для управления данными, теперь могут использовать свои собственные данные для обучения новых моделей ИИ, не рискуя потерять контроль над своими данными. Обе стороны не раскрыли конкретных деталей сотрудничества, но Хуан Ренсюнь указал, что Nvidia выиграет от процесса ИИ. Он сказал, что Nvidia будет продавать больше чипов, а система Nvidia AI Enterprise поможет пользователям. Согласно сообщениям, Nvidia взимает плату с клиентов за использование программного обеспечения AI Enterprise.

Согласно сообщению IT House со ссылкой на отчет британской Financial Times, программное обеспечение искусственного интеллекта Nvidia NeMo может легко обходить ограничения безопасности и может привести к утечке конфиденциальной информации пользователей. Согласно отчету, NeMo — это программное обеспечение для корпоративных клиентов, которое может объединять данные корпоративных пользователей с большими языковыми моделями для ответа на вопросы пользователей. Сценарии его применения включают обслуживание клиентов и ответы на простые медицинские вопросы. Калифорнийская компания по информационной безопасности Robust сообщила в отчете, что злоумышленники могут легко обойти ограничения безопасности внутренней системы искусственного интеллекта NeMo. Исследователи из Robust смогли обойти эти ограничения языковой модели всего за несколько часов. Джонатан Коэн, вице-президент Nvidia, сказал, что архитектура NeMo предназначена только для помощи в создании чат-ботов, отвечающих темам, определенным разработчиками, и предоставляется разработчикам в виде программного обеспечения с открытым исходным кодом. В настоящее время эти ошибки исправлены. Коэн отказался сообщить, сколько предприятий используют архитектуру NeMo, но подчеркнул, что Nvidia не получала других сообщений об уязвимостях.

据 MarktechPost 4 月 27 日报道，英伟达发布了一款名为 NeMo Guardrails 的开源软件，旨在帮助开发者确保使用大型语言模型（LLM）的 AI 应用的安全性、准确性和适当性。据悉，NeMo Guardrails 为企业提供了所有必要的代码、实例和文档，以便为其人工智能应用程序添加安全措施。 英伟达表示，它将把 NeMo Guardrails 整合到其 NeMo 框架中，这是一个使用专有数据训练和调整语言模型的综合工具。NeMo 框架已经作为开源代码在 GitHub 上部分提供。包括韩国一家领先的移动运营商在内的一些组织已经使用 NeMo 框架来构建智能助手。瑞典的一个研究小组也已用它创建了 LLM，为该国的医院、政府和商业办公室实现了文本功能的自动化。

金色财经报道，Nvidia 推出 NeMo Guardrails 工具，以帮助开发人员确保生成 AI 的准确性、相关性和安全性。NeMo Guardrails 允许开发人员对其语言模型 （LLM） 应用三种不同类型的限制。据 Nvidia 称，NeMo Guardrails 适用于所有语言模型，包括 ChatGPT。该公司还声称几乎所有软件开发人员都可以使用该工具。