Science and Technology Innovation Board Daily tarafından 14 Eylül 2023 Küresel Yapay Zeka Çip Zirvesi'nde hazırlanan bir rapora göre, NVIDIA Çözüm ve Mimari Teknik Direktörü Zhang Ruihua, NVIDIA'nın en yeni açık kaynaklı yazılımı TensorRT-LLM'yi tanıttı. mevcut sorun. Zorluklar arasında hızlı model geliştirme, sık güncellemeler ve çok sayıda kullanıcı bulunmaktadır. Yazılım, GPU çoklu düğümlerini destekler ve programlanması kolaydır. Triton ile birleştirildiğinde, çok kullanıcılı gecikme sorunlarını azaltabilir, böylece tam olarak kullanılabilir. GPU ve maliyetlerin azaltılması. Büyük modellerin eğitimi için NVIDIA ayrıca, temelde büyük model eğitiminin tüm yaşam döngüsünü kapsayan, üretken yapay zeka modellerinin oluşturulması, özelleştirilmesi ve dağıtılmasına yönelik uçtan uca ve bulutta yerel bir eğitim çerçevesi olan NeMo Çerçevesini de önerdi. . Büyük modellerin anlamsız konuşmasını önlemek için NVIDIA ayrıca büyük modellerin bilgiyi daha iyi genelleştirmesine yardımcı olmak için bir güvenlik korkuluğu işlevi (Korkuluklar) sağlar. Zhang Ruihua, yapay zeka modellerinin çok büyük bir kullanıcı alanına sahip olduğuna inanıyor ve gelecekte bu modellerin yalnızca araştırma enstitülerinde var olmakla kalmayıp herkesin cep telefonlarında veya bilgisayarlarında da uygulamalar haline gelebileceğini düşünüyor.

IT House tarafından 27 Haziran'da yayınlanan bir rapora göre Nvidia dün, çeşitli sektörlerdeki kurumsal müşterilerin AI modelleri oluşturmak için kendi verilerini kullanmalarına yardımcı olmak için bir bulut veri analizi şirketi olan Snowflake ile stratejik bir ortaklık kurduğunu duyurdu. Huang Renxun, "Snowflake gibi büyük veri analizi, bulut bilişimden ayrılamaz." Nvidia, Snowflake'in eğitim ve üretken yapay zekayı Snowflake'in Veri Bulutu'na çalıştırması için NeMo platformunu yerleştirmesine yardımcı oldu. Snowflake CEO'su Frank Slootman, verileri yönetmek için Snowflake kullanan şirketlerin artık kendi verilerinin kontrolünü kaybetme riski olmadan yeni yapay zeka modellerini eğitmek için kendi verilerini kullanabileceklerini söyledi. İki taraf, iş birliğinin spesifik detaylarını açıklamadı ancak Huang Renxun, Nvidia'nın AI sürecinden fayda sağlayacağına dikkat çekti. Nvidia'nın daha fazla çip satacağını ve Nvidia'nın AI Enterprise sisteminin kullanıcılara yardımcı olacağını söyledi. Raporlara göre Nvidia, müşterilerden AI Enterprise yazılımını kullanmak için ücret aldı.

İngiliz "Financial Times" raporuna atıfta bulunan IT House'a göre, Nvidia'nın yapay zeka yazılımı "NeMo" güvenlik kısıtlamalarını kolayca aşabilir ve kullanıcı gizliliğini sızdırabilir. Rapora göre NeMo, kullanıcı sorularını yanıtlamak için kurumsal kullanıcı verilerini büyük dil modelleriyle birleştirebilen kurumsal müşterilere yönelik bir yazılımdır. Uygulama senaryoları arasında müşteri hizmetleri ve basit tıbbi soruların yanıtlanması yer alır. Kaliforniyalı bir bilgi güvenliği şirketi olan Robust, bir raporda, kötü niyetli kullanıcıların NeMo'nun dahili yapay zeka sisteminin güvenlik kısıtlamalarını kolayca aşabileceğini söyledi. Robust'taki araştırmacılar, yalnızca birkaç saat içinde bu dil modeli sınırlamalarını aşmayı başardılar. Nvidia'nın başkan yardımcısı Jonathan Cohen, NeMo mimarisinin yalnızca geliştiriciler tarafından tanımlanan konuları karşılayan sohbet robotları oluşturmaya yardımcı olmak için olduğunu ve geliştiricilerin açık kaynaklı yazılım şeklinde yayınlandığını söyledi. Şu anda, bu hatalar giderildi. Cohen, kaç işletmenin NeMo mimarisini kullandığını söylemeyi reddetti, ancak Nvidia'nın başka güvenlik açığı raporu almadığını vurguladı.

据 MarktechPost 4 月 27 日报道，英伟达发布了一款名为 NeMo Guardrails 的开源软件，旨在帮助开发者确保使用大型语言模型（LLM）的 AI 应用的安全性、准确性和适当性。据悉，NeMo Guardrails 为企业提供了所有必要的代码、实例和文档，以便为其人工智能应用程序添加安全措施。 英伟达表示，它将把 NeMo Guardrails 整合到其 NeMo 框架中，这是一个使用专有数据训练和调整语言模型的综合工具。NeMo 框架已经作为开源代码在 GitHub 上部分提供。包括韩国一家领先的移动运营商在内的一些组织已经使用 NeMo 框架来构建智能助手。瑞典的一个研究小组也已用它创建了 LLM，为该国的医院、政府和商业办公室实现了文本功能的自动化。

金色财经报道，Nvidia 推出 NeMo Guardrails 工具，以帮助开发人员确保生成 AI 的准确性、相关性和安全性。NeMo Guardrails 允许开发人员对其语言模型 （LLM） 应用三种不同类型的限制。据 Nvidia 称，NeMo Guardrails 适用于所有语言模型，包括 ChatGPT。该公司还声称几乎所有软件开发人员都可以使用该工具。