金十数据5月21日讯，继HBM之后，三星电子今年的首要任务是在半导体代工方面获得英伟达的订单。据业内人士透露，三星电子半导体代工部门（DS）已在内部将“赢得英伟达3nm产品订单”作为今年的首要任务。“各部门正在全力以赴，通知集合英语流利的员工，与‘Nemo’接单相关的工作将优先于现有工作。”Nemo是三星电子内部的客户代号，用于指代英伟达。 （韩国FNNews）

NVIDIA NeMo, une boîte à outils d’IA conversationnelle open source, a annoncé la famille de modèles Parakeet ASR, une série de modèles de reconnaissance vocale automatique (ASR) de pointe capables de transcrire l’anglais parlé avec une précision exceptionnelle, comme l’a rapporté Webmaster Home le 8 janvier. Nvidia a annoncé quatre modèles Parakeet basés sur le décodeur RNN Transducer/Connectionist Temporal Classification et ayant 0,6 à 110 millions de paramètres. Ils sont capables de gérer un large éventail d’environnements audio et, après s’être entraînés sur seulement 64 000 heures d’ensembles de données, ils obtiennent d’excellentes performances en matière de taux d’erreur de mots (WER) sur l’ensemble de données Benchmark, surpassant les modèles précédents. Selon les développeurs, les modèles sont robustes aux segments non vocaux tels que la musique et la sourdine, et surpassent Whisper v3 d’OpenAI dans les tests de référence. Ils offrent également une intégration conviviale dans le projet avec des points de contrôle pré-entraînés.

Récemment, la compagnie d’énergie malaisienne YTL Power a annoncé un partenariat avec NVIDIA pour construire une infrastructure d’IA en Malaisie, la première phase devant être opérationnelle à la mi-2024, comme l’a rapporté DoNews le 11 décembre. Il est entendu que Yang déploiera des GPU NVIDIA H100 Tensor Core dans les centres de données et utilisera le logiciel NVIDIA AI Enterprise pour rationaliser l’IA de production. NVIDIA AI Enterprise inclut NVIDIA NeMo, un framework cloud natif de bout en bout pour la création, la personnalisation et le déploiement de modèles d’IA générative où que vous soyez. L’infrastructure d’IA sera hébergée sur le campus du centre de données YTL Green à Kulai, Johor, une installation de 500 mégawatts développée par YTL. Le Premier ministre malaisien Anwar Ibrahim a déclaré que l’investissement dans les centres de données d’IA s’élevait à 4,29 milliards de dollars américains (environ 30,759 milliards de yuans).

Selon un rapport du Science and Technology Innovation Board Daily du 14 septembre, lors du Global AI Chip Summit 2023, Zhang Ruihua, directrice technique des solutions et de l'architecture de NVIDIA, a présenté le dernier logiciel open source de NVIDIA, TensorRT-LLM. Elle a déclaré que TensorRT-LLM peut essentiellement résoudre résoudre le problème actuel. Les défis incluent le développement rapide de modèles, les mises à jour fréquentes et un grand nombre d'utilisateurs. Le logiciel prend en charge plusieurs nœuds GPU et est simple à programmer. Associé à Triton, il peut réduire les problèmes de latence multi-utilisateurs, exploitant ainsi pleinement le GPU et réduction des coûts. Pour la formation de grands modèles, NVIDIA a également proposé le NeMo Framework, qui est un cadre de formation de bout en bout et natif du cloud pour la construction, la personnalisation et le déploiement de modèles d'IA génératifs, couvrant essentiellement l'ensemble du cycle de vie de la formation de grands modèles. . Afin d'éviter le baragouin des grands modèles, NVIDIA propose également une fonction de garde-corps de sécurité (Guardrails) pour aider les grands modèles à mieux généraliser les connaissances. Zhang Ruihua estime que les modèles d'IA disposent d'un immense espace d'utilisation : à l'avenir, ils n'existeront pas seulement dans les instituts de recherche, mais pourraient devenir des applications sur les téléphones portables ou les ordinateurs de chacun.

Selon un rapport d'IT House du 27 juin, Nvidia a annoncé hier avoir formé un partenariat stratégique avec Snowflake, une société d'analyse de données cloud, pour aider les entreprises clientes de divers secteurs à utiliser leurs propres données pour créer des modèles d'IA. Huang Renxun a déclaré : « L'analyse de données volumineuses comme Snowflake est indissociable du cloud computing. » Nvidia a aidé Snowflake à intégrer la plate-forme NeMo pour la formation et l'exécution de l'IA générative dans le Data Cloud de Snowflake. Le PDG de Snowflake, Frank Slootman, a déclaré que les entreprises qui utilisent Snowflake pour gérer les données peuvent désormais utiliser leurs propres données pour former de nouveaux modèles d'IA sans risquer de perdre le contrôle de leurs propres données. Les deux parties n'ont pas divulgué les détails spécifiques de la coopération, mais Huang Renxun a souligné que Nvidia bénéficiera du processus d'IA. Il a déclaré que Nvidia vendra plus de puces et que le système AI Enterprise de Nvidia aidera les utilisateurs. Selon les rapports, Nvidia a facturé aux clients l'utilisation du logiciel AI Enterprise.

Selon IT House citant le rapport britannique "Financial Times", le logiciel d'intelligence artificielle "NeMo" de Nvidia peut facilement contourner les restrictions de sécurité et peut divulguer la vie privée des utilisateurs. Selon le rapport, NeMo est un logiciel pour les clients d'entreprise qui peut combiner les données des utilisateurs d'entreprise avec de grands modèles de langage pour répondre aux questions des utilisateurs. Ses scénarios d'application incluent le service client et la réponse à des questions médicales simples. Robust, une société californienne de sécurité de l'information, a déclaré dans un rapport que les utilisateurs malveillants peuvent facilement contourner les restrictions de sécurité du système d'IA interne de NeMo. Les chercheurs de Robust ont pu contourner ces limitations du modèle de langage en quelques heures seulement. Jonathan Cohen, vice-président de Nvidia, a déclaré que l'architecture NeMo est uniquement destinée à aider à créer des chatbots qui répondent aux sujets définis par les développeurs, et qu'elle est diffusée aux développeurs sous la forme d'un logiciel open source. Actuellement, ces bogues ont été corrigés. Cohen a refusé de dire combien d'entreprises utilisent l'architecture NeMo, mais a souligné que Nvidia n'avait reçu aucun autre rapport de vulnérabilités.