金十数据5月21日讯，继HBM之后，三星电子今年的首要任务是在半导体代工方面获得英伟达的订单。据业内人士透露，三星电子半导体代工部门（DS）已在内部将“赢得英伟达3nm产品订单”作为今年的首要任务。“各部门正在全力以赴，通知集合英语流利的员工，与‘Nemo’接单相关的工作将优先于现有工作。”Nemo是三星电子内部的客户代号，用于指代英伟达。 （韩国FNNews）

NVIDIA NeMo, un kit de herramientas de IA conversacional de código abierto, anunció la familia de modelos Parakeet ASR, una serie de modelos de reconocimiento automático de voz (ASR) de última generación capaces de transcribir el inglés hablado con una precisión excepcional, según informó Webmaster Home el 8 de enero. Nvidia anunció cuatro modelos de Parakeet que se basan en el decodificador RNN Transducer/Connectionist Temporal Classification y tienen entre 0,6 y 110 millones de parámetros. Son capaces de manejar una amplia gama de entornos de audio y, después de entrenar con solo 64.000 horas de conjuntos de datos, logran un excelente rendimiento de la tasa de error de palabras (WER) en el conjunto de datos de Benchmark, superando a los modelos anteriores. Según los desarrolladores, los modelos son robustos para segmentos que no son de voz, como la música y el silencio, y superan al Whisper v3 de OpenAI en las pruebas de referencia. También proporcionan una integración fácil de usar en el proyecto con puntos de control previamente entrenados.

Recientemente, la empresa energética malaya YTL Power anunció una asociación con NVIDIA para construir una infraestructura de IA en Malasia, y se espera que la primera fase esté operativa a mediados de 2024, según informó DoNews el 11 de diciembre. Se entiende que Yang implementará las GPU NVIDIA H100 Tensor Core en los centros de datos y utilizará el software NVIDIA AI Enterprise para optimizar la IA de producción. NVIDIA AI Enterprise incluye NVIDIA NeMo, un marco integral nativo de la nube para crear, personalizar e implementar modelos de IA generativa desde cualquier lugar. La infraestructura de IA se alojará en el YTL Green Data Centre Campus en Kulai, Johor, una instalación de 500 megavatios desarrollada por YTL. El primer ministro de Malasia, Anwar Ibrahim, dijo que la inversión en centros de datos de IA tiene un valor de 4.290 millones de dólares estadounidenses (unos 30.759 millones de yuanes).

Según un informe del Science and Technology Innovation Board Daily del 14 de septiembre, en la Cumbre Mundial de Chips de IA de 2023, el Director Técnico de Arquitectura y Soluciones de NVIDIA, Zhang Ruihua, presentó el último software de código abierto de NVIDIA, TensorRT-LLM, y dijo que TensorRT-LLM básicamente puede resolver El problema actual. Los desafíos incluyen el desarrollo rápido de modelos, actualizaciones frecuentes y una gran cantidad de usuarios. El software admite múltiples nodos de GPU y es fácil de programar. Combinado con Triton, puede reducir los problemas de latencia multiusuario, aprovechando así al máximo el GPU y reducción de costes. Para el entrenamiento de modelos grandes, NVIDIA también propuso NeMo Framework, que es un marco de entrenamiento nativo de la nube y de extremo a extremo para construir, personalizar e implementar modelos de IA generativos, que básicamente cubre todo el ciclo de vida del entrenamiento de modelos grandes. . Para evitar que los modelos grandes farfullen, NVIDIA también proporciona una función de barandilla de seguridad (Guardrails) para ayudar a los modelos grandes a generalizar mejor el conocimiento. Zhang Ruihua cree que los modelos de IA tienen un enorme espacio de uso y que en el futuro no sólo existirán en los institutos de investigación, sino que también podrán convertirse en aplicaciones en los teléfonos móviles o ordenadores de todo el mundo.

Según un informe de IT House del 27 de junio, Nvidia anunció ayer que formó una asociación estratégica con Snowflake, una compañía de análisis de datos en la nube, para ayudar a los clientes empresariales en varias industrias a usar sus propios datos para construir modelos de IA. Huang Renxun dijo: "El análisis de big data como Snowflake es inseparable de la computación en la nube". Nvidia ayudó a Snowflake a integrar la plataforma NeMo para entrenar y ejecutar IA generativa en la nube de datos de Snowflake. El CEO de Snowflake, Frank Slootman, dijo que las empresas que usan Snowflake para administrar datos ahora pueden usar sus propios datos para entrenar nuevos modelos de IA sin correr el riesgo de perder el control de sus propios datos. Las dos partes no revelaron los detalles específicos de la cooperación, pero Huang Renxun señaló que Nvidia se beneficiará del proceso de IA. Dijo que Nvidia venderá más chips y que el sistema AI Enterprise de Nvidia ayudará a los usuarios. Según los informes, Nvidia ha cobrado a los clientes por usar el software AI Enterprise.

Según IT House citando el informe británico "Financial Times", el software de inteligencia artificial "NeMo" de Nvidia puede eludir fácilmente las restricciones de seguridad y puede filtrar la privacidad del usuario. Según el informe, NeMo es un software para clientes empresariales que puede combinar datos de usuarios empresariales con grandes modelos de lenguaje para responder a las preguntas de los usuarios. Sus escenarios de aplicación incluyen atención al cliente y respuesta a preguntas médicas simples. Robust, una empresa de seguridad de la información de California, dijo en un informe que los usuarios malintencionados pueden eludir fácilmente las restricciones de seguridad del sistema interno de inteligencia artificial de NeMo. Los investigadores de Robust pudieron solucionar estas limitaciones del modelo de lenguaje en solo unas pocas horas. Jonathan Cohen, vicepresidente de Nvidia, dijo que la arquitectura NeMo es solo para ayudar a crear chatbots que cumplan con los temas definidos por los desarrolladores, y se lanza a los desarrolladores en forma de software de código abierto. Actualmente, estos errores han sido corregidos. Cohen se negó a decir cuántas empresas usan la arquitectura NeMo, pero enfatizó que Nvidia no ha recibido otros informes de vulnerabilidades.