De acordo com o monitoramento 1M AI News, a empresa Fireworks AI, especializada em infraestrutura de output de IA, lançou uma pré-visualização do Fireworks Training, expandindo-se de uma plataforma de output pura para uma plataforma integrada de treino e implantação. A Fireworks AI foi fundada por Lin Qiao, ex-engenheiro da Meta envolvido na criação do PyTorch, e atualmente avaliada em 4 bilhões de dólares, processando 15 trilhões de tokens diariamente. A plataforma oferece três níveis: 1. Agente de treino: destinado a equipas de produto sem infraestrutura de aprendizagem de máquina, permitindo-lhes descrever tarefas e carregar dados para completar todo o processo desde o treino até à implantação, atualmente suportando apenas LoRA; 2. Treino gerido: direcionado a engenheiros de aprendizagem de máquina, suporta SFT, DPO e fine-tuning com reforço, incluindo treino completo de parâmetros; 3. API de treino: orientada a equipas de investigação, permitindo ajustar funções de perda e ciclos de treino, suportando algoritmos como GRPO e DAPO, com escalas completas de treino de parâmetros desde Qwen3 8B de um nó até Kimi K2.5 (trilhões de parâmetros) em 64 NVIDIA B200. Clientes da Fireworks AI para output de produção, ferramentas de programação de IA Cursor, Vercel e Genspark concluíram treino avançado com reforço nesta plataforma. A Vercel treinou um modelo de correção automática de erros para o seu produto de geração de código v0, atingindo 93% de geração de código sem erros, em comparação com apenas 62% do Sonnet 3.5, e melhorou a latência de ponta a ponta em 40 vezes em relação ao modelo fechado anteriormente utilizado. A Genspark fez fine-tuning de um modelo aberto de trilhões de parâmetros Kimi K2 usando treino com reforço para criar um agente de investigação profundo, aumentando o uso da ferramenta em 33% e reduzindo custos em 50%. A Cursor concluiu treino distribuído com reforço para o Composer 2 em 3-4 clusters ao redor do mundo (atualmente liderando o CursorBench), compartilhando o mesmo pool de GPU para treino e output de produção. A Fireworks AI destaca sua principal vantagem tecnológica na consistência numérica entre treino e output. Os modelos MoE (Grupo misto de especialistas) são numericamente mais frágeis do que modelos densos, onde pequenas alterações nos estados ocultos podem alterar a roteirização dos especialistas e amplificar efeitos cascata. A Fireworks publicou valores de divergência KL entre treino e output para todos os modelos suportados, todos abaixo de 0.01.

Ver original
post-image
post-image
post-image
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 1
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
KatyPatyvip
· 4h atrás
Para a Lua 🌕
Ver originalResponder0
  • Fixar