Em uma iniciativa voltada à comunidade de desenvolvedores de inteligência artificial, a DeepSeek anunciou a abertura do código-fonte de seu sistema de arquivos distribuído 3FS (Fire-Flyer File System).
Projetado especificamente para otimizar fluxos de treinamento e inferência de modelos de IA em larga escala, o 3FS é um filesystem paralelizado de alta performance que roda em espaço de usuário via FUSE, aproveitando discos de estado sólido (SSD NVMe) e redes RDMA de alta velocidade para oferecer taxas de leitura/escrita massivas e latência ultrabaixa.
Segundo a DeepSeek, o 3FS surgiu da necessidade de superar gargalos de I/O encontrados no treinamento de modelos gigantes, como os da família R1.
Ele implementa uma arquitetura disaggregated, ou seja, desacopla o armazenamento do processamento de GPU, mantendo consistência forte dos dados mesmo em clusters com milhares de nós.
Entre as inovações, destacam-se otimizações para leitura aleatória assíncrona em múltiplos nós e um mecanismo de cache sob medida para cargas de IA, evitando as limitações dos sistemas de arquivos tradicionais em cenários de acesso distribuído.
O 3FS foi escrito em grande parte na linguagem Rust e utiliza como backend o banco de dados distribuído FoundationDB da Apple, combinando confiabilidade e desempenho em escala.
A decisão de tornar o 3FS aberto e gratuito (sob licença MIT) foi recebida com entusiasmo por especialistas em computação de alto desempenho.
Ferramentas similares geralmente são proprietárias ou restritas a gigantes da tecnologia.
“A DeepSeek está essencialmente disponibilizando a infraestrutura interna que a ajudou a treinar modelos avançados com eficiência”, comenta um engenheiro de sistemas distribuídos.
Isso pode beneficiar universidades, centros de pesquisa e start-ups que precisam gerenciar conjuntos de dados massivos e treinamento distribuído sem recorrer a soluções caras de mercado.
Analistas observam que a estratégia reforça o posicionamento da DeepSeek como colaboradora do ecossistema open-source de IA.
No fim de 2024, a empresa já havia aberto outros componentes, como bibliotecas de comunicação paralela (hfreduce) e operadores customizados de redes neurais (hfai.nn), sinalizando um esforço para construir uma pilha tecnológica completa e aberta para IA de grande escala.
Essa abordagem contrasta com companhias rivais que mantêm suas otimizações em segredo.
Ao compartilhar o 3FS, a DeepSeek não apenas ganha boa vontade da comunidade de desenvolvedores, mas também estimula possíveis contribuições externas para aprimorar ainda mais o sistema.
Conforme o especialista Michael Larabel noticiou, o código do 3FS já está disponível no GitHub e as primeiras análises indicam ganhos substanciais de desempenho em cenários de treinamento distribuído quando comparado a sistemas convencionais.
