DeepSeek V3: arquitetura MoE, pesos e uso local

DeepSeek V3 é a grafia comum do DeepSeek-V3, modelo de linguagem Mixture-of-Experts apresentado pela DeepSeek em dezembro de 2024. Ele ampliou as ideias de MLA e DeepSeekMoE usadas no V2 e acrescentou técnicas de balanceamento de carga, Multi-Token Prediction e treinamento de precisão mista FP8.

O checkpoint principal foi documentado com 671 bilhões de parâmetros, dos quais 37 bilhões são ativados por token, e janela de contexto de 128 mil tokens. A escala total explica por que “MoE eficiente” não significa “modelo leve”: embora apenas parte da rede processe cada token, armazenar e servir todos os pesos exige infraestrutura distribuída.

Característica	DeepSeek-V3 documentado
Arquitetura	Transformer MoE com MLA e DeepSeekMoE
Parâmetros principais	671B totais / 37B ativados por token
Contexto	128K tokens
Pré-treinamento reportado	14,8 trilhões de tokens
Objetivo adicional	Multi-Token Prediction (MTP)
Precisão de treinamento	Estrutura de precisão mista FP8
Status operacional	Pesos publicados para implantação própria; não é um ID da API hospedada

O que é DeepSeek V3?

O DeepSeek-V3 é uma família de checkpoints de linguagem geral. O modelo base representa o resultado do pré-treinamento; o checkpoint pós-treinado foi preparado para seguir instruções, conversar e executar tarefas gerais. Os artefatos incluem pesos, código de referência, configurações e um relatório técnico.

O relatório técnico do DeepSeek-V3 informa pré-treinamento em 14,8 trilhões de tokens, seguido de Supervised Fine-Tuning e Reinforcement Learning. A composição integral do corpus não foi publicada, portanto os pesos disponíveis não permitem reconstruir nem auditar todos os dados de treinamento.

Também é importante separar checkpoint e produto. O nome DeepSeek-V3 descreve o modelo publicado em 2024. Uma interface de chat, uma integração de terceiros e a API hospedada têm versões, políticas, recursos e retenção de dados próprios.

Como funciona a arquitetura Mixture-of-Experts?

Em vez de usar toda a capacidade da rede em cada token, o DeepSeek-V3 possui especialistas roteados. Um mecanismo de seleção direciona cada token a uma parte deles, enquanto especialistas compartilhados ajudam a representar conhecimento comum. A ativação esparsa reduz computação por token em relação a um modelo denso com o mesmo total de parâmetros.

Os 671B são a capacidade do modelo principal inteiro; os 37B indicam a parcela ativada durante o processamento de um token. Isso não significa que apenas 37B precisem ser armazenados. A infraestrutura ainda precisa acomodar os pesos e disponibilizar os especialistas corretos com baixa latência.

Em múltiplas GPUs ou nós, o roteamento também gera comunicação. Uma implantação mal distribuída pode perder em transferência de dados o ganho obtido com computação esparsa. Por isso, paralelismo de especialistas, largura de banda entre dispositivos, lote e comprimento do contexto influenciam o desempenho real.

MLA: atenção com cache mais compacto

A Multi-head Latent Attention comprime as representações de keys e values usadas pela atenção. Em geração autoregressiva, essas representações são mantidas no KV cache para que o modelo não recalcule todo o histórico a cada novo token. Com sequências longas, o cache pode ocupar uma parcela significativa da memória.

A MLA projeta keys e values para uma representação latente menor e recupera as informações necessárias durante a atenção. Ela não elimina o custo de contexto longo, mas reduz um gargalo importante. O V3 manteve essa arquitetura depois de sua validação no DeepSeek-V2.

Componente	Função	Efeito esperado
MLA	Comprime representações do KV cache	Menor pressão de memória durante geração
DeepSeekMoE	Roteia tokens para especialistas	Grande capacidade com ativação esparsa
Balanceamento sem perda auxiliar principal	Ajusta o roteamento para evitar sobrecarga	Distribuição mais uniforme com menor interferência no objetivo do modelo
MTP	Treina previsões de tokens futuros adicionais	Sinal de treinamento mais denso e possibilidade de decodificação especulativa
FP8 misto	Usa FP8 em operações selecionadas, preservando maior precisão onde necessário	Treinamento mais eficiente em hardware compatível

Balanceamento de carga sem perda auxiliar principal

Um roteador MoE pode favorecer alguns especialistas e deixar outros subutilizados. Abordagens tradicionais adicionam uma perda auxiliar para forçar distribuição mais uniforme, mas uma pressão alta pode prejudicar as escolhas que melhor representam cada token.

No V3, a DeepSeek descreveu uma estratégia em que termos de viés ajustáveis influenciam a seleção dos especialistas conforme a carga observada, sem acrescentar a perda auxiliar principal ao objetivo de otimização. O relatório ainda menciona uma perda complementar em nível de sequência; portanto, “auxiliary-loss-free” não deve ser interpretado como ausência absoluta de qualquer mecanismo auxiliar.

Essa distinção importa porque balancear hardware e preservar a especialização são objetivos diferentes. O método tenta impedir congestionamentos sem dominar o aprendizado do roteador.

O que é Multi-Token Prediction?

Modelos autoregressivos normalmente aprendem a prever o próximo token. O Multi-Token Prediction adiciona módulos que treinam previsões de tokens futuros adicionais em cada posição. Isso fornece mais sinais de aprendizado para a mesma sequência.

O MTP também pode apoiar decodificação especulativa: previsões auxiliares propõem tokens, e o modelo principal verifica quais podem ser aceitos. O ganho efetivo depende do runtime e da taxa de aceitação. A existência dos pesos MTP não garante aceleração automática em todo servidor.

O pacote publicado no Hugging Face é descrito com 685B parâmetros porque inclui 671B do modelo principal e 14B dos módulos MTP. Quando uma ficha mostra 671B e outra referência menciona 685B, elas estão contando componentes diferentes do mesmo conjunto de artefatos.

FP8 e eficiência de treinamento

O DeepSeek-V3 foi treinado com uma estrutura de precisão mista que usa FP8 em operações selecionadas e mantém maior precisão em componentes sensíveis, acumulações e comunicação. FP8 reduz memória e pode aumentar throughput em hardware compatível, mas exige controle de escala e estabilidade numérica.

A DeepSeek reportou 2,664 milhões de horas de GPU H800 para o pré-treinamento e aproximadamente 2,788 milhões para o processo completo. Esses números são medições declaradas pelos desenvolvedores, não uma estimativa universal de custo. Preço de energia, aluguel, rede, engenharia, falhas e utilização variam entre ambientes.

O relatório também descreve otimizações de treinamento distribuído, incluindo sobreposição de computação e comunicação. Elas explicam parte da eficiência reportada, mas não são reproduzidas apenas baixando os pesos.

Checkpoints publicados

Checkpoint	Parâmetros principais	Contexto	Uso mais adequado
DeepSeek-V3-Base	671B totais / 37B ativos	128K	Pesquisa, avaliação de modelo base e ajustes posteriores
DeepSeek-V3	671B totais / 37B ativos	128K	Conversação, seguimento de instruções e avaliação prática

Os pesos oficiais do DeepSeek-V3 foram publicados em FP8. O repositório fornece ferramentas de conversão para BF16 e um demo de inferência distribuída. Conversão de formato aumenta armazenamento e memória; não reduz o tamanho lógico do modelo.

Checkpoints posteriores, como V3-0324, V3.1 e V3.2, são versões distintas e não devem ser tratados como nomes alternativos do checkpoint original. Esta página preserva a intenção histórica e arquitetural do V3; para escolher um modelo hospedado ou entender a família inteira, consulte a página de modelos DeepSeek.

Capacidades e como interpretar os benchmarks

O V3 foi avaliado em conhecimento, raciocínio, matemática, código, chinês, inglês e geração aberta. O relatório inclui MMLU, MMLU-Pro, BBH, DROP, C-Eval, CMMLU, HumanEval, MBPP, LiveCodeBench, GSM8K, MATH-500, Arena-Hard e AlpacaEval 2.0, entre outros.

• Compare apenas resultados com a mesma versão, prompt, número de exemplos, limite de saída e métrica.
• Não transforme um resultado em inglês ou chinês em evidência automática de qualidade em português.
• Benchmarks de código medem conjuntos específicos; execute testes, linters e revisão de segurança no código gerado.
• Contexto de 128K é uma capacidade de entrada, não uma garantia de recuperação perfeita ao longo de toda a janela.
• Resultados publicados pelos próprios desenvolvedores devem ser reproduzidos quando a decisão de infraestrutura depender deles.

Para uso real, construa um conjunto de avaliação com documentos e tarefas do projeto. Meça factualidade, aderência a instruções, taxa de JSON válido quando aplicável, qualidade de código, latência, tokens por segundo e falhas sob carga.

Como planejar a implantação local

O DeepSeek-V3 completo não é um modelo para notebook ou GPU doméstica comum. O repositório oficial do DeepSeek-V3 apresenta um demo de referência em Linux, com execução distribuída em dois nós e 16 processos. Também relaciona runtimes comunitários capazes de trabalhar com FP8 ou BF16, mas suporte, desempenho e requisitos variam por versão.

Decisão	Perguntas obrigatórias
Formato	FP8 nativo ou conversão BF16? O hardware acelera o formato escolhido?
Paralelismo	Quantas GPUs e nós? Qual a largura de banda entre eles?
Contexto	Qual janela será realmente servida e quanto KV cache será reservado?
Runtime	A versão escolhida suporta a arquitetura, o formato dos pesos e MTP?
Capacidade	Qual latência, throughput e concorrência são aceitáveis?
Segurança	Como serão tratados acesso, isolamento, segredos, logs e dados de entrada?
Reprodutibilidade	Os pesos, o código e as dependências estão fixados por hash ou versão imutável?

Não copie comandos antigos de instalação sem conferir o repositório. Dependências de CUDA, PyTorch, Triton e servidores de inferência mudam, e uma combinação incompatível pode falhar ou produzir desempenho ruim. Fixe versões, valide hashes dos pesos, teste primeiro em ambiente isolado e registre todas as modificações.

Quantizações não oficiais podem tornar o armazenamento mais viável, mas adicionam outra cadeia de confiança e podem alterar qualidade. Verifique a origem, o checkpoint de base, o método, a calibração e os hashes. Não apresente uma quantização de terceiros como se fosse um peso publicado pela DeepSeek.

DeepSeek V3 vs V2, R1 e V4

Linha	O que representa	Relação com o V3
DeepSeek-V2	Modelo MoE de 236B / 21B com MLA e DeepSeekMoE	Base arquitetural anterior na qual essas técnicas foram validadas
DeepSeek-V3	Modelo MoE de 671B / 37B, 128K, MTP e treinamento FP8	Objeto desta página: checkpoint e relatório do fim de 2024
DeepSeek-R1	Linha voltada a treinamento de raciocínio sobre a arquitetura V3	Compartilha a base técnica, mas tem objetivo e pós-treinamento diferentes
DeepSeek-V4	Família posterior usada nos IDs hospedados documentados em 2026	É a referência operacional para novas integrações de API, não outro nome do V3

Para detalhes da geração anterior, consulte DeepSeek V2. Para recursos e IDs de integração, consulte DeepSeek V4. Essa separação evita misturar características de um checkpoint histórico com as de um serviço hospedado posterior.

Licença dos artefatos

O código do repositório usa licença MIT. Os pesos Base e Chat seguem a licença de modelo do DeepSeek-V3, e o repositório declara suporte a uso comercial dentro desses termos. Isso não significa que código, pesos, runtimes e quantizações compartilhem uma única licença.

Leia os termos antes de redistribuir pesos, oferecer um endpoint, publicar uma derivação ou empacotar uma quantização. Registre a revisão do checkpoint e as licenças de todas as dependências. Para projetos comerciais ou regulados, a revisão jurídica deve considerar também dados de entrada, conteúdo gerado e obrigações locais.

Limitações e uso responsável

• O modelo pode gerar fatos, referências, cálculos ou código incorretos com linguagem convincente.
• Uma janela longa não garante que todas as instruções ou evidências sejam lembradas com a mesma precisão.
• Implantação local reduz a dependência de uma API externa, mas a privacidade ainda depende de logs, plugins, rede, autenticação, armazenamento e equipe operacional.
• Saídas em saúde, jurídico, finanças, segurança ou engenharia exigem revisão por profissionais qualificados.
• Prompts e documentos confidenciais devem seguir classificação, minimização e controle de acesso definidos pela organização.

Perguntas frequentes sobre o DeepSeek V3

DeepSeek V3 está disponível como ID na API?

Não. Em 19 de julho de 2026, os IDs documentados para novas integrações são deepseek-v4-flash e deepseek-v4-pro. V3 é tratado aqui como um checkpoint com pesos publicados.

O DeepSeek V3 tem 671B ou 685B parâmetros?

O modelo principal tem 671B. O pacote descrito no Hugging Face totaliza 685B quando se somam 14B dos módulos Multi-Token Prediction.

Quantos parâmetros são usados por token?

A documentação informa 37B parâmetros ativados por token. Todos os 671B do modelo principal ainda precisam estar disponíveis na implantação.

DeepSeek V3 é igual ao DeepSeek R1?

Não. R1 usa a arquitetura V3 como base, mas recebeu treinamento específico para raciocínio. Os checkpoints, o comportamento e a finalidade não são idênticos.

É possível executar o DeepSeek V3 em uma única GPU?

Não o checkpoint completo publicado em FP8 ou BF16 em uma GPU comum. O demo oficial de referência usa execução distribuída. Quantizações de terceiros podem reduzir requisitos, mas alteram precisão, desempenho e cadeia de confiança.

Os pesos permitem uso comercial?

O repositório declara suporte a uso comercial para a série V3, sujeito à licença de modelo. Verifique os termos e as demais licenças do sistema antes de distribuir ou oferecer um serviço.

Conclusão

O DeepSeek-V3 ampliou a linha MoE da DeepSeek com 671B parâmetros principais, 37B ativados por token, contexto de 128K, MLA, balanceamento de carga, MTP e treinamento de precisão mista FP8. Seu valor está no estudo da arquitetura, na pesquisa com pesos publicados e em implantações próprias com infraestrutura avançada.

Para usar o modelo com responsabilidade, diferencie checkpoint, runtime e serviço hospedado; fixe versões; revise licenças; meça qualidade em português; e valide todas as saídas relevantes. O nome V3 não deve ser usado como ID da API nem como atalho para características dos modelos V4.

Conteúdo independente, sem afiliação com a DeepSeek. Informações técnicas verificadas em fontes primárias em 19 de julho de 2026.