AVX-VNNI

O que você precisa saber

Como funciona

A extensão original AVX-VNNI inclui operações de multiplicação e acumulação de bytes e palavras em vetores de 128 bits ou 256 bits. Por exemplo, VPDPBUSD multiplica bytes sem sinal por bytes com sinal, soma grupos em palavras duplas e acumula no destino. Variantes com saturação têm seu próprio comportamento de estouro. A quantização e o sinal devem corresponder à operação selecionada.

Onde é útil

Uma biblioteca de redes neurais pode usar esses produtos escalares para um kernel de matriz quantizada após empacotar os pesos e selecionar uma implementação de tempo de execução apropriada. Conversão de dados, escalas, pontos zero e movimentação de memória ainda importam. Um produto interno mais rápido não estabelece a precisão do modelo de ponta a ponta nem a latência do aplicativo.

Como verificar o suporte e a ativação

Verifique o estado AVX habilitado, depois o bit 4 de CPUID.07H.01H:EAX para a extensão original AVX-VNNI, após confirmar os intervalos suportados de folhas e subfolhas. Verifique bits separados para variantes posteriores. Confirme se a biblioteca selecionou seu caminho VEX correspondente em vez de um caminho AVX-512.

O programa deve conter uma implementação apropriada e selecioná-la em tempo de execução. Enumeração de hardware, estado de registrador habilitado pelo SO e a linha de base compilada do binário são verificações separadas. Uma máquina virtual pode deliberadamente expor menos recursos do que seu host, e um contêiner não adiciona instruções à CPU host.

O que o recurso não estabelece

O AVX-VNNI não implica AVX-512, AMX, todas as extensões VNNI posteriores ou suporte para todos os tipos inteiros. AVX-VNNI-INT8 e AVX-VNNI-INT16 possuem enumeração de recursos separada e não devem ser deduzidos a partir do bit AVX-VNNI original.

Compatibilidade e desempenho na prática

Meça a carga de trabalho completa com dados representativos. Vetores mais amplos podem reduzir a contagem de instruções, deixando o tráfego de memória, a sincronização ou os custos de conversão inalterados. Latência de instrução, taxa de transferência e comportamento de energia dependem da microarquitetura exata e das condições de operação.

Uma lista de verificação prática de verificação

1. Registre o modelo exato do processador ou da plataforma e as versões envolvidas do aplicativo, SO e runtime. Mantenha o texto exato do erro ou requisito.
2. Consulte a referência do fabricante para esse modelo exato e, em seguida, inspecione a capacidade efetiva e o estado ativado no ambiente em que o programa é executado.
3. Compare cada requisito do binário ou backend selecionado. Um recurso com nome semelhante, alias ou rótulo genérico de tecnologia não é suficiente.
4. Confirme se o aplicativo selecionou a implementação pretendida. Use seus diagnósticos documentados e um fallback suportado quando os requisitos não forem atendidos.
5. Faça uma alteração suportada por vez e repita a mesma carga de trabalho. Mantenha a configuração original e o caminho de recuperação disponíveis.

Se o recurso estiver listado, mas o software não puder usá-lo

Comece pelo componente exato com falha. Um banco de dados de hardware descreve a capacidade registrada; o sistema operacional ou o hipervisor pode expor um ambiente efetivo diferente. Um erro de instrução ilegal também precisa de investigação da instrução falha real e da compilação do binário, porque corrupção ou uma instrução não suportada não relacionada pode produzir um sintoma semelhante.

Instale a versão do aplicativo, driver ou runtime suportada para a plataforma exata e use a compilação de linha de base ou fallback documentada do fornecedor, se necessário. Uma atualização de software não pode criar uma instrução que o processador não possui. As alterações de firmware e de política de segurança devem seguir o procedimento do fabricante do sistema e um plano de recuperação em vez de uma receita genérica de otimização.

Recursos relacionados e distinções úteis

AVX2 · Deep Learning Boost · AMX, Advanced Matrix Extensions · Unidade de Processamento Neural (NPU)

Fontes e escopo desta explicação

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: using XSTATE features in user space

Essas referências estabelecem o comportamento arquitetural e os requisitos de software. Elas não verificam de forma independente cada valor de recurso em uma página de modelo de hardware vinculada. Para obter suporte a modelos, use a evidência do fabricante dessa página e verifique a configuração efetiva do sistema. Este artigo não fornece um benchmark, certificação ou data de análise independente.

Relacionados

Estas entidades conectam-se a este artigo. O tipo é indicado em cada link.

Fontes e verificação

Propriedade editorial: Feex. Nenhuma data de revisão independente foi registrada. Como pesquisamos.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Os Volumes 1 e 2 descrevem as famílias de instruções nomeadas e CPUID; o Volume 3 descreve estado, paginação, VMX e controles de proteção. A documentação de arquitetura não estabelece o suporte para um modelo específico.
• Linux kernel: using XSTATE features in user space · Estado vetorial habilitado pelo SO, estado de bloco habilitado dinamicamente, requisitos de pilha de sinais e fluxo de permissão de AMX. O comportamento específico do Linux não é uma promessa sobre outro SO.