AMX, Advanced Matrix Extensions

O que você precisa saber

Como funciona

O AMX usa registradores de bloco bidimensionais configurados em vez de vetores YMM/ZMM comuns. A configuração de blocos descreve as formas ativas, enquanto extensões aritméticas como AMX-INT8 ou AMX-BF16 definem operações de matriz e formatos numéricos específicos. O software empacota dados e escolhe formas válidas sob os limites enumerados da paleta.

Onde é útil

Uma biblioteca de matrizes pode converter um kernel suportado em cargas de blocos, operações de produto escalar e armazenamentos de blocos. O custo de empacotamento, dimensões de matriz e localidade de cache podem dominar cargas de trabalho pequenas ou irregulares. O hardware de blocos não torna todo operador de rede neural elegível para aceleração.

Como verificar o suporte e a ativação

Verifique AMX-TILE e cada extensão aritmética necessária na folha 7 de CPUID, enumere os limites de bloco e confirme o estado habilitado pelo SO. No Linux, os aplicativos que usam dados dinâmicos de bloco devem seguir o fluxo documentado de ARCH_REQ_XCOMP_PERM; o suporte e os bits de XCR0 sozinhos não são suficientes.

A disponibilidade de hardware é apenas o primeiro passo. O driver, o runtime, o provedor de execução, os operadores suportados e o formato numérico devem corresponder ao aplicativo. Inspecione a seleção real de backend e o fallback em vez de presumir que um rótulo de IA significa que todo modelo é acelerado.

O que o recurso não estabelece

AMX não significa AVX-512, uma NPU geral ou todos os formatos aritméticos de AMX. Um bit de CPU sozinho não estabelece permissão de processo ou estado suficiente de pilha de sinais. Formas de bloco não suportadas ou falta de permissão do SO podem gerar falhas mesmo em uma máquina com capacidade para AMX.

Compatibilidade e desempenho na prática

Compare cargas de trabalho completas sob condições declaradas, incluindo compilação, transferências e operadores não suportados. As operações de pico por segundo dependem de suposições de precisão e de contagem. Elas não substituem latência, taxa de transferência, energia ou precisão do modelo medidas.

Uma lista de verificação prática de verificação

1. Registre o modelo exato do processador ou da plataforma e as versões envolvidas do aplicativo, SO e runtime. Mantenha o texto exato do erro ou requisito.
2. Consulte a referência do fabricante para esse modelo exato e, em seguida, inspecione a capacidade efetiva e o estado ativado no ambiente em que o programa é executado.
3. Compare cada requisito do binário ou backend selecionado. Um recurso com nome semelhante, alias ou rótulo genérico de tecnologia não é suficiente.
4. Confirme se o aplicativo selecionou a implementação pretendida. Use seus diagnósticos documentados e um fallback suportado quando os requisitos não forem atendidos.
5. Faça uma alteração suportada por vez e repita a mesma carga de trabalho. Mantenha a configuração original e o caminho de recuperação disponíveis.

Se o recurso estiver listado, mas o software não puder usá-lo

Comece pelo componente exato com falha. Um banco de dados de hardware descreve a capacidade registrada; o sistema operacional ou o hipervisor pode expor um ambiente efetivo diferente. Um erro de instrução ilegal também precisa de investigação da instrução falha real e da compilação do binário, porque corrupção ou uma instrução não suportada não relacionada pode produzir um sintoma semelhante.

Instale a versão do aplicativo, driver ou runtime suportada para a plataforma exata e use a compilação de linha de base ou fallback documentada do fornecedor, se necessário. Uma atualização de software não pode criar uma instrução que o processador não possui. As alterações de firmware e de política de segurança devem seguir o procedimento do fabricante do sistema e um plano de recuperação em vez de uma receita genérica de otimização.

Recursos relacionados e distinções úteis

AVX-VNNI · Deep Learning Boost · Unidade de Processamento Neural (NPU) · XSAVE

Fontes e escopo desta explicação

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: using XSTATE features in user space

Essas referências estabelecem o comportamento arquitetural e os requisitos de software. Elas não verificam de forma independente cada valor de recurso em uma página de modelo de hardware vinculada. Para obter suporte a modelos, use a evidência do fabricante dessa página e verifique a configuração efetiva do sistema. Este artigo não fornece um benchmark, certificação ou data de análise independente.

Relacionados

Estas entidades conectam-se a este artigo. O tipo é indicado em cada link.

Fontes e verificação

Propriedade editorial: Feex. Nenhuma data de revisão independente foi registrada. Como pesquisamos.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Os Volumes 1 e 2 descrevem as famílias de instruções nomeadas e CPUID; o Volume 3 descreve estado, paginação, VMX e controles de proteção. A documentação de arquitetura não estabelece o suporte para um modelo específico.
• Linux kernel: using XSTATE features in user space · Estado vetorial habilitado pelo SO, estado de bloco habilitado dinamicamente, requisitos de pilha de sinais e fluxo de permissão de AMX. O comportamento específico do Linux não é uma promessa sobre outro SO.