Rejeição 323: CNPJ autorizado para download inválido (NF-e)
Falha
Essa rejeição ocorre quando o CNPJ autorizado para download está inválido.

Solução
Verificar caso informado autorização download XML com CNPJ:
CNPJ com zeros ou dígito inválido.
Outras informações
Fonte: ------> Anexo I - Leiaute e Regra de Validação - NF-e e NFC-e