A Busca de Arquiteturas Neurais (NAS) trata o projeto de redes como um problema de otimização: testar candidatas, treiná-las, ficar com a melhor e recomeçar na próxima tarefa. A Geração de Arquiteturas Neurais (NAG) treina, em vez disso, um modelo generativo que aprendeu como são as boas arquiteturas e amostra novas sob demanda. As seções abaixo explicam a diferença com pequenos experimentos que rodam no seu navegador. Abra qualquer seção para lê-la.
Muitos dos resultados marcantes do deep learning vieram de uma arquitetura nova, e não de mais dados ou de um otimizador novo.
Redes convolucionais profundas venceram o ImageNet (Krizhevsky et al., 2017), conexões residuais tornaram treináveis redes muito profundas (He et al., 2016) e a atenção substituiu a recorrência em modelos de sequência (Vaswani et al., 2017). Cada uma delas foi projetada à mão, escolhendo tipos de camada, sua ordem, como se conectam e muitos hiperparâmetros.
O espaço de projeto definido por essas escolhas é enorme e muito estruturado, e explorá-lo por tentativa e erro é lento (Bergstra et al., 2013). À medida que os modelos cresceram, o projeto manual virou um gargalo para escala, reprodutibilidade e reaproveitamento entre tarefas. O passo natural foi deixar um algoritmo explorar.
Esse algoritmo tomou duas formas. A primeira, a busca, procura a melhor arquitetura para uma tarefa. A segunda, a geração, aprende um modelo de boas arquiteturas que pode ser reutilizado.
A Busca de Arquiteturas Neurais formula o projeto como um problema de otimização discreta sobre um espaço de candidatas definido de antemão por pessoas (Elsken et al., 2019).
Escrito por extenso, o NAS resolve um problema em dois níveis. O nível externo procura a arquitetura \(A\) do espaço de busca \(\mathcal{S}\) com a maior recompensa \(R\). O nível interno treina os pesos \(w\) de cada candidata:
\[ A^* = \arg\max_{A \in \mathcal{S}} R\big(A, w^*(A)\big), \qquad w^*(A) = \arg\min_{w} \mathcal{L}_{\text{train}}(w, A). \]Cada avaliação de \(R\) esconde um treino completo, e por isso os primeiros NAS custavam milhares de GPU-dias (Real et al., 2017). Compartilhamento de pesos (Pham et al., 2018), treino de baixa fidelidade (Li et al., 2018) e extrapolação de curvas de aprendizado (Domhan et al., 2015) baratearam cada avaliação, mas a avaliação continua com o mesmo papel: uma nota externa que decide quais candidatas sobrevivem.
Todas as demonstrações desta página usam a mesma célula pequena, no estilo do NAS-Bench-201 (Dong & Yang, 2020). Ela tem quatro nós, e cada uma de suas seis arestas leva uma de cinco operações: nenhuma, conexão direta (skip), convolução 1×1, convolução 3×3 ou pooling médio. São 56 = 15.625 células, poucas o bastante para o navegador pontuar todas. É assim que as demonstrações conseguem mostrar respostas exatas.
Acurácia das 15.625 células na tarefa escolhida. O marcador indica a célula ao lado.
As acurácias vêm de uma função sintética definida à mão, não de dados do NAS-Bench-201. Ela favorece convoluções, profundidade acompanhada de uma conexão direta em paralelo e mais capacidade em tarefas difíceis, e soma um pequeno "ruído" determinístico. A página a usa para ilustrar ideias, não para ranquear métodos.
À medida que a área amadureceu, os custos dessa formulação ficaram mais claros (White et al., 2023):
Esses limites levaram alguns autores a perguntar se o NAS é automação completa ou otimização dentro de fronteiras impostas por pessoas (Baymurzina et al., 2022).
A Geração de Arquiteturas Neurais trata arquiteturas como amostras de uma distribuição de probabilidade aprendida \(p_\theta(A)\), e treina um modelo generativo para concentrar a maior parte da probabilidade em bons projetos.
Em vez de um \(\arg\max\), o alvo passa a ser uma distribuição que favorece recompensa alta. Uma escolha conveniente pesa cada arquitetura exponencialmente pela sua recompensa (Soin et al., 2025):
\[ p^*(A) \propto \exp\big(\beta\, R(A)\big). \]O parâmetro de temperatura \(\beta \ge 0\) controla o quanto a distribuição é seletiva. Com \(\beta = 0\), todas as arquiteturas são igualmente prováveis. Quando \(\beta \to \infty\), toda a massa colapsa na melhor arquitetura, e amostrar de \(p^*\) devolve exatamente a resposta do NAS, \(A^*\). Nesse sentido, o NAS é o limite de temperatura zero da NAG.
Um gerador é então treinado para aproximar esse alvo, \(\min_\theta D\big(p_\theta \,\|\, p^*\big)\) para alguma divergência \(D\). Depois de treinado, ele pode ser condicionado a uma descrição do conjunto de dados \(D\) ou a restrições \(C\), como um orçamento de latência, e amostrar arquiteturas de \(p_\theta(A \mid D, C)\) (Lee et al., 2021) (Lomurno et al., 2024).
Esta demonstração calcula o \(p^*(A)\) exato sobre as 15.625 células enquanto você move o controle.
Massa de probabilidade de \(p^*\) em cada faixa de acurácia (faixas de 0,5 ponto). O marcador tracejado é a melhor célula, \(A^*\).
| Acurácia esperada | |
|---|---|
| Probabilidade de sortear a melhor célula | |
| Número efetivo de arquiteturas (exponencial da entropia) |
Manter uma distribuição em vez de um ponto não é só mais geral. Torna diversidade, incerteza e compromissos visíveis e controláveis, e é o que permite reutilizar o modelo aprendido, como mostra a próxima seção.
Uma busca paga o custo inteiro a cada tarefa nova. Um gerador paga um custo alto uma única vez, no treino, e depois produz arquiteturas para tarefas novas só com inferência.
Isso é inferência amortizada. A exploração cara de pares arquitetura–desempenho é feita uma vez, em muitas tarefas de treino, e fica guardada nos pesos de um modelo compartilhado \(p_\theta(A \mid D)\). Dado o descritor de um conjunto de dados novo, o modelo propõe arquiteturas em uma passada direta (Lee et al., 2021) (Hemmi et al., 2024). A mesma ideia está por trás das abordagens de implantação do tipo "treine uma vez, especialize muitas" (Cai et al., 2020).
As tarefas de brinquedo são descritas por dois números, dificuldade e resolução da entrada, e a melhor arquitetura muda com eles. Quando esta seção abre, um pequeno gerador condicional é treinado em 16 tarefas de treino, com as avaliações de uma busca evolutiva de 300 passos por tarefa, pesadas como em \(p^* \propto \exp(\beta R)\). Depois, escolha qualquer tarefa nova e compare.
O gerador é treinado quando esta seção abre.
Um método de NAG pode ser lido em três eixos interdependentes: como as arquiteturas são representadas, que mecanismo as produz e o que orienta o gerador para as boas.
Arquiteturas são grafos, em geral grafos acíclicos direcionados de operações. Um gerador precisa de um espaço onde modelá-los. As opções incluem:
Diferente de um espaço de busca, que só lista o que é permitido, um espaço de representação modela como as arquiteturas se relacionam. Se essas representações ajudam mesmo sem supervisão é uma questão à parte (Yan et al., 2020).
Quase todas as famílias de modelos generativos já foram aplicadas a arquiteturas. As quatro minidemonstrações abaixo ilustram as ideias principais no espaço de brinquedo. Cada uma é uma ilustração do princípio, não uma reimplementação dos métodos citados.
Métodos como o NAO (Luo et al., 2019) embutem as arquiteturas num espaço contínuo, treinam nele um preditor de acurácia, sobem pelo gradiente do preditor e decodificam o resultado. Aqui, o eixo horizontal do mapa 2-D foi ajustado para prever acurácia e o vertical para prever tamanho, a partir de 120 células avaliadas. Cada pixel tem a cor da acurácia real da célula para a qual decodifica.
O que observar: muitos pixels decodificam para a mesma célula, e regiões inteiras decodificam para células degeneradas. É o descompasso entre um espaço contínuo e grafos discretos. A subida também para onde o preditor suave tem seu pico, que não é onde está a melhor célula real.
Modelos de difusão aprendem a reverter um processo gradual de adição de ruído (Ho et al., 2020). Aplicados a grafos de arquitetura, um preditor pode guiar a remoção de ruído para acurácia alta (An et al., 2024). Aqui, os dados de treino são um arquivo de 300 células boas, o ruído troca a operação de uma aresta ao acaso e um preditor linear ajustado no arquivo fornece a orientação.
Barras cinza: acurácia das 300 células do arquivo. Depois de "Gerar 300", barras laranja: as células geradas. Os marcadores indicam a melhor célula do arquivo e a melhor célula real.
| Acurácia média / melhor | – |
|---|---|
| Validade | – |
| Unicidade | – |
| Novidade (fora do arquivo) | – |
O que observar: o removedor exato é o melhor ajuste possível aos dados de treino, mas só consegue reproduzir células do arquivo (novidade 0) (Carlini et al., 2023). O removedor por aresta recombina arestas em células novas e, com orientação, pode chegar a células melhores que qualquer uma do arquivo. Uma orientação mais forte aumenta a acurácia e reduz a unicidade.
Uma Generative Flow Network constrói um objeto passo a passo e é treinada para que objetos completos sejam amostrados com probabilidade proporcional à sua recompensa (Bengio et al., 2026), o que já foi aplicado à geração de arquiteturas (Soin et al., 2025). Aqui, a mesma política constrói uma célula uma aresta por vez, treinada com dois objetivos: aprendizado por reforço, que maximiza a recompensa esperada, e um objetivo de GFlowNet (trajectory balance) com recompensa \(R = \exp(\beta\,\text{acurácia})\).
Clique em "Treinar as duas". O treino roda 200.000 episódios de construção por política.
| GFlowNet | Aprendizado por reforço | |
|---|---|---|
| Acurácia esperada | – | – |
| Número efetivo de arquiteturas | – | – |
| Células distintas do top 1% em 1.000 amostras | – | – |
O que observar: o aprendizado por reforço converge para uma única célula, uma estimativa pontual, como a busca. A GFlowNet mantém probabilidade em muitas células boas, aproximadamente em proporção à recompensa, então suas amostras continuam diversas.
A implantação acrescenta restrições como tamanho, latência ou energia. Em vez de uma busca por orçamento, geradores cientes de Pareto aprendem \(p_\theta(A \mid \lambda)\) para toda uma faixa de orçamentos \(\lambda\) (Guo et al., 2022) (Lomurno et al., 2024). Aqui, um gerador foi treinado em dez orçamentos. Mova o controle para pedir qualquer orçamento, inclusive os que ele nunca viu.
O que observar: as amostras acompanham o orçamento enquanto ele se move, sem retreino e sem busca. Nem toda amostra cabe, porque este gerador pequeno escolhe cada aresta de forma independente, mas o tamanho de uma célula é de graça de calcular, então as amostras acima do orçamento são simplesmente descartadas antes de qualquer treino.
Outras famílias de geradores incluem geradores adversariais (Rezaei et al., 2021), redes de grafos que emitem uma arquitetura inteira em um passo (Agiollo & Omicini, 2022) (Liang & Sun, 2022), variantes de difusão com amostragem evolutiva (Zhou et al., 2025) ou progressiva (Zhang & Zhuang, 2025), e modelos de linguagem ajustados com códigos de arquitetura (Poddenige et al., 2025).
O que puxa um gerador para boas arquiteturas? Os estudos se dividem em dois grupos:
Em ambos os casos, o passo que define a mudança do NAS para a NAG é que o sinal de desempenho é internalizado nos parâmetros do gerador, em vez de agir como um filtro externo depois do fato.
Alguns sistemas que propõem e criticam arquiteturas com grandes modelos de linguagem (Rahman & Chakraborty, 2024) (Yang et al., 2025) escapam de espaços de busca fixos, mas ainda dependem de ciclos iterativos de avaliar e refinar, então se comportam mais como busca do que como um modelo generativo aprendido.
Resultados de NAS costumam ser resumidos pela melhor arquitetura encontrada e pelo seu custo. Um gerador produz uma distribuição, e um único número não descreve uma distribuição.
Benchmarks tabulares como o NAS-Bench-101 (Ying et al., 2019) e o NAS-Bench-201 (Dong & Yang, 2020) guardam a acurácia treinada de cada arquitetura de um espaço fixo, então qualquer método pode ser pontuado por consulta. Isso dá reprodutibilidade e comparação justa, mas só se o gerador ficar confinado a esse espaço fixo, o que elimina justamente aquilo em que a NAG deveria ser boa: gerar além dele.
As alternativas têm seus próprios problemas. Treinar cada modelo gerado faz os resultados dependerem das receitas de treino (Yang et al., 2020). Pontuar com um preditor substituto importa os vieses do preditor, e um preditor treinado em projetos conhecidos tende a subestimar os novos, a mesma falha encontrada em métricas baseadas em features para imagens (Stein et al., 2023).
A NAG é jovem, e vários desafios ainda limitam sua confiabilidade e adoção.
Espaços latentes contínuos e a remoção estocástica de ruído podem produzir grafos que não são redes válidas, então as amostras muitas vezes precisam de reparo ou rejeição. Embutir restrições como aciclicidade e conectividade no próprio processo de geração é uma direção em aberto. Tokens discretos aprendidos são uma primeira tentativa (Poddenige et al., 2025).
A maioria dos geradores ainda opera sobre os conjuntos fixos de operações dos espaços de benchmark, então os ganhos podem refletir uma interpolação melhor dentro de uma tabela, e não novos princípios de projeto. Faltam protocolos de avaliação feitos para modelos generativos, que meçam diversidade, transferência e controlabilidade.
As paisagens arquitetura–desempenho são grandes e acidentadas, e um único preditor substituto raramente generaliza sobre elas, então os geradores podem acabar otimizando os erros do preditor. Orientação progressiva a partir de conjuntos de preditores mais fracos é uma resposta (Zhang & Zhuang, 2025).
Idealmente, um único gerador levaria qualquer orçamento de hardware a uma arquitetura quase ótima e compartilharia estrutura entre orçamentos, como na demonstração de orçamento, em vez de tratar cada orçamento como um problema separado (Guo et al., 2022) (Lomurno et al., 2024).
A maioria dos geradores precisa de milhares de arquiteturas avaliadas antes de ser útil. Priors extraídos de benchmarks existentes (Xie et al., 2025) e dinâmicas evolutivas com pouco treino (Zhou et al., 2025) reduzem esse começo a frio. O objetivo de longo prazo é uma distribuição de fundação sobre arquiteturas que funcione entre tarefas.
Arquiteturas geradas raramente vêm com uma justificativa. Ciclos de crítica no estilo de agentes, que justificam cada escolha de projeto (Yang et al., 2025), apontam para geradores cujas decisões podem ser inspecionadas, o que importa para a confiança e para aprender algo com o que eles produzem.
Esta página se baseia em From Search to Synthesis: A Systematic Mapping Study of Neural Architecture Generation, de Thiago C. S. Barbieri, Edesio Alcobaça e André C. P. L. F. de Carvalho (Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo). O manuscrito está atualmente em revisão, e um link será adicionado aqui quando for publicado.
A página se apoia na formulação e na bibliografia do estudo. As demonstrações e todos os seus números foram feitos para esta página.