Os sistemas de IA melhoram em saltos. Um novo modelo chega. Uma rota de provedor fica mais barata. Um padrão de prompt fica mais claro. Um modo de falha fica legível. A questão estratégica é para onde esses ganhos vão a seguir. Passei os últimos anos moldando minha pilha para que um ganho local possa atualizar todo um portfólio. Esse requisito me levou a construir uma camada de capacidade de IA compartilhada, um plano de controle de fluxo de trabalho e uma superfície de operador nativo ao host que abrange desenvolvimento local, serviços LAN e produção. Os nomes neste artigo são os meus nomes para esses sistemas: AI Guard, Agent Gateway e System Mesh. Este artigo trata da arquitetura por trás dessa pilha. O foco é o problema que cada camada resolve, as regras de promoção que decidem o que avança e os princípios operacionais que permitem que as melhorias persistam.

O Verdadeiro Objetivo: Propagação

O resultado mais forte em trabalhos com IA pesada vem da propagação. Um resultado de benchmark, uma vitória de cache, uma melhoria de reprodução, uma regra de lint ou uma otimização de implantação torna-se durável quando todo projeto dependente o herda. Essa restrição de design muda o que é construído. Ela favorece superfícies de capacidade estáveis em vez de chamadas específicas do provedor. Ela favorece fluxos de trabalho inspecionáveis em vez de cadeias de prompt opacas. Ela favorece contratos de operador que tornam implantação, reversão e diagnóstico mais rápidos a cada uso. Ela favorece melhorias de base que se espalham por plugins compartilhados, habilidades compartilhadas e ferramentas compartilhadas. Uma vez que a propagação se torna a regra, a escolha do modelo torna-se uma variável dentro de um sistema maior.

Posicionamento de Modelo por Classe de Tarefa

O uso do meu modelo depende de nuances porque as tarefas carregam densidade de valor diferente. Eu aloco orçamento de raciocínio premium para planejamento profundo, crítica arquitetônica, análise de falhas e prevenção de deriva. Eu aceito janelas de resposta longas quando a qualidade da saída muda decisões de sistema importantes. Eu uso modelos nativos de codificação para trabalho de implementação de longo prazo com forte comportamento de execução CLI e uso confiável de ferramentas. Essa é a via onde a taxa de transferência, a qualidade do planejamento e as habilidades de propriedade do projeto são mais importantes. Eu movo tarefas limitadas repetidas para rotas de menor custo depois que o fluxo de trabalho prova seu valor sob pressão de benchmark. É aí que dispositivos determinísticos, replay e condições de parada claras desbloqueiam economias substanciais. O princípio orientador é posicionamento por classe de tarefa. O fluxo de trabalho detém a decisão do modelo.

A Regra de Promoção

Minha regra de promoção é explícita:
  1. Custo primeiro.
  2. Piso de qualidade imposto.
  3. Velocidade como desempate uma vez que custo e qualidade estejam dentro dos limites.
Uma rota mais barata é promovida quando sustenta a qualidade exigida. Uma rota mais rápida importa depois que o caso de custo e qualidade já está claro. Essa regra mantém a rotatividade de provedores ancorada em resultados medidos e resiste à deriva de novidade.
Diagram source
flowchart LR
  A["Rota candidata"] --> B["Corpus de referência"]
  B --> C{"Qualidade >= linha de base?"}
  C -->|Não| D["Permanecer no laboratório"]
  C -->|Sim| E{"Custo <= rota atual?"}
  E -->|Não| F["Manter para uso premium ou especializado"]
  E -->|Sim| G["Promover para camada de capacidade compartilhada"]
  G --> H["Fluxos de trabalho dependentes herdam a atualização"]
Esse é o mecanismo que transforma ganhos temporários de IA em infraestrutura de composição.

Why I Built AI Guard

AI Guard solves a recurring integration problem: projects need AI capabilities, providers and model routes change constantly, and raw per-project integrations create duplicated decision logic, duplicated failure handling, and duplicated spend.
I built AI Guard as the shared capability layer across my projects. Applications call stable capabilities such as structured generation, search, OCR, TTS, image generation, image analysis, and other specialized routes. AI Guard owns the provider-facing layer, cache behavior, pricing awareness, and route promotion.
That design does several useful things at once.
It gives every project one surface for AI work. It captures repeated equivalent requests so benchmark loops and production workloads can reuse prior results. It makes budgeting visible. It keeps route upgrades centralized while application code keeps the same contract.
The compounding effect is straightforward. I benchmark a candidate route once. If it clears the quality bar and improves the economics, I promote it inside AI Guard. Every workflow that depends on that capability inherits the upgrade.

Por que eu criei o Agent Gateway

O AI Guard lida com o acesso à capacidade. Eu precisava de uma segunda camada para fluxos de trabalho compostos com versionamento, replay e controle de publicação. Eu criei o Agent Gateway como esse plano de controle de fluxo de trabalho. Os repositórios de projetos possuem o YAML do fluxo de trabalho. O gateway lida com validação, sincronização de rascunho, publicação imutável, execução de execução, eventos, instantâneos, pontos de replay, conjuntos de validação e cache de etapas. Isso resolve um problema operacional específico. Cadeias de IA de múltiplas etapas acumulam custo e ambiguidade quando falham no meio. Uma cadeia opaca força uma execução completa novamente. Uma execução versionada com limites de etapa me dá um local preciso para intervir. Meus motores são conduzidos por máquina de estados. Se um fluxo de trabalho falhar em uma etapa específica, eu refino essa etapa, faço replay a partir do limite exato e preservo o trabalho upstream que já provou ser eficaz. Esse loop muda a economia e o perfil de confiabilidade dos fluxos de trabalho de IA. O caminho típico parece assim:
  1. Prototipar o fluxo de trabalho localmente a partir do YAML de propriedade do projeto.
  2. Validar contra um conjunto de casos reais.
  3. Aperfeiçoar prompts, esquemas, transformações e regras de ramificação.
  4. Fazer replay a partir dos limites exatos de falha.
  5. Publique uma versão imutável após a validação ser concluída.
É assim que as cadeias experimentais de IA se tornam infraestrutura inspecionável.

Por que construí o System Mesh

Minha camada de infraestrutura mudou quando a forma do portfólio ficou clara. Eu havia passado um longo período usando os corredores Docker gerenciados pelo Coolify como o modelo operacional padrão. Isso serviu bem à fase inicial enquanto as fronteiras mudavam rapidamente. À medida que o grafo de serviços se estabilizou, eu queria uma superfície de operador mais rápida e clara para os serviços que se encaixam no tratamento nativo do host. Eu queria um único contrato para o desenvolvimento local, meu host de serviço LAN e produção. Eu queria diagnósticos que exibissem os sinais que um agente ou operador realmente precisa. Eu queria implantações, renderização de ambiente, roteamento e reversão como operações de primeira classe e legíveis. Eu construí o System Mesh como o contrato de gerenciamento de serviços compartilhado para esse propósito, conduzido por manifestos específicos de ambiente, CLIs e habilidades. Nesta pilha, dev possui operações de tempo de execução local, mint possui o host LAN e prod possui a produção. O contrato compartilhado mantém o vocabulário alinhado enquanto cada ambiente aplica sua própria política. Essa mudança reduziu um caminho de implantação comum de aproximadamente três minutos para cerca de trinta segundos. A maior vitória é arquitetônica. Todo serviço que se encaixa no corredor nativo do host herda implantações mais rápidas, diagnósticos mais precisos e um modelo operacional mais explícito. Eu ainda uso contêineres onde o perfil de dependência os justifica. Dependências de sistema pesadas continuam sendo bons candidatos para execução Docker retida O princípio orientador é a colocação em modo de execução por restrições de serviço.

Laboratórios de Benchmark e Corredores Determinísticos de Baixo Custo

Eu uso laboratórios para decidir o que merece promoção. Um laboratório possui o corpus de benchmark, as regras de pontuação, o conjunto de desafiantes e os critérios de aprovação. Isso me dá uma maneira limpa de separar o trabalho exploratório das rotas operacionais. Modelos de raciocínio premium permanecem disponíveis para planejamento e arquitetura de alto valor. Rotas de baixo custo assumem quando a tarefa é limitada, o fluxo de trabalho é legível e o resultado pode ser avaliado. Manutenção de tradução é um bom exemplo. Eu executo fluxos de agente limitados que rastreiam i18n JSON, detectam traduções faltantes ou fracas e consertam arquivos dentro de um orçamento de etapas restrito. Essa tarefa pode ser executada em rotas OSS de baixo custo com forte throughput e redução de custo significativa porque o fluxo de trabalho é benchmarkado, reproduzível e fácil de pontuar. Laboratórios permitem que o mercado se mova rapidamente enquanto o código de produção avança com evidências validadas.

Compounding de Nível Fundamental

Os maiores ganhos a longo prazo aparecem na fundação. Eu uso habilidades de projeto para que os agentes possam operar sistemas locais, sistemas de produção e serviços compartilhados com contexto imediato desde o início. Eu uso linting como um mecanismo de persistência: quando uma falha de tempo de execução revela um padrão que deve ser prevenido estaticamente, eu codifico essa salvaguarda uma vez para que o portfólio a herde. Eu também mantenho uma fundação compartilhada com mais de sessenta plugins em formas de aplicação recorrentes. Auth, SEO, email, integração de fluxo de trabalho e ergonomia do operador melhoram centralmente e depois se propagam para fora. É aqui que a teoria se torna visível no trabalho diário. Menos regressões ocorrem. Mais correções chegam pré-distribuídas. Velocidade aumenta porque as lições anteriores permanecem instaladas.

Princípios Operacionais Interpretados por IA

Eu direcionei a IA a extrair princípios operacionais da abordagem descrita neste artigo:
  • Construir para propagação em todo o portfólio. Cada melhoria deve ser avaliada por quantos fluxos de trabalho a herdam.
  • Tratar a seleção de modelos como colocação de fluxo de trabalho. Atribuir modelos por classe de tarefa e densidade de valor.
  • Aplicar uma regra de promoção de custo primeiro com um piso de qualidade rígido. Promoções requerem paridade de qualidade ou melhoria.
  • Mantenha as capacidades atrás de uma camada estável. O churn de rotas é absorvido na camada de capacidade com contratos de aplicação estáveis.
  • Manter fluxos de trabalho inspecionáveis e reproduzíveis. Progressão determinística e limites de retrocesso são recursos de produção essenciais.
  • Usar laboratórios de benchmark como porta de promoção. O ritmo de lançamento no mercado é um fluxo de entrada para avaliação.
  • Mover trabalho repetitivo limitado para corredores determinísticos de baixo custo uma vez comprovado. Preservar orçamento de raciocínio premium para decisões de alto impacto.
  • Codificar falhas recorrentes em salvaguardas compartilhadas. Regras de lint, habilidades e atualizações de plugins compartilhados convertem incidentes em prevenção durável.
  • Prefira contratos de operador explícitos. Contratos de serviço nativo ao host com loops claros de implantação/rollback/prova reduzem a entropia operacional.
  • Preserve a opcionalidade por contrato. Mantenha a arquitetura pronta para absorver rotas melhores à medida que a fronteira de Pareto avança.

Encerramento

Minha resposta à pergunta sobre fluxo de trabalho é arquitetônica. Eu construo para propagação, avalio para promoção e mantenho os padrões vencedores em camadas compartilhadas que todo projeto pode herdar. É assim que melhorias temporárias no mercado de IA se tornam ganhos duradouros em operações de software. É assim que o trabalho se acumula.