Mais um post de finops pra IA por aí. Agora, da Uber. O que eles estão fazendo por lá:

  • Cache e reutilização: Eles estão fazendo uso de otimizações para melhorar a taxa de acertos do cache de prompts, o que reduz o gasto de tokens de entrada.

Cache é realmente importante nessa escala.

  • Melhores configurações padrão e ferramentas: Eles ajustaram as configurações padrão do modelo, os tamanhos de contexto e os fluxos de trabalho dos desenvolvedores para que as equipes obtenham os mesmos resultados com menos tokens e inferência de menor custo.

Já postei sobre isso com outras empresas, modelos mais simples geralmente dão conta do problema, e ter eles como default ajuda o dev na seleção.

  • Visibilidade impulsiona a eficiência: Oferecemos aos engenheiros visibilidade em tempo real do uso de IA e dos custos por hora.

Se todo mundo é parte desse processo, fica mais fácil.

  • Experimentação com modelos de peso aberto: Eles estão explorando inclusive modelos de peso aberto, que eles podem servir com infra própria.

Os modelos de ponta nos deixaram mal acostumados. Já temos muitos modelos bons e baratos de rodar e que resolvem boa parte dos problemas.

É isso aí! Mesmo quem tem dinheiro infinito, como a Uber, tá olhando pra custo de IA!

Referências