Como avaliar o desempenho de recomendações de produtos

Funil de métricas para avaliar recomendações de produtos no e-commerce.

Uma vitrine de recomendações pode parecer boa visualmente e ainda assim contribuir pouco para a operação.

O contrário também acontece: uma recomendação discreta pode participar de várias compras sem chamar atenção durante uma análise superficial da página.

Por isso, avaliar um sistema de recomendação exige acompanhar a jornada entre a exibição de um produto recomendado e o comportamento que ocorre depois dela.

E existe uma distinção importante desde o início:

atribuir uma venda a uma recomendação não significa necessariamente provar que a recomendação causou aquela venda.

Entender essa diferença evita conclusões exageradas e ajuda a construir métricas realmente úteis.

Comece pelas exposições

A primeira informação é quantas vezes as recomendações foram efetivamente exibidas.

Sem essa medida, números absolutos de cliques ou vendas dizem pouco.

Imagine duas vitrines:

  • Vitrine A: 500 cliques;
  • Vitrine B: 200 cliques.

A primeira parece claramente melhor.

Mas suponha que a Vitrine A tenha sido exibida 100 mil vezes e a B apenas 10 mil.

Agora temos:

  • A: CTR de 0,5%;
  • B: CTR de 2%.

O número absoluto continua sendo relevante para o volume da operação, mas a taxa permite avaliar melhor a capacidade de cada vitrine de gerar interação.

Clique é uma métrica intermediária

A taxa de cliques, ou CTR, é útil para saber se os produtos apresentados despertam interesse.

Mas ela não deve ser tratada como objetivo final.

Uma vitrine pode gerar muitos cliques e poucas compras.

Por isso, depois do clique é preciso acompanhar outras etapas:

Exposição → clique → adição ao carrinho → compra

Cada ponto responde a uma pergunta diferente.

Exposição

A recomendação chegou a ser apresentada?

Clique

Algum produto recomendado chamou a atenção?

Adição ao carrinho

O interesse avançou para uma intenção de compra mais concreta?

Compra

O produto recomendado efetivamente participou de um pedido?

Essa sequência permite localizar onde a recomendação está funcionando e onde a jornada está sendo interrompida.

Observe também a adição ao carrinho

A adição ao carrinho costuma ser uma métrica especialmente útil porque está mais próxima da intenção comercial do que o clique.

Se uma recomendação gera muitos cliques, mas quase nenhum produto é adicionado ao carrinho, podem existir diferentes explicações:

  • os produtos chamam atenção, mas não são suficientemente relevantes;
  • preço ou disponibilidade afastam o cliente;
  • a página de destino não corresponde à expectativa criada pela recomendação;
  • a recomendação está aparecendo em um contexto inadequado.

O indicador não fornece sozinho a causa do problema, mas mostra onde investigar.

O que significa uma conversão atribuída?

É necessário definir uma regra clara de atribuição.

Por exemplo:

Um cliente vê uma recomendação, clica em um produto, adiciona esse produto ao carrinho e posteriormente conclui o pedido.

Existe uma relação observável entre a recomendação e a compra.

Podemos classificar essa compra como atribuída à recomendação, desde que ela esteja dentro dos critérios definidos pelo sistema de medição.

O cuidado está na interpretação.

Talvez o cliente já tivesse intenção de comprar aquele produto.

Talvez o encontrasse posteriormente pela busca da loja.

Talvez a recomendação tenha sido justamente o mecanismo que apresentou o item.

Os dados de atribuição demonstram uma associação dentro da jornada registrada.

Eles não isolam automaticamente a causalidade.

Receita atribuída não é necessariamente receita incremental

Essa é uma das distinções mais importantes ao analisar recomendações.

Suponha que, em determinado período, produtos associados a interações com recomendações tenham gerado R$ 10 mil em vendas.

É correto dizer, de acordo com a metodologia adotada, que existe R$ 10 mil em receita atribuída às recomendações.

É muito mais forte afirmar que as recomendações geraram R$ 10 mil em faturamento adicional.

Para chegar à segunda conclusão seria necessário estimar o que teria acontecido sem a recomendação.

Esse cenário alternativo não pode ser observado diretamente na mesma compra.

É aí que entram experimentos controlados.

Como medir ganho incremental

A abordagem mais robusta é comparar grupos equivalentes.

Por exemplo:

  • Grupo A utiliza as recomendações;
  • Grupo B não recebe a mesma intervenção.

Depois, com volume suficiente de dados, é possível comparar indicadores como conversão, receita por sessão ou valor médio de pedido.

Se os grupos forem corretamente distribuídos e as demais condições permanecerem comparáveis, a diferença fornece evidência muito mais forte sobre o efeito incremental.

Esse tipo de experimento costuma ser chamado de teste A/B ou experimento com grupo de controle.

Sem um teste controlado, ainda é possível acompanhar tendências e comparar períodos ou segmentos.

Mas essas comparações precisam ser interpretadas com cuidado, pois outros fatores podem ter mudado ao mesmo tempo.

Um exemplo de leitura do funil

Considere os seguintes números ilustrativos:

10.000 exposições
600 cliques
120 adições ao carrinho
60 compras

Temos:

CTR: 600 / 10.000 = 6%

Clique → carrinho: 120 / 600 = 20%

Clique → compra: 60 / 600 = 10%

Esses indicadores mostram o comportamento observado após a recomendação.

Agora suponha que as 60 compras representem R$ 6 mil em produtos atribuídos às vitrines.

Esse valor é uma medida importante para análise comercial.

Mas ainda não podemos concluir que, sem as recomendações, os R$ 6 mil desapareceriam completamente.

Essa é justamente a diferença entre atribuição e incremento.

Não analise todas as vitrines como se fossem iguais

Uma recomendação apresentada na página de um produto e uma recomendação exibida no carrinho participam de momentos diferentes da compra.

Por isso, vale segmentar a análise por posição.

Por exemplo:

  • página do produto;
  • carrinho;
  • página inicial;
  • categoria;
  • outras áreas da loja.

Também pode ser útil separar os resultados por:

  • dispositivo;
  • categoria;
  • faixa de preço;
  • cliente novo ou recorrente;
  • estratégia de recomendação.

Uma média geral pode esconder uma vitrine muito eficiente e outra que precisa ser ajustada.

Considere cancelamentos e devoluções

Uma conversão registrada no momento do pedido não representa necessariamente receita definitiva.

Dependendo do objetivo da análise, pedidos cancelados, pagamentos recusados e devoluções precisam ser considerados.

Essa decisão deve ser consistente.

Se o relatório utiliza pedidos criados, isso precisa estar claro.

Se utiliza somente pedidos pagos ou concluídos, a regra também precisa estar documentada.

Mudar o critério entre períodos torna a comparação pouco confiável.

O acompanhamento no SmartVitrines

O SmartVitrines trabalha com eventos da jornada da recomendação, como visualizações, cliques, adições ao carrinho e conversões.

Isso permite analisar o percurso entre a apresentação da recomendação e os eventos comerciais registrados posteriormente.

O objetivo da análise não deve ser produzir um número impressionante isolado, mas responder perguntas práticas:

  • as recomendações estão sendo vistas?
  • estão gerando interação?
  • os produtos recomendados chegam ao carrinho?
  • aparecem em pedidos?
  • quais posições apresentam melhor comportamento?

Essas respostas são muito mais úteis para melhorar continuamente a estratégia de recomendação.

Métricas melhores levam a decisões melhores

Avaliar recomendações de produtos apenas pelo número de vendas atribuídas pode levar a conclusões incompletas.

Um acompanhamento mais útil considera todo o funil:

  1. exposição;
  2. clique;
  3. adição ao carrinho;
  4. compra;
  5. receita atribuída;
  6. quando possível, ganho incremental.

A partir daí, é possível comparar posições, estratégias e períodos sem confundir correlação com causalidade.

A recomendação deixa de ser apenas um elemento visual da loja e passa a ser uma parte mensurável da experiência de compra.

O SmartVitrines foi desenvolvido pela AGTI para integrar recomendações de produtos à jornada do e-commerce e fornecer dados para acompanhar essas interações.