Ir para o conteúdo

Product Manager · Recomendações na Rambler&Co

Recomendações e Rambler/Start

Um sistema próprio de recomendações para o conteúdo da Rambler&Co: da hipótese de produto e de um teste A/B na home a uma API de recomendações e à extensão Rambler/Start para Chrome.

Restrição

2,47 milhões de usuários por dia passavam menos de um minuto na Rambler e viam em média só 1,47 página

Decisões-chave

Desenvolver um sistema próprio de recomendações para o conteúdo de mídia e de serviços da Rambler&Co e validá-lo com um teste A/B na home da Rambler.

Resultado

~2,5× CTR e ~3× profundidade num teste A/B na home da Rambler · Rambler/Start lançado no Chrome

Contexto

Tanto os projetos de mídia quanto os de serviços da Rambler&Co precisavam de recomendações. Um sistema próprio permitia dispensar soluções de terceiros e economizar com elas.

O trabalho na plataforma de busca para os projetos da Rambler&Co tinha dado ao nosso time acesso ao conteúdo de vários sites do grupo. Essa foi uma das pré-condições para as recomendações: o time de Busca podia trabalhar com material novo dos projetos, e o departamento de machine learning tinha modelos de usuário.

A restrição

Segundo o Yandex.Metrica, 2,47 milhões de usuários por dia passavam menos de um minuto na Rambler e viam em média só 1,47 página. Os 2,22 milhões que ficavam mais de um minuto tinham profundidade de 6,16 páginas.

Interpretei o primeiro grupo como pessoas que não tinham encontrado nada interessante o bastante para continuar. Minha hipótese: se combinássemos o conteúdo novo do grupo com modelos de usuário, recomendações personalizadas de conteúdo e serviços aumentariam o CTR, o tempo no site e a profundidade de página, e reduziriam a rejeição.

Meu papel

Formulei a hipótese de produto e a direção: um sistema próprio de recomendações, o plano do MVP, as prioridades e o caminho da API até produtos de consumo. Conectei as capacidades do time de Busca ao trabalho do departamento de machine learning e levei as recomendações do teste na home até o uso no Rambler/Start. Os modelos de usuário foram desenvolvidos pelo departamento de machine learning; o Rambler/Start, pelo meu time.

Decisões-chave

Desenvolver um sistema próprio de recomendações para o conteúdo de mídia e de serviços da Rambler&Co e validá-lo com um teste A/B na home da Rambler.

Planejar o MVP como um feed de notícias, artigos e widgets de serviços, com a melhoria do modelo de usuário prevista desde o início: incentivar o login, vincular identificadores anônimos a contas e retreinar o modelo com a atividade dos usuários e as respostas a questionários.

Levar as recomendações para produtos de consumo da própria Rambler. Uma página inicial e uma extensão para o navegador estavam no plano desde o começo.

O que mudou

Construímos uma API de recomendações. Os artigos das publicações da Rambler&Co eram agrupados por similaridade em temas e ordenados pelo quanto cada tema interessava a cada usuário.

Testamos a hipótese com a audiência real do portal: levamos as recomendações da API para a home da Rambler e fizemos um teste A/B.

Essa mesma API foi usada depois no Rambler/Start. O Rambler/Start era uma extensão de nova aba para o Chrome com a busca da Rambler, widgets de trânsito, clima, câmbio e e-mail, atalhos para serviços da Rambler e para os sites mais visitados, histórico, downloads e um feed personalizado com conteúdo dos projetos da Rambler&Co.

No segundo trimestre de 2017 otimizamos a API de recomendações e adicionamos mais projetos do grupo ao Start. Fizemos uma landing page promocional e, com o departamento de Plataforma, um formulário de feedback para quem removia a extensão.

Antes do lançamento foi preciso passar por revisão jurídica e resolver questões com as imagens do feed. Chrome, Opera e Firefox estavam previstos, mas o Opera deixou de aceitar a substituição da nova aba e o Firefox exigiu muitos ajustes.

Materiais históricos do produto

A aba Recomendações do Rambler/Start: feed personalizado com conteúdo dos projetos da Rambler&Co numa nova aba do Chrome
Rambler/Start, 2017 · aba Recomendações: feed personalizado com conteúdo dos projetos da Rambler&Co.
A aba Meus sites do Rambler/Start: busca, clima, câmbio, e-mail, trânsito, serviços da Rambler e favoritos
Rambler/Start, 2017 · aba Meus sites: widgets, serviços da Rambler e favoritos do usuário.

Resultado

O teste A/B da API de recomendações na home da Rambler mostrou aproximadamente 2,5× de CTR e 3× de profundidade de página.

Em julho de 2017 a Rambler&Co lançou o Rambler/Start para o Google Chrome: uma extensão de nova aba com um feed personalizado rodando na mesma API de recomendações.

Outros projetos na Rambler&Co

Está com algo parecido?

Se isso se parece com o problema à sua frente, tenho prazer em conversar.