Product Manager · Recomendações na Rambler&Co
Recomendações e Rambler/Start
Um sistema próprio de recomendações para o conteúdo da Rambler&Co: da hipótese de produto e de um teste A/B na home a uma API de recomendações e à extensão Rambler/Start para Chrome.
Restrição
2,47 milhões de usuários por dia passavam menos de um minuto na Rambler e viam em média só 1,47 página
Decisões-chave
Desenvolver um sistema próprio de recomendações para o conteúdo de mídia e de serviços da Rambler&Co e validá-lo com um teste A/B na home da Rambler.
Resultado
~2,5× CTR e ~3× profundidade num teste A/B na home da Rambler · Rambler/Start lançado no Chrome
Contexto
Tanto os projetos de mídia quanto os de serviços da Rambler&Co precisavam de recomendações. Um sistema próprio permitia dispensar soluções de terceiros e economizar com elas.
O trabalho na plataforma de busca para os projetos da Rambler&Co tinha dado ao nosso time acesso ao conteúdo de vários sites do grupo. Essa foi uma das pré-condições para as recomendações: o time de Busca podia trabalhar com material novo dos projetos, e o departamento de machine learning tinha modelos de usuário.
A restrição
Segundo o Yandex.Metrica, 2,47 milhões de usuários por dia passavam menos de um minuto na Rambler e viam em média só 1,47 página. Os 2,22 milhões que ficavam mais de um minuto tinham profundidade de 6,16 páginas.
Interpretei o primeiro grupo como pessoas que não tinham encontrado nada interessante o bastante para continuar. Minha hipótese: se combinássemos o conteúdo novo do grupo com modelos de usuário, recomendações personalizadas de conteúdo e serviços aumentariam o CTR, o tempo no site e a profundidade de página, e reduziriam a rejeição.
Meu papel
Formulei a hipótese de produto e a direção: um sistema próprio de recomendações, o plano do MVP, as prioridades e o caminho da API até produtos de consumo. Conectei as capacidades do time de Busca ao trabalho do departamento de machine learning e levei as recomendações do teste na home até o uso no Rambler/Start. Os modelos de usuário foram desenvolvidos pelo departamento de machine learning; o Rambler/Start, pelo meu time.
Decisões-chave
Desenvolver um sistema próprio de recomendações para o conteúdo de mídia e de serviços da Rambler&Co e validá-lo com um teste A/B na home da Rambler.
Planejar o MVP como um feed de notícias, artigos e widgets de serviços, com a melhoria do modelo de usuário prevista desde o início: incentivar o login, vincular identificadores anônimos a contas e retreinar o modelo com a atividade dos usuários e as respostas a questionários.
Levar as recomendações para produtos de consumo da própria Rambler. Uma página inicial e uma extensão para o navegador estavam no plano desde o começo.
O que mudou
Construímos uma API de recomendações. Os artigos das publicações da Rambler&Co eram agrupados por similaridade em temas e ordenados pelo quanto cada tema interessava a cada usuário.
Testamos a hipótese com a audiência real do portal: levamos as recomendações da API para a home da Rambler e fizemos um teste A/B.
Essa mesma API foi usada depois no Rambler/Start. O Rambler/Start era uma extensão de nova aba para o Chrome com a busca da Rambler, widgets de trânsito, clima, câmbio e e-mail, atalhos para serviços da Rambler e para os sites mais visitados, histórico, downloads e um feed personalizado com conteúdo dos projetos da Rambler&Co.
No segundo trimestre de 2017 otimizamos a API de recomendações e adicionamos mais projetos do grupo ao Start. Fizemos uma landing page promocional e, com o departamento de Plataforma, um formulário de feedback para quem removia a extensão.
Antes do lançamento foi preciso passar por revisão jurídica e resolver questões com as imagens do feed. Chrome, Opera e Firefox estavam previstos, mas o Opera deixou de aceitar a substituição da nova aba e o Firefox exigiu muitos ajustes.
Materiais históricos do produto


Resultado
O teste A/B da API de recomendações na home da Rambler mostrou aproximadamente 2,5× de CTR e 3× de profundidade de página.
Em julho de 2017 a Rambler&Co lançou o Rambler/Start para o Google Chrome: uma extensão de nova aba com um feed personalizado rodando na mesma API de recomendações.