Product Manager · Recomendaciones en Rambler&Co
Recomendaciones y Rambler/Start
Un sistema propio de recomendaciones para el contenido de Rambler&Co: de la hipótesis de producto y un A/B test en la portada a una API de recomendaciones y la extensión Rambler/Start para Chrome.
Restricción
2,47 millones de usuarios al día pasaban menos de un minuto en Rambler y veían en promedio solo 1,47 páginas
Decisiones clave
Desarrollar un sistema propio de recomendaciones para el contenido de medios y servicios de Rambler&Co y validarlo con un A/B test en la portada de Rambler.
Resultado
~2,5× CTR y ~3× profundidad en un A/B test en la portada de Rambler · Rambler/Start lanzado en Chrome
Contexto
Tanto los proyectos de medios como los de servicios de Rambler&Co necesitaban recomendaciones. Un sistema propio permitía prescindir de soluciones de terceros y ahorrar en ellas.
El trabajo en la plataforma de búsqueda para los proyectos de Rambler&Co le había dado a nuestro equipo acceso al contenido de distintos sitios del grupo. Esa fue una de las condiciones previas para las recomendaciones: el equipo de Búsqueda podía trabajar con material fresco de los proyectos y el departamento de machine learning tenía modelos de usuario.
La restricción
Según Yandex.Metrica, 2,47 millones de usuarios al día pasaban menos de un minuto en Rambler y veían en promedio solo 1,47 páginas. Los 2,22 millones que se quedaban más de un minuto tenían una profundidad de 6,16 páginas.
Interpreté el primer grupo como personas que no habían encontrado nada lo bastante interesante para seguir. Mi hipótesis: si combinábamos el contenido fresco del grupo con modelos de usuario, las recomendaciones personalizadas de contenido y servicios subirían el CTR, el tiempo en el sitio y la profundidad de página, y reducirían el rebote.
Mi rol
Formulé la hipótesis de producto y la dirección: un sistema propio de recomendaciones, el plan del MVP, las prioridades y el camino de la API a productos de consumo. Conecté las capacidades del equipo de Búsqueda con el trabajo del departamento de machine learning y llevé las recomendaciones desde la prueba en la portada hasta su uso en Rambler/Start. Los modelos de usuario los desarrolló el departamento de machine learning; Rambler/Start, mi equipo.
Decisiones clave
Desarrollar un sistema propio de recomendaciones para el contenido de medios y servicios de Rambler&Co y validarlo con un A/B test en la portada de Rambler.
Plantear el MVP como un feed de noticias, artículos y widgets de servicios, e incluir desde el inicio la mejora del modelo de usuario: incentivar el inicio de sesión, vincular identificadores anónimos con cuentas y reentrenar el modelo con la actividad de los usuarios y sus respuestas a encuestas.
Llevar las recomendaciones a productos de consumo propios de Rambler. Una página de inicio y una extensión para el navegador estaban en el plan desde el principio.
Qué cambió
Construimos una API de recomendaciones. Los artículos de los medios de Rambler&Co se agrupaban por similitud en temas y se ordenaban según cuánto le interesaba cada tema a cada usuario.
Probamos la hipótesis con la audiencia real del portal: llevamos las recomendaciones de la API a la portada de Rambler e hicimos un A/B test.
Esa misma API se usó luego en Rambler/Start. Rambler/Start era una extensión de nueva pestaña para Chrome con el buscador de Rambler, widgets de tráfico, clima, tipos de cambio y correo, accesos a servicios de Rambler y a los sitios más visitados, historial, descargas y un feed personalizado con contenido de los proyectos de Rambler&Co.
En el segundo trimestre de 2017 optimizamos la API de recomendaciones y sumamos más proyectos del grupo a Start. Hicimos una landing promocional y, con el departamento de Plataforma, un formulario de feedback para quienes desinstalaban la extensión.
Antes del lanzamiento hubo que pasar una revisión legal y resolver problemas con las imágenes del feed. Estaban previstos Chrome, Opera y Firefox, pero Opera dejó de admitir el reemplazo de la nueva pestaña y Firefox exigió muchos ajustes.
Material histórico del producto


Resultado
El A/B test de la API de recomendaciones en la portada de Rambler mostró aproximadamente 2,5× de CTR y 3× de profundidad de página.
En julio de 2017 Rambler&Co lanzó Rambler/Start para Google Chrome: una extensión de nueva pestaña con un feed personalizado basado en la misma API de recomendaciones.