Product Manager · Rambler&Co Рекомендации
Рекомендации и Rambler/Старт
Собственная система рекомендаций для контента Rambler&Co: от продуктовой гипотезы и A/B-теста на Главной до рекомендательного API и расширения Rambler/Старт для Chrome.
Ограничение
2,47 млн пользователей в день проводили на Rambler меньше минуты и смотрели в среднем только 1,47 страницы
Ключевые решения
Развивать собственную систему рекомендаций для медийного и сервисного контента Rambler&Co и проверить её A/B-тестом на Главной Rambler.
Результат
~2,5× CTR и ~3× глубина просмотра в A/B-тесте на Главной · запуск Rambler/Старт в Chrome
Контекст
Рекомендации были нужны и медийным, и сервисным проектам Rambler&Co. Собственная система позволяла обойтись без сторонних решений и сэкономить на них.
Работа над поисковой платформой для проектов Rambler&Co дала нашей команде доступ к контенту разных площадок группы. Это стало одной из предпосылок для рекомендаций: поисковая команда могла работать со свежими материалами проектов, а у отдела машинного обучения были модели пользователей.
Ограничение
По данным Яндекс.Метрики, 2,47 млн пользователей в день проводили на Rambler меньше минуты и смотрели в среднем только 1,47 страницы. У 2,22 млн пользователей, остававшихся дольше минуты, глубина просмотра была 6,16 страницы.
Первую группу я интерпретировал как людей, которые не нашли для себя ничего достаточно интересного, чтобы продолжить. Моя гипотеза: если соединить свежий контент группы с моделями пользователей, персональные рекомендации материалов и сервисов поднимут CTR, время на сайте и глубину просмотра и снизят отказы.
Моя роль
Я сформулировал продуктовую гипотезу и направление: собственная система рекомендаций, план MVP, приоритеты и путь от API к пользовательским продуктам. Я связал возможности поисковой команды с работой отдела машинного обучения и вёл рекомендации от проверки на Главной до использования в Rambler/Старт. Модели пользователей разрабатывал отдел машинного обучения, Rambler/Старт — моя команда.
Ключевые решения
Развивать собственную систему рекомендаций для медийного и сервисного контента Rambler&Co и проверить её A/B-тестом на Главной Rambler.
Спланировать MVP как ленту из новостей, статей и сервисных виджетов и сразу заложить улучшение модели пользователя: стимулировать вход в аккаунт, связывать анонимные идентификаторы с учётными записями, дообучать модель на действиях пользователей и ответах в опросниках.
Выводить рекомендации в собственные пользовательские продукты Rambler. Стартовая страница и расширение для браузера были в плане с самого начала.
Что изменилось
Мы построили рекомендательный API. Материалы изданий Rambler&Co объединялись по схожести в темы и ранжировались по тому, насколько тема интересна конкретному пользователю.
Гипотезу мы проверили на живой аудитории портала: вывели рекомендации из API на Главную Rambler и провели A/B-тест.
Этот же API затем использовали в Rambler/Старт. Rambler/Старт был расширением для новой вкладки Chrome, в котором были поиск Rambler, виджеты пробок, погоды, курсов валют и почты, закладки сервисов Rambler и часто посещаемых сайтов, история, загрузки и персональная лента материалов проектов Rambler&Co.
Во втором квартале 2017 года мы оптимизировали рекомендательный API и добавляли в Старт новые проекты группы. Мы сделали промолендинг, а вместе с отделом Платформы — форму обратной связи для тех, кто удалял расширение.
Перед запуском нужно было пройти юридическую проверку и решить вопросы с изображениями в ленте. Планировались Chrome, Opera и Firefox, но Opera перестала поддерживать замену новой вкладки, а Firefox потребовал многочисленных доработок.
Исторические материалы продукта


Результат
A/B-тест рекомендательного API на Главной Rambler показал примерно 2,5× по CTR и 3× по глубине просмотра.
В июле 2017 года Rambler&Co запустила Rambler/Старт для Google Chrome — расширение для новой вкладки с персональной лентой на том же рекомендательном API.