Product Manager · Busca na Rambler&Co
Busca local para a Rambler&Co
A etapa seguinte do time de busca: nossa tecnologia de busca nos produtos da Rambler&Co, do Subbotniy e do Notícias até a busca em todo o LiveJournal.
Restrição
Muitos produtos da Rambler&Co precisavam de busca, mas cada time resolvia esse problema separadamente
Decisões-chave
Construir uma busca nos recursos de todo o grupo com tecnologia própria: um único ponto de entrada adaptado a cada site.
Resultado
Nossa busca em todos os produtos da Rambler&Co que precisam de busca própria · LiveJournal: cerca de 1 bilhão de documentos, mais de 5 TB
Contexto
Foi a continuação do nosso trabalho no Rambler Search. Os resultados web principais da Rambler vinham de um buscador externo, mas o time também tinha tecnologia de busca própria, e foi ela que continuamos a desenvolver.
Muitos produtos do grupo precisavam de busca: Notícias, Subbotniy, Finanças, Horóscopos, Championat, LiveJournal. Antes de uma tecnologia de busca comum, os produtos resolviam isso de formas diferentes. O LiveJournal, por exemplo, usava a busca do Yandex.
A restrição
Uma única tecnologia não bastava: cada site tinha suas próprias necessidades. O Championat precisava de cards de times, jogadores e eventos; o Notícias, de um jeito fácil de voltar às notícias depois da busca; o LiveJournal, de busca num arquivo enorme com páginas bloqueadas, reposts e spam de busca.
E cada integração precisava ser negociada separadamente com o time do produto.
Meu papel
Eu era responsável pelo produto e por boa parte do desenvolvimento de negócio interno. Com o time, íamos aos times de produto do grupo e propúnhamos assumir a busca para que os desenvolvedores deles cuidassem do próprio produto. Negociei as integrações, defini prioridades entre os sites e trabalhei com cada time em como a busca deveria aparecer e funcionar no produto deles. A busca era desenvolvida e operada pelo nosso time.
Decisões-chave
Construir uma busca nos recursos de todo o grupo com tecnologia própria: um único ponto de entrada adaptado a cada site.
Para os sites do grupo, uma busca integrada. Ela mostrava o conteúdo do próprio site e, ao lado, blocos de outros projetos do grupo, busca na web e publicidade. Isso dava ao grupo um canal adicional de monetização e controle do tráfego residual.
Para produtos com necessidades próprias, uma busca específica na mesma tecnologia, construída para o produto: no Championat, com cards de times, jogadores e eventos; no LiveJournal, uma busca em todo o serviço para substituir a do Yandex.
O que mudou
No segundo trimestre de 2016 lançamos a busca integrada no Subbotniy e construímos buscas específicas para o Championat, o Nightparty e o painel de moderação de comentários.
No terceiro trimestre a busca integrada chegou ao Rambler/Notícias, com alternância entre a busca geral e a local. Fizemos uma busca para o Horóscopos, autocompletar e muitas melhorias para o Championat, e começamos a mostrar resultados do LiveJournal na busca integrada dos sites do grupo. No fim de 2016 a busca integrada funcionava no Notícias, no Subbotniy, no Finanças e no Rambler ID.
Ajustamos o ranking separadamente para Championat, Afisha.ru e LiveJournal; como próxima etapa, planejávamos fazer o mesmo para Lenta.ru, Gazeta.ru, Letidor, Motor, Avtorambler, Eda e Finanças.
O LiveJournal foi a maior tarefa técnica. Construímos uma busca em todo o serviço, com lista branca de usuários no índice, filtragem de páginas bloqueadas e ranking por data do post e relevância, e depois entregamos a API ao time do LiveJournal para substituir a busca do Yandex.
Em paralelo migramos as buscas do Sphinx para o ElasticSearch e do FreeBSD para o Linux.
Materiais históricos do produto
Resultado
No fim, a tecnologia de busca do nosso time foi implantada em todos os produtos e serviços da Rambler&Co que precisavam de busca própria.
Em abril de 2017 o LiveJournal lançou a beta pública de uma busca desenvolvida pelo time do Rambler Search: cerca de 1 bilhão de documentos, mais de 5 TB no total, em ElasticSearch.
As integrações com os sites do grupo deram ao nosso time acesso ao conteúdo de vários projetos. Mais tarde isso se tornou uma das pré-condições para as recomendações da Rambler&Co.