Как найти пользователя на авто ру

Привет!

Знаете, мне приходит много вопросов на тему посмотреть какое-то объявление на авто.ру или авито. Перекуп там или нет, развод или мошенник и т д. Самое интересное, что пишут мне и перекупы, с вопросами, как я их «пробиваю». На самом деле, все достаточно просто, но не всегда бесплатно. Я уже не раз касался этой темы в прошлых постах, сегодня расскажу все подробно.

Год назад я написал вот этот пост: Признаки перекупщиков и мошенников в объявлениях о продаже авто
За год мало чего изменилось, сейчас бы я кое-что добавил, но не суть. Дело в том, что на просторах интернета есть несколько сервисов, которые помогают не кататься иной раз за тридевять земель ради того, чтоб увидеть очередной автохлам и услышать очередную нелепую историю о машине от перекупа. Все, что вам нужно – это номер телефона продавца и госномер автомобиля. Проверить это можно двумя способами: либо зайти на сайт www.avinfo.guru, этот сайт бесплатный, либо скачать мессенджер Telegram, это аналог WhatsApp и Viber, найти в поиске контакт Avinfobot. Прямо сообщением боту отправляете номер телефона или госномер автомобиля, причем можно даже отправить просто фотографию автомобиля с госномером, а в ответ вам придет отчет, буквально через секунду.

В то время, как другие тратят деньги на телефоне, чтоб задать каверзные вопросы продавцу, а некоторые потом еще тратят деньги и время на бестолковые поездки, я трачу несколько секунд и ни копейки денег. Разумеется, это не панацея на все случаи жизни, однако, собрать максимум информации за минимум времени о продавце и его автомобиле, не составляет никакого труда и уж точно будет не лишней. Как это работает? Вот простой пример, видим на фото объявления номер автомобиля и отправляем его боту:

Как видите, в ответе приходит достаточно интересная информация, в том числе и VIN, и номер св-ва о регистрации. Теперь можно проверить машину по автокоду (www.avtokod.mos.ru). Ну как, интересно?:)

Причем, на авто.ру есть возможность замазать номер при подачи объявления. Это важно! Т е, если фотографии загружают с незамазанными номерами, то, «пробивая» продавца по номеру телефона, вы узнаете и госномер. Работает правило, если что-то попадает в интернет, то остается там навсегда:) Вот так выглядят номера, замазанные на авто.ру:

А вот так в пэйнте:

Что можно еще? По ссылке выше, можно так же посмотреть другие объявления продавца, сделать соответствующие выводы. В конце концов, попробуйте просто «загуглить» номер телефона, иногда это работает. А вот уж потом звоните продавцу, если посчитаете это нужным. Какие вопросы задавать, я вам не скажу. Просто тут нет секретов, спрашивайте то, что вам интересно. Лично у меня сразу вызывают подозрения описания объявлений, в которых уже написаны ответы на все мои вопросы. Не догадываетесь, почему?:)

Теперь о перекупах. Самое смешное, что сами перекупы точно так же попадают на перекупов, причем регулярно. И точно так же плюются, либо покупают хлам друг у друга. Так происходит круговорот дерьма автохлама по регионам. Самый простой способ не попадать на перекупов – это просто отсеять их объявления. К сожалению, (а может и к счастью) бесплатно это не получится. Но, перепродажа автомобилей – дело прибыльное, а любое прибыльное дело требует вложений. А купить восстановленное битье и просто перепродать потом, вылив тюбик полироли на машину – это лоховской бизнес, уж извините. Да, и чтобы быть первым, нужно видеть объявления до того, как они появляются на авто.ру или авито.
На скрине я выделил время выхода объявления до публикации на сайтах объявлений, кол-во других объявлений с этого номера телефона, а так же отклонение от средней цены:

Когда я ищу какую-то машину, я захожу сначала на агрегатор www.av100.ru, выставляя все нужные фильтры поиска и уж оттуда перехожу на понравившиеся объявления. Однако, у меня нет задачи купить дешевую машину, мне нужна хорошая. Но, кому нужны «горячие» варианты для перепродажи, их нужно сидеть и ждать у монитора. Так же телеграм-бот предоставляет возможность получать рассылки о только что вышедших объявлениях по вашим критериям. Наш век – это век технологий, не пользоваться ими — просто глупо, нужно идти в ногу со временем:)

Вот так все просто, казалось бы. Но из всех правил бывают исключения. Не воспринимайте это как таблетку, решающую все проблемы. Самое важное – это опыт, своим я делюсь с вами. Разумеется, как и в рецепте хорошего повара есть маленькие нюансы, о которых он не расскажет, такие же есть и у меня.

Всё о телеграм-боте AvInfo, как получать уведомления на телефон о выходе новых объявлений.

Как сэкономить на услугах автоподборщиков

Так же по теме блога:

На что смотреть в ПТС при покупке б/у авто

Проверка документов при покупке б/у авто

C чего начинается поиск б/у автомобиля

При поиске б/у авто большая часть владельцев предпочитают пользоваться популярными сайтами объявлений, в частности это авито, дром и другие варианты. Так можно ознакомиться с предложениями с учетом стоимости, региона и других ограничений. Также площадки требуют от владельцев описания, цен и четких фото, что также удобно для покупателей. Часть предложений на сайтах требуют оплаты.

При выборе площадки обычно учитывают:

• стоимость платных объявлений;
• охват нужного региона;
• возможность смотреть/размещать объявления без оплаты;
• наличие приложения для мобильных телефонов.

Поиск объявлений на Авито

Сайт имеет высокую востребованность, отдельный раздел для авто, охвачена вся территория РФ, есть приложение, платные и бесплатные объявления. Существуют ограничения по срокам – только 30 дней, при этом на продажу может уйти значительно больший срок, для чего придется размещать данные повторно. Также обязательна регистрация. Посетители могут увидеть до 10 фото, работает модерация для всех пользователей.

Объявления на Авто.ру

Отличается специализацией на запчастях и автомобилях, мотоциклах, грузовых и других транспортных средствах. Также охватывает всю страну и позволяет бесплатно добавлять объявления. Сложность доставляет подменный номер, добавляемый для защиты от спама. Также есть приложение, количество фото до 30 штук, все данные проходят модерацию и проверку через СМС. Цена платных объявления достигает 2495 рублей, расценки зависят от выбранных опций.

Чем отличается ресурс Дром.ру?

Портал Drom.ru также специализируется на авто с пробегом, включает полезные данные, форум и сами объявления. При частом использовании сайта рекомендуется внесение оплаты. Объявления размещаются платно и бесплатно, параметры подбираются индивидуально, охват всей территории России. Предоставляется расчет цены, заполнение по фото СТС. Новое объявление без оплаты принимается раз в полгода, обязательна модерация, после 30 суток данные переходят в архив.

Удаленные объявления, что делать?

Многих волнует вопрос поиска объявлений, если их уже удалили, причин для этого много:

• поиск авто, которое заинтересовало ранее, но исчезло после завершения срока публикации;
• необходимость уточнения данных прошлого владельца авто, цены рассматриваемого ранее автомобиля или других данных;
• желание связаться с продавцом для уточнения продажи;
• расширение перечня подходящих вариантов с учетом недавно удаленных предложений, которые могут быть в силе;
• поиск более ранних сведений для их сравнения.

Проблема в том, что после удаления, найти объявления стандартным образом невозможно. Для этого можно использовать архивы объявлений, однако неизвестно, можно ли им доверять. Часто пользователи сталкиваются с устаревшими данными или подменными номерами телефонов, которые используются ресурсами для защиты от спама.

Найти старые объявления через сервис Автопроверка

На данный момент сервис Автопроверка предлагает возможность ознакомления с историей продажи авто. Мы предоставляем данные, которые выкладывались владельцами на специализированных площадках. В том числе можно узнать об изменениях в стоимости, месте продажи, состоянии, пробеге. Многим также полезны данные по владельцам автомобиля на момент размещения объявления, комментарии владельцев и фото.

Все эти данные можно узнать по имеющимся параметрам авто (госномер, вин код или номер кузова), забив их в соответствующую колонку. Так можно проследить последовательность предоставления данных. К примеру: это же авто могло быть куплено ранее с пробегом 240 тыс. км, а позже выставлено в продажу, но уже с пробегом 137 тыс. км. Так будет заметно скручивание пробега и обман со стороны нынешнего продавца.

Скрываться могут царапины, дефекты, общее состояние и другие факторы, сервис avtoproverka поможет выполнить более детальную проверку и снизить риски покупки авто по завышенной цене.

У нас также можно заказать поиск и извлечение информации из наших архивов, а именно контактных данных (телефона продавца) из удаленных и закрытых объявлений, объявлений с истекшим сроком  размещения на сайтах auto.ru, avito.ru, drom.ru, am.ru, irr.ru, e1.ru, ngs.ru, autochel.ru и многих других площадок. Более подробная информация доступна по этой ссылке: Архив объявлений avito.ru, auto.ru, drom.ru, am.ru.

Поиск в базе данных проводится вручную, каждый запрос обрабатывается человеком-оператором. Поэтому стоимость запроса одного номер телефона фиксирована и составляет 250 руб.  

Что нового в версии edrom 1.99-2.01?

Следующие файлы позволяют провести откат программы edrom до более ранних версий (запуск устаревших версий не рекомендуется):

edrom_update_2.01.zip [0 b] (cкачиваний: 2355)
 Обновление 2.01 от 22/01/2014 22:00:00 (версия не актуальна). Описание основных изменений:  
1. Изменение некоторых принципов работы.

edrom_update_2.00a.zip [0 b] (cкачиваний: 247)
 Обновление 2.00a от 21/01/2014 20:30:00 (версия не актуальна). Описание основных изменений:  
1. Исправлена ошибка при работе с кешем в версии для недвижимости.

edrom_update_2.00.zip [0 b] (cкачиваний: 295)
 Обновление 2.00 от 21/01/2014 14:30:00 (версия не актуальна). Описание основных изменений:  
1. Восстановление поиска на сайте AVITO.ru (изменение принципа работы сайта).

edrom_update_1.99.zip [0 b] (cкачиваний: 1072)
 Обновление 1.99 от 20/01/2014 8:30:00 (версия не актуальна). Описание основных изменений:
1. Добавлена новая функция извлечения номера телефона из удаленных и закрытых объявлений с auto.ru, avito.ru, drom.ru, bibika.ru и других сайтов объявлений. Если объявление было удалено или закрыто, но сохранилась ссылка на объявление, используя команду Главное менюСервисТелефон по http-адресу объявления… можно быстро восстановить контактные данные, которые были указаны продавцом. 

Для сайтов auto.ru, avito.ru, drom.ru, bibika.ru, am.ru, mail.ru, irr.ru, dmir.ru, cars.ru, autonavigator.ru, avtomarket.ru и carsguru.net телефон извлекается либо из локальной базы данных, либо (при отсутствии в локальной базе) с сервера edrom (данные на котором хранятся на протяжении 3-6 месяцев после удаления объявлений).  

Для всех остальных сайтов (auto24.ru, ufa1.ru, autochel.ru, 66.ru, e1.ru и т.д.) телефон извлекается только из локальной базы данных.

Для центральных регионов и крупных городов (Москва и обл, Санкт-Петербург и обл, Екатеринбург и обл, и т.д.) в базу на сервере edrom попадают практически все объявления, которые публиковались на сайтах. Восстановление телефонов поддерживается для следующих категорий объявлений: автотранспорт и недвижимость (сдам в аренду квартиры, комнаты; продам квартиры, комнаты). Для корректного восстановления телефона из удаленных объявлений программа должна работать в соответствующем режиме (автоверсия или версия для недвижимости).

Важным моментом является необходимость задавать http-адрес объявления в том виде, как он представлен в результатах поиска на соответствующем сайте. К примеру, ссылки на объявления в старой версии сайта auto.ru имеют формат: 
http://cars.auto.ru/cars/used/sale/61853357-6db320.html

Ссылки на объявления в новой версии сайта auto.ru имеют уже несколько другой формат (с обратным слешем в конце строки), т.е.:
http://auto.ru/cars/used/sale/38307320-6db320/

Для возврата телефона по http-адресу программа вычисляет 32-разрядный хеш-код, по которому на сервере  edrom происходит поиск телефона. Поэтому, если вы задаете http-адрес в неверном формате, программа не сможет найти номер телефона.

Примеры правильных ссылок на объявления с других сайтов:

http://www.avito.ru/moskva/avtomobili_s_probegom/mazda_3_2007_335689510
http://moscow.drom.ru/mazda/mazda3/14720111.html
http://msk.am.ru/used/land_rover/discovery/prv—e62e8642/#snp3
http://irr.ru/cars/passenger/Mercedes-C-200-sedan-2004-g-v-probeg-157000-km-advert343533981.html

и т.д.

Чтобы узнать номер телефона по ссылке (http-адресу) удаленных и закрытых объявлений используйте команду Главное менюСервисТелефон по http-адресу объявления…, см. рис.:

2. Доработаны функции анализа объявлений auto.ru, drom.ru и bibika.ru при работе со статических ip-адресов.
3. Исправлены некоторые ошибки.

См. также другие особенности работы с архивами объявлений avito.ru, auto.ru, drom.ru, am.ru и других сайтов.

Персональное ранжирование на Авто.ру: как не потерять главный смысл поиска по параметрам

Поиск по базе объявлений — совсем не то же самое, что поиск по интернету. Он параметрический, а не полнотекстовый: вы можете с помощью фильтров однозначно определить, что вам нужно, сузив область поиска. Поэтому и ранжирование в нём, на первый взгляд, играет не настолько большую роль — казалось бы, документов или карточек в выдаче не так много, чтобы дополнительно их ранжировать. Но это справедливо для небольшой базы и только для одного поискового сценария.

В параметрическом поиске Авто.ру действует правило: незачем строить за пользователя предположения о том, что он имел в виду. Мы в любом случае покажем все объявления, соответствующие поисковым фильтрам в запросе. Роль движка ранжирования — отсортировать карточки так, чтобы наиболее релевантные для конкретного пользователя оказались выше, не более. Я работаю над этим уже несколько месяцев, сейчас расскажу об устройстве движка и первых результатах.

На скриншоте видно: с помощью параметров можно указать марку, модель автомобиля и другие, в том числе мельчайшие характеристики. Также можно ввести запрос текстом, в этом случае он будет разбит на токены и преобразуется в набор параметров. Ещё одно важное отличие — объявления на Авто.ру могут публиковать и частные продавцы, и дилеры. Эти особенности поиска вновь ставят под сомнение возможную пользу от машинного обучения. Действительно, зачем использовать ML, когда поисковые фильтры могут дать однозначный ответ на запрос?

Как люди ищут на Авто.ру

Мы проанализировали поисковые сессии пользователей на нашем сайте и заметили, что далеко не все используют много фильтров. Самые популярные из них — марка, модель, регион, нижние и верхние границы цены. Но даже эти фильтры все вместе встречаются меньше чем в половине всех поисковых сессий. Допустим, пользователи часто указывают лишь верхнюю границу цены, оставляя остальные поля пустыми. Таким критериям поиска удовлетворяет много объявлений. Но если пользователь ввёл цену «до миллиона», это не значит, что ему одинаково интересны автомобили, которые стоят близко к миллиону и десятки тысяч рублей (да, есть и такие). Аналогично, если пользователь не указал марку или тип кузова, это не значит, что ему одинаково интересны все варианты этих параметров.

С точки зрения поисковых сценариев, одна часть пользователей приходит на Авто.ру, когда уже знает какой примерно автомобиль собирается купить, а другая — чтобы поисследовать предложения рынка, прицениться и только потом начать искать нечто конкретное.

Проблема ранжирования поисков с пустыми фильтрами

Итак, есть поисковые сценарии, где люди ещё наверняка не знают, какой автомобиль им нужен. Поэтому вопрос ранжирования выдач с большим числом пустых фильтров становится очень острым. Предположим, пользователь ввёл единственный фильтр по типу кузова седан. Что показать в топе выдачи по такому запросу? Новенький Mercedes-Benz E-класса или, например, Lada Priora с пробегом 100 тыс. км? От качества ранжирования зависит, сможет ли пользователь найти то, что ему нужно, и решить свою проблему или нет.

Одна из простых идей — ранжировать по определённому параметру, например по цене или по свежести объявления. Но такой подход к ранжированию не учитывает детали самого объявления. Поэтому мы задумались о том, что можно было бы ранжировать объявления с помощью машинного обучения. Например, по логам поисковых сессий можно обучить модель оценивать релевантность объявления на основе его контента. В самом простом виде под релевантностью понимается CTR (click-through-rate) — отношение числа кликов к числу показов объявления. На выходе для каждого объявления имеем вероятность клика по нему.

Это уже хорошо, тем не менее, у такой модели есть очевидный минус — в ней учитываются контентные факторы объявлений, но не учитываются предпочтения пользователей. Допустим, одни предпочитают японские праворульные автомобили, другим подавай немцев. Кто-то уверенно управляет ручной коробкой, другим подходит только автомат. Становится понятно — модель должна быть персональной.

Гипотеза о персональном ранжировании

Персонализация в задачах ранжирования — способность модели оценивать релевантность объявлений с учётом интересов и паттернов поведения пользователей. Рассмотрим это в контексте Авто.ру. Допустим, известно, что пользователь ранее интересовался автомобилями определённой марки. Тогда, при отсутствии строгого поискового фильтра на марку автомобиля в поисковом запросе, логично будет в поисковой выдаче в первую очередь показывать ему объявления с этой маркой и с похожими на неё. Такой подход решает проблему поиска с пустыми фильтрами. Зная предпочтения пользователей, мы можем показывать в топе выдачи наиболее релевантные для них объявления.

Чтобы сделать хорошее персональное ранжирование, нужно завести много факторов про объявления и пользователей, собрать обучающую выборку с этими факторами и обучить на них ранжирующую модель. Дальше я расскажу подробнее, как мы это делаем.

Факторы ранжирования

У нас есть разные факторы, которые мы используем для обучений моделей. Их условно можно разделить на четыре группы. Контентные — про автомобиль, конверсионные — статистики по объявлениям за время их нахождения на сайте, пользовательские — соцдем и разные real-time-счётчики на основе поведения пользователя на нашем сайте. Ещё есть факторы на стыке запроса и объявления.

Персональная модель ранжирования

Постановка задачи обучения модели:

• Обучающая выборка состоит из N поисковых запросов.
• Каждый запрос содержит набор объявлений.
• Для каждого объявления есть таргет, основанный на силе взаимодействия пользователя с данным объявлением. С точки зрения обучающей выборки, ключевые таргеты на сайте — показ объявления, клик на объявление и звонок по объявлению. Разумеется, последнее — самый сильный и желаемый сигнал.
• Цель обучения — построить модель, которая наилучшим образом будет восстанавливать порядок объявлений в соответствии с таргетами: для первых объявлений в выдаче вероятность того, что человек по ним позвонит, выше, чем для последующих.

В качестве модели мы используем градиентный бустинг из библиотеки CatBoost с ранжирующей функцией потерь YetiRank. CatBoost работает довольно быстро на всех этапах — обучает модели на GPU, параметры перебирает с помощью алгоритма Байесовской оптимизации, а для применения использует API на Java.

Персональная модель применяется в рантайме непосредственно в момент поискового запроса. Схема применения выглядит следующим образом:

Профиль пользователя — важная инженерная компонента, которая позволяет персонализировать ранжирование. Он представляет из себя структуру, в которой лежат хэшированные идентификаторы пользователя и различные метаданные, включая счётчики пользователя по разным типам событий. Например, один из счётчиков показывает, сколько раз человек кликал по автомобилям с типом кузова седан.

У активного пользователя профиль может быть большим и тяжелым — важно уметь обрабатывать такие сценарии. Необходимо следить, чтобы профиль сильно не разрастался, иначе пострадает скорость работы сервиса. Для этого можно удалять самые старые события, накладывать ограничения на размер профиля и на число событий, которые можно хранить. В рантайме профиль передаётся строкой в формате Base64.

Факторы ранжирования доставляются в модель из разных источников. Персональные факторы достаются из профиля пользователя, контентные факторы про объявления (тип кузова, марка, модель) — из поискового индекса. Статистические факторы тоже хранятся в поисковом индексе и обновляются отдельным регулярным процессом. Каждые 30 минут запускается процесс, чтобы на основе свежих данных пересчитать все ключевые статистики для каждого объявления. Подсчитанные результаты складываются в таблицу, которая и доставляется в поисковый индекс.

Схема доставки персональной модели в продакшен

Персональная модель — ключевая компонента в ранжировании. Больше всего мы экспериментируем именно с ней, поэтому важно, чтобы процесс выкатки модели в эксперимент занимал мало времени и работал стабильно.

После обучения модель загружается в объектное хранилище S3, затем поисковый сервис с помощью автоматизированной регулярной задачи обнаруживает, что появилась новая модель, подбирает её и запускает процесс валидации модели, который включает в себя проверку наличия необходимых факторов для применения модели в продакшен-окружении и делает прочие health checks. Если проверка прошла успешно, то модель доставляется в продакшен-окружение, после чего можно завести эксперимент с моделью на платформе А/Б-тестирования и наблюдать за результатами. Если же что-то пойдёт не так, у нас есть механизм отката на стабильную версию модели.

Как не просадить тайминги рантайма поиска

Применение персональной модели на каждый поисковый запрос — дело затратное. Если применять её на десятки тысяч объявлений, удовлетворяющих критерию поискового запроса, то пока пользователь будет ждать ответ от поиска, он успеет забыть, что хотел, и уйдёт.

Для решения этой проблемы мы используем двухэтапный процесс ранжирования. На первом этапе применяется легковесная неперсональная CatBoost-модель, которая предсказывает вероятность звонка по объявлению с учётом его контентных факторов. Такой модели не нужны факторы пользователя (которые можно получить только в рантайме), поэтому предсказания для неё можно рассчитать заранее и закэшировать в поисковом индексе. В момент поискового запроса объявления сортируются сперва по предсказанию неперсональной модели — вероятность звонка.

На втором этапе мы возьмём топ-800 объявлений по этим вероятностям и переранжируем их персональной моделью. Таким образом неперсональная модель имитирует отбор кандидатов, для которых мы применим персональную модель.

Пользователи нечасто скроллят до конца выдачи, поэтому нам важно, чтобы именно в топе были наиболее релевантные объявления. Применить персональную модель для топ-800 объявлений оказывается вполне достаточно. Объявления, не попавшие в топ-800, останутся в хвосте выдачи как есть. В результате качество ранжирования не страдает, а время ответа поиска для большинства запросов не превышает 100 мс.

Дизайн экспериментов

Правильный дизайн экспериментов не менее важен, чем хорошая модель. Как только мы обучили модель, мы оцениваем её качество на тестовой выборке. Если по метрикам качества ранжирования (NDCG, MAP, MRR) модель выглядит перспективно, то мы запускаем А/Б-тест — так мы оцениваем модель на реальных пользователях и измеряем финальный продуктовый эффект от внедрения. Несколько ключевых правил, которыми мы руководствуемся при проведении экспериментов:

1. Формулируем чёткие ожидания от гипотезы: какие метрики должны вырасти, а какие нет, и почему.
2. Фиксируем время эксперимента и не принимаем решения до его окончания.
3. Следим, чтобы наша модель не ухудшала общие критически важные метрики сервиса.
4. Заводим отдельные эксперименты на разных платформах.
5. При принятии решений руководствуемся статистическими критериями.
6. Документируем лог релизов и экспериментов с ключевыми выводами.

Несмотря на следование этим правилам, при проверке гипотез мы периодически получали результаты, которые тяжело проинтерпретировать. Допустим, наша цель — улучшить качество ранжирования в срезе по автодилерам. Для этого объявления дилеров сильнее взвешиваются в обучающей выборке и строится отдельная модель с учётом желаемого эффекта, но по результатам А/Б-теста метрики в срезе по дилерам, наоборот, падают. Приведу ещё один пример. Допустим, мы строим модель ранжирования в срезе по новым автомобилям, раскатываем в А/Б-тест, видим, что кликать по объявлениям с новыми автомобилями начали больше, однако наблюдаем нежелательный эффект — падают метрики в срезе по подержанным автомобилям. Получается, мы сделали настолько хорошее ранжирование в новых авто, что подержанные теперь никому не нужны? Искать причинно-следственные связи в таких гипотезах бывает сложно.

Итак, одна из особенностей и ключевая сложность экспериментов с ранжированием в Авто.ру — это необходимость работать над улучшением метрик, которые могут противоречить друг другу. С точки зрения математики мы имеем дело с задачей мультикритериальной оптимизации, которую не всегда удаётся решить оптимально — и это нормально. Ранжирование — сложный инструмент, любое изменение может отразиться на разных метриках. Поэтому нужно следить за многими метриками — не только за теми, на которые эксперимент, как ожидается, повлияет в первую очередь.

Результаты

Активное развитие проекта пришлось на последние полгода. Мы провели более двадцати экспериментов и улучшили ряд ключевых продуктовых метрик — сначала в срезе поиска по подержанным автомобилям, а затем и в срезе по новым. Внедрение машинного обучения позволило на 5% увеличить число переходов в карточки объявлений. Выросли метрики поискового сценария: на 4% выросла средняя позиция первого клика, на 5% выросла доля кликов в топ-5 по выдачам (с поправкой на то, что на разных платформах результаты были немного разными). При этом сократилось число поисковых сессий — это значит, что новые алгоритмы ранжирования позволяют пользователям быстрее находить то, что им нужно, и реже возникает необходимость переформулировать поисковый запрос.

Рост метрик на условные 5%, на первый взгляд, сложно назвать большим — но только не в нашем случае. Ещё до внедрения машинного обучения мы проверяли много гипотез, внедряли разные эвристики, которые заметно улучшили качество ранжирования. Как только стало невозможно расти дальше с помощью простых правил и эвристик, мы перешли к персонализации с помощью ML. На наших объёмах польза от таких внедрений очень ощутима.

Заключение

Когда речь заходит о внедрении машинного обучения, часто бывает сложно оценить потенциальный эффект от ML и определиться, стоит ли игра свеч. Существует немало историй, когда машинное обучение внедряли туда, где можно было обойтись простыми эвристиками и получить результат не хуже, а порой и лучше. При обсуждении плана проекта у нас тоже были опасения, что мы потратим кучу ресурсов в никуда. Мнения коллег сперва разделились, но совместными усилиями с помощью аналитики и обсуждения продуктовых сценариев поиска Авто.ру мы решили, что верим в гипотезу о персонализации поиска и, как оказалось, не прогадали. Сегодня мы внедряем ML-ранжирование во все контуры поиска Авто.ру.

По пути мы, конечно, много раз ошибались и выучили несколько уроков. Во-первых, как бы банально это ни звучало, важно не опускать руки после неудачных экспериментов. Первые два месяца мы проверяли гипотезы как будто вслепую. Результаты нас не устраивали, и было непонятно, куда двигаться дальше. Мы пробовали разные подходы, анализировали результаты, и со временем ситуация прояснилась.

Во-вторых, важно следить за тем, чтобы с инженерной точки зрения инфраструктура проекта была на хорошем уровне. Например, логирование и мониторинг качества моделей, процессы доставки моделей в продакшен, версионирование моделей и процессы с данными. Последнее особенно важно — мы потратили много ресурсов на построение качественного типизированного лога с данными событий пользователей. Это упростило процессы сбора обучающих выборок для ML-моделей, а также стало проще анализировать результаты экспериментов. Если вы начинаете делать новый ML-проект, сперва надо подготовить для него инфраструктуру, иначе есть риск, что эксперименты будут срываться в неожиданных местах, а решать проблемы на ходу станет тяжелее.

Помогла ли Вам статья?