Как мы увеличили пропускную способность поиска картинок с помощью ML и изменения архитектуры
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Картинки - это часть поиска Яндекса, работающий с визуальным контентом и обрабатывающий более 10 000 тяжёлых запросов в секунду с помощью десятков тысяч CPU в рантайме. Мы расскажем, как столкнувшись с необходимостью масштабирования сервиса, с помощью ML в сочетании с архитектурными изменениями смогли не только увеличить пропускную способность в ~2 раза на том же железе, но и дать инструмент для более гибких продуктовых внедрений.
В докладе затронем:
* Архитектуру поиска картинок
* Какие сейчас существуют оптимизации, их преимущества и недостатки
* Что представляет из себя схема с тирами и при чем тут химический элемент с атомным номером 78
* Как шардирование в сочетании с ML помогает экономить железо
* Какой потенциал развития у схемы с различными тирами и балансировкой трафика
Я работаю руководителем службы разработки Яндекс Картинок, занимаюсь архитектурой поиска картинок, построением поисковых баз и разными другими продуктовыми задачами, сочетающими в себе высоконагруженность и ML.
Яндекс
Я работаю в Яндекс Картинках backend разработчиком 3 года, до этого работал в Huawei и в уральской горнодобывающей компании. Закончил магистратуру МФТИ, участвовал в финале ICPC. Люблю узнавать новое про алгоритмы и структуры данных, сложные архитектурные решения распределенных систем и углубляться в познания C++
Яндекс
Видео
Другие доклады секции
Архитектура
