От аспирантуры в Лиге Плюща до научных разработок в Meta

Редакция ИТ-журнала CIS пообщалась с Эдвардом Бахитовым – исследователем с учёной степенью из Университета Пенсильвании и опытом работы в Meta. Он рассказал нам о своём пути от академической науки к индустриальным исследованиям, применении машинного обучения в причинно-следственном анализе, A/B тестировании и о том, что ждёт data science в ближайшем будущем.

Эдвард, расскажите, пожалуйста, немного о своём академическом пути. Почему Вы выбрали именно экономику и как пришли к машинному обучению?

На первый взгляд может показаться, что экономика и машинное обучение – совершенно разные области, которые не имеют между собой ничего общего. Однако это не так. Современная прикладная экономика неразрывно связана с анализом данных, а значит, требует от специалистов хорошей подготовки в области статистики. Существует даже отдельное направление – эконометрика, которое занимается разработкой и применением статистических методов, в первую очередь для выявления причинно-следственных связей (causal inference) в экономических данных.

С ростом доступности больших объёмов и разнообразия данных, включая неструктурированные форматы вроде изображений, текста и видео, роль машинного обучения заметно возросла практически во всех сферах, включая экономику. В отличие от эконометрики, фокус машинного обучения смещён в сторону предсказания, а не объяснения причин.

Меня заинтересовало, можно ли объединить лучшее из этих двух миров – использовать машинное обучение для извлечения причинно-следственных связей. Так я пришёл к работе над методами, которые используют возможности машинного обучения для выявления причинно-следственных связей. Это направление известно как causal machine learning, и сегодня его активно внедряют ведущие технологические компании по всему миру.

Что Вас привлекло в исследовании причинно-следственных связей через данные? Почему именно causal inference?

Для меня как экономиста поиск причинно-следственных связей всегда был в центре внимания. В прикладных сферах, таких как экономика, здравоохранение или государственная политика, важно понимать не просто, что связано с чем, а что именно вызывает эффект. Это позволяет оценивать, действительно ли та или иная мера, будь то лечение, рекламная кампания или экономическая реформа, даёт желаемый результат.

Методы causal inference помогают отличить простую корреляцию от настоящей причины. Без этого можно легко принять неверное решение. Например, рост продаж может совпадать с увеличением рекламных расходов, но только правильный анализ покажет, действительно ли реклама сработала, или сыграли роль такие внешние факторы, как сезонность. В этом и заключается ценность подхода: он помогает принимать решения, основанные на реальных механизмах, а не случайных совпадениях.

Какие практические задачи Вы решали во время работы в Meta и чем Ваш подход отличался от классических методов A/B тестирования?

В Meta я занимался улучшением A/B тестирования – одного из главных инструментов для оценки новых функций. Классический подход предполагает, что на поведение человека влияет только то, что он сам получил, например новое уведомление или интерфейс. Но в социальных сетях это не так: пользователи постоянно взаимодействуют друг с другом.

Допустим, мы хотим протестировать, помогает ли мотивационное уведомление людям чаще постить в Instagram. Один пользователь его получил и стал активнее. Его друзья увидели новые посты и тоже стали чаще публиковать, хотя уведомления не получали. В итоге сложно понять, сработала ли функция или просто «заразила» остальных. Такие эффекты называются нарушением предпосылки о стабильности эффекта воздействия на объект (stable unit treatment value assumption, SUTVA).

Моя работа заключалась в разработке новых методов, которые позволяют учитывать такие взаимные влияния и давать более точную оценку эффекта. Это особенно важно для крупных платформ, где даже небольшие отклонения в результатах могут привести к неэффективным решениям и неправильно выбранным стратегиям.

Насколько тесно связана Ваша научная работа с индустрией? Были ли случаи, когда идеи из исследований сразу внедрялись в продукт?

В Meta я работал в центральной исследовательской команде, которая занималась разработкой и внедрением научных методов для улучшения продуктовых решений. Моя задача заключалась не только в создании новых методологий, но и в разработке прототипов, которые затем интегрировались в рабочие процессы и продукты компании.

Например, мы разработали методологию для анализа экспериментов с биграфной интерференцией (bipartite experiments), где взаимодействия между пользователями и контентом нарушают классические предпосылки A/B тестирования. Эта методика была успешно применена во многих командах. Также мы создали систему контроля вычислительных затрат при тестировании эффективности моделей ранжирования рекламы, что позволило оптимизировать ресурсы и повысить точность оценки моделей. Оба этих решения быстро нашли практическое применение в продуктах Meta.

Как, по Вашему опыту, устроена культура исследований в крупных ИТ-компаниях, таких как Meta?

Научные разработки – это ключевой драйвер инноваций в крупных ИТ-компаниях, однако важно не только создавать новые методы, но и эффективно внедрять их в продукт. Поэтому в таких компаниях есть специальные роли: Applied Scientist, Research Scientist, ML Scientist и другие, где наличие PhD часто является обязательным, чтобы обеспечивать разработку передовых научных подходов внутри компании, а не только применять готовые решения.

Что касается организационной структуры, существует два основных подхода. Вертикальный – когда каждая продуктовая команда имеет своих учёных, которые глубоко погружены в конкретный продукт. Горизонтальный – когда есть централизованные исследовательские команды, состоящие из учёных, которые сотрудничают с разными продуктовыми командами по мере необходимости. У каждого подхода есть свои преимущества и недостатки, и компании выбирают тот, который лучше соответствует их бизнес-модели и целям.

Какие научные публикации или проекты Вы считаете своими наиболее значимыми? Почему?
Из публикаций я выделяю статью Causal Gradient Boosting: Boosted Instrumental Variable Regression, где мы предложили новый алгоритм, сочетающий машинное обучение с классическим методом инструментальных переменных. Это важный пример современных causal machine learning методов. Работа была опубликована на крупной конференции Economics and Computation и представлена на ведущих воркшопах по causal inference при таких конференциях, как NeurIPs, ICML и UAI.

В рамках работы в Meta я снова хочу отметить проекты, посвящённые анализу экспериментов с биграфной интерференцией (bipartite experiments). Эта методология критична для платформ, которые связывают разные типы пользователей и контента, например маркетплейсы и поисковые системы. По результатам мы выпустили несколько статей и презентовали их на конференции по цифровым экспериментам в MIT. Благодаря этим разработкам Meta стала одним из лидеров в этой области наряду с Google.

Что бы Вы посоветовали студентам или молодым исследователям, которые хотят совмещать академическую работу и карьеру в технологических компаниях?

Мой совет очень простой: фокусируйтесь на решении задач, которые приносят реальную пользу бизнесу. Не начинайте с желания применить конкретный метод – исходите из того, что даст наилучший результат для поставленной цели.

В технологической сфере множество интересных задач: одни требуют сложных технических решений, другие, напротив, достаточно просты с технической точки зрения, но не менее значимы. Постарайтесь выстраивать свой портфель проектов так, чтобы сохранялся баланс между (а) сложными задачами, которые позволяют углубиться в технологии и, возможно, подготовить научную публикацию, и (б) более простыми технически, но важными для бизнеса задачами, которые позволяют оставаться полезным и результативным сотрудником.

Такой подход поможет вам одновременно удовлетворять научное любопытство и приносить ощутимую пользу компании.

Появлялись ли у Вас идеи или вызовы, которые, на Ваш взгляд, станут важными темами для будущих исследований?

В области дизайна экспериментов и статистики ещё много нерешённых задач. Одна из главных – повышение статистической силы экспериментов. С каждым обновлением ML-моделей изменения становятся всё менее заметными, и нужно создавать методы, способные «уловить» даже очень слабые сигналы в данных.

Ещё одна важная проблема – динамика взаимодействий между пользователями. Эксперименты часто длятся недели или месяцы, а структура связей в соцсетях при этом меняется. Современные методы либо слишком ресурсоёмки для масштабных систем, либо основаны на слишком жёстких предположениях, которые редко выполняются на практике. Решение этих вопросов – одна из ключевых задач будущих исследований.

edbakhitov@gmail.com