Наш герой собственной персоной
Каждый день мы пользуемся Facebook* и Instagram*, даже не подозревая, кто и что за ними стоит. Все знают про Марка Цукерберга, братьев Уинклвосс, Кевина Систрома и Майка Кригера. Но мало кто догадывался, что эти сервисы прямо сейчас создают в том числе и наши соотечественники. Эдвард Бахитов — один из тех русских ребят, которые смогли пройти путь от московской Вышки до Кремниевой долины. Он начинал аналитиком в Билайне, а закончил ведущим исследователем в Meta*, где его методы влияют на опыт миллиардов пользователей по всему миру. О том, как это вообще возможно и что происходит внутри IT-гигантов, рассказывает сам герой.
Как вы вообще пришли в науку и данные? Это была мечта, случайность или просто интерес?
В начале магистратуры я в основном ориентировался на прикладную аналитику — работал в Билайне, занимался классическими задачами бизнеса, и всерьёз о науке не думал. Всё изменилось, когда я поехал учиться по программе двойных дипломов в Университет Люксембурга. Там была гораздо более академически ориентированная программа, и это сразу меня увлекло.
Особенно повлияли преподаватели — они активно вовлекали студентов в исследования и по-настоящему показали, как можно использовать данные для более фундаментального анализа экономических процессов. Я начал читать научные статьи, участвовать в семинарах, и впервые всерьёз задумался о карьере в академии. Именно тогда я осознал, что хочу не просто применять готовые инструменты, а участвовать в разработке новых методов и подходов — и это подтолкнуло меня к подаче на PhD.
Можете вспомнить конкретного преподавателя или момент, который особенно повлиял на ваше решение уйти в науку?
Да, безусловно. На моё решение уйти в науку сильнее всего повлияли мои научные руководители — Кристос Куловатьянос и Гаутам Трипати. Не могу сказать, что был какой-то один поворотный момент — это было скорее естественное стремление попробовать что-то новое и бросить себе вызов. Они сыграли ключевую роль в этом процессе: не только делились своими знаниями и подходом к научной работе, но и помогли мне поверить в себя. Благодаря их поддержке я понял, что могу справиться с этим непростым, но захватывающим путем.
В 2015 году Эдвард получил награду за лучшую магистерскую диссертацию по экономике от Economist Club Luxembourg и Университета Люксембурга. Именно тогда произошел переломный момент. Программа двойных дипломов в Люксембурге стала мостом между прикладной аналитикой в Билайне и будущей карьерой в науке.
Почему решили учиться за границей, и каково это — учиться на PhD в Лиге Плюща?
Я хотел учиться у сильнейших преподавателей в экономике, а ведущие программы в этой области находятся в США. Поэтому я подал заявки в несколько университетов и был рад получить приглашение от Университета Пенсильвании — одного из ведущих вузов Лиги Плюща.
PhD — это марафон длиной в 5-6 лет. Конкуренция очень высокая: тебя окружают невероятно талантливые студенты со всего мира, и стандартный ритм работы — 10-12 часов в день, шесть дней в неделю (отдыхать все же надо). Наука часто непредсказуема: ты можешь месяцами работать над идеей, которая в итоге не приведёт к результату. Поэтому важно не просто генерировать идеи, а доводить их до полноценных публикаций — именно по ним тебя оценивают. Это требует упорства, терпения и полной самоотдачи.
В 2016 году Эдвард получил University Fellowship в Университете Пенсильвании — один из самых престижных грантов для иностранных аспирантов. Путь от российского студента до кандидата наук в Лиге Плюща требовал не просто таланта, а полной самоотдачи.
Чем вы занимались в аспирантуре? Можете объяснить простыми словами, что именно вы изучали?
В аспирантуре я изучал, как использовать машинное обучение и статистику для ответа на экономические вопросы — особенно там, где важны причинно-следственные связи. Экономика сегодня немыслима без анализа данных, и один из её ключевых вопросов — как понять, что именно вызывает определённые изменения. Например, помогает ли новая налоговая реформа реально улучшить ситуацию, или положительный эффект — просто совпадение? Для этого существует эконометрика — область, которая занимается разработкой и применением статистических методов, в первую очередь для выявления причинно-следственных связей в экономических данных.
С ростом доступности больших объемов и разнообразия данных — включая неструктурированные форматы вроде изображений, текста и видео — роль машинного обучения заметно возросла практически во всех сферах, включая экономику. В отличие от эконометрики, фокус машинного обучения смещён в сторону предсказания, а не объяснения причин.
Меня заинтересовало, можно ли объединить лучшее из этих двух миров — использовать машинное обучение для извлечения причинно-следственных связей. Так я пришёл к работе над методами, которые используют возможности машинного обучения для выявления причинно-следственных связей. Это направление известно как causal machine learning, и сегодня его активно внедряют ведущие технологические компании по всему миру.
Почему важно находить именно причины, а не просто смотреть на «корреляции» в данных?
Понимание причинно-следственных связей — ключ к принятию обоснованных решений в любой прикладной области, будь то экономика, здравоохранение или государственная политика. Простая корреляция может указывать на связь между событиями, но не объясняет, что именно вызывает эффект. Если полагаться только на корреляцию, можно легко принять неверное решение. Например, рост продаж может совпасть с увеличением рекламных расходов, но это вовсе не означает, что реклама действительно сработала — возможно, сыграли роль сезонность или другие внешние факторы.
Причинно-следственный эффект представлен черной сплошной линией, а прерывистые линии отражают влияние внешних факторов, обуславливающих дополнительную корреляцию
Методы причинно-следственного анализа позволяют выявить именно те факторы, которые действительно влияют на результат. Для меня как для экономиста это всегда было в центре внимания: только поняв, что именно вызывает изменения, можно оценить эффективность конкретной меры — будь то экономическая реформа, рекламная кампания или программа по снижению безработицы. В этом и заключается практическая ценность причинно-следственного анализа: он позволяет принимать решения, основанные на механизмах, а не на случайных совпадениях.
Есть ли пример, когда ваше исследование помогло увидеть какую-то важную зависимость, которую раньше никто не замечал?
Один из примеров — моя диссертационная работа, в рамках которой я разработал методологию для более гибкой оценки экономических зависимостей с использованием алгоритмов машинного обучения. В частности, я сосредоточился на оценке ценовой эластичности спроса в розничной торговле — например, внутри товарных категорий вроде газированных напитков или йогуртов.
Классические подходы в экономике обычно базируются на структурных моделях, которые требуют достаточно жёстких предпосылок о поведении потребителей. Такие модели полезны для теоретического анализа, но могут упрощать или искажать реальные поведенческие паттерны. Я предложил более гибкий подход, в котором часть этих предпосылок снимается, и который позволяет опираться больше на данные, чем на модельные допущения.
Результаты показали, что чувствительность спроса к ценам имеет более сложную и неоднородную структуру, чем предполагают традиционные модели. Это важно с точки зрения как эмпирического анализа, так и практических решений: такая информация может быть полезна, например, при оптимизации ценовых стратегий и разработке более таргетированных программ стимулирования спроса.
В августе 2022 года, сразу после защиты диссертации, Эдвард присоединился к Central Applied Science Team в Meta* — элитному подразделению, занимающемуся разработкой передовых методов в различных областях, включая онлайн-эксперименты, прогнозирование, машинное обучение и искусственный интеллект. В отличие от академии, в корпоративной среде научные идеи довольно быстро находят применение в реальных продуктах.
Что делает исследователь в Meta? Как проходит обычный день?
Исследователь в Meta* работает на стыке науки и продукта. Основная задача — разрабатывать и внедрять новые научные методы, которые помогают улучшить продуктовые решения. Это не только про публикации и теорию — исследователь сопровождает проект на всех этапах: от формулировки задачи и разработки методологии до создания прототипа и его интеграции в реальный продукт.
В этом смысле исследователь в большой IT-компании должен быть не просто специалистом в своей научной области, но и обладать хорошими инженерными навыками — уметь программировать, тестировать идеи на практике и взаимодействовать с продуктовыми командами. В зависимости от направления — будь то причинно-следственный анализ, машинное обучение, ИИ или оптимизация — баланс между научной и инженерной частью может меняться, но междисциплинарность почти всегда играет ключевую роль.
За время работы в Meta* Эдвард разработал методы, которые позволили увеличить пропускную способность экспериментов на 30-40% и снизить вычислительные затраты в 3-5 раз. В крупных IT-компаниях постоянно тестируются десятки, а иногда и сотни гипотез одновременно, поэтому каждое ускорение процесса оборачивается миллионными экономиями.
Что такое A/B тесты и зачем их столько проводят в IT-компаниях?
A/B-тест — это метод экспериментальной оценки, при котором пользователей случайным образом делят на две группы: одна получает новое изменение (например, новую функцию или дизайн), а другая — остаётся с текущей версией. Сравнивая поведение этих групп, можно понять, действительно ли нововведение улучшает ключевые метрики, например, увеличивает вовлечённость или продажи. Это один из самых надёжных способов выявления причинно-следственных связей в продукте.
A/B-тесты особенно популярны в IT, потому что они одновременно просты в объяснении и масштабируемы. В отличие от более сложных методов причинно-следственного анализа, A/B-тест легко донести до продуктовой команды, и для него можно построить мощную внутреннюю инфраструктуру, которая позволяет параллельно запускать сотни или даже тысячи экспериментов. Это делает A/B-тестирование ключевым инструментом принятия решений в больших технологических компаниях.
С какими проблемами вы сталкивались при настройке экспериментов?
Одна из главных проблем — это то, что реальные условия далеки от «идеального» мира, в котором действуют классические статистические предпосылки. Например, стандартный A/B тест предполагает, что пользователи никак не влияют друг на друга. Но в социальных сетях это не так: люди видят контент друг друга, взаимодействуют, и это может сильно исказить результаты эксперимента.
Ещё один важный аспект — это динамика поведения. Многие эксперименты длятся недели, а поведение пользователей, а также алгоритмы доставки контента могут за это время заметно меняться. Если не учитывать эти изменения, можно сделать неверные выводы.
Также одной из частых проблем является недостаточная статистическая мощность экспериментов. Это особенно актуально, когда сравниваются итерации моделей, которые отличаются незначительно — например, очередная версия модели машинного обучения может давать прирост в доли процента, что отражается в очень слабом сигнале на бизнес-метриках. В таких ситуациях стандартные методы A/B тестирования могут не выявить разницу вовсе. Поэтому приходится применять более продвинутые методы, позволяющие фиксировать даже слабые, но устойчивые эффекты, не увеличивая при этом продолжительность или масштаб эксперимента до нецелесообразного уровня.
Ну и, конечно, не стоит забывать про вычислительные ограничения. Многие современные методы оценки эффектов, особенно в сложных системах с взаимодействием пользователей, требуют значительных ресурсов. Однако в продакшене критически важно находить баланс между точностью оценки и вычислительной эффективностью. В нашей работе мы уделяли особое внимание тому, чтобы разрабатывать и адаптировать методы таким образом, чтобы они были масштабируемыми и ресурсоэффективными, не теряя при этом в качестве выводов.
Одно из ключевых достижений Эдварда в Meta* — создание системы анализа экспериментов с биграфной интерференцией, которая помогла решить проблему взаимного влияния пользователей и рекламодателей в A/B-тестах. Когда рекламодатель меняет свою стратегию, это может повлиять на поведение пользователей, а их активность, в свою очередь, может повлиять на эффективность рекламы других рекламодателей, что искажает результаты эксперимента.
Были ли ситуации, когда результат эксперимента шёл вразрез с тем, что ожидало руководство?
Такие ситуации бывают, хотя и нечасто. Как правило, перед запуском эксперимента команды тестируют модели на исторических данных, чтобы отобрать наиболее перспективные варианты. Поэтому кардинальные расхождения с ожиданиями — скорее редкость. Гораздо более распространённый сценарий — когда команда рассчитывает на эффект определённой величины, а по итогам A/B теста он оказывается заметно слабее или вовсе нейтральным.
Это может происходить по разным причинам: от ошибок в методологии до технических сбоев на этапе запуска. В таких случаях мы проводим детальный разбор — анализируем все этапы, проверяем корректность настройки эксперимента и качество данных. Это помогает либо выявить проблемы, либо уточнить гипотезу, чтобы понять, стоит ли перезапускать эксперимент или двигаться в другом направлении.
Как ваши научные идеи помогли Meta улучшить что-то на практике?
Как уже упоминалось, взаимодействия между пользователями в социальной сети могут серьёзно повлиять на результаты эксперимента. Например, мы хотим проверить, помогает ли мотивационное уведомление людям чаще публиковать посты в Instagram*. Один пользователь получил уведомление и стал активнее.
Его друзья увидели новые посты в ленте и тоже начали чаще публиковать — хотя уведомления не получали. В такой ситуации трудно определить, работает ли сама функция или мы наблюдаем цепную реакцию. Это пример нарушения ключевой предпосылки A/B тестирования — стабильности эффекта воздействия (stable unit treatment value assumption, SUTVA).
Одной из моих центральных задач в Meta* была разработка методов, которые учитывают такие эффекты взаимного влияния и позволяют получать более достоверные оценки. Один из ярких примеров — методология анализа экспериментов с биграфной интерференцией (bipartite experiments), где нарушаются классические предпосылки A/B тестов из-за связей между разными типами агентов, например, пользователями и рекламодателями.
Также мы создали систему контроля вычислительных затрат при тестировании эффективности моделей ранжирования рекламы, что позволило оптимизировать ресурсы и повысить точность оценки моделей. Оба этих решения быстро нашли практическое применение в продуктах Meta.
А были ли моменты, когда результат вашей работы в Meta напрямую повлиял на пользовательский опыт — например, что-то изменилось в Instagram* или Facebook*?
Да, у меня был проект, который является ярким примером того, как экономический анализ и моделирование могут лежать в основе практических решений, влияющих на продуктовую стратегию и опыт миллионов пользователей. Возможно, вы знаете, что в Facebook и Instagram пользователи могут продвигать свои посты за деньги — это называется бустинг. В какой-то момент Apple ввела правило, по которому с каждой такой транзакции внутри iOS-приложения взимается комиссия в 30%.
Это изменение кардинально бы повлияло на поведение пользователей и экономику продвижения контента. Чтобы понять, как реагировать на новые условия, мы построили модель, описывающую спрос и предложение на бустинг с учетом новых ограничений. Это позволило нам разработать оптимальную ценовую стратегию, адаптированную под разные каналы и типы пользователей. На основе этой модели Meta изменила подход к ценообразованию, а также ввела дополнительные элементы в коммуникацию с пользователями — например, напоминания о том, что оформление продвижения через веб-сайт позволяет избежать комиссии.
В 2024 году Эдвард представил свое исследование "Ad Clustered User Randomized Trials" на Conference on Digital Experimentation в MIT — одной из самых престижных конференций в области экспериментального дизайна. Именно эта способность видеть проблемы там, где другие видят только данные, отличает сильного специалиста.
Вы писали об «ускорении экспериментов» — как это работает и почему это важно?
В крупных IT-компаниях постоянно тестируются десятки, а иногда и сотни гипотез одновременно — от новых интерфейсов до моделей рекомендаций. Каждый эксперимент требует данных, времени и вычислительных ресурсов. Поэтому методологии, которые позволяют зафиксировать эффект быстрее, имеют большую ценность: они либо позволяют протестировать больше идей при тех же ресурсах, либо существенно сократить затраты на тестинг.
Суть ускорения заключается в повышении статистической эффективности — другими словами, в том, чтобы получать более точные оценки при меньшем объёме данных. Это позволяет сократить длительность эксперимента без потери качества выводов. Например, применяя более продвинутый дизайн эксперимента и/или используя дополнительные источники информации — такие как поведение пользователей до старта теста — можно существенно сократить необходимое количество наблюдений для достижения нужной точности.
Такие подходы особенно актуальны в условиях масштабных инфраструктур, где стоимость одного дня эксперимента может быть очень высокой — как в деньгах, так и в упущенных возможностях.
Что вам больше всего нравится в вашей профессии?
Больше всего в моей профессии мне нравится сочетание высокого темпа работы и прикладного характера задач. В индустрии научные идеи не остаются на бумаге — они довольно быстро находят применение в реальных продуктах. Это даёт ощущение постоянного движения вперёд: как только метод внедрён и начал приносить пользу, ты можешь переключиться на следующую задачу и продолжать двигаться вперед.
В академии процесс гораздо более растянут. Публикация статьи в экономике может занимать несколько лет, и за это время ты вынужден постоянно возвращаться к одному и тому же проекту, вносить правки, отвечать рецензентам. Это накладывает определённые ограничения и замедляет темп. А мне ближе динамика индустрии, где научные разработки быстро превращаются в практические решения.
В 2022 году Эдвард организовал секцию на International Conference on Computational and Financial Econometrics в Лондоне, где выступил в роли председателя. К тому моменту он уже понимал ключевую разницу между академией и индустрией. Эта дихотомия между теоретической строгостью и практической пользой определила его дальнейший путь.
На ваш взгляд, в чём главное отличие между наукой в университете и в больших компаниях?
Главное отличие — в целях и приоритетах. В академии ключевая задача — написать и опубликовать статью, которая будет признана научным сообществом. Это требует высокой теоретической строгости и новизны. В индустрии же главная цель — создать рабочие решения, которые можно быстро и эффективно внедрить в продукт. Поэтому акцент чаще делается на практичности и масштабируемости, а не на теоретической изящности.
Кроме того, большие IT-компании обладают уникальным доступом к огромным объёмам данных, с которыми невозможно работать в университетских условиях. Это создаёт возможности для более прикладных и масштабных исследований, но при этом требует быстрее принимать решения — компании не могут позволить себе тратить годы на идеальное, но непрактичное решение.
Есть ли у вас мечта или проект, который вы хотели бы реализовать в будущем?
В будущем мне бы хотелось вернуться в университет в роли практикующего преподавателя. Мне близка идея делиться опытом, накопленным в индустрии, и показывать студентам, как научные методы и анализ данных реально применяются в работе больших технологических компаний. Такие практика-ориентированные курсы играют важную роль в подготовке специалистов в области анализа данных, машинного обучения и ИИ. Ведущие мировые университеты давно активно внедряют такую модель, а в России одним из ярких примеров является совместный бакалавриат РЭШ и ШАД. Думаю, подобная интеграция науки и практики делает образование не только более прикладным, но и значительно более мотивирующим для студентов.
Что бы вы посоветовали тем, кто только начинает путь в науке или анализе данных?
На любом этапе — будь то академия или индустрия — ключевым навыком остаётся умение правильно поставить вопрос. Хорошо сформулированная задача — это уже половина решения. Остальное зависит от вашей технической подготовки и способности довести проект до результата.
С опытом становится всё очевиднее, что настоящая ценность — не только в том, чтобы решать задачи, а в том, чтобы видеть важные проблемы, объяснять их значимость окружающим и находить для них подходящие решения. Именно это чаще всего и отличает сильного специалиста.
* — Meta признана экстремистской организацией на территории РФ, а её сервисы запрещены и заблокированы.
