Авито - GenAI без иллюзий: системный подход к запуску LLM-проектов
Екатерина Давыдова, Программный менеджер генеративного ИИ, Авито. Доклад о создании и внедрении продуктов на базе генеративного искусственного интеллекта (GEN-AI), опираясь на опыт компании. Доклад был ориентирован на команды, столкнувшиеся с задачей запуска LLM-продуктов. Основной тезис: для успешного внедрения GEN-AI необходимо выстроить системный подход, проходя через ряд этапов от генерации идей до масштабирования продукта. Основные этапы внедрения GEN-AI продуктов: 1. Генерация идей: Проведение воркшопов для погружения команд в технологию GNI и LLM, а также для выявления задач, которые эффективно решаются с помощью этих технологий. Демонстрация кейсов и бизнес-эффектов от внедрения GEN-AI. Развитие мышления в правильном направлении, фокусируясь на идеях, где GEN-AI наиболее эффективно. На выходе – список проработанных гипотез, решающих конкретные пользовательские проблемы. 2. Отбор идей: Ранжирование гипотез по различным фреймворкам, в первую очередь, оценивается бизнес-потенциал (потенциальный доход или экономия). Применение дополнительных критериев отбора: Маркетируемость (способность продукта произвести "вау-эффект" на рынке). Технологичность (рост экспертизы компании). Учёт рисков: Юридические (персональные данные, соглашения с вендорами). Авторские права (обучение моделей). Запрещенный контент (контроль ответов моделей). 3. Тестирование гипотез: Использование трехступенчатой системы: Proof of Technology (проверка технологической возможности). Proof of Concept (прототипирование и тестирование). MVP/MLP (минимально жизнеспособный продукт). Поиск value (ценности продукта) с помощью: Friends and Family запусков (внутреннее тестирование на лояльной аудитории). Human in the loop (внешнее тестирование с участием оператора). 4. Delivery (доставка): Понимание вероятностного характера LLM: тестирование и оценка качества требуют непрерывного процесса и специализированных подходов. Использование фреймворков, таких как LLM as a judge (оценка одной LLM другой) и ручная разметка. Подготовка данных: планирование этой работы, особенно при обучении собственных моделей и построении RAG-решений. Guardrails (защита модели от нежелательных ответов и провокаций). Формирование новых компетенций и ролей в команде. Образовательные треки для продуктовых команд (для улучшения понимания технологий). Организация работы: баланс между data&ML, product & UX и engineering командами. Распределение зон ответственности. 5. Масштабирование: Масштабирование только тех продуктов, ценность которых доказана. Настройка мониторинга (качество, скорость ответа, стоимость inference). Выделение переиспользуемых компонентов в отдельные блоки для ускорения масштабирования. CNews FORUM 2025: Информационные технологии завтра. Предcтавители бизнеса, госструктур, ИТ-компаний, а также независимые эксперты и аналитики приняли участие в дискуссии о том, как будет проходить информатизация экономики в ближайшие годы. Цель мероприятия – предоставить независимую площадку для обсуждения ключевых вопросов и актуальных проблем рынка ИКТ, инновационных технологий, подходов к реализации ИТ-проектов – с участием трех сторон – бизнеса, ИТ-поставщиков и государства. Цель мероприятия – предоставить независимую площадку для обсуждения ключевых вопросов и актуальных проблем рынка ИКТ, инновационных технологий, подходов к реализации ИТ-проектов – с участием трех сторон – бизнеса, ИТ-поставщиков и государства.
Екатерина Давыдова, Программный менеджер генеративного ИИ, Авито. Доклад о создании и внедрении продуктов на базе генеративного искусственного интеллекта (GEN-AI), опираясь на опыт компании. Доклад был ориентирован на команды, столкнувшиеся с задачей запуска LLM-продуктов. Основной тезис: для успешного внедрения GEN-AI необходимо выстроить системный подход, проходя через ряд этапов от генерации идей до масштабирования продукта. Основные этапы внедрения GEN-AI продуктов: 1. Генерация идей: Проведение воркшопов для погружения команд в технологию GNI и LLM, а также для выявления задач, которые эффективно решаются с помощью этих технологий. Демонстрация кейсов и бизнес-эффектов от внедрения GEN-AI. Развитие мышления в правильном направлении, фокусируясь на идеях, где GEN-AI наиболее эффективно. На выходе – список проработанных гипотез, решающих конкретные пользовательские проблемы. 2. Отбор идей: Ранжирование гипотез по различным фреймворкам, в первую очередь, оценивается бизнес-потенциал (потенциальный доход или экономия). Применение дополнительных критериев отбора: Маркетируемость (способность продукта произвести "вау-эффект" на рынке). Технологичность (рост экспертизы компании). Учёт рисков: Юридические (персональные данные, соглашения с вендорами). Авторские права (обучение моделей). Запрещенный контент (контроль ответов моделей). 3. Тестирование гипотез: Использование трехступенчатой системы: Proof of Technology (проверка технологической возможности). Proof of Concept (прототипирование и тестирование). MVP/MLP (минимально жизнеспособный продукт). Поиск value (ценности продукта) с помощью: Friends and Family запусков (внутреннее тестирование на лояльной аудитории). Human in the loop (внешнее тестирование с участием оператора). 4. Delivery (доставка): Понимание вероятностного характера LLM: тестирование и оценка качества требуют непрерывного процесса и специализированных подходов. Использование фреймворков, таких как LLM as a judge (оценка одной LLM другой) и ручная разметка. Подготовка данных: планирование этой работы, особенно при обучении собственных моделей и построении RAG-решений. Guardrails (защита модели от нежелательных ответов и провокаций). Формирование новых компетенций и ролей в команде. Образовательные треки для продуктовых команд (для улучшения понимания технологий). Организация работы: баланс между data&ML, product & UX и engineering командами. Распределение зон ответственности. 5. Масштабирование: Масштабирование только тех продуктов, ценность которых доказана. Настройка мониторинга (качество, скорость ответа, стоимость inference). Выделение переиспользуемых компонентов в отдельные блоки для ускорения масштабирования. CNews FORUM 2025: Информационные технологии завтра. Предcтавители бизнеса, госструктур, ИТ-компаний, а также независимые эксперты и аналитики приняли участие в дискуссии о том, как будет проходить информатизация экономики в ближайшие годы. Цель мероприятия – предоставить независимую площадку для обсуждения ключевых вопросов и актуальных проблем рынка ИКТ, инновационных технологий, подходов к реализации ИТ-проектов – с участием трех сторон – бизнеса, ИТ-поставщиков и государства. Цель мероприятия – предоставить независимую площадку для обсуждения ключевых вопросов и актуальных проблем рынка ИКТ, инновационных технологий, подходов к реализации ИТ-проектов – с участием трех сторон – бизнеса, ИТ-поставщиков и государства.