7 ML cases and one overlapping classes problem
00:00:01 Введение в разведочный анализ данных • Обсуждение семи методов оценки данных в медицине. • Классификация медицинских данных на три модальности: временные ряды, изображения и генетические данные. • Важность работы с научной литературой для понимания методов. 00:02:19 Начало работы с Python • Переход к работе с Python и семь кейсов задач. • Использование GitHub и Google Colab для демонстрации методов. 00:03:54 Кейс 1: Снижение размерности данных • Подготовка данных: 500 образцов с нормальным и равномерным распределением. • Преобразование данных в датафрейм и добавление шума. • Применение метода главных компонентов для снижения размерности. 00:09:38 Кейс 2: Классификация с поворотом данных • Генерация данных с поворотом на 45 градусов и растяжением. • Использование метода опорных векторов для классификации. • Успешное разделение данных на тестовой выборке. 00:11:50 Кейс 3: Восстановление данных после поворота • Применение метода главных компонентов для восстановления повернутых данных. • Сравнение методов PCA и ICA. • Метод ICA успешно восстанавливает данные после поворота и растяжения. 00:16:31 Кейс 4: Восстановление одинаковых преобразований • Генерация двух нормальных распределённых множеств с одинаковыми преобразованиями. • Попытка восстановления данных методом PCA. • Метод ICA успешно справляется с восстановлением одинаковых преобразований. 00:18:46 Кейс 5: Метод стохастичесикх соседей tSNE • Введение метода тахастических соседей и параметра перплексити. • Изменение представления данных в зависимости от параметра перплексити. • Данные сепарируются при увеличении параметра перплексити. 00:20:41 Кейс 6 • Обсуждение двух кейсов: обучение с учителем и обучение без учителя • Генерация датасета из 500 образцов с нормальным распределением. • Удаление лейбла для разделения датасета без учителя. 00:21:49 Метод DBSCAN • Использование метода диви скан для разделения датасета. • Метод хорошо справляется с задачей, но некоторые сэмплы на окраине не попадают в разделение. 00:23:14 Метод One-class SVM • Применение метода ванлав для определения аномалий. • Метод плохо справляется с задачей классификации. 00:24:09 Агломеративная кластеризация • Введение в агломеративную кластеризацию. • Применение разных методов кластеризации для расчёта метрик расстояния. • Метод эвридж показывает хорошие результаты, силуэт скор приближается к 80%. 00:25:47 Дендрограмма • Создание дендрограммы для визуализации кластеризации. • Объединение сэмплов в два больших класса. 00:26:51 Кейс 7: Задача с пересекающимися сэмплами • Усложнение задачи с использованием нормального и т-распределения. • Проблема пересечения классов в центре датасета. 00:28:18 Результаты методов для пересекающихся сэмплов • Метод диви скан не справляется с проблемой пересечения. • Метод ванлав хорошо работает с аномалиями, но не решает задачу классификации. • Агломеративная кластеризация также не справляется с проблемой. 00:29:39 Метод опорных векторов • Применение метода опорных векторов даёт низкую точность около 50%. 00:30:10 Объединение методов • Объединение метода опорных векторов и случайных ближайших соседей. • Точность приближается к 88%. • Преобразование датасета через метод случайных ближайших соседей улучшает распределение данных. 00:31:45 Заключение • Применение дополнительного метода дата сайнса позволяет достичь результата практически 88%. • Достижение высокого результата без использования сложных методов.
00:00:01 Введение в разведочный анализ данных • Обсуждение семи методов оценки данных в медицине. • Классификация медицинских данных на три модальности: временные ряды, изображения и генетические данные. • Важность работы с научной литературой для понимания методов. 00:02:19 Начало работы с Python • Переход к работе с Python и семь кейсов задач. • Использование GitHub и Google Colab для демонстрации методов. 00:03:54 Кейс 1: Снижение размерности данных • Подготовка данных: 500 образцов с нормальным и равномерным распределением. • Преобразование данных в датафрейм и добавление шума. • Применение метода главных компонентов для снижения размерности. 00:09:38 Кейс 2: Классификация с поворотом данных • Генерация данных с поворотом на 45 градусов и растяжением. • Использование метода опорных векторов для классификации. • Успешное разделение данных на тестовой выборке. 00:11:50 Кейс 3: Восстановление данных после поворота • Применение метода главных компонентов для восстановления повернутых данных. • Сравнение методов PCA и ICA. • Метод ICA успешно восстанавливает данные после поворота и растяжения. 00:16:31 Кейс 4: Восстановление одинаковых преобразований • Генерация двух нормальных распределённых множеств с одинаковыми преобразованиями. • Попытка восстановления данных методом PCA. • Метод ICA успешно справляется с восстановлением одинаковых преобразований. 00:18:46 Кейс 5: Метод стохастичесикх соседей tSNE • Введение метода тахастических соседей и параметра перплексити. • Изменение представления данных в зависимости от параметра перплексити. • Данные сепарируются при увеличении параметра перплексити. 00:20:41 Кейс 6 • Обсуждение двух кейсов: обучение с учителем и обучение без учителя • Генерация датасета из 500 образцов с нормальным распределением. • Удаление лейбла для разделения датасета без учителя. 00:21:49 Метод DBSCAN • Использование метода диви скан для разделения датасета. • Метод хорошо справляется с задачей, но некоторые сэмплы на окраине не попадают в разделение. 00:23:14 Метод One-class SVM • Применение метода ванлав для определения аномалий. • Метод плохо справляется с задачей классификации. 00:24:09 Агломеративная кластеризация • Введение в агломеративную кластеризацию. • Применение разных методов кластеризации для расчёта метрик расстояния. • Метод эвридж показывает хорошие результаты, силуэт скор приближается к 80%. 00:25:47 Дендрограмма • Создание дендрограммы для визуализации кластеризации. • Объединение сэмплов в два больших класса. 00:26:51 Кейс 7: Задача с пересекающимися сэмплами • Усложнение задачи с использованием нормального и т-распределения. • Проблема пересечения классов в центре датасета. 00:28:18 Результаты методов для пересекающихся сэмплов • Метод диви скан не справляется с проблемой пересечения. • Метод ванлав хорошо работает с аномалиями, но не решает задачу классификации. • Агломеративная кластеризация также не справляется с проблемой. 00:29:39 Метод опорных векторов • Применение метода опорных векторов даёт низкую точность около 50%. 00:30:10 Объединение методов • Объединение метода опорных векторов и случайных ближайших соседей. • Точность приближается к 88%. • Преобразование датасета через метод случайных ближайших соседей улучшает распределение данных. 00:31:45 Заключение • Применение дополнительного метода дата сайнса позволяет достичь результата практически 88%. • Достижение высокого результата без использования сложных методов.