Тихомиров М.М. - Искусственный интеллект - 7. Представление текста, токенизация. Ruadapt

Представление текста, токенизация. Ruadapt Тихомиров Михаил Михайлович 00:16 Представление текста, токенизация. Ruadapt 00:50 Проблемы информационного поиска 02:06 Графематический анализ (токенизация) 02:46 Сегментация текста на слова 05:38 Практические решения 06:45 Операции со словами 07:36 Морфологический анализ 08:55 Токенизация для больших языковых моделей 33:16 Пример токенизации текста в ChatGPT 39:16 Ruadapt 57:24 Пример адаптации знаний 59:12 Серия моделей RuadaptQwen2.5 01:05:49 Серия моделей RuadaptQwen3 Ссылка на плейлист Teach-In: https://teach-in.ru/course/ii-lukashevich Ссылка на плейлист YouTube: https://www.youtube.com/playlist?list=PLcsjsqLLSfNCHou6u-UdoFCOT65mCs1Yg Ссылка на плейлист VK: https://vkvideo.ru/playlist/-176441665_833 Ссылка на плейлист RuTube: https://rutube.ru/plst/1217682 #мгу #msu #филологический_факультет #Philological_faculty #Лукашевич #Lukashevich #лекция #lecture #искусственный_интеллект #artificial_intelligence #представление_текста #text_presentation #Ruadapt #токенизация #tokenization #cегментация_текста #text_segmentation #операция_со_словами #word_operation #RuadaptQwen #RuadaptQwen3