Модуль 2: Большие языковые модели — Как это работает
Узнайте, как LLM обрабатывают текст, предсказывают слова и создают ответы
Как компьютеры работают с текстом
Для понимания работы больших языковых моделей нужно сначала разобраться, как компьютеры «видят» текст. В отличие от людей, которые читают слова и понимают их смысл, компьютеры работают только с числами.
Проблема компьютера:
Слово «кот» для человека-это пушистое животное. Для компьютера это просто набор символов: к-о-т. Чтобы компьютер мог работать с текстом осмысленно, нужно превратить слова в числа, сохранив при этом их значение.
Именно здесь появляются токены-специальные единицы, на которые разбивается текст. Токен может быть целым словом, частью слова или даже знаком препинания. Это зависит от того, как модель была обучена.
Пример токенизации:
Текст: «Привет, как дела?»
Каждый цветной блок — это отдельный токен
После того как текст разбит на токены, каждый токен превращается в число с помощью специального словаря. Этот процесс называется кодированием. В итоге весь текст представляется в виде последовательности чисел.
Зачем это нужно?
Потому что именно с числами умеет работать компьютер. Далее модель анализирует эти последовательности и учится находить связи между токенами: какие слова чаще встречаются вместе, какие конструкции обычно следуют друг за другом.
Так формируется «понимание» языка у искусственного интеллекта. Конечно, это не человеческое понимание, а математическое моделирование. Но именно благодаря токенам и их числовым представлениям большие языковые модели могут генерировать текст, отвечать на вопросы и даже вести диалог.
Почему токены важны?
Гибкость разбиения
Токены — это строительные блоки, из которых складывается язык для компьютера.
Работа с языками
Понимая, что такое токенизация, мы делаем первый шаг к пониманию того, как искусственный интеллект работает с текстом.
Как модель предсказывает следующее слово
Представьте, что вы играете в игру «Угадай следующее слово». Вам говорят: «На небе светит…»- и вы легко угадываете «солнце». Именно так работает большая языковая модель, но в гораздо более сложном масштабе.
Анализ контекста
Модель читает все предыдущие слова и понимает, о чем идет речь.
Расчёт вероятностей
Для каждого возможного следующего слова модель рассчитывает, насколько оно подходит.
Выбор слова
Модель выбирает слово не всегда самое вероятное-иногда добавляет элемент случайности для разнообразия.
Пример предсказания:
Контекст: «Вчера я пошёл в магазин и купил…»
Откуда у модели берутся способности
Большие языковые модели изучают огромные объёмы текста-книги, статьи, сайты, форумы. В процессе этого обучения они не просто запоминают информацию, а учатся понимать закономерности языка и мира.
Что изучает модель:
Грамматику: как правильно строить предложения Факты: столица Франции — Париж Логику: если идёт дождь, то на улице мокро Стили: как правильно строить предложения Контекст: одно слово может означать разное в разных ситуациях
Удивительное происходит, когда модель становится очень большой. У неё внезапно появляются способности, которых не было у меньших версий — это называется эмерджентные способности.
Эмерджентные способности:
Это новые свойства или функции системы, которые проявляются благодаря взаимодействию её отдельных элементов и отсутствуют у них поодиночке. Такие свойства не являются простой суммой характеристик частей, а возникают именно из их объединения в единую структуру.
Эти новые умения не закладываются программистами напрямую, а возникают как результат роста и усложнения модели. Благодаря этому большие языковые модели приобретают навыки, которых от них не ожидали: они начинают решать задачи, переводить тексты и строить рассуждения.
Галлюцинации в LLM
Что такое галлюцинации?
Галлюцинации — это случаи, когда LLM генерируют контент, который является фактически неверным, выдуманным или противоречащим входным данным. Это происходит потому, что модели предсказывают наиболее вероятные последовательности слов, а не проверяют истинность информации.
Типы галлюцинаций:
- Фактические: Неверная информация о событиях, датах, людях
- Инструкционные: Игнорирование указаний пользователя
- Контекстные: Противоречие предоставленному контексту
- Логические: Ошибки в рассуждениях и выводах
Основные причины:
- Проблемы в обучающих данных (предвзятость, ошибки)
- Архитектурные ограничения модели
- Высокая «температура» генерации
- Неоднозначные или противоречивые промпты
Примеры галлюцинаций
Вопрос: «Кто был премьер-министром СССР в 1965 году?» Галлюцинация: Почему будет ошибка: СССР не имел поста «премьер-министр» в привычном смысле, но многие модели уверенно выдают: «Алексей Косыгин» (хотя его должность-председатель Совмина). (Правильно: Это типичная подмена терминов)
Вопрос: В «Войне и мире» Толстой упоминает усадьбу Пирогово. В каком томе и главе это упоминание?» Типичная галлюцинация: «В томе 2, часть 3, глава 14 князь Андрей размышляет о судьбе в Пирогово». (Правильно: Такого упоминания в романе нет)
Методы предотвращения
- Chain — of — Thought: Просите модель «думать пошагово»
- RAG (Retrieval — Augmented Generation): Подключение к базам знаний
- Проверка фактов: Сверка с надежными источниками
- Человеческая валидация: Всегда проверяйте критически важную информацию
- Снижение температуры: Более консервативная генерация
- Множественные запросы: Сравнение ответов на один вопрос
Сильные и слабые стороны LLM
Понимание сильных и слабых сторон языковых моделей поможет вам использовать их эффективно и избегать разочарований.
Суперсилы LLM — где они превосходны
Анализ и обработка текста:
- Резюмирование длинных документов
- Перевод между языками
- Проверка грамматики и стиля
- Создание планов и структур
Творческие задачи:
- Генерация идей и концепций
- Написание текстов разных жанров
- Адаптация контента под разные аудитории
- Мозговой штурм и креативное мышление
Объяснение сложного простыми словами:
- Разбор научных концепций
- Объяснение технических процессов
- Создание аналогий и примеров
Ахиллесова пята — слабые места LLM
Точные вычисления:
❌ Слабо:
- Сложная математика
- Статистические расчеты
✅ Решение:
Используйте калькулятор или Excel, а LLM для объяснения методики
Актуальная информация:
❌ Слабо:
- События после даты обучения
- Курсы валют, текущие новости
✅ Решение:
Комбинируйте с поисковыми системами
Фактическая точность:
❌ Слабо:
- Может «изобретать» факты (галлюцинации)
- Путает даты и цифры
✅ Решение:
Всегда проверяйте важные факты в надежных источниках
Индикаторы надежности ответа
Высокая надежность-когда можно больше доверять:
- Общие принципы и концепции («как работает фотосинтез»)
- Широко известные факты («столица Германии»)
- Логические рассуждения на основе ваших данных
- Анализ предоставленного вами текста
Низкая надежность-требует проверки:
- Точные числа и статистика
- Специфические исторические даты
- Цитаты и ссылки на источники
- Медицинские и юридические советы
Умное комбинирование инструментов
LLM + Поиск в интернете:
LLM создает план исследования → Вы ищете актуальные данные → LLM анализирует найденное
LLM + Специализированные программы:
LLM объясняет методологию → Excel делает расчеты → LLM интерпретирует результаты
LLM + Человеческая экспертиза:
LLM генерирует первые идеи → Эксперт проверяет и дорабатывает → LLM помогает оформить итог
Золотое правило: LLM-это мощный помощник для мышления, но не замена критического анализа и проверки фактов.
Как управлять ответами модели
Одна из самых важных особенностей работы с LLM-возможность контролировать стиль и характер ответов. Это достигается через специальные параметры, которые влияют на процесс выбора слов.
Температура — контроль креативности
Температура определяет, насколько предсказуемыми или креативными будут ответы модели. Это как настройка «осторожности» при выборе слов.
Важно знать:
Прямой контроль температуры недоступен пользователю в обычном чате, он используется разработчиками при создании приложений или агентов. Однако пользователь может косвенно влиять на креативность ответа, формулируя запрос более творчески или уточняя желаемый стиль ответа.
Ответ на вопрос: «Как провести выходные?»
Можно почитать книгу, посмотреть фильм или погулять в парке.
Низкая температура (0.0-0.3)
Предсказуемые, фактичные ответы. Подходит для документов, отчётов, FAQ.
Средняя температура (0.7-1.0)
Сбалансированные ответы. Идеально для большинства задач.
Высокая температура (1.2-2.0)
Креативные, неожиданные ответы. Для brainstorming, творческих текстов.
Другие параметры управления
Top-P (Nucleus Sampling)
Выбирает слова только из группы самых вероятных, чтобы ответы были логичными и точными.
Максимальная длина ответа
Ограничивает количество слов или токенов в ответе, чтобы он был коротким или развернутым.
Стиль ответа / тональность
Позволяет задать настроение или стиль текста: дружелюбный, деловой, юмористический.
Фокус на конкретную тему
Можно попросить модель отвечать только в рамках заданной темы или сферы знаний, например: «Говори только о садоводстве».
Использование системных инструкций
Правила поведения модели, которые задаются в начале диалога: «Отвечай кратко», «Объясняй простыми словами», «Не используй сложные термины».
Детализация ответа
Можно попросить модель давать больше подробностей или наоборот, коротко излагать суть.
Как улучшить качество ответов модели
Теперь, когда вы понимаете, как работают языковые модели, пора научиться получать от них максимум пользы. Качество ответа LLM напрямую зависит от того, как вы формулируете свой запрос и взаимодействуете с моделью.
Искусство формулировки запроса
Принцип: LLM отвечает именно на то, что вы спросили-ни больше, ни меньше.
Примеры сравнения:
Техники улучшения:
Будьте конкретными: вместо «помоги с презентацией» → «создай план презентации о преимуществах удаленной работы на 10 минут для HR-директора»
Указывайте контекст: «Я студент 2-го курса экономического факультета, объясни…»
Задавайте формат ответа: «Ответь списком из 5 пунктов» или «Объясни как пошаговую инструкцию»
Управление стилем и тоном ответа
Практические приемы:
- Для делового стиля: «Составь официальное письмо…»
- Для дружеского тона: «Объясни простыми словами, как другу…»
- Для академического стиля: «Проанализируй с научной точки зрения…»
Пример трансформации:
Запрос: «Объясни блокчейн»
Работа с контекстом и многоэтапные диалоги
Техника «Слоеного пирога»:
Первый запрос
Получите общую картину
Второй запрос
«Расскажи подробнее про пункт X»
Третий запрос
«Приведи практический пример для Y»
Поддержание контекста:
Ссылайтесь на предыдущие ответы: «Основываясь на твоем предыдущем объяснении…»
Напоминайте важные детали: «Учитывая, что я работаю в сфере образования…»
Проверка и уточнение результатов
Стратегии верификации:
Переспросите по — другому: Задайте тот же вопрос другими словами
Попросите источники: «На основе каких данных ты делаешь этот вывод?»
Проверьте логику: «Объясни пошагово, как ты пришел к такому выводу»
Проверка знаний
1. Что представляют собой токены в работе больших языковых моделей?
2. На чем основывается выбор следующего слова в больших языковых моделях?
3. Что происходит с ответами модели при увеличении параметра температуры?
4. Что означают эмерджентные способности больших языковых моделей?
5. Что такое галлюцинации в контексте больших языковых моделей?
Ключевые термины
Токенизация
Первый этап обработки текста: разбиение на токены-слова, части слов или отдельные символы. Например, ‘привет!’ может стать токенами [‘привет’, ‘!’]
Температура
Параметр, управляющий креативностью модели. Низкие значения (0.1-0.3) дают точные ответы, высокие (0.7-1.0)-более творческие и разнообразные
Галлюцинации LLM
Случаи, когда модель генерирует правдоподобную, но фактически неверную информацию. Происходит потому, что модель предсказывает вероятные слова, а не проверяет факты
Эмерджентные способности
Неожиданные навыки, возникающие у очень больших моделей: логические рассуждения, решение задач, понимание аналогий. Эти способности не программировались специально
Предсказание слов
Основной принцип работы LLM: модель анализирует контекст и рассчитывает вероятности для каждого возможного следующего слова, выбирая наиболее подходящее
Top-P
Метод выбора слов, при котором модель рассматривает только самые вероятные варианты (например, 90% от общей вероятности), игнорируя маловероятные