<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Доктор Лексиум</title>
	<atom:link href="https://www.lexium.ru/feed/" rel="self" type="application/rss+xml" />
	<link>https://www.lexium.ru</link>
	<description>Разработка сайтов и веб-приложений</description>
	<lastBuildDate>Sun, 22 Nov 2026 14:43:58 +0000</lastBuildDate>
	<language>ru-RU</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.5</generator>

<image>
	<url>https://www.lexium.ru/images/2020/11/cropped-favicon-lex-512-32x32.png</url>
	<title>Доктор Лексиум</title>
	<link>https://www.lexium.ru</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>Учусь ИИ, урок 18: инструменты и MCP — единая розетка для нейросетей</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-18-instrumenty-i-mcp-edinaya-rozetka-dlya-nejjrosetejj/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-18-instrumenty-i-mcp-edinaya-rozetka-dlya-nejjrosetejj/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Sun, 22 Nov 2026 14:43:58 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10883</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10883-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 18: инструменты и MCP — единая розетка для нейросетей" style="float:left; margin:0 10px 10px 0;" decoding="async" />В уроке про агента я написал три функции и вручную описал их модели. Теперь представьте, что эти же функции нужны в чате и в редакторе кода. Если у каждого приложения свой способ подключения, придётся писать отдельную обвязку. MCP задаёт общий способ подключения. Посмотрим, что это меняет на примере функции, которая считает дни между датами. Урок за 4 минуты. Разберём один вызов инструмента от вопроса до ответа и посмотрим, где в...]]></description>
										<content:encoded><![CDATA[<p>В <a href="https://www.lexium.ru/?p=10875">уроке про агента</a> я написал три функции и вручную описал их модели. Теперь представьте, что эти же функции нужны в чате и в редакторе кода. Если у каждого приложения свой способ подключения, придётся писать отдельную обвязку. MCP задаёт общий способ подключения. Посмотрим, что это меняет на примере функции, которая считает дни между датами.</p>
<p><span id="more-10883"></span></p>
<div class="tip-box"><strong>Урок за 4 минуты.</strong> Разберём один вызов инструмента от вопроса до ответа и посмотрим, где в этой цепочке появляется MCP.</div>
<p><!-- КАРТИНКА: коробка с переходниками против одной универсальной розетки --></p>
<h2>Как модель вызывает инструмент</h2>
<p>Допустим, вы спросили: «Сколько дней между 10 и 15 ноября 2026 года?» Вместе с вопросом приложение передаёт модели описания доступных инструментов. Для функции из прошлого урока описание выглядит примерно так:</p>
<pre><code>{
  "name": "days_between",
  "description": "Считает дни между двумя датами в формате ГГГГ-ММ-ДД.",
  "parameters": {
    "type": "object",
    "properties": {
      "a": {"type": "string", "description": "Начальная дата"},
      "b": {"type": "string", "description": "Конечная дата"}
    },
    "required": ["a", "b"]
  }
}</code></pre>
<p>Поле <code>parameters</code> содержит JSON Schema. Она задаёт объект с двумя обязательными строками. Формат дат указан в описании инструмента, а допустимость дат проверяет код функции.</p>
<ol>
<li>Модель запрашивает вызов <code>days_between</code> с аргументами <code>{"a":"2026-11-10","b":"2026-11-15"}</code>.</li>
<li>Приложение выполняет функцию и передаёт модели результат <code>5</code>.</li>
<li>Модель отвечает: «Между этими датами 5 дней».</li>
</ol>
<p>Это тот же цикл, который мы собрали в <a href="https://www.lexium.ru/?p=10875">уроке 10</a>.</p>
<h2>Как описать инструмент</h2>
<p>Модель выбирает инструмент по имени, описанию и схеме параметров. Код функции отвечает за вычисление и проверку входных данных.</p>
<ul>
<li><strong>Когда вызывать.</strong> Например, когда нужно узнать разницу между двумя датами.</li>
<li><strong>Что передать.</strong> Укажите смысл и формат каждого аргумента. По типу «строка» сложно понять, что <code>a</code> — начальная дата.</li>
<li><strong>Что вернётся.</strong> В нашем примере это целое число дней. Если конечная дата раньше начальной, результат будет отрицательным.</li>
</ul>
<p>Понятная ошибка помогает повторить вызов. Сообщение «Дата <code>a</code> должна быть в формате ГГГГ-ММ-ДД» указывает, какой аргумент поправить. Если инструментов много, передавайте модели те, которые подходят для задачи. Описания занимают место в контексте, а похожие функции труднее различить.</p>
<h2>Где появляется MCP</h2>
<p><strong>Model Context Protocol (MCP)</strong> — открытый протокол, по которому приложение с ИИ подключается к инструментам и данным. Аналогия с розеткой здесь про общий способ подключения. Один сервер с функцией <code>days_between</code> можно подключить к разным приложениям, если они поддерживают нужные возможности MCP и способ соединения.</p>
<ul>
<li><strong>Хост</strong> — приложение, в котором вы работаете с ИИ. Оно решает, какие инструменты показать модели.</li>
<li><strong>Клиент MCP</strong> — компонент хоста, который обменивается сообщениями с конкретным сервером.</li>
<li><strong>Сервер MCP</strong> — локальная или удалённая программа, которая предоставляет инструменты и выполняет их по запросу.</li>
</ul>
<p>Хост через клиент запрашивает у сервера список инструментов (<code>tools/list</code>) и может передать описания модели. Когда модель просит посчитать дни, клиент передаёт запрос серверу (<code>tools/call</code>). Сервер выполняет функцию, а хост возвращает результат модели. Для модели это обычный вызов инструмента.</p>
<p>Клиент и сервер обмениваются сообщениями JSON-RPC. Локально сообщения могут идти через стандартный ввод и вывод, удалённо — по HTTP. <a href="https://modelcontextprotocol.io/docs/learn/architecture">Архитектура MCP</a>.</p>
<h2>Что может предоставить сервер</h2>
<ul>
<li><strong>Инструменты</strong> выполняют действия. Например, считают дни или создают задачу.</li>
<li><strong>Ресурсы</strong> дают приложению данные для чтения. Например, текст файла.</li>
<li><strong>Промпты</strong> предлагают готовые шаблоны запросов. Например, шаблон для отчёта по задачам.</li>
</ul>
<h2>Как выглядит сервер на Python</h2>
<p>Декоратор <code>@mcp.tool()</code> регистрирует функцию как инструмент. FastMCP берёт описание из строки документации, а типы параметров — из аннотаций.</p>
<pre><code>from datetime import date

from mcp.server.fastmcp import FastMCP

mcp = FastMCP("dates")


@mcp.tool()
def days_between(a: str, b: str) -&gt; int:
    """Считает дни от начальной даты a до конечной даты b (ГГГГ-ММ-ДД)."""
    return (date.fromisoformat(b) - date.fromisoformat(a)).days


if __name__ == "__main__":
    mcp.run()</code></pre>
<p>Чтобы вызвать функцию через MCP, подключите сервер в приложении с поддержкой протокола. <a href="https://github.com/modelcontextprotocol/python-sdk">Официальный Python SDK</a>.</p>
<h2>Доступы и доверие к серверу</h2>
<p>Локальный сервер может запуститься с правами вашей учётной записи. Удалённому серверу приложение передаёт данные для вызова. Проверяйте, кто предоставляет сервер и какие доступы ему нужны. Если инструмент только ищет по документам, достаточно прав на чтение. Описания инструментов и их ответы приходят извне. В них могут быть инструкции, которые пытаются повлиять на действия модели. Это пример <strong>prompt injection</strong> из урока 10.</p>
<h2>Попробуйте сами: вызовите инструмент через MCP</h2>
<p>Для упражнения нужны Python 3.11 или новее и два файла в одной папке. В <code>server.py</code> находится сам инструмент <code>days_between</code>. В <code>client.py</code> находится код, который запускает сервер и вызывает инструмент через MCP. Сервер запускается автоматически при выполнении <code>python client.py</code>. Модель и API-ключ не нужны.</p>
<p><strong>1. Создайте <code>server.py</code>.</strong> Сохраните в него полный код сервера с инструментом:</p>
<pre><code>from datetime import date

from mcp.server.fastmcp import FastMCP

mcp = FastMCP("dates")


@mcp.tool()
def days_between(a: str, b: str) -&gt; int:
    """Считает дни от начальной даты a до конечной даты b (ГГГГ-ММ-ДД)."""
    return (date.fromisoformat(b) - date.fromisoformat(a)).days


if __name__ == "__main__":
    mcp.run()</code></pre>
<p>Откройте терминал в папке с файлом и установите MCP SDK:</p>
<pre><code>python -m pip install "mcp==1.26.0"</code></pre>
<p><strong>2. Создайте рядом файл <code>client.py</code>.</strong> Скопируйте в него этот код:</p>
<pre><code>import asyncio
import sys
from pathlib import Path

from mcp import ClientSession, StdioServerParameters
from mcp.client.stdio import stdio_client


async def main():
    server = StdioServerParameters(
        command=sys.executable,
        args=[str(Path(__file__).with_name("server.py").resolve())],
    )
    async with stdio_client(server) as (read, write):
        async with ClientSession(read, write) as session:
            await session.initialize()

            available = await session.list_tools()
            print("Инструменты:", ", ".join(tool.name for tool in available.tools))

            result = await session.call_tool(
                "days_between",
                arguments={"a": "2026-11-10", "b": "2026-11-15"},
            )
            print("Ответ сервера:", result.content[0].text)


if __name__ == "__main__":
    asyncio.run(main())</code></pre>
<p><strong>3. Запустите клиент.</strong> Сервер откроется автоматически как дочерний процесс.</p>
<pre><code>python client.py</code></pre>
<p>Клиент выведет:</p>
<pre><code>Инструменты: days_between
Ответ сервера: 5</code></pre>
<p>Первая строка показывает результат <code>tools/list</code>. Вторая — ответ на <code>tools/call</code> с двумя датами. Поменяйте даты местами в <code>client.py</code> и запустите его ещё раз. Сервер должен вернуть <code>-5</code>.</p>
<p>Если у вас команда Python называется <code>python3</code>, подставьте её в обе команды. <a href="https://github.com/modelcontextprotocol/python-sdk/tree/v1.26.0#writing-mcp-clients">Документация Python SDK по MCP-клиентам</a>.</p>
<h2>Что запомнить</h2>
<ul>
<li>Модель запрашивает вызов, приложение организует выполнение, а результат возвращается модели.</li>
<li>Описание помогает выбрать инструмент и передать ему нужные аргументы.</li>
<li>MCP задаёт общий способ узнать, какие инструменты предоставляет сервер, и вызвать нужный.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Кто вычисляет разницу между датами, когда модель запрашивает вызов <code>days_between</code>?</li>
<li>Что делает MCP-клиент, когда модель запрашивает вызов инструмента, доступного на сервере?</li>
<li>Зачем описывать формат даты, если в схеме уже указан тип «строка»?</li>
</ol>
<p><!-- Ответы: 1 — код функции. 2 — передаёт серверу имя инструмента и аргументы, затем получает результат. 3 — тип «строка» не сообщает, как записывать дату. --></p>
<p>В следующем уроке — <strong>агент с RAG</strong>: соединяем поиск и цикл, а заодно смотрим, как агент уверенно насчитал $600 000.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-18-instrumenty-i-mcp-edinaya-rozetka-dlya-nejjrosetejj/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 17: как проверять RAG — метрики, золотой набор и честное «не знаю»</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-17-kak-proveryat-rag-metriki-zolotojj-nabor-i-chestnoe-ne-znayu/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-17-kak-proveryat-rag-metriki-zolotojj-nabor-i-chestnoe-ne-znayu/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Sat, 21 Nov 2026 13:43:44 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10882</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10882-2-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 17: как проверять RAG — метрики, золотой набор и честное «не знаю»" style="float:left; margin:0 10px 10px 0;" decoding="async" />RAG из прошлого урока мне очень понравился. Потом я спросил у него: «Какой город — столица Франции?» Ответ: «[урок 1] Столица Франции — Париж». Париж верный. Только в первом уроке нет ни слова о Франции: модель проигнорировала запрет, ответила без опоры на документы и сослалась на урок, в котором ответа нет. Демонстрация работает на ура, а доверять ей нельзя, пока не померишь. Урок за 5 минут: как проверить RAG цифрами,...]]></description>
										<content:encoded><![CDATA[<p>RAG из <a href="https://www.lexium.ru/?p=10881">прошлого урока</a> мне очень понравился. Потом я спросил у него: «Какой город — столица Франции?» Ответ: «[урок 1] Столица Франции — Париж». Париж верный. Только в первом уроке нет ни слова о Франции: модель проигнорировала запрет, ответила без опоры на документы и сослалась на урок, в котором ответа нет. Демонстрация работает на ура, а доверять ей нельзя, пока не померишь.</p>
<p><span id="more-10882"></span></p>
<div class="tip-box"><strong>Урок за 5 минут:</strong> как проверить RAG цифрами, а не на глаз: тестовый набор, метрики поиска, проверка ответов и честного «не знаю».</div>
<p><!-- КАРТИНКА: учитель проверяет работу, а ссылка на источник ведёт в пустоту --></p>
<h2>Почему глазами не выйдет</h2>
<p>RAG работает в два шага. Сначала поиск находит подходящие отрывки в документах. Потом модель получает эти отрывки и пишет ответ. Оба шага могут дать сбой:</p>
<ul>
<li><strong>Поиск не нашёл</strong> отрывок с ответом, хотя в документах он есть.</li>
<li><strong>Модель исказила ответ:</strong> нужный отрывок у неё был, но она поняла его неверно или добавила своё.</li>
</ul>
<p>Если итоговый ответ неверен, сначала посмотрите, какие отрывки получила модель. Если среди них нет ответа, проверяйте поиск. Если ответ в них есть, проверяйте, как модель его использовала. И каждая правка бывает к лучшему для одних вопросов и к худшему для других: без набора тестов это не увидеть.</p>
<h2>Шаг 1. Набор вопросов</h2>
<p><strong>Золотой набор</strong> — вопросы, для которых вы знаете правильный ответ и источник. Сделать его надо руками, и это самая скучная и самая полезная часть:</p>
<pre><code>вопрос: Как повторить результат генерации?
источник: урок 8, отрывок о seed
ожидаемый ответ: использовать то же значение seed
(начального числа) и сохранить остальные настройки
---
вопрос: Какую видеокарту посоветовать для 4K-игр?
источник: нет
ответ: не знаю</code></pre>
<p>Начните с 20–30 штук. Берите настоящие вопросы людей и обязательно добавьте те, на которые в документах ответа нет. Некоторые вопросы задайте по-разному. Например, «Что зафиксировать, чтобы повторить результат генерации?». Так вы проверите, находит ли поиск нужный отрывок при другой формулировке.</p>
<h2>Шаг 2. Мерим поиск</h2>
<p>Здесь смотрим только на отрывки, которые вернул поиск. Генерировать ответ модели пока не нужно. Берём вопросы, на которые в документах есть ответ, и считаем две метрики:</p>
<ul>
<li><strong>Hit rate@3</strong> — доля вопросов, для которых в первой тройке есть хотя бы один отрывок с ответом. Число после @ показывает, сколько первых отрывков мы проверяем.</li>
<li><strong>MRR@3</strong> учитывает место первого отрывка с ответом. Первое место даёт 1 балл, второе — ½, третье — ⅓. Если в тройке такого отрывка нет, ставим 0. Затем усредняем баллы по вопросам.</li>
</ul>
<p>Допустим, на вопрос про seed нужный отрывок оказался первым. Для второго вопроса отрывок с ответом оказался третьим, а для третьего в первой тройке ответа не нашлось. Тогда <strong>hit rate@3 = 2/3 ≈ 67%</strong>, а <strong>MRR@3 = (1 + ⅓ + 0) / 3 ≈ 0,44</strong>. Если отрывок про seed опустится с первого места на второе, доля попаданий сохранится, а MRR@3 снизится.<br />
В <a href="https://www.lexium.ru/?p=10879">уроке про нарезку</a> мои «10 из 10 в тройке» — это hit rate@3 на десяти вопросах. В таком наборе результат одного вопроса меняет показатель на 10 процентных пунктов. Вопросы без ответа проверим отдельно в шаге 4.</p>
<h2>Шаг 3. Мерим ответ</h2>
<p>Три вопроса к каждому ответу:</p>
<ul>
<li><strong>Верен ли?</strong> Сравнить с эталоном. Для простых ответов вроде даты или числа сравнение можно автоматизировать.</li>
<li><strong>Опирается ли на куски?</strong> Это <strong>верность источнику</strong>. Париж этот тест проваливает: кусков про него нет.</li>
<li><strong>Подтверждает ли указанный источник ответ?</strong> Если модель дала дословную цитату, программа может проверить, есть ли она в указанном отрывке. Затем проверьте, следует ли утверждение из цитаты. Урок 1 существует, но в нём нет фразы, которая подтверждает ответ про Париж.</li>
</ul>
<p>Смысл оценить сложнее, поэтому часто берут другую модель в роли судьи: «вот куски, вот ответ, всё ли в ответе следует из кусков?» Это тот же приём, что и в моём экзамене по этим урокам. Судья тоже ошибается, поэтому его самого проверяют на заготовленных примерах.</p>
<h2>Шаг 4. Честное «не знаю»</h2>
<p>Вопросы без ответа мерят отдельно. В моём опыте из трёх таких вопросов модель дважды сказала «не знаю» и один раз провалилась: две трети, на глаз казалось лучше. Что помогает:</p>
<ul>
<li><strong>Порог близости.</strong> Поиск оценивает, насколько каждый отрывок похож на вопрос. Если даже лучший отрывок получил оценку ниже порога, программа сразу отвечает «В документах не нашёл ответа». Чем выше порог, тем чаще система отсекает слабые совпадения. Вместе с ними она может отбросить и отрывки с ответом. Чем ниже порог, тем больше отрывков дойдёт до модели, включая слабые совпадения. В моём опыте оценка лучшего отрывка была 0,58–0,65 для вопросов с ответом и 0,51–0,57 для вопросов без ответа. Проверяйте порог на обоих типах вопросов и смотрите, сколько правильных ответов теряется.</li>
<li><strong>Модель посильнее.</strong> Или проверка ответа судьёй перед выдачей.</li>
<li><strong>Цитата.</strong> Просить дословную фразу из куска: её можно проверить программой, а выдуманная не найдётся.</li>
</ul>
<h2>Попробуйте сами</h2>
<p>Возьмите короткий документ и придумайте пять вопросов: три с ответом в тексте и два без. Для первых трёх отметьте фразы, в которых есть ответ. Приложите документ к сообщению модели и задавайте по одному вопросу за раз. Используйте такой запрос:</p>
<blockquote><p>Ответь на вопрос по приложенному документу и приведи короткую дословную цитату, которая подтверждает ответ. Если в документе ответа нет, скажи: «В этом документе ответа нет».<br />
Вопрос: [подставьте свой вопрос]</p></blockquote>
<p>Для трёх вопросов с ответом отметьте, верен ли ответ и подтверждает ли его цитата. Для двух остальных отметьте, признала ли модель, что в документе ответа нет. Если у вас уже есть RAG, задайте ему те же вопросы. Для первых трёх дополнительно проверьте, попал ли нужный отрывок в первую тройку.</p>
<h2>Что запомнить</h2>
<ul>
<li>Поиск и ответ мерят отдельно: иначе не понять, что чинить.</li>
<li>Основа — золотой набор вопросов, в том числе без ответа.</li>
<li>У поиска проверяем попадание и позицию нужного отрывка. У ответа — правильность и опору на указанный источник.</li>
<li>«Не знаю» надо проверять отдельно. Инструкции в промпте недостаточно.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>RAG дал неверный ответ. Как понять, виноват поиск или модель?</li>
<li>Почему ответ «Париж» — провал, хотя он верный?</li>
<li>Зачем в наборе вопросы, на которые в документах нет ответа?</li>
</ol>
<p><!-- Ответы: 1 — посмотреть, был ли нужный кусок в выдаче: нет — поиск, да — модель. 2 — он не из документов, ссылка ложная; так же модель выдаст и неверное. 3 — проверить, говорит ли система «не знаю», а не выдумывает. --></p>
<p>В следующем уроке — <strong>инструменты и MCP</strong>: как подключать модель к внешним сервисам единым способом.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-17-kak-proveryat-rag-metriki-zolotojj-nabor-i-chestnoe-ne-znayu/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 16: RAG от начала до конца — модель отвечает по документам</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-16-rag-ot-nachala-do-konca-model-otvechaet-po-dokumentam/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-16-rag-ot-nachala-do-konca-model-otvechaet-po-dokumentam/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Fri, 20 Nov 2026 10:51:30 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10881</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10881-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 16: RAG от начала до конца — модель отвечает по документам" style="float:left; margin:0 10px 10px 0;" decoding="async" />Я спросил домашнюю модель: «Сколько токенов в секунду пишет модель на 8 млрд параметров?» Она ответила: 200–300. Уверенно и неверно: на моей видеокарте — 30. Потом я дал ей тот же вопрос, но с четырьмя кусками из моих уроков. Ответ: «30 токенов в секунду», со ссылкой на урок 9. Никакого дообучения, только честно подложенные факты. Это и есть RAG. Урок за 5 минут: что значит RAG, как собрать его из...]]></description>
										<content:encoded><![CDATA[<p>Я спросил домашнюю модель: «Сколько токенов в секунду пишет модель на 8 млрд параметров?» Она ответила: 200–300. Уверенно и неверно: на моей видеокарте — 30. Потом я дал ей тот же вопрос, но с четырьмя кусками из моих уроков. Ответ: «30 токенов в секунду», со ссылкой на урок 9. Никакого дообучения, только честно подложенные факты. Это и есть RAG.</p>
<p><span id="more-10881"></span></p>
<div class="tip-box"><strong>Урок за 5 минут:</strong> что значит RAG, как собрать его из трёх шагов и почему модель начинает говорить «не знаю». С работающим примером по восьми урокам.</div>
<p><!-- КАРТИНКА: модель с открытой книгой перед экзаменом — списывать разрешено --><br />
<!-- lexium-diagram:rag --></p>
<figure class="wp-caption aligncenter" style="max-width: 100%; width: 1033px;"><a href="https://www.lexium.ru/images/2026/11/lexium-lesson-rag.png"><img loading="lazy" decoding="async" class="aligncenter wp-image-10988" style="max-width: 100%; height: 627px;" src="data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7" sleepsrc="https://www.lexium.ru/images/2026/11/lexium-lesson-rag.png" alt="Подготовка документов и три шага RAG: найти, подложить, ответить" width="1033" height="850" /></a><figcaption class="wp-caption-text">Подготовка документов и три шага RAG: найти, подложить, ответить</figcaption></figure>
<h2>Что такое RAG</h2>
<p><strong>RAG</strong> (retrieval-augmented generation &#8212; Генерация, Дополненная Извлечением) — генерация с подкреплением из поиска. Вся идея: перед ответом найти нужные куски документов и вложить их в промпт.</p>
<p>Вспомните <a href="https://www.lexium.ru/?p=10775">урок 6</a>: факты в запросе — лучшее лекарство от галлюцинаций. RAG делает это автоматически. Модель не переучивают и её «память» не меняют. Она просто отвечает, держа шпаргалку.</p>
<h2>Три шага</h2>
<ol>
<li><strong>Найти.</strong> Вопрос превращается в эмбеддинг, из кусков выбираются ближайшие.</li>
<li><strong>Подложить.</strong> Куски вставляются в промпт вместе с вопросом и правилами.</li>
<li><strong>Ответить.</strong> Модель пишет ответ и указывает, откуда он.</li>
</ol>
<p>Заранее один раз делается подготовка: тексты очищаются, режутся и превращаются в эмбеддинги, как в прошлых уроках.</p>
<h2>Весь код</h2>
<pre><code>def rag(вопрос):
    куски = найти(вопрос, 4)
    контекст = '\n\n'.join(f'[урок {к.урок}] {к.текст}' for к in куски)
    промпт = f"""Ответь на вопрос только по фрагментам ниже.
Укажи номер урока в квадратных скобках.
Если ответа в фрагментах нет, напиши: не знаю.

{контекст}

Вопрос: {вопрос}
Ответ:"""
    return спросить_модель(промпт, temperature=0)</code></pre>
<p>Функция <code>найти</code> уже знакома по <a href="https://www.lexium.ru/?p=10878">уроку 13</a>. Обратите внимание на три строки инструкции: они важнее всего. «Только по фрагментам» запрещает сочинять, ссылка на источник позволяет проверить, а «не знаю» даёт модели выход, кроме выдумки. Температура ноль, как советовал <a href="https://www.lexium.ru/?p=10873">урок 8</a>.</p>
<h2>Опыт</h2>
<p>Модель Qwen3 на 8 млрд параметров, восемь уроков, куски по 500 знаков с перекрытием 100:</p>
<pre><code>Сколько токенов в секунду пишет модель на 8 млрд параметров?
  без RAG: около 200–300 токенов в секунду
  с RAG:   [урок 9] 30 токенов в секунду.

Какая температура нужна для мозгового штурма?
  с RAG:   [урок 8] Около 1 и выше.

Какую видеокарту посоветовать для 4K-игр?
  без RAG: RTX 3080, 3090, 4090, Radeon RX 7900...
  с RAG:   не знаю.

Кто написал рассказ «Тихий маяк»?
  с RAG:   [урок 6] не знаю.</code></pre>
<p>Особенно приятна последняя строка. «Тихий маяк» — тот самый выдуманный рассказ, который модели в уроке 6 приписывали Чехову. Теперь она говорит «не знаю». Ответ про видеокарты без RAG, кстати, не плохой, но он взят из памяти модели, а не из наших документов. Для справочника компании это уже проблема: сотруднику нужна политика фирмы, а не общие сведения.</p>
<h2>Почему не просто подгрузить всё</h2>
<p>Можно ли вложить в промпт все документы? Для трёх страниц — да, и RAG не нужен. Но окно контекста конечно, каждый токен стоит денег, как мы считали в <a href="https://www.lexium.ru/?p=10876">уроке 11</a>, а лишний текст сбивает модель. RAG подкладывает только нужное.</p>
<p>Границы тоже есть. Он отвечает на вопросы «где сказано» и плохо — на «сколько всего постов про Docker»: для такого нужен запрос к базе, а не поиск похожих кусков. И всё держится на шаге «найти»: нет нужного куска в выдаче — модель ответит не тем или скажет «не знаю».</p>
<h2>Попробуйте сами</h2>
<p>Без единой строки кода: откройте нейросеть, вставьте текст инструкции, договора или статьи и задайте вопрос с шаблоном:</p>
<pre><code>Ответь только по тексту ниже. Процитируй фразу, на которую
опираешься. Если ответа нет, напиши: не знаю.

[текст]

Вопрос: ...</code></pre>
<p>Затем спросите о том, чего в тексте нет.</p>
<h2>Что запомнить</h2>
<ul>
<li>RAG = найти куски + подложить в промпт + ответить со ссылкой. Модель не меняется.</li>
<li>Инструкция решает: только по фрагментам, с источником, «не знаю» разрешено.</li>
<li>Качество начинается с поиска: чего не нашли, того в ответе не будет.</li>
<li>RAG хорош для «где сказано», плох для подсчётов по всем документам.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Что меняется в модели при подключении RAG?</li>
<li>Зачем в промпте разрешено отвечать «не знаю»?</li>
<li>Почему вопрос «сколько всего постов про Docker» плохо подходит для RAG?</li>
</ol>
<p><!-- Ответы: 1 — ничего, меняется только промпт. 2 — иначе модель продолжит текст правдоподобной выдумкой. 3 — нужен подсчёт по всем документам, а поиск выдаёт несколько похожих кусков. --></p>
<p>В следующем уроке — <strong>как проверять RAG</strong>: у того же опыта есть провал, который на глаз не заметен.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-16-rag-ot-nachala-do-konca-model-otvechaet-po-dokumentam/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 15: векторные базы — pgvector, Chroma, Qdrant и когда они не нужны</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-15-vektornye-bazy-pgvector-chroma-qdrant-i-kogda-oni-ne-nuzhny/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-15-vektornye-bazy-pgvector-chroma-qdrant-i-kogda-oni-ne-nuzhny/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Thu, 19 Nov 2026 15:20:01 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10880</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10880-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 15: векторные базы — pgvector, Chroma, Qdrant и когда они не нужны" style="float:left; margin:0 10px 10px 0;" decoding="async" loading="lazy" />В уроке про векторный поиск программа сравнивала вектор вопроса со всеми ста фрагментами текста. На миллионе фрагментов тот же способ потребует миллиона сравнений на каждый запрос. Если перебор занимает слишком много времени, поиск можно ускорить с помощью индекса. В этом уроке разберём, как работает векторный индекс и когда пригодятся pgvector, Chroma и Qdrant. На своём железе я их пока не сравнивал. Что делает векторная база У векторной базы три задачи....]]></description>
										<content:encoded><![CDATA[<p>В <a href="https://www.lexium.ru/?p=10878">уроке про векторный поиск</a> программа сравнивала вектор вопроса со всеми ста фрагментами текста. На миллионе фрагментов тот же способ потребует миллиона сравнений на каждый запрос. Если перебор занимает слишком много времени, поиск можно ускорить с помощью индекса.</p>
<p><span id="more-10880"></span></p>
<div class="tip-box">В этом уроке разберём, как работает векторный индекс и когда пригодятся pgvector, Chroma и Qdrant. На своём железе я их пока не сравнивал.</div>
<p><!-- КАРТИНКА: библиотекарь идёт прямо к нужной полке, а рядом человек читает все книги подряд --></p>
<h2>Что делает векторная база</h2>
<p>У векторной базы три задачи.</p>
<ul>
<li>Хранить векторы вместе с текстом, источником, датой и другими метаданными.</li>
<li>Находить векторы, ближайшие к вектору запроса. Индекс помогает сделать это быстрее.</li>
<li>Ограничивать поиск по метаданным. Например, искать похожие по смыслу фрагменты только в постах за 2026 год.</li>
</ul>
<h2>Как ускоряют поиск</h2>
<p>Точный перебор считает расстояние от запроса до каждого вектора в базе. Приближённый поиск (ANN) использует индекс и сравнивает запрос только с частью векторов.</p>
<p>Один из таких индексов называется <strong>HNSW</strong>. В нём близкие векторы связаны между собой. На верхних уровнях точек мало, поэтому поиск быстро находит нужную область. Затем он спускается ниже и уточняет результат среди соседних точек.</p>
<p>Индекс может пропустить даже ближайший вектор. Чтобы измерить это, сравнивают выдачу индекса с точным перебором. Доля найденных ближайших векторов называется <em>recall</em>. Чем больше кандидатов проверяет индекс, тем выше обычно эта доля и тем дольше поиск. На построение индекса тоже уходит время, а для хранения нужно дополнительное место.</p>
<h2>Три варианта</h2>
<p><strong>pgvector</strong> — расширение для PostgreSQL. Вектор можно хранить в той же таблице, что и текст. Запрос ниже возвращает три фрагмента, ближайшие к вектору запроса <code>$1</code>.</p>
<pre><code>CREATE EXTENSION vector;
CREATE TABLE куски (id serial, текст text, v vector(1024));
SELECT текст FROM куски
ORDER BY v &lt;=&gt; $1   -- &lt;=&gt; это косинусное расстояние
LIMIT 3;</code></pre>
<p>Если PostgreSQL уже есть, pgvector позволит обойтись одним сервером и общими резервными копиями. Данные из других таблиц можно подключать через <code>JOIN</code>. К pgvector я ещё вернусь в блоке про SQL.</p>
<p><strong>Chroma</strong> можно использовать как библиотеку Python. Она работает внутри программы и может сохранять данные в локальную папку. Для прототипа отдельный сервер не понадобится.</p>
<p><strong>Qdrant</strong> обычно запускают как отдельный сервис, например в Docker. Он умеет искать по векторам с фильтрами по метаданным. Его стоит рассмотреть, если векторов много и приложение часто выполняет такой поиск.</p>
<h2>Что выбрать</h2>
<ul>
<li>Если фрагментов несколько тысяч, начните с перебора в памяти и файла с векторами. Замерьте время ответа на типичных запросах.</li>
<li>Если в прототипе нужно хранить векторы между запусками и искать по ним с фильтрами, попробуйте Chroma.</li>
<li>Если данные уже лежат в PostgreSQL, попробуйте pgvector и проверьте скорость на своём объёме.</li>
<li>Если поиск по векторам создаёт основную нагрузку, сравните pgvector с отдельным сервисом, например Qdrant.</li>
</ul>
<p>Если даже точный перебор часто находит фрагменты мимо темы, проверьте, как вы нарезали документы и какой моделью получили эмбеддинги. Если результаты ухудшились после включения индекса, сравните его выдачу с перебором. В учебном проекте «Спроси Доктора Лексиума» около тысячи постов. Для начала я бы оставил перебор и замерил время поиска после нарезки.</p>
<p>При смене модели эмбеддингов пересчитайте векторы всех фрагментов, даже если размерность осталась прежней. Как мы видели в <a href="https://www.lexium.ru/?p=10877">уроке 12</a>, векторы разных моделей нельзя сравнивать напрямую. Сохраните исходный текст, чтобы было из чего получить новые векторы.</p>
<h2>Пример: поиск по смыслу в блоге на WordPress</h2>
<p>Допустим, читатель ищет «сайт не отправляет письма». Хочется показать ему статью про WP Mail SMTP, даже если в статье вопрос сформулирован иначе. Для этого можно сделать PHP-плагин с отдельной формой поиска. Сам WordPress модель эмбеддингов не запускает. В этом примере плагин обращается к внешнему API, а векторы хранит в той же базе, где лежат посты.</p>
<figure class="wp-caption aligncenter" style="max-width: 100%; width: 808px;"><a href="https://www.lexium.ru/images/2026/11/lexium-10880-wp-vector-search.png"><img loading="lazy" decoding="async" class="wp-image-11081" style="max-width: 100%; height: 633px;" src="data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7" sleepsrc="https://www.lexium.ru/images/2026/11/lexium-10880-wp-vector-search.png" alt="При индексации WordPress отправляет фрагменты постов во внешний API и сохраняет векторы в MySQL. При поиске тот же API возвращает вектор запроса, а PHP сравнивает его с векторами постов." width="808" height="940" /></a></figure>
<ol>
<li><strong>При индексации.</strong> Плагин берёт заголовок и текст опубликованной записи, делит длинный текст на фрагменты и отправляет их во внешний API. Для каждого фрагмента сохраняет ID поста, текст и полученный вектор в отдельной таблице MySQL. После правки поста фрагменты пересчитываются в фоне. Если пост сняли с публикации, его фрагменты убираются из таблицы.</li>
<li><strong>При поиске.</strong> PHP отправляет «сайт не отправляет письма» тому же API и получает вектор запроса. Если сервис недоступен, плагин может показать результаты обычного поиска WordPress.</li>
<li><strong>При выдаче.</strong> PHP читает векторы из MySQL и для начала сравнивает их с вектором запроса простым перебором. По косинусному сходству выбирает ближайшие фрагменты. Если несколько фрагментов относятся к одной статье, показывает её один раз, с самым подходящим отрывком. Перед показом проверяет, что пост всё ещё опубликован.</li>
</ol>
<p>Для первой проверки хватит отдельной формы и нескольких десятков постов. Сравните её выдачу со штатным поиском на одних и тех же запросах. Отдельно замерьте время вызова API и время перебора векторов. Если долго отвечает API, векторный индекс не ускорит этот шаг. Если основное время уходит на перебор, тогда есть смысл попробовать векторную базу.</p>
<h2>Попробуйте сами</h2>
<p>Если в векторе 1024 числа по 4 байта, он займёт 4096 байт. Сколько памяти понадобится на миллион фрагментов? А на ваши документы после нарезки? Если векторы помещаются в память, попробуйте перебор и замерьте время поиска.</p>
<h2>Что запомнить</h2>
<ul>
<li>База хранит векторы вместе с текстом и метаданными. По ним можно задать фильтр для поиска.</li>
<li>HNSW ускоряет поиск, проверяя часть векторов. Из-за этого он может пропустить ближайший.</li>
<li>Chroma можно запустить прямо в Python, pgvector работает внутри PostgreSQL, а Qdrant обычно запускают отдельно.</li>
<li>На небольшом наборе сначала замерьте скорость точного перебора. По нему же можно проверить, сколько ближайших векторов находит индекс.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Почему поиск с индексом HNSW называют приближённым?</li>
<li>Когда pgvector выгоднее отдельной векторной базы?</li>
<li>Вы сменили модель эмбеддингов. Что надо сделать с базой?</li>
</ol>
<p><!-- Ответы. 1. Индекс проверяет часть векторов и может пропустить ближайший. 2. Когда PostgreSQL уже есть и удобно держать векторы вместе с остальными данными. 3. Пересчитать эмбеддинги всех фрагментов новой моделью. --></p>
<p>В следующем уроке соберём <strong>RAG от начала до конца</strong>. Найдём нужные фрагменты в документах и передадим их модели, чтобы она ответила со ссылками на источники.</p>
<p>Если остались вопросы, пишите в комментариях.</p>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-15-vektornye-bazy-pgvector-chroma-qdrant-i-kogda-oni-ne-nuzhny/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 14: нарезка документов — на какие куски резать текст</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-14-narezka-dokumentov-na-kakie-kuski-rezat-tekst/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-14-narezka-dokumentov-na-kakie-kuski-rezat-tekst/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Tue, 17 Nov 2026 07:30:53 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10879</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10879-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 14: нарезка документов — на какие куски резать текст" style="float:left; margin:0 10px 10px 0;" decoding="async" loading="lazy" />В прошлом уроке мы искали ответ среди фрагментов текста. Но как подготовить эти фрагменты? Если разделить документ неудачно, поиск может найти определение, а поясняющий пример останется за его пределами. Разберёмся, как выбирать границы фрагментов и зачем иногда повторять часть текста. Урок за 5 минут: зачем делить документы на фрагменты, как сохранить в них нужный контекст и что даёт перекрытие. Зачем делить документ В прошлом уроке программа сравнивала эмбеддинг вопроса с...]]></description>
										<content:encoded><![CDATA[<p>В прошлом уроке мы искали ответ среди фрагментов текста. Но как подготовить эти фрагменты? Если разделить документ неудачно, поиск может найти определение, а поясняющий пример останется за его пределами. Разберёмся, как выбирать границы фрагментов и зачем иногда повторять часть текста.</p>
<p><span id="more-10879"></span></p>
<div class="tip-box"><strong>Урок за 5 минут:</strong> зачем делить документы на фрагменты, как сохранить в них нужный контекст и что даёт перекрытие.</div>
<h2>Зачем делить документ</h2>
<p>В <a href="https://www.lexium.ru/?p=10878">прошлом уроке</a> программа сравнивала эмбеддинг вопроса с эмбеддингами фрагментов и выбирала самые близкие. Эмбеддинг — это числовое представление текста, с помощью которого мы ищем похожие по смыслу тексты.</p>
<p>Можно получить эмбеддинг целой статьи. Но если в статье несколько тем, такое представление может хуже подходить для поиска ответа на узкий вопрос. Поэтому документ делят на части и получают отдельный эмбеддинг для каждой из них.</p>
<p>Есть и другая причина. Найденный текст затем можно передать языковой модели, чтобы она составила ответ. Полезнее дать ей несколько подходящих фрагментов, чем целые документы с большим количеством посторонней информации. К тому же объём текста, который модель может обработать за один запрос, ограничен её <a href="https://www.lexium.ru/?p=10615">окном контекста</a>.</p>
<p>Такое разделение называют <strong>chunking</strong>, а отдельный фрагмент — <strong>чанком</strong>.</p>
<h2>Что может потеряться на границе</h2>
<p>Представим, что в инструкции написано:</p>
<blockquote><p>Для подключения откройте раздел «Интеграции» и создайте токен доступа. Скопируйте его в поле API_TOKEN в настройках приложения.</p></blockquote>
<p>Если разделить текст между предложениями, второй фрагмент начнётся со слов «Скопируйте его…». Без первого предложения непонятно, что именно нужно скопировать и где это получить.</p>
<p>Поиск может выбрать этот фрагмент по вопросу «Что указать в API_TOKEN?», но для полного ответа понадобится и предыдущее предложение. Поэтому при нарезке важно сохранять вместе инструкции, определения, условия и пояснения, которые зависят друг от друга.</p>
<h2>Зачем нужно перекрытие</h2>
<p>Один из способов сохранить связь между соседними фрагментами — <strong>перекрытие</strong>: конец предыдущего фрагмента повторяют в начале следующего.</p>
<p>Например, при размере 500 знаков и перекрытии 100 первый фрагмент содержит знаки с 1-го по 500-й, а второй — с 401-го по 900-й. Последние 100 знаков первого входят и во второй.</p>
<p>Это помогает, если нужное пояснение оказалось у границы. Но перекрытие не гарантирует сохранения всей мысли: повторённого текста может оказаться недостаточно. Кроме того, фрагментов становится больше, а часть информации в них дублируется.</p>
<p><!-- lexium-diagram:chunking --></p>
<figure class="wp-caption aligncenter" style="max-width: 100%; width: 943px;"><a href="https://www.lexium.ru/images/2026/11/lexium-lesson-chunking.png"><img loading="lazy" decoding="async" class="aligncenter wp-image-10986" style="max-width: 100%; height: 572px;" src="data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7" sleepsrc="https://www.lexium.ru/images/2026/11/lexium-lesson-chunking.png" alt="Нарезка документа без перекрытия и с повторением условия в соседнем фрагменте" width="943" height="850" /></a><figcaption class="wp-caption-text">Нарезка документа без перекрытия и с повторением условия в соседнем фрагменте</figcaption></figure>
<h2>Как выбирать границы и размер</h2>
<p>Для обычной статьи удобно начать с её структуры: заголовков, абзацев и предложений. Небольшие связанные абзацы можно объединять, а слишком длинные — делить по предложениям. Заголовок раздела полезно сохранять рядом с текстом: он помогает понять, о чём идёт речь.</p>
<p>Здесь приходится искать подходящий размер:</p>
<ul>
<li><strong>Слишком короткий фрагмент</strong> может содержать нужные слова, но не содержать условий, примера или пояснения.</li>
<li><strong>Слишком длинный фрагмент</strong> может объединять несколько тем. Вместе с ответом в поиск и затем к модели попадёт лишний текст.</li>
</ul>
<p>Для первого опыта можно взять размер из прошлого урока: около 500 знаков с перекрытием около 100. Это отправная точка для сравнения, а не универсальная настройка. При разделении по абзацам фактическая длина фрагментов будет различаться.</p>
<p>Прочитайте несколько фрагментов отдельно от документа. Понятно ли, о чём в них говорится? Сохранились ли важные условия? Затем проверьте, находит ли поиск фрагменты с ответами на ваши вопросы.</p>
<h2>Что показал мой опыт</h2>
<p>Я сравнил семь вариантов нарезки на восьми исходных уроках и десяти вопросах из прошлого урока. Опыт проводился до расширения курса; состав документов и результаты здесь сохранены.</p>
<p>Для каждого вопроса я заранее знал, в каком уроке находится ответ. Проверял два показателя: оказался ли фрагмент из этого урока на первом месте и был ли такой фрагмент среди первых трёх результатов.</p>
<table>
<thead>
<tr>
<th scope="col">Размер, знаков</th>
<th scope="col">Перекрытие, знаков</th>
<th scope="col">Фрагментов</th>
<th scope="col">Нужный урок на первом месте</th>
<th scope="col">Нужный урок в первых трёх</th>
</tr>
</thead>
<tbody>
<tr>
<td>150</td>
<td>0</td>
<td>280</td>
<td>9 из 10</td>
<td>10 из 10</td>
</tr>
<tr>
<td>150</td>
<td>50</td>
<td>419</td>
<td>9 из 10</td>
<td>10 из 10</td>
</tr>
<tr>
<td>500</td>
<td>0</td>
<td>87</td>
<td>8 из 10</td>
<td>9 из 10</td>
</tr>
<tr>
<td>500</td>
<td>100</td>
<td>108</td>
<td>9 из 10</td>
<td>10 из 10</td>
</tr>
<tr>
<td>1500</td>
<td>0</td>
<td>32</td>
<td>7 из 10</td>
<td>9 из 10</td>
</tr>
<tr>
<td>1500</td>
<td>200</td>
<td>35</td>
<td>8 из 10</td>
<td>9 из 10</td>
</tr>
<tr>
<td>6000</td>
<td>0</td>
<td>10</td>
<td>7 из 10</td>
<td>9 из 10</td>
</tr>
</tbody>
</table>
<p>В этом небольшом наборе короткие фрагменты чаще выводили нужный урок на первое место. При размере 500 знаков добавление перекрытия улучшило оба показателя на один вопрос, а число фрагментов выросло с 87 до 108 — примерно на четверть.</p>
<p>Но <strong>фрагмент из нужного урока ещё не обязательно содержит ответ</strong>. Эти замеры проверяют, из какого урока пришёл результат. Они не показывают, хватило ли найденного текста для ответа модели. Поэтому по ним нельзя объявить нарезку по 150 знаков лучшей. Десяти вопросов также мало для уверенных выводов о других документах.</p>
<p>В опыте текст делился по числу знаков. Разделение по абзацам и заголовкам здесь не сравнивалось. Как проверять поиск и итоговые ответы отдельно, разберём в <a href="https://www.lexium.ru/?p=10882">уроке о проверке RAG</a>.</p>
<h2>Что проверить перед нарезкой</h2>
<ul>
<li><strong>Очистку текста.</strong> Уберите меню сайта, рекламу и служебные элементы. Из HTML и шорткодов нужно извлечь полезный текст, сохранив заголовки, списки и другой значимый порядок.</li>
<li><strong>Таблицы и код.</strong> По возможности сохраняйте небольшой блок целиком. Если таблица или программа слишком велика, делите её по структуре: например, повторяйте заголовки столбцов у частей таблицы.</li>
<li><strong>Ссылки на предыдущий текст.</strong> Фразы вроде «он стоит…» или «сделайте так же» требуют пояснения. Иногда нужно включить предыдущий абзац или добавить название предмета.</li>
</ul>
<h2>Попробуйте сами</h2>
<p>Возьмите небольшую статью или инструкцию и придумайте три вопроса, на которые в ней есть ответы.</p>
<ol>
<li>Разделите текст примерно по 500 знаков без перекрытия. Для этого опыта достаточно сделать несколько фрагментов вручную.</li>
<li>Найдите фрагменты, из которых можно ответить на ваши вопросы. Хватает ли в каждом условий и пояснений?</li>
<li>Измените границы по предложениям и абзацам. Там, где связь всё ещё теряется, повторите нужное пояснение в соседнем фрагменте.</li>
</ol>
<p>Сравните варианты: какой из них позволяет ответить на вопрос, не открывая остальной документ?</p>
<h2>Что запомнить</h2>
<ul>
<li>Документ делят на фрагменты, чтобы искать нужные части и передавать модели подходящий текст.</li>
<li>Во фрагменте должны сохраняться пояснения и условия, необходимые для ответа.</li>
<li>Перекрытие повторяет часть текста между соседними фрагментами, но увеличивает их количество и не решает все проблемы границ.</li>
<li>Размер и способ разделения проверяют на своих документах и вопросах. Попадания в нужный документ для такой проверки недостаточно.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Почему фрагмент с нужными словами может оказаться бесполезным для ответа?</li>
<li>Что означает перекрытие в 100 знаков?</li>
<li>Почему попадание в нужный урок ещё не доказывает удачную нарезку?</li>
</ol>
<p><!-- Ответы: 1 — из него могли выпасть условия, определения или пояснения из соседнего текста. 2 — последние 100 знаков предыдущего фрагмента повторяются в начале следующего. 3 — найденный фрагмент может быть из нужного урока, но не содержать сам ответ или необходимый контекст. --></p>
<p>В следующем уроке — <strong>векторные базы</strong>: как хранить эмбеддинги и искать среди них, когда простого перебора становится недостаточно.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<aside class="lx-channel-invite" aria-label="Мой Telegram-канал">
<p>ИИ, код и автоматизация — делюсь заметками из своих проектов в Telegram.</p>
<p><a class="lx-channel-invite__link" href="https://t.me/+hbwUvJAfnpw1MjMy" target="_blank" rel="noopener" data-channel-site="lexium">Заглянуть в канал <span aria-hidden="true"><img src="https://s.w.org/images/core/emoji/17.0.2/72x72/2197.png" alt="↗" class="wp-smiley" style="height: 1em; max-height: 1em;" /></span></a></p>
<p class="lx-channel-invite__alternative">Удобнее ВКонтакте? <a href="https://vk.ru/alexcube_ru" target="_blank" rel="noopener">Те же посты здесь</a>.</p>
</aside>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-14-narezka-dokumentov-na-kakie-kuski-rezat-tekst/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 13: векторный поиск — близость своими руками на Python</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-13-vektornyjj-poisk-blizost-svoimi-rukami-na-python/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-13-vektornyjj-poisk-blizost-svoimi-rukami-na-python/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Sun, 15 Nov 2026 16:19:25 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10878</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10878-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 13: векторный поиск — близость своими руками на Python" style="float:left; margin:0 10px 10px 0;" decoding="async" loading="lazy" />Поиск по смыслу звучит как большая технология, а его сердце умещается в пять строк Python. Я взял тексты своих восьми уроков, разрезал на куски и спросил: «Что будет, если поставить предел в 20 токенов?» Программа перебрала сотню кусков и нашла нужный. Никакой базы данных, никаких библиотек. Примечание после расширения курса: этот опыт проведён на восьми исходных уроках базы, до добавления уроков 3–5. Количество документов и результаты замеров сохранены. Урок за...]]></description>
										<content:encoded><![CDATA[<p>Поиск по смыслу звучит как большая технология, а его сердце умещается в пять строк Python. Я взял тексты своих восьми уроков, разрезал на куски и спросил: «Что будет, если поставить предел в 20 токенов?» Программа перебрала сотню кусков и нашла нужный. Никакой базы данных, никаких библиотек.</p>
<p><span id="more-10878"></span></p>
<p><em>Примечание после расширения курса: этот опыт проведён на восьми исходных уроках базы, до добавления уроков 3–5. Количество документов и результаты замеров сохранены.</em></p>
<div class="tip-box"><strong>Урок за 4 минуты:</strong> как измерить близость двух эмбеддингов, что такое косинус на пальцах и как собрать поиск по смыслу своими руками.</div>
<p><!-- КАРТИНКА: две стрелки из одной точки, между ними угол --></p>
<h2>Близость — это угол</h2>
<p>Эмбеддинг из <a href="https://www.lexium.ru/?p=10877">прошлого урока</a> — стрелка из начала координат. Два похожих текста — две стрелки, смотрящие почти в одну сторону. <strong>Косинусная близость</strong> измеряет именно это: не длину стрелок, а угол между ними.</p>
<ul>
<li>1 — смотрят в одну сторону;</li>
<li>0 — под прямым углом, то есть никак не связаны;</li>
<li>−1 — в противоположные стороны.</li>
</ul>
<p>Почему угол, а не расстояние? Длина стрелки может зависеть от текста, а тему задаёт направление. Угол на длину не смотрит.</p>
<p>Школьная формула косинуса работает и для 1024 измерений: перемножаем координаты попарно, складываем и делим на длины стрелок.</p>
<pre><code>import math

def cos(a, b):
    return sum(x * y for x, y in zip(a, b)) / math.sqrt(
        sum(x * x for x in a) * sum(y * y for y in b))</code></pre>
<h2>Поиск целиком</h2>
<p>Теперь весь поиск. Функция <code>emb()</code> обращается к Ollama за эмбеддингами, как в прошлом уроке:</p>
<pre><code>куски = [...]                     # тексты
векторы = emb(куски)              # считаем один раз и храним

def найти(вопрос, сколько=3):
    v = emb([вопрос])[0]
    лучшие = sorted(range(len(куски)),
                    key=lambda i: -cos(v, векторы[i]))
    return [куски[i] for i in лучшие[:сколько]]</code></pre>
<p>Эмбеддинги кусков считаются один раз и складываются. Вопрос превращается в эмбеддинг при каждом поиске, а дальше сравнение со всеми подряд. Такой перебор называют точным поиском.</p>
<h2>Опыт: десять вопросов к восьми урокам</h2>
<p>Восемь уроков дали 108 кусков по 500 знаков. Я задал десять вопросов, для каждого знал, в каком уроке ответ: «Что делать, если модель выдумала книгу?», «Сколько стоит вход у Opus 5.5?», «Чем seed полезен?»</p>
<ul>
<li>Лучший кусок оказался из нужного урока в <strong>9 случаях из 10</strong>.</li>
<li>Нужный урок был среди первых трёх кусков в <strong>10 из 10</strong>.</li>
</ul>
<p>Никакого словаря и ключевых слов. Но у поиска по смыслу есть слабость: в артикуле или коде смысла нет, важно точное совпадение символов, а такое лучше ищет обычный поиск. Поэтому в серьёзных системах их часто совмещают, и это называется <strong>гибридный поиск</strong>.</p>
<h2>Когда перебор закончится</h2>
<p>Сотня кусков перебирается мгновенно. Миллионы уже нет: на каждый вопрос нужно посчитать косинус со всеми. Для этого и существуют векторные базы, о них через урок.</p>
<p>Но для блога на тысячу постов перебора хватит. Это хороший повод не тащить базу в маленький проект.</p>
<h2>Попробуйте сами</h2>
<p>Соберите поиск по своим заметкам: возьмите 20–30 абзацев и подставьте их в <code>куски</code>. Задайте вопрос словами, которых в заметках нет, и посмотрите, что найдётся.</p>
<h2>Что запомнить</h2>
<ul>
<li>Близость эмбеддингов измеряют углом между ними — косинусом.</li>
<li>Поиск: посчитать эмбеддинг вопроса, сравнить со всеми кусками, взять лучшие.</li>
<li>Эмбеддинги кусков считаются один раз и хранятся.</li>
<li>На тысячах кусков хватает перебора. Точные коды лучше ищет обычный поиск.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Что значит косинусная близость, равная 1? А 0?</li>
<li>Почему сравнивают угол, а не расстояние между концами стрелок?</li>
<li>Почему поиск по смыслу плохо находит артикул товара?</li>
</ol>
<p><!-- Ответы: 1 — стрелки смотрят в одну сторону; не связаны. 2 — длина зависит от текста, тему задаёт направление. 3 — в артикуле нет смысла, важно точное совпадение символов. --></p>
<p>В следующем уроке — <strong>нарезка документов</strong>: на какие куски резать текст и что от этого ломается.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-13-vektornyjj-poisk-blizost-svoimi-rukami-na-python/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 12: эмбеддинги — как текст превращается в числа</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-12-ehmbeddingi-kak-tekst-prevrashhaetsya-v-chisla/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-12-ehmbeddingi-kak-tekst-prevrashhaetsya-v-chisla/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Sat, 14 Nov 2026 12:43:37 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10877</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10877-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 12: эмбеддинги — как текст превращается в числа" style="float:left; margin:0 10px 10px 0;" decoding="async" loading="lazy" />Какое предложение ближе к «Кот спит на диване»: «Кошка дремлет на софе» или «Сервер упал ночью»? Человеку очевидно. А компьютер умеет только сравнивать числа. Я попросил домашнюю модель превратить предложения в числа, и близость получилась такая: 0,79 против 0,45. Ни одного общего слова в первой паре нет, а машина всё равно поняла, что смысл рядом. Урок за 4 минуты: что такое эмбеддинг, почему похожие тексты оказываются рядом и где этот...]]></description>
										<content:encoded><![CDATA[<p>Какое предложение ближе к «Кот спит на диване»: «Кошка дремлет на софе» или «Сервер упал ночью»? Человеку очевидно. А компьютер умеет только сравнивать числа. Я попросил домашнюю модель превратить предложения в числа, и близость получилась такая: 0,79 против 0,45. Ни одного общего слова в первой паре нет, а машина всё равно поняла, что смысл рядом.</p>
<p><span id="more-10877"></span></p>
<div class="tip-box"><strong>Урок за 4 минуты:</strong> что такое эмбеддинг, почему похожие тексты оказываются рядом и где этот приём ошибается. Первый шаг к тому, чтобы нейросеть отвечала по вашим документам.</div>
<p><!-- КАРТИНКА: карта города, где тексты про котов живут в одном районе, а про серверы — в другом --></p>
<h2>Зачем это нужно</h2>
<p>Начинается новый блок. Цель — научить модель отвечать по вашим документам, а не по тому, что она помнит. Для этого сначала надо найти нужный кусок текста среди тысяч. Обычный поиск ищет слова: например «кошка дремлет». Подстроку «кот спит» он не найдёт. Нам же нужен поиск по смыслу, а для него смысл надо превратить в числа.</p>
<h2>Что такое эмбеддинг</h2>
<p><strong>Эмбеддинг</strong> — это список чисел, описывающий смысл текста. Представьте карту города: у каждого дома две координаты (широта и долгота), и близкие дома имеют близкие координаты. Эмбеддинг — такие же координаты, только у текста, а измерений там не два, а сотни. У модели bge-m3, которая стоит у меня дома, их 1024. Начало одного такого списка: −0,027, −0,007, −0,043…</p>
<p>Отдельно числа ничего не значат: нет «измерения про котов». Смысл появляется только при сравнении: тексты о чём-то схожем оказываются в одном районе этого пространства.</p>
<p>Эмбеддинги делает особая модель. Её учат на огромных объёмах текста так, чтобы близкие по смыслу тексты получали близкие координаты. Она не пишет текст и не отвечает на вопросы, она только выдаёт координаты, и делает это за доли секунды.</p>
<h2>Опыт: насколько близко</h2>
<p>Я сравнил пары предложений через bge-m3. Единица означает полное совпадение направления, а чем меньше, тем дальше по смыслу:</p>
<ul>
<li><strong>0,79</strong> — «Кот спит на диване» и «Кошка дремлет на софе»;</li>
<li><strong>0,66</strong> — «Кот спит на диване» и «Котёнок играет с клубком»;</li>
<li><strong>0,62</strong> — «Machine learning model training» и «Обучение нейросети на примерах»;</li>
<li><strong>0,45</strong> — «Кот спит на диване» и «Сервер упал ночью»;</li>
<li><strong>0,38</strong> — «Сервер упал ночью» и «Обучение нейросети на примерах».</li>
</ul>
<p>Третья строка самая интересная: английский и русский, общих слов нет, а близость выше, чем у случайной пары. Смысл не привязан к языку.</p>
<h2>Где эмбеддинг ошибается</h2>
<p>Две пары я подобрал нарочно:</p>
<ul>
<li>«Собака укусила человека» и «Человек укусил собаку» — близость <strong>0,94</strong>. Смысл разный, а для эмбеддинга почти одно и то же: слова те же, тема та же.</li>
<li>«Этот отель мне понравился» и «Этот отель мне не понравился» — <strong>0,75</strong>. Это ближе, чем кот и котёнок.</li>
</ul>
<p>Эмбеддинг ловит, <em>о чём</em> текст, а не <em>что именно</em> в нём утверждается. Для поиска это нормально: оба отзыва про отель, и оба стоит показать. Для вывода «клиент доволен» уже не годится. Поэтому эмбеддинг находит кандидатов, а читает их языковая модель.</p>
<p>И ещё: числа нельзя сравнивать между разными моделями. У них разные пространства, как координаты разных городов.</p>
<h2>Попробуйте сами</h2>
<p>Если стоит Ollama:</p>
<pre><code>ollama pull bge-m3
curl http://localhost:11434/api/embed -d '{
  "model": "bge-m3",
  "input": "Кот спит на диване"
}'</code></pre>
<p>В ответе — те самые 1024 числа. В следующем уроке мы сравним такие списки своими руками.</p>
<h2>Что запомнить</h2>
<ul>
<li>Эмбеддинг — список чисел, координаты смысла текста.</li>
<li>Близкие по смыслу тексты получают близкие координаты, даже без общих слов и на разных языках.</li>
<li>Эмбеддинг знает тему, но плохо различает «да» и «нет» и кто что сделал.</li>
<li>Сравнивать можно только эмбеддинги одной модели.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Почему поиск по словам не найдёт «кошка дремлет» по запросу «кот спит»?</li>
<li>Почему близость фраз «понравился» и «не понравился» так высока?</li>
<li>Можно ли сравнить эмбеддинг от bge-m3 с эмбеддингом другой модели?</li>
</ol>
<p><!-- Ответы: 1 — нет общих слов. 2 — тема и слова совпадают, эмбеддинг ловит тему, а не утверждение. 3 — нет, у моделей разные пространства. --></p>
<p>В следующем уроке — <strong>векторный поиск</strong>: считаем близость на Python в пять строк.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-12-ehmbeddingi-kak-tekst-prevrashhaetsya-v-chisla/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 11: сколько стоит нейросеть — токены, деньги и своя видеокарта</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-11-skolko-stoit-nejjroset-tokeny-dengi-i-svoya-videokarta/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-11-skolko-stoit-nejjroset-tokeny-dengi-i-svoya-videokarta/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Fri, 13 Nov 2026 18:26:10 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10876</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10876-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 11: сколько стоит нейросеть — токены, деньги и своя видеокарта" style="float:left; margin:0 10px 10px 0;" decoding="async" loading="lazy" />Тысяча комментариев на разбор: 2 цента или 70 центов. Качество в такой простой задаче почти одинаковое, разница — в сорок раз. А вот один неосторожный агент легко съест больше, чем весь этот разбор. Считать стоимость нейросетей проще, чем кажется, но считать надо: интуиция здесь врёт в обе стороны. Урок за 4 минуты: из чего складывается цена запроса, почему длинный разговор дорожает сам собой, какие приёмы режут счёт в разы и...]]></description>
										<content:encoded><![CDATA[<p>Тысяча комментариев на разбор: 2 цента или 70 центов. Качество в такой простой задаче почти одинаковое, разница — в сорок раз. А вот один неосторожный агент легко съест больше, чем весь этот разбор. Считать стоимость нейросетей проще, чем кажется, но считать надо: интуиция здесь врёт в обе стороны.</p>
<p><span id="more-10876"></span></p>
<div class="tip-box"><strong>Урок за 4 минуты:</strong> из чего складывается цена запроса, почему длинный разговор дорожает сам собой, какие приёмы режут счёт в разы и сколько стоит токен на своей видеокарте.</div>
<p><!-- КАРТИНКА: счётчик такси, в котором вместо рублей бегут токены --></p>
<h2>Одна формула</h2>
<pre><code>цена = токены на входе × цена входа + токены на выходе × цена выхода</code></pre>
<p>Цены пишут за миллион токенов. Для примера возьмём семейство Claude, октябрь 2026, вход / выход:</p>
<ul>
<li><strong>Haiku 5.5:</strong> $0,10 / $0,50 — младшая, для простой массовой работы;</li>
<li><strong>Sonnet 5.5:</strong> $2 / $10 — средняя;</li>
<li><strong>Opus 5.5:</strong> $4 / $20 — старшая.</li>
</ul>
<p>Цены меняются, проверяйте перед расчётом. Важнее сама картина: выход в пять раз дороже входа, а между младшей и старшей моделью — в сорок раз.</p>
<h2>Считаем три случая</h2>
<p><strong>Статья.</strong> Прошлый урок целиком занял около 1 800 токенов (замерил домашней моделью, у разных моделей счёт немного отличается). Отправить такой текст в Opus и получить тысячу токенов замечаний: примерно $0,027. Копейки.</p>
<p><strong>Разбор 1000 комментариев.</strong> На комментарий 150 токенов входа с инструкцией и пять токенов ответа, как в <a href="https://www.lexium.ru/?p=10776">уроке 7</a>. Итого 150 тысяч на входе и 5 тысяч на выходе. Haiku: $0,0175. Opus: $0,70. Задача простая, значит, старшая модель здесь — чистый перерасход.</p>
<p><strong>Агент на 20 шагов.</strong> Помните <a href="https://www.lexium.ru/?p=10615">урок 2</a>: модель ничего не помнит, разговор каждый раз отправляется целиком. Пусть старт — 5000 токенов, каждый шаг добавляет ещё 1000, а ответ занимает 300. На вход за 20 шагов уйдёт уже не 25 тысяч, а 290 тысяч токенов: растёт каждый следующий шаг. На Opus это $1,28 за одну задачу. Сам агент работает минуты, а запускать его можно сто раз в день. Вот откуда берутся неожиданные счета.</p>
<h2>Что режет счёт</h2>
<ul>
<li><strong>Брать модель по задаче.</strong> Самый сильный рычаг: классификацию — младшей, сложное — старшей.</li>
<li><strong>Кэш промпта.</strong> Если начало запроса не меняется, провайдер помнит его какое-то время, и чтение стоит в разы меньше: у Opus 5.5 $0,20 вместо $4. Наш агент с кэшем обошёлся бы примерно в $0,30 вместо $1,28. Постоянное ставьте в начало, а переменное — в конец: одна изменившаяся буква в начале сбрасывает кэш.</li>
<li><strong>Пакетная обработка.</strong> Если ответ не нужен сразу, batch-запросы стоят вдвое дешевле. Подходит для ночных разборов.</li>
<li><strong>Короткий контекст.</strong> Новая задача — новый чат. Не надо отправлять весь файл, если нужен один абзац.</li>
<li><strong>Предел длины и шагов.</strong> Из <a href="https://www.lexium.ru/?p=10615">прошлых уроков</a>: страховка от дорогой ошибки.</li>
</ul>
<h2>Подписка или API</h2>
<p>Подписка — это фиксированная сумма за лимит на сообщения в чате или в инструменте вроде Claude Code. Удобно для личной работы: счёт известен заранее, а упираешься в лимит, а не в кошелёк. API — оплата за каждый токен. Он нужен, когда модель вызывает ваша программа: боты, автоматизация, разбор данных. Считать надо то, что вы делаете: человеку обычно выгоднее подписка, программе — API.</p>
<h2>Сколько стоит токен дома</h2>
<p>Моя GTX 1070 пишет 30 токенов в секунду. Миллион токенов — это 9,3 часа работы. Если компьютер под нагрузкой берёт около 300 Вт, выйдет 2,8 кВт·ч, при тарифе 6 рублей — примерно 17 рублей за миллион, причём на вход и на выход одинаково. Видеокарта у меня уже была, поэтому покупку я не считаю.</p>
<p>Дешевле старшей облачной модели в разы, но не даром, и младшая облачная стоит $0,50 за миллион на выходе. Если покупать видеокарту специально, нейросеть на ней нескоро её окупит. Настоящие причины считать дома другие: приватность и отсутствие счётчика из <a href="https://www.lexium.ru/?p=10874">урока 9</a>. А ещё время: 9 часов против минут в облаке.</p>
<h2>Попробуйте сами</h2>
<p>Посчитайте свой случай на калькуляторе:</p>
<pre><code>Запросов в день:          ____
Токенов на вход:          ____  (знаков / 3 — грубо, для русского)
Токенов на выход:         ____
Цена входа и выхода:      ____  (за миллион, с сайта модели)
В месяц = запросы × 30 × (вход × цена + выход × цена) / 1 000 000</code></pre>
<p>Потом прикиньте ту же задачу на младшей модели. Чаще всего вы удивитесь разнице.</p>
<h2>Что запомнить</h2>
<ul>
<li>Цена = вход и выход в токенах, выход дороже входа в несколько раз.</li>
<li>Длинный разговор и агент дорожают сами: весь контекст отправляется заново на каждом шаге.</li>
<li>Главные рычаги: модель по задаче, кэш, пакетная обработка, короткий контекст, предел шагов.</li>
<li>Своя видеокарта — ради приватности и свободы от счётчика, а не ради экономии на покупке.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Почему 20 шагов агента на вход дали не 25 тысяч токенов, а 290 тысяч?</li>
<li>Как надо расположить части запроса, чтобы кэш работал?</li>
<li>Нужно ночью разобрать 50 тысяч отзывов на простые категории. Какие два приёма снизят счёт сильнее всего?</li>
</ol>
<p><!-- Ответы: 1 — на каждом шаге отправляется весь накопленный контекст. 2 — постоянное в начало, переменное в конец: кэш работает по совпадению начала. 3 — младшая модель и пакетная обработка (batch), ещё кэш общей инструкции. --></p>
<p>Это последний урок базового блока. Дальше у меня экзамен по всем одиннадцати темам, а потом — RAG: как научить модель отвечать по вашим документам.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-11-skolko-stoit-nejjroset-tokeny-dengi-i-svoya-videokarta/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 10: что такое ИИ-агент — модель, инструменты и цикл на десять строк</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-10-chto-takoe-ii-agent-model-instrumenty-i-cikl-na-desyat-strok/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-10-chto-takoe-ii-agent-model-instrumenty-i-cikl-na-desyat-strok/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Fri, 13 Nov 2026 10:47:03 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10875</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10875-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 10: что такое ИИ-агент — модель, инструменты и цикл на десять строк" style="float:left; margin:0 10px 10px 0;" decoding="async" loading="lazy" />Я спросил домашнюю модель: «Сколько дней осталось до 1 января 2027 года и сколько это будет часов?» Она бодро ответила: 365 дней, 8760 часов. Было 30 октября, а значит правильный ответ — 63 дня. Откуда модели знать сегодняшнюю дату? Потом я дал ей три крошечные функции и написал цикл на десять строк. Она сделала три шага и ответила верно. Это и есть агент, и никакой магии в нём нет. Урок...]]></description>
										<content:encoded><![CDATA[<p>Я спросил домашнюю модель: «Сколько дней осталось до 1 января 2027 года и сколько это будет часов?» Она бодро ответила: 365 дней, 8760 часов. Было 30 октября, а значит правильный ответ — 63 дня. Откуда модели знать сегодняшнюю дату? Потом я дал ей три крошечные функции и написал цикл на десять строк. Она сделала три шага и ответила верно. Это и есть агент, и никакой магии в нём нет.</p>
<p><span id="more-10875"></span></p>
<div class="tip-box"><strong>Урок за 5 минут:</strong> из чего состоит ИИ-агент, как модель «запускает» программы, не умея их запускать, и почему агенту нужен предел шагов. С рабочим примером на домашней модели.</div>
<p><!-- КАРТИНКА: круг из трёх стрелок: модель → инструмент → результат обратно в модель --><br />
<!-- lexium-diagram:agent --></p>
<figure class="wp-caption aligncenter" style="max-width: 100%; width: 1122px;"><a href="https://www.lexium.ru/images/2026/11/lexium-lesson-agent.png"><img loading="lazy" decoding="async" class="aligncenter wp-image-10984" style="max-width: 100%; height: 681px;" src="data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7" sleepsrc="https://www.lexium.ru/images/2026/11/lexium-lesson-agent.png" alt="Цикл агента: модель запрашивает вызов, программа выполняет инструмент и возвращает результат" width="1122" height="850" /></a><figcaption class="wp-caption-text">Цикл агента: модель запрашивает вызов, программа выполняет инструмент и возвращает результат</figcaption></figure>
<h2>Формула</h2>
<p><strong>Агент = модель + инструменты + цикл.</strong></p>
<ul>
<li><strong>Модель</strong> — та же, что в прошлых уроках. Она умеет только писать текст.</li>
<li><strong>Инструменты</strong> — обычные функции вашей программы: узнать дату, прочитать файл, выполнить запрос. У каждого есть название и описание.</li>
<li><strong>Цикл</strong> — программа, которая крутится, пока работа не сделана.</li>
</ul>
<h2>Модель ничего не запускает</h2>
<p>Это главное, что надо понять. Модель не умеет выполнять код и не имеет доступа к вашему компьютеру. Вместе с вопросом ей передают список инструментов, и вместо ответа она может написать: «вызови функцию today без параметров». Как обычный текст в оговорённом формате.</p>
<p>Запускает функцию ваша программа. Она же дописывает результат в разговор и снова отправляет всё модели. А та, вспомним <a href="https://www.lexium.ru/?p=10587">урок 1</a>, просто пишет продолжение, но уже с новым фактом перед глазами. Как и в <a href="https://www.lexium.ru/?p=10775">уроке 6</a>: факты в запросе лечат выдумки. Агент сам добывает их себе.</p>
<h2>Опыт: десять строк</h2>
<p>Вот сердце агента, без обвязки:</p>
<pre><code>messages = [{'role': 'user', 'content': вопрос}]
for step in range(8):                    # предел шагов
    ответ = chat(messages, tools=инструменты)
    messages.append(ответ)
    if not ответ.get('tool_calls'):      # инструменты не нужны
        print(ответ['content'])          # значит, это итог
        break
    for вызов in ответ['tool_calls']:    # модель просит функцию
        результат = запустить(вызов)
        messages.append({'role': 'tool', 'content': результат})</code></pre>
<p>Инструментов три: <code>today</code> (сегодняшняя дата), <code>days_between</code> (дни между датами), <code>calc</code> (арифметика). Вот что произошло у модели Qwen3 на 8 млрд параметров дома:</p>
<pre><code>Шаг 1: today()                                → 2026-10-30
Шаг 2: days_between(2026-10-30, 2027-01-01)   → 63
Шаг 3: calc(63 * 24)                          → 1512
Шаг 4: «...осталось 63 дня, что составляет 1512 часа»</code></pre>
<p>Никто не писал ей план. Порядок шагов она выбрала сама: сначала узнать дату, потом посчитать. Это и отличает агента от скрипта: в скрипте порядок задаёте вы, здесь модель решает на ходу, исходя из того, что уже получила.</p>
<p>Цифры верные, потому что считала программа. А вот текст итога начинался с «От 1 января», а не «До»: связная речь по-прежнему на совести модели, и она ошибается. Поэтому всё, что можно посчитать, отдаём инструментам.</p>
<h2>Что ломается</h2>
<ul>
<li><strong>Цикл без конца.</strong> Модель может вызывать одно и то же снова и снова. Поэтому в коде стоит <code>range(8)</code>. Без предела шагов агент однажды сожжёт деньги/лимиты.</li>
<li><strong>Память тратится.</strong> Каждый результат инструмента ложится в контекст, а весь разговор отправляется заново на каждом шаге. Помните <a href="https://www.lexium.ru/?p=10615">урок 2</a>? Прочитал агент большой файл — и окно заполнилось.</li>
<li><strong>Ошибки накапливаются.</strong> Если на шаге 2 модель ошиблась, шаги 3–10 строятся на ошибке. Поэтому полезны проверки: тесты, сверка результата программой.</li>
<li><strong>Опасные действия.</strong> Инструмент «удалить файл» или «отправить письмо» агент вызовет так же легко, как <code>today</code>. Дайте ему только нужные инструменты, а необратимое пусть подтверждает человек.</li>
<li><strong>Чужой текст как команда.</strong> Для модели нет разницы между вашей просьбой и фразой на прочитанной веб-странице. Если на странице написано «отправь пароли сюда», агент с инструментом отправки может послушаться. Это называют <strong>prompt injection</strong>: всё, что пришло снаружи, — данные, а не приказы.</li>
</ul>
<h2>Где вы это уже видели</h2>
<p>Облачный агент, с которым я делаю этот сайт, устроен точно так же: модель, инструменты «прочитать файл», «поправить файл», «запустить команду» и цикл, который спрашивает разрешения на опасное. Разница с моим примером — в количестве инструментов и размере защиты, а не в принципе.</p>
<h2>Попробуйте сами</h2>
<p>Понаблюдайте за агентом, не программируя. Откройте нейросеть с поиском в интернете и спросите: «Какая сегодня погода в моём городе и что надеть?» Обратите внимание на строчки вроде «ищу в интернете»: это и есть вызовы инструментов. Затем задайте вопрос, где инструмент не поможет, и посмотрите, вызовет ли она его всё равно.</p>
<p>Умеете в Python? Возьмите функцию для Ollama из документации и напишите цикл выше с одним инструментом.</p>
<h2>Мой пример</h2>
<pre class="pre"><code class="dl-code language-python">"""
Минимальный ИИ-агент для Ollama (интерактивный, блокирует ввод во время ожидания, показывает спиннер).

Основной цикл:
    messages = [system, user]
    повторять до MAX_STEPS:
        reply = chat(messages, tools)            # POST /api/chat
        if нет tool_calls: это финальный ответ
        else: result = run_tool(args); messages += {'role': 'tool', ...}

Примеры инструментов: current_date (сегодняшняя дата) и days_between
(количество дней между двумя датами).

Использование:
    python ollama_minimal.py                # интерактивный режим (диалог с историей)
    python ollama_minimal.py "вопрос"       # один вопрос -- один ответ

Хост/модель: переменные окружения OLLAMA_HOST и OLLAMA_MODEL.
"""

import datetime
import json
import os
import re
import sys
import threading
import urllib.error
import urllib.request

# Тут указываю хост (адрес ollama)
HOST = os.environ.get('OLLAMA_HOST', 'http://192.168.0.10:177')
# Здесь указываю модель, которую будет использовать ollama
MODEL = os.environ.get('OLLAMA_MODEL', 'qwen3:8b')
# Это лимит токенов (контекстное окно)
NUM_CTX = 16384
# Максимальное количество шагов (запросов к модели), чтобы модель не зациклилась
MAX_STEPS = 8

SYSTEM_PROMPT = 'Отвечай кратко по-русски. Даты узнавай инструментами, не угадывай.'

TOOLS = [
    {'type': 'function', 'function': {
        'name': 'current_date',
        'description': 'Сегодняшняя дата в формате ГГГГ-ММ-ДД.',
        'parameters': {'type': 'object', 'properties': {}}},
     },
    {'type': 'function', 'function': {
        'name': 'days_between',
        'description': 'Сколько дней от даты from до даты to (формат ГГГГ-ММ-ДД).',
        'parameters': {'type': 'object',
                       'properties': {'from': {'type': 'string', 'description': 'начальная дата'},
                                      'to': {'type': 'string', 'description': 'конечная дата'}},
                       'required': ['from', 'to']}},
     },
]


def run_tool(name, args):
    """Выполняет инструмент по имени с заданными аргументами. Возвращает строковый результат."""
    try:
        if name == 'current_date':
            return datetime.date.today().isoformat()
        if name == 'days_between':
            d1 = datetime.date.fromisoformat(args.get('from', ''))
            d2 = datetime.date.fromisoformat(args.get('to', ''))
            return str((d2 - d1).days)
        return f'ОШИБКА: неизвестный инструмент {name}'
    except Exception as e:
        return f'ОШИБКА: {e}'


def chat(messages):
    """Отправляет историю сообщений в Ollama POST-запросом; возвращает словарь сообщения ассистента."""
    payload = {'model': MODEL, 'messages': messages, 'tools': TOOLS, 'stream': False,
               'options': {'num_ctx': NUM_CTX, 'temperature': 0.1}}
    req = urllib.request.Request(HOST + '/api/chat', data=json.dumps(payload).encode('utf-8'),
                                 headers={'Content-Type': 'application/json'})
    with urllib.request.urlopen(req, timeout=600) as resp:
        return json.loads(resp.read().decode('utf-8'))['message']


# ---------------------------------------------------------------- спиннер

class Spinner:
    """Рисует точки в фоновом потоке, пока выполняется запрос.

    Строка стирается с помощью '\\r' + пробелы + '\\r', чтобы не засорять вывод.
    """

    def __init__(self, text='Ожидание ответа агента', interval=0.4):
        self.text = text
        self.interval = interval
        self._stop = threading.Event()
        self._thread = None
        self._last_len = 0
        self._lock = threading.Lock()

    def _run(self):
        dots = 0
        while not self._stop.is_set():
            frame = self.text + '.' * (dots % 4)
            with self._lock:
                pad = max(0, self._last_len - len(frame))
                sys.stdout.write('\r' + frame + ' ' * pad)
                sys.stdout.flush()
                self._last_len = len(frame)
            dots += 1
            self._stop.wait(self.interval)

    def __enter__(self):
        self._thread = threading.Thread(target=self._run, daemon=True)
        self._thread.start()
        return self

    def __exit__(self, *exc):
        self._stop.set()
        if self._thread:
            self._thread.join()
        with self._lock:
            sys.stdout.write('\r' + ' ' * self._last_len + '\r')
            sys.stdout.flush()
            self._last_len = 0


# ---------------------------------------------------------------- агент

def agent_step(messages):
    """Добавляет один ход ассистента в `messages`. Возвращает финальный текст.

    Изменяет `messages` на месте (добавляет записи assistant и tool).
    """
    for step in range(1, MAX_STEPS + 1):
        msg = chat(messages)
        # Некоторые reasoning-модели (например, qwen3) оборачивают размышления в &lt;think&gt;...&lt;/think&gt;;
        # убираем это перед сохранением видимого содержимого.
        msg['content'] = re.sub(r'&lt;think&gt;.*?&lt;/think&gt;', '', msg.get('content') or '', flags=re.S).strip()

        stored = {'role': 'assistant', 'content': msg['content']}
        calls = msg.get('tool_calls')
        if calls:
            stored['tool_calls'] = calls
        messages.append(stored)

        if not calls:
            return msg['content']

        for tc in calls:
            name = tc['function']['name']
            args = tc['function'].get('arguments') or {}
            if isinstance(args, str):
                try:
                    args = json.loads(args)
                except json.JSONDecodeError:
                    args = {}
            result = run_tool(name, args)
            print(f'  шаг {step}: {name}({json.dumps(args, ensure_ascii=False)}) -&gt; {result}')
            messages.append({'role': 'tool', 'content': result, 'tool_name': name})

    return '(лимит шагов исчерпан: модель не дала итог)'


def agent(question):
    messages = [{'role': 'system', 'content': SYSTEM_PROMPT},
                {'role': 'user', 'content': question}]
    return agent_step(messages)


def trim(messages, keep=12):
    """Оставляет системный промпт плюс последние `keep` сообщений.

    Сдвигает точку обрезки назад к записи 'user', чтобы сообщение assistant
    с tool_calls никогда не оказалось оторвано от своего результата tool.
    """
    if len(messages) &lt;= keep + 1:
        return messages
    start = len(messages) - keep
    while start &gt; 1 and messages[start].get('role') != 'user':
        start -= 1
    return [messages[0]] + messages[start:]


def interactive():
    messages = [{'role': 'system', 'content': SYSTEM_PROMPT}]
    print('Интерактивный режим. Пустая строка — пропуск ввода, exit / Ctrl+D — выход.')
    while True:
        try:
            q = input('\nВы: ').strip()
        except EOFError:
            print('\nПока.')
            return 0
        except KeyboardInterrupt:
            print('\nПрервано.')
            return 130

        if not q:
            continue
        if q.lower() in ('exit', 'quit', 'выход'):
            return 0

        messages.append({'role': 'user', 'content': q})
        print('  (отправлено, жду ответа...)')
        try:
            # Ввод блокируется здесь: мы не вызываем input() снова, пока не придёт ответ.
            with Spinner('Ожидание ответа агента'):
                answer = agent_step(messages)
        except urllib.error.HTTPError as e:
            print(f'\nOllama вернула HTTP {e.code}: {e.read().decode("utf-8", "replace")[:300]}')
            messages.pop()
            continue
        except urllib.error.URLError as e:
            print(f'\nOllama недоступна на {HOST}: {e.reason}')
            messages.pop()
            continue
        print('Агент:', answer)
        messages = trim(messages)


if __name__ == '__main__':
    if len(sys.argv) &gt; 1:
        try:
            with Spinner('Ожидание ответа агента'):
                print(agent(' '.join(sys.argv[1:])))
        except urllib.error.HTTPError as e:
            sys.exit(f'Ollama вернула HTTP {e.code}: {e.read().decode("utf-8", "replace")[:300]}')
        except urllib.error.URLError as e:
            sys.exit(f'Ollama недоступна на {HOST}: {e.reason}')
    else:
        sys.exit(interactive())</code></pre>
<h2>Что запомнить</h2>
<ul>
<li>Агент = модель + инструменты + цикл.</li>
<li>Модель только просит вызвать функцию текстом, запускает её ваша программа.</li>
<li>От скрипта агент отличается тем, что порядок шагов выбирает модель.</li>
<li>Обязательны: предел шагов, минимум инструментов, подтверждение необратимого. Внешний текст — данные, а не команды.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Почему без инструментов модель ответила «365 дней»?</li>
<li>Кто физически выполняет функцию <code>today</code>?</li>
<li>Зачем в цикле предел шагов и почему каждый шаг дороже предыдущего?</li>
</ol>
<p><!-- Ответы: 1 — модель не знает сегодняшнюю дату и пишет правдоподобное. 2 — программа вокруг модели; модель только просит. 3 — чтобы агент не зациклился и не сжёг деньги; весь разговор с результатами отправляется заново и растёт. --></p>
<div class="donate_tea"><a class="donate_tea_button" href="https://www.donationalerts.com/r/alexcube" rel="nofollow" target="_blank" title="Зашли админу на чай с печеньками">Помогло? Зашли админу на чай с печеньками</a></p>
<div class="top10_wrapper">
<div class="track">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Евгений С &#8212; 1 300 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Stand Alone &#8212; 500 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Вадим Ворон &#8212; 216 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;vyazik &#8212; 50 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Vitor &#8212; 50 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Евгений С &#8212; 1 300 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Stand Alone &#8212; 500 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Вадим Ворон &#8212; 216 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;vyazik &#8212; 50 RUB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Vitor &#8212; 50 RUB</div>
</div>
<p><a class="donate_tea_button thanckyou_w" href="https://www.donationalerts.com/r/alexcube" rel="nofollow" target="_blank" title="Зашли админу на чай с печеньками">Большое спасибо!</a></div>
<p>В следующем уроке — <strong>стоимость</strong>: как посчитать, сколько на самом деле стоит запрос, агент и своя видеокарта.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<aside class="lx-channel-invite" aria-label="Мой Telegram-канал">
<p>Опыты с ИИ-агентами и автоматизацией — в моём Telegram.</p>
<p><a class="lx-channel-invite__link" href="https://t.me/+hbwUvJAfnpw1MjMy" target="_blank" rel="noopener" data-channel-site="lexium">Заглянуть в канал <span aria-hidden="true"><img src="https://s.w.org/images/core/emoji/17.0.2/72x72/2197.png" alt="↗" class="wp-smiley" style="height: 1em; max-height: 1em;" /></span></a></p>
<p class="lx-channel-invite__alternative">Удобнее ВКонтакте? <a href="https://vk.ru/alexcube_ru" target="_blank" rel="noopener">Те же посты здесь</a>.</p>
</aside>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-10-chto-takoe-ii-agent-model-instrumenty-i-cikl-na-desyat-strok/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>Учусь ИИ, урок 9: локальная модель или облачная — что выбрать и что тянет старая видеокарта</title>
		<link>https://www.lexium.ru/2026/11/uchus-ii-urok-9-lokalnaya-model-ili-oblachnaya-chto-vybrat-i-chto-tyanet-staraya-videokarta/</link>
					<comments>https://www.lexium.ru/2026/11/uchus-ii-urok-9-lokalnaya-model-ili-oblachnaya-chto-vybrat-i-chto-tyanet-staraya-videokarta/#respond</comments>
		
		<dc:creator><![CDATA[Doctor Lexium]]></dc:creator>
		<pubDate>Thu, 12 Nov 2026 12:11:52 +0000</pubDate>
				<category><![CDATA[Учусь ИИ]]></category>
		<guid isPermaLink="false">https://www.lexium.ru/?p=10874</guid>

					<description><![CDATA[<img width="200" height="200" src="https://www.lexium.ru/images/2026/11/lexium-card-10874-200x200.png" class="attachment-thumbnail size-thumbnail wp-post-image" alt="Учусь ИИ, урок 9: локальная модель или облачная — что выбрать и что тянет старая видеокарта" style="float:left; margin:0 10px 10px 0;" decoding="async" loading="lazy" />Все опыты в этих уроках я ставил на своём игровом компьютере: видеокарта GTX 1070 на 8 ГБ, ей уже лет десять. А сами уроки я готовлю с другой моделью, облачной, за деньги. Зачем мне обе? Потому что вопрос «локальная или облачная» неправильный. Правильный — «какую работу кому». Урок за 4 минуты: что значит «запустить модель дома», что упирается в видеокарту, чем платишь за облако и как решать, куда отдавать задачу....]]></description>
										<content:encoded><![CDATA[<p>Все опыты в этих уроках я ставил на своём игровом компьютере: видеокарта GTX 1070 на 8 ГБ, ей уже лет десять. А сами уроки я готовлю с другой моделью, облачной, за деньги. Зачем мне обе? Потому что вопрос «локальная или облачная» неправильный. Правильный — «какую работу кому».</p>
<p><span id="more-10874"></span></p>
<div class="tip-box"><strong>Урок за 4 минуты:</strong> что значит «запустить модель дома», что упирается в видеокарту, чем платишь за облако и как решать, куда отдавать задачу. С замерами на старой GTX 1070.</div>
<p><!-- КАРТИНКА: домашний компьютер с моделью внутри и облако, между ними весы --></p>
<h2>Что такое локальная модель</h2>
<p>Модель из <a href="https://www.lexium.ru/?p=10587">первого урока</a> — это большой файл с параметрами. Его можно скачать и запустить у себя. Проще всего через <strong>Ollama</strong>: программа качает модель одной командой и работает как локальный сервер, к которому могут обращаться ваши скрипты.</p>
<p>Облачная модель — та же идея, только файл и видеокарты чужие, а вы отправляете текст через интернет и платите за токены или за подписку.</p>
<h2>Замер: что тянет старая видеокарта</h2>
<ul>
<li><strong>Gemma 3, 4 млрд параметров:</strong> 44 токена в секунду. Быстрее, чем читаете.</li>
<li><strong>Qwen3, 8 млрд:</strong> 30 токенов в секунду, загрузка в память около 4 секунд. Вполне рабочая.</li>
<li><strong>Qwen3, 30 млрд:</strong> 18,6 токена в секунду и 56 секунд загрузки. В видеопамять влезает только треть.</li>
<li><strong>Qwen3.8, 27 млрд:</strong> 2,5 токена в секунду. Абзац пишется минуту.</li>
</ul>
<p>Главное здесь — видеопамять. Пока модель целиком в ней, всё летает. Как только часть уезжает в обычную оперативную память, скорость падает в разы. Я поставил 32 ГБ вместо 16 и скорость не выросла ни на токен: упор в видеокарту. Так что для домашней модели в первую очередь смотрите на объём видеопамяти, а не на всё остальное.</p>
<p>Названия моделей вроде «8b» — это миллиарды параметров. Чем их больше, тем модель способнее и тем больше памяти ей нужно. Модель на 8 млрд занимает около 6 ГБ видеопамяти.</p>
<h2>Что умеет домашняя модель</h2>
<p>Честно: сильно-сильно меньше облачной. В опыте с вычиткой текста, Qwen3 нашла три ошибки из четырёх, не тронула авторский сленг, не дала ни одной ложной правки и тратила 2–7 секунд на абзац. Это полезно. А вот длинный текст целиком она вычитывает плохо, сложный код не напишет, а факты выдумывает, как мы видели в <a href="https://www.lexium.ru/?p=10775">уроке 6</a>.</p>
<p>Окно контекста (из <a href="https://www.lexium.ru/?p=10615">второго урока</a>): у меня локально оно всего 16 тысяч токенов, у облачных моделей бывает миллион. Локальная &#8212; не прочтёт весь ваш проект сразу. Так что кодинг с ней превратится в попытку бегать на костылях без обеих ног.</p>
<h2>Что и для чего?</h2>
<p><strong>Аргументы за локальную модель:</strong></p>
<ul>
<li>Данные не уходят с компьютера. Для рабочих документов, паролей и переписки это часто решает вопрос сразу.</li>
<li>Нет счётчика токенов. Можно гонять тысячи однообразных задач, платя только за электричество и амортизацию оборудования.</li>
<li>Работает без интернета, не зависит от чужих тарифов и обновлений, не меняется сама собой.</li>
</ul>
<p><strong>Аргументы за облачную:</strong></p>
<ul>
<li>Работа со сложными задачами: код, длинные рассуждения, большие документы.</li>
<li>Огромный контекст и скорость, которых на локальной не добиться.</li>
<li>Не нужно ни видеокарты, ни шума под столом.</li>
</ul>
<h2>Как решаю я</h2>
<p>Три вопроса к задаче:</p>
<ol>
<li><strong>Можно ли отправлять данные наружу?</strong> Нельзя — только локально, даже если получится хуже или вовсе никак.</li>
<li><strong>Задача массовая и простая?</strong> Разложить, вычитать по абзацам, вытащить поля из текста — локально. Ответ легко проверить программой, ошибка недорога.</li>
<li><strong>Задача сложная, разовая, цена ошибки высока?</strong> В облако.</li>
</ol>
<p>На практике у меня они работают вместе: домашняя модель делает черновую рутину, облачная принимает решения и проверяет. Так и лимиты расходуются более экономно. Единственное условие: ответ домашней модели нельзя отдавать на сайт без проверки.</p>
<h2>Попробуйте сами</h2>
<p>Поставьте Ollama с ollama.com и запустите маленькую модель:</p>
<pre><code>ollama run gemma3:4b --verbose
&gt;&gt;&gt; Объясни в пяти предложениях, что такое контекстное окно.</code></pre>
<p>Ключ <code>--verbose</code> покажет <code>eval rate</code> — скорость в токенах в секунду. Если меньше 10, читать будет мучительно: возьмите модель поменьше. Затем задайте тот же вопрос облачной нейросети и сравните.</p>
<h2>Что запомнить</h2>
<ul>
<li>Локальная модель — файл с параметрами на вашем компьютере, запускается через Ollama.</li>
<li>Всё решает видеопамять: модель влезла — работает, не влезла — ползёт.</li>
<li>Локально — приватно, без счётчика, но слабее. Облако — сильнее, но данные уходят наружу и каждый токен стоит денег.</li>
<li>Выбирайте не модель, а маршрут: секретное и массовое — домой, сложное — в облако.</li>
</ul>
<h2>Проверьте себя</h2>
<ol>
<li>Почему добавление оперативной памяти не ускорило модель на 30 млрд параметров?</li>
<li>Нужно разметить 5000 внутренних писем компании. Куда отдать и почему?</li>
<li>Назовите две причины, по которым архитектуру большого проекта лучше обсуждать с облачной моделью.</li>
</ol>
<p><!-- Ответы: 1 — скорость упирается в видеопамять и видеокарту, в обычной памяти модель работает в разы медленнее. 2 — локально: данные внутренние, задача массовая и простая, нет платы за токены. 3 — большое окно контекста и более высокое качество рассуждений. --></p>
<p>В следующем уроке — <strong>агент</strong>: что на самом деле происходит, когда модель сама запускает инструменты.</p>
<p>Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.</p>
<div></div>
]]></content:encoded>
					
					<wfw:commentRss>https://www.lexium.ru/2026/11/uchus-ii-urok-9-lokalnaya-model-ili-oblachnaya-chto-vybrat-i-chto-tyanet-staraya-videokarta/feed/</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
	</channel>
</rss>
