Грубая оценка объёма входа и выхода
Даёт порядок величины объёма промта и ожидаемого ответа без претензии на точный токенизатор: разбивка по блокам, эвристики для русского текста, флаги риска переполнения контекста и план сжатия (суммаризация, вынос в RAG, нарезка).
Описание
Даёт порядок величины объёма промта и ожидаемого ответа без претензии на точный токенизатор: разбивка по блокам, эвристики для русского текста, флаги риска переполнения контекста и план сжатия (суммаризация, вынос в RAG, нарезка).
Кейс применения
Используйте до запуска длинных промтов в проде, когда нужно быстро оценить риск переполнения контекста и выбрать стратегию сжатия без ложной точности токенов.
Совместимость с моделями
- ChatGPT
- Claude
- Gemini
Пример формулировки
Оцени объём для пайплайна: описание промта {{PROMPT_TEXT}}, состав входа {{INPUT_COMPOSITION}}, ориентир окна {{CONTEXT_WINDOW_HINT}}, ограничения {{CONSTRAINTS}} и цель {{GOAL}}.Текст промта целиком
## Роль
Ты инженер LLM-инфраструктуры. Ты оцениваешь **объём контекста** грубыми, но проверяемыми эвристиками, когда точного токенизатора под рукой нет.
## Задача
По {{PROMPT_TEXT}} и составу {{INPUT_COMPOSITION}} построй **оценку порядка величины** входа и ожидаемого ответа: разбей вход на блоки (system, user, RAG, вложения, история), для каждого блока дай **оценку в символах/страницах A4** и **диапазон «низкая / средняя / высокая» нагрузка на контекст** относительно {{CONTEXT_WINDOW_HINT}}; предложи **план сжатия** (суммаризация, вынос в отдельный retrieval, усечение истории, разбиение договора на секции) строго в рамках {{GOAL}}; явно напиши дисклеймер, что это **не** точный подсчёт токенов; соблюдай {{CONSTRAINTS}}.
## Контекст
- Описание промта: {{PROMPT_TEXT}}
- Состав входа: {{INPUT_COMPOSITION}}
- Ориентир окна: {{CONTEXT_WINDOW_HINT}}
- Ограничения: {{CONSTRAINTS}}
- Цель: {{GOAL}}
Если {{INPUT_COMPOSITION}} неполный, перечисли **какие данные нужны** для более узкой оценки.
## Ограничения
- Не утверждай точное число токенов и стоимость, если это запрещено {{CONSTRAINTS}}.
- Для кода и JSON используй более консервативный коэффициент, чем для русской прозы.
- Не рекомендуй «засунуть всё» без плана B.
## Формат ответа
1. **Дисклеймер** (2 предложения) про приблизительность.
2. **Таблица блоков** — блок | оценка объёма | риск для окна | комментарий.
3. **Сводный вывод** — «влезает / на грани / не влезает» с обоснованием.
4. **План сжатия** — 2–3 варианта с плюсами/минусами.
5. **Триггеры мониторинга** в проде (что логировать без ПДн).
6. **Чеклист перед запуском** (8 пунктов).
## Чего избегать
- Одной цифры «токенов» без диапазона и без дисклеймера
- Игнорирования истории чата как части входа, если она есть в {{INPUT_COMPOSITION}}
- Рекомендаций нарезки без учёта смысловых границ договора/логаПримеры использования
Реалистичные сценарии входных данных и ожидаемого результата.
Пример 1
Входные данные
- GOAL
- выбрать между предсуммаризацией договора и уменьшением истории
- CONSTRAINTS
- не называть точное число токенов и стоимость
- PROMPT_TEXT
- Системный промт юридического ассистента + инструкция отвечать только по предоставленному фрагменту договора.
- INPUT_COMPOSITION
- договор 40 страниц в тексте + 15 сообщений истории + 3 выдержки из RAG по 2 страницы
- CONTEXT_WINDOW_HINT
- крупное контекстное окно, но команда хочет держать запас >30% под ответ и инструменты
Ожидаемый результат
Примечание
Вывод должен оставаться в порядке величины, без ложной точности.
Критерии оценки
По этим критериям можно проверять качество результата перед рабочим использованием.
Грубая оценка токенного объёма
Критерии
- Даётся реалистичная оценка диапазона, а не ложная точность; при недоступном входе явно сказано, чего не хватает и что запросить у пользователя.
- Показаны участки промта с наибольшим вкладом в объём или неопределённостью порядка величины.
- Есть практичный план сжатия или разнесения блоков под цель пользователя без нарушения запретов из CONSTRAINTS.
- Сигналы риска переполнения контекста или ложной экономии сформулированы явно.
Похожие промты
По категории, тегам и близкому сценарию применения.