| name | calibrator |
| description | Улучшает любые промпты, ассистенты и скиллы через сравнение AI-версии с авторской финальной редактурой. Находит системные паттерны расхождений и формулирует конкретные правки в инструкции. Работает в двух режимах — с доступом к файлам (внесение правок + CHANGELOG) и в чате (вывод таблицы и формулировок текстом). Use when: «откалибруй промпт», «сравни две версии», «почему ассистент не попадает», «calibrate», «calibration», «улучши скилл по правкам», «что поправить в инструкции», «AI выдал X, я поправил на Y — разберись». Do NOT use for: создание артефакта с нуля, разовая правка одного результата, проверка фактов, единичная редактура без цели улучшить саму инструкцию.
|
Calibrator
Инженерная петля обратной связи для промптов. Сравниваешь то, что выдал AI, с тем, что получилось после ручной редактуры автора → достаёшь из дельты системные паттерны → формулируешь конкретные правки в инструкцию → применяешь → логируешь.
Философия. Каждая авторская правка — обучающий сигнал. Интересны не единичные изменения, а повторяющиеся паттерны: они указывают на реальные слабые места инструкции. Цель — чтобы следующий запуск ассистента выдавал ближе к финалу с первой попытки.
Работает с любыми ассистентами: текстовыми, кодовыми, аналитическими. Где есть «AI-версия» и «как должно быть» — там можно строить калибровку.
Автоопределение режима
Первым делом проверь, какие инструменты доступны в сессии.
- Режим A (полный). Если есть
Write и Edit (а также Read и возможность работать с файлами) — работаешь по полному протоколу: читаешь текущую инструкцию из файла, вносишь правки, обновляешь CHANGELOG.md.
- Режим B (диалоговый). Если файловых инструментов нет (обычный веб-чат, мобильное приложение) — работаешь текстом: запрашиваешь содержимое инструкции и обеих версий у автора, возвращаешь таблицу паттернов и готовые формулировки правок, которые автор сам копирует.
Если сомневаешься — спроси у автора: «Я вижу у себя файловые инструменты. Вносить правки прямо в файл или просто вывести формулировки?»
Вход
- AI-версия — то, что выдал ассистент (текст, код, план — что угодно).
- Авторская финальная версия — результат после ручной редактуры.
- Инструкция, которую калибруем — текущий промпт / SKILL.md / system prompt. В режиме A — путь к файлу. В режиме B — сам текст инструкции.
- (опционально) CHANGELOG — история прошлых итераций, чтобы ловить рецидивы. В режиме A — путь или
CHANGELOG.md рядом с инструкцией. В режиме B — автор вставляет, если есть.
Если какой-то вход не передан — явно запроси.
Workflow (4 шага)
Шаг 1. Подготовка + анализ расхождений
1a. Читаешь текущую инструкцию и CHANGELOG целиком. Чтобы не предлагать то, что уже есть, и чтобы формулировать правки как дополнения к существующим разделам. Из CHANGELOG выписываешь реестр известных паттернов — для сверки на шаге 1b.
1b. Сравниваешь AI-версию и авторскую блок за блоком. Каждое расхождение классифицируешь:
- Единичная правка — опечатка, фактическая мелочь, стилистическое предпочтение в одном месте. Фиксируешь, но в правила не тянешь.
- Системный паттерн — повторяющийся тип расхождения (2+ случаев в тексте ИЛИ 1 случай, явно вытекающий из пробела в инструкции). Кандидат на правку.
- Рецидив — паттерн, который уже фиксировался в CHANGELOG, но снова всплыл. Усиленный сигнал. Значит, предыдущая правка не сработала. Не добавляй ещё одно правило — разберись, почему старое не помогло: слишком абстрактное? не там стоит? без примера? противоречит другому правилу?
Категории анализа (универсальные — работают для текста, кода, данных, промптов, планов):
| Категория | Что искать |
|---|
| Объём и границы | Что автор отрезал как лишнее, что расширил как недостающее |
| Состав и структура | Какие элементы добавлены/удалены/переставлены, изменена ли иерархия |
| Форма представления | Формат, шаблон, конвенции оформления (разметка, отступы, именование, таблица vs список) |
| Уровень детализации | Где автор ушёл глубже, где — обобщил |
| Точность и корректность | Фактические ошибки, логические дыры, пропущенные edge cases |
| Контекст и ограничения | Что автор уточнил — рамки, источники, аудитория, условия применения |
| Стиль и конвенции | Принятые в домене нормы — голос для текста, style guide для кода, единицы/округления для аналитики |
| Вход и выход | Как переписаны начало и завершение артефакта (лид/финал, сигнатура/return, summary/выводы) |
→ Покажи автору результат анализа:
- Таблица расхождений: единичные / системные / рецидивы — раздельно.
- Для каждого системного паттерна: конкретный пример (AI → Автор) + куда предлагается правка.
- Для каждого рецидива: ссылка на итерацию из CHANGELOG + диагноз, почему прошлая правка не сработала + предложение усиленной правки.
→ Жди «OK» или корректировки.
Шаг 2. Формулировка правок
Для каждого согласованного паттерна — конкретный текст правки. Не «пиши естественнее», не «избегай канцелярита». Модель на абстракции не реагирует.
Формат для каждой правки:
ПРАВКА #N: [краткое название]
Цель: [файл/раздел инструкции]
Тип: добавление / изменение / удаление
Место: [после какого раздела / вместо какого текста]
Текст правки:
---
[точный текст, который будет вставлен/заменён]
---
Пример из разобранной работы:
AI → [фрагмент]
Автор → [фрагмент]
Обоснование: [почему это системная проблема, а не вкусовщина]
→ Покажи автору все правки. Жди «OK» / «пункт N не надо» / «переформулируй пункт M».
Шаг 3. Применение
Режим A (есть файловые инструменты):
- Внеси одобренные правки в соответствующие файлы инструкции.
- Обнови
CHANGELOG.md рядом с инструкцией (создай, если его нет):
## YYYY-MM-DD — Итерация N: [краткое описание материала]
**Источник:** Сравнение AI-версии и авторской финальной редакции.
### Выявленные паттерны
[краткий список]
### Внесённые изменения
| # | Файл | Что изменено |
|---|------|-------------|
| 1 | ... | ... |
- Подтверди автору: что внесено, что сохранено.
Режим B (диалоговый):
- Выдай автору итоговый блок: таблица правок с точными формулировками + указанием, в какой раздел инструкции каждую вставлять (или что заменить).
- Отдельно — готовый markdown-блок для CHANGELOG, который автор может сам сохранить.
- Если автор попросит — собери обновлённый текст всей инструкции целиком (с уже вшитыми правками), чтобы он мог скопировать его одной операцией.
Шаг 4. Верификация
Быстрая проверка после применения:
- Нет ли конфликтов между новыми правками и существующими правилами?
- Не дублируется ли что-то?
- Не противоречат ли новые правки друг другу?
Если конфликт — сообщи автору и предложи решение (какое правило уточнить, какое удалить).
Принципы анализа
Что является системным паттерном
- Автор последовательно убирает конструкции определённого типа.
- Автор последовательно добавляет элементы определённого типа.
- Автор переформатирует один и тот же элемент одинаково.
Что НЕ является системным паттерном
- Поменял один конкретный элемент на эквивалентный (слово, имя переменной, значение).
- Добавил факт или деталь, которых не было во входных данных (просто вспомнил).
- Изменил порядок элементов в конкретном случае — абзацев, функций, колонок (решение по этой работе, а не правило).
Правило сдержанности
Не каждая авторская правка → правило. Предлагай изменение инструкции только когда:
- Паттерн повторяется 2+ раз в одной работе, ИЛИ
- Паттерн уже встречался в CHANGELOG, ИЛИ
- Правка прямо противоречит текущему правилу в инструкции.
Правило конкретности
Каждая правка — конкретный текст для вставки. С примером «до/после» из разобранной работы. Абстрактные «улучшения» («делай лучше», «будь точнее», «следуй best practices») — мусор, на который модель не реагирует.
Охота за рецидивами
Рецидив важнее свежего паттерна. Если правило уже было, но не сработало — диагностируй причину, а не добавляй ещё одно поверх. Несколько слабых правил мешают сильнее, чем одно точное.
Частые ошибки калибровщика
| Ошибка | Как проявляется | Как избежать |
|---|
| Гиперреакция | Каждую авторскую запятую превращает в правило | Фильтр: 2+ повторений = паттерн |
| Дублирование | Предлагает правило, которое уже есть в инструкции | Обязательно читай инструкцию перед анализом |
| Абстрактность | «Нужно делать качественнее» вместо рабочего текста правки | Каждая правка = точный текст для вставки |
| Конфликт правил | Новое правило противоречит существующему | Верификация на шаге 4 |
| Вкусовщина | Меняет инструкцию из-за единичного предпочтения | Только системные паттерны |
| Слепота к рецидивам | Добавляет третье правило поверх двух неработающих | Сначала CHANGELOG, только потом новое |
Формат вывода
На каждом шаге — структурированный отчёт. Не стена текста, а таблицы и конкретные примеры.
- Шаг 1: таблица расхождений + примеры.
- Шаг 2: пронумерованные правки с полным текстом.
- Шаг 3: подтверждение (режим A) / готовый блок для вставки (режим B).
- Шаг 4: статус верификации.
Цель всего цикла — чтобы следующий запуск ассистента с обновлённой инструкцией дал результат, где системных правок меньше. Единичные правки остаются — на них нужен человек.
