dnv-chat-mining

name	dnv-chat-mining
description	Внутренний справочник по локальной обработке выгрузок Telegram-чатов DNV — merge → anonymize → filter → slice — в user/slices/ для верификации практики. Идемпотентно: дедуп по message-id, стабильные псевдонимы, монотонное покрытие. Всё остаётся в user/ (gitignored); наружу ничего не публикует.

Локальная обработка выгрузок Telegram-чатов — внутренний справочник

Когда есть свежие выгрузки чатов, которые нужно переработать в практику, прогоняешь их через локальную обработку (merge → anonymize → filter → slice) в user/slices/, чтобы верификация могла считать практику по уникальным псевдонимам. Всё остаётся в user/ (gitignored). Наружу (в дайджест) ничего не идёт — это делает мейнтейнер отдельно (build_digest.py), не эта обработка.

Когда применяется

• Нужны свежие экспорты Telegram (JSON, Telegram Desktop) в user/. Нет экспортов — скажи, как выгрузить (ниже), и не начинай.
• Это опциональный шаг. Без него верификация и синтез работают на опубликованном дайджесте, помечая сниженную полноту.

Определи окно догрузки

• Прочитай knowledge_base/practice/LAST_COVERED_DATE — там одна строка с ISO-датой, докуда покрыт опубликованный дайджест. Дату бери из файла; здесь она намеренно не продублирована — записанный в текст справочника пример устарел бы при первой же пересборке и разошёлся бы с файлом.
• Скажи пользователю: выгрузи чат от этой даты до сегодня (Telegram Desktop → Export chat history → JSON). Перекрытие диапазонов не страшно — дедуп это снимет (ниже).

Прогон обработки (всё под user/, path-containment)

Пути ввода/вывода — аргументы; вывод контейнится --allowed-root user. Один экспорт — можно пропустить merge и сразу anonymize.

# a) merge (если экспортов ≥2): дедуп по message-id, сортировка по времени
python engine/scripts/chat/merge_chat_dumps.py user/dump_old.json user/dump_new.json user/merged.json --allowed-root user
# отчёт вида "in=… out=… dedup=…": dedup>0 при перекрытии — это и есть идемпотентность

# b) anonymize (ПРИВАТ-ГЕЙТ): keep-allowlist полей, псевдоним = salted-hash from_id,
#    страйп имён/контактов. Салт стабильный (один файл) → стабильные псевдонимы между прогонами.
python engine/scripts/chat/anonymize_chat.py user/merged.json user/anon.json --salt-file user/.anon_salt --allowed-root user

# c) filter: теги DNV-тем + реконструкция reply-тредов (config-driven)
python engine/scripts/chat/filter_chat.py user/anon.json user/filtered.json --allowed-root user

# d) slice: по одному небольшому файлу на тему (для downstream Grep)
python engine/scripts/chat/slice_by_topic.py user/filtered.json user/slices all --allowed-root user

НИКОГДА не подавай сырой (не-анонимизированный) экспорт в filter/slice — скрипты fail-closed это отвергнут, но и ты не делай. Порядок: anonymize → потом всё.

Идемпотентность

• Дедуп по стабильному message-id в merge → перекрывающийся ре-импорт даёт ноль новых (см. dedup= в отчёте).
• Стабильный салт (тот же файл между прогонами) → один from_id всегда даёт тот же псевдоним → подсчёт разных людей при верификации устойчив между прогонами. Путь салта по умолчанию — <каталог output>/.anon_salt, то есть для команды выше это user/.anon_salt. Передавайте --salt-file явно: с дефолтом достаточно поменять путь вывода, чтобы молча создался новый салт — и все псевдонимы разъедутся с прошлым прогоном.
• Покрытие монотонно: заметь максимальную дату сообщения в user/filtered.json и считай её новой «покрыто до». Повторная догрузка старого диапазона не откатывает покрытие и не плодит дублей.

Приватность

• user/anon.json, user/filtered.json, user/slices/, user/.anon_salt, сырые экспорты — всё gitignored, остаётся локально.
• В опубликованное дерево из этой обработки ничего не уходит. Псевдо-ключи и сырой текст не покидают user/.

Выход

user/slices/topic_*.json (обезличенные) для верификации практики. «Telegram = мнение, не закон.»