name	ingest
description	处理 raw/ 目录中的新素材，编译为 wiki 页面。支持 PDF/DOCX/DOC/TXT/HTML/视频链接/音频链接/Markdown 格式。触发词：处理、摄入、ingest、添加到知识库、批量处理、扫描新文件

Ingest 操作流程

触发条件

用户说："处理 raw/xxx"、"摄入新素材"、"把这个加到知识库"、"批量处理"、"扫描新文件"

支持的输入类型：

文件：.md .txt .pdf .docx .doc .html .mp3 .m4a .wav .flac .mp4 .mkv .webm .avi .mov
链接：YouTube / Bilibili / 抖音 / TikTok / 西瓜视频 / 喜马拉雅等平台链接
批量：raw/ 目录或子目录（自动扫描未处理的文件）
拖拽：用户将文件拖入 raw/ 后说"处理新文件"

操作步骤

0. 格式检测与自动转换 ⭐

当用户指定的输入不是 Markdown 格式时，自动执行转换，用户无需手动操作：

如果是文件路径：

检查文件扩展名
如果是 .pdf、.docx、.doc、.txt、.html、.mp3、.mp4、.avi、.mov 等非 Markdown 格式：
- 运行转换命令：python3 scripts/convert-to-raw.py <文件路径> --topic <topic>
- 等待转换完成，获取生成的 Markdown 文件路径
- 告知用户："已自动将 PDF 转换为 Markdown：raw//YYYY-MM-DD-xxx.md"
如果是 .md：直接读取，跳过此步骤

如果是视频/音频链接：

检测输入是否为 URL（以 http:// 或 https:// 开头）
如果是视频/音频平台链接：
- 运行转换命令：python3 scripts/convert-to-raw.py "<URL>" --topic <topic>
- 转换策略：优先提取平台字幕 → 字幕不可用时下载音频用 Whisper 转录
- 等待转换完成，获取生成的 Markdown 文件路径
- 告知用户："已自动将视频转换为 Markdown：raw//YYYY-MM-DD-xxx.md"
如果是普通网页链接：建议用户使用 Obsidian Web Clipper 保存

如果是批量处理请求：

用户说"批量处理"、"处理所有新文件"、"扫描 raw/"等
扫描 raw/ 目录，对比 wiki/log.md 中已处理的记录
列出未处理的文件清单，确认后逐个执行 Ingest

转换依赖：

文档：pdfplumber、python-docx（pip install pdfplumber python-docx --break-system-packages）
视频/音频链接：yt-dlp（pip install yt-dlp --break-system-packages）
语音转录：openai-whisper（pip install openai-whisper --break-system-packages）
视频提取：ffmpeg（sudo apt install ffmpeg）

如果依赖未安装，告知用户安装命令。

1. 读取素材

读取 raw/ 中指定的素材全文（Markdown 格式）
识别主题领域、核心论点、关键实体和数据

2. 与用户讨论（可选）

简要总结素材要点
询问用户希望强调或忽略的内容
用户可说"跳过"直接进入下一步
批量处理时默认跳过讨论，直接执行

3. 确定归属

判断新内容如何融入已有知识：

合并：与已有页面核心论点一致 → 更新该页面
新建：引入全新概念或实体 → 创建新页面
跨主题：涉及多个 topic → 放入最相关的，用 See Also 链接其他

4. 矛盾检测与标注 ⭐

比对新信息与已有 wiki 页面：

发现矛盾时，在两个相关页面中都标注：

> ⚠️ **矛盾标注**：[来源A](../../raw/...) 主张 X，而 [来源B](../../raw/...) 主张 Y

不要自行裁决，标注后让人类判断

5. 级联更新（Cascade Updates）⭐

一篇新素材可能影响 10-15 个已有页面：

扫描同 topic 目录下的所有页面
扫描 wiki/index.md 中其他 topic 的条目
对每个受影响的页面进行实质性修改：
- 补充新数据或修正过时描述
- 刷新 updated 日期
- 追加 sources 和 raw 引用
级联更新不涉及 Archive 页面

6. 更新索引

更新 wiki/index.md：添加或修改所有受影响页面的条目

7. 记录日志

追加 wiki/log.md：

## [YYYY-MM-DD] ingest | <主页面标题>
- Updated: <级联更新的页面标题>

完成确认

操作完成后，告知用户：

原始格式是什么（如果是非 Markdown，说明已自动转换）
创建/更新了哪些页面
发现了哪些矛盾（如果有）
建议用户在 Obsidian 中查看图谱视图
批量处理时：输出处理摘要（成功 N 个，失败 N 个，跳过 N 个）

Más de este repositorio

mismo repositorio

json-canvas

chris-zhang-uper/llm-wiki

Create and edit JSON Canvas files (.canvas) with nodes, edges, groups, and connections. Use when working with .canvas files, creating visual canvases, mind maps, flowcharts, or when the user mentions Canvas files in Obsidian.

2026-05-028

obsidian-bases

chris-zhang-uper/llm-wiki

Create and edit Obsidian Bases (.base files) with views, filters, formulas, and summaries. Use when working with .base files, creating database-like views of notes, or when the user mentions Bases, table views, card views, filters, or formulas in Obsidian.

2026-05-028

obsidian-cli

chris-zhang-uper/llm-wiki

Interact with Obsidian vaults using the Obsidian CLI to read, create, search, and manage notes. Invoke when user asks to interact with their Obsidian vault, manage notes, search vault content, or perform vault operations from the command line.

2026-05-028

Ingest 操作流程

触发条件

用户说："处理 raw/xxx"、"摄入新素材"、"把这个加到知识库"、"批量处理"、"扫描新文件"

支持的输入类型：

文件：.md .txt .pdf .docx .doc .html .mp3 .m4a .wav .flac .mp4 .mkv .webm .avi .mov
链接：YouTube / Bilibili / 抖音 / TikTok / 西瓜视频 / 喜马拉雅等平台链接
批量：raw/ 目录或子目录（自动扫描未处理的文件）
拖拽：用户将文件拖入 raw/ 后说"处理新文件"

操作步骤

0. 格式检测与自动转换 ⭐

当用户指定的输入不是 Markdown 格式时，自动执行转换，用户无需手动操作：

如果是文件路径：

检查文件扩展名
如果是 .pdf、.docx、.doc、.txt、.html、.mp3、.mp4、.avi、.mov 等非 Markdown 格式：
- 运行转换命令：python3 scripts/convert-to-raw.py <文件路径> --topic <topic>
- 等待转换完成，获取生成的 Markdown 文件路径
- 告知用户："已自动将 PDF 转换为 Markdown：raw//YYYY-MM-DD-xxx.md"
如果是 .md：直接读取，跳过此步骤

如果是视频/音频链接：

检测输入是否为 URL（以 http:// 或 https:// 开头）
如果是视频/音频平台链接：
- 运行转换命令：python3 scripts/convert-to-raw.py "<URL>" --topic <topic>
- 转换策略：优先提取平台字幕 → 字幕不可用时下载音频用 Whisper 转录
- 等待转换完成，获取生成的 Markdown 文件路径
- 告知用户："已自动将视频转换为 Markdown：raw//YYYY-MM-DD-xxx.md"
如果是普通网页链接：建议用户使用 Obsidian Web Clipper 保存

如果是批量处理请求：

用户说"批量处理"、"处理所有新文件"、"扫描 raw/"等
扫描 raw/ 目录，对比 wiki/log.md 中已处理的记录
列出未处理的文件清单，确认后逐个执行 Ingest

转换依赖：

文档：pdfplumber、python-docx（pip install pdfplumber python-docx --break-system-packages）
视频/音频链接：yt-dlp（pip install yt-dlp --break-system-packages）
语音转录：openai-whisper（pip install openai-whisper --break-system-packages）
视频提取：ffmpeg（sudo apt install ffmpeg）

如果依赖未安装，告知用户安装命令。

1. 读取素材

读取 raw/ 中指定的素材全文（Markdown 格式）
识别主题领域、核心论点、关键实体和数据

2. 与用户讨论（可选）

简要总结素材要点
询问用户希望强调或忽略的内容
用户可说"跳过"直接进入下一步
批量处理时默认跳过讨论，直接执行

3. 确定归属

判断新内容如何融入已有知识：

合并：与已有页面核心论点一致 → 更新该页面
新建：引入全新概念或实体 → 创建新页面
跨主题：涉及多个 topic → 放入最相关的，用 See Also 链接其他

4. 矛盾检测与标注 ⭐

比对新信息与已有 wiki 页面：

发现矛盾时，在两个相关页面中都标注：

> ⚠️ **矛盾标注**：[来源A](../../raw/...) 主张 X，而 [来源B](../../raw/...) 主张 Y

不要自行裁决，标注后让人类判断

5. 级联更新（Cascade Updates）⭐

一篇新素材可能影响 10-15 个已有页面：

扫描同 topic 目录下的所有页面
扫描 wiki/index.md 中其他 topic 的条目
对每个受影响的页面进行实质性修改：
- 补充新数据或修正过时描述
- 刷新 updated 日期
- 追加 sources 和 raw 引用
级联更新不涉及 Archive 页面

6. 更新索引

更新 wiki/index.md：添加或修改所有受影响页面的条目

7. 记录日志

追加 wiki/log.md：

## [YYYY-MM-DD] ingest | <主页面标题>
- Updated: <级联更新的页面标题>

完成确认

操作完成后，告知用户：

原始格式是什么（如果是非 Markdown，说明已自动转换）
创建/更新了哪些页面
发现了哪些矛盾（如果有）
建议用户在 Obsidian 中查看图谱视图
批量处理时：输出处理摘要（成功 N 个，失败 N 个，跳过 N 个）