hot-topic-radar

name	hot-topic-radar
description	自媒体选题雷达。7×24h 监控全网热搜（微博/抖音/知乎/小红书/B站/今日头条/百度等），按用户关键词过滤、按领域相关性打分、按热度排序，输出"今天值得跟"的选题清单。配套关键词白名单、记忆去重、跨平台聚合。本 skill 是独立任务，不涉及后续创作/发布等下游流程。

自媒体热点雷达 · Hot Topic Radar

本文件做什么：监控全网热搜 → 按关键词/领域过滤打分 → 输出今天的 TOP 选题清单 → 到此结束。

本 skill 是一个独立任务，不涉及任何下游（写公众号/写口播稿/拍视频/发布等）。雷达只负责"告诉你今天发生了什么、哪个值得跟"，不替你决定写什么、怎么写。

流程顺序：

1. 拉数据（多平台热搜，按平台分别抓）
2. 关键词过滤 + 领域相关性打分
3. 记忆去重（同一热点 N 天内不重复推送）
4. 按 热度 × 相关度 排序，输出 TOP 清单
5. 到此结束

---

§零、定位与边界

✅ 这个 Skill 做什么

能力	说明
全平台聚合	微博 / 抖音 / 知乎 / 小红书 / 百度 / 今日头条 / B 站 等多源热搜统一拉取
关键词过滤	只推用户配置的关键词/领域相关内容，不喂噪音
记忆去重	已推送过的热点在 N 天内（默认 7 天）不再重复推
热度 + 相关度打分	score = 热度值 × 领域相关度，综合排序
选题候选清单	按分值倒序输出 TOP N（默认 10），附原文链接
可选：竞品监控	监控指定账号列表的最近动态

❌ 这个 Skill 不做什么

不做	原因
❌ 不写文章 / 文案 / 视频脚本	下游任务，由其他 skill 负责
❌ 不主动发对外内容	雷达只做情报收集，发不发由用户决定
❌ 不替你消费选题清单	推不推、跟不跟由用户决定
❌ 不爬需要登录才能看的页面	公开热搜/公开账号动态即可，登录态一律不碰
❌ 不编造数据	来源不明的标注"待核实"

---

§一、配置项（radar-config.yaml）

# 选题雷达配置

# ---------- 基础 ----------
timezone: Asia/Shanghai          # 时区（默认北京时间）
lookback_hours: 24                # 拉数据时间窗（小时）
top_n: 10                         # 输出 TOP N 条候选

# ---------- 关键词 / 领域 ----------
# 多个关键词用 OR 逻辑；领域关键词做相关度匹配
keywords:
  - AI
  - 大模型
  - ChatGPT
  - Claude
  - Sora
  - 编程
  - 副业

# 排除关键词（命中则直接过滤掉）
exclude_keywords:
  - 娱乐
  - 明星
  - 电视剧

# ---------- 平台 ----------
# 启用的平台列表，按需增删
platforms:
  - weibo         # 微博热搜
  - douyin        # 抖音热搜
  - zhihu         # 知乎热榜
  - xiaohongshu   # 小红书热门
  - bilibili      # B 站热门
  -        
            



          
        



   
         
   



         
   []        
   



                    
     
                

所有路径默认相对 project_root。脚本读取时优先用 --config 指定，否则默认读脚本同级目录的 radar-config.yaml。

---

§二、数据源与抓取策略

2.1 平台数据源

平台	推荐数据源	实现难度
微博	微博热搜公开接口 / 第三方聚合站（如新榜、清博）	⭐ 简单
抖音	抖音热点榜公开页面	⭐⭐ 中等
知乎	知乎热榜 API（公开）	⭐ 简单
小红书	小红书热门页面 / 第三方聚合	⭐⭐⭐ 较难（反爬严）
B 站	B 站热门排行榜公开 API	⭐ 简单
今日头条	今日头条热榜（公开接口）	⭐ 简单
百度	百度热搜公开接口	⭐ 简单

2.2 抓取脚本（scripts/fetch_hot.py）

主流程：

import json, re, time
from datetime import datetime, timedelta
from pathlib import Path

def fetch_platform(platform: str, cfg: dict) -> list[dict]:
    """按平台分发到不同抓取函数。"""
    handler = PLATFORM_HANDLERS.get(platform)
    if not handler:
        return []
    return handler(cfg)

def normalize(item: dict, platform: str) -> dict:
    """把不同平台的热搜条目归一化为统一 schema。"""
    return {
        "platform": platform,
        "title": item.get("title", ""),
        "url": item.get("url", ""),
        "hot_value": item.get("hot", 0),
        "timestamp": item.get("timestamp", ""),
        "raw": item,
    }

每个平台一个 handler，按 JSON / HTML 解析分别实现。

2.3 反爬与重试

• 每个抓取函数必须有 3 次重试（timeout=20s、指数退避）
• 加 User-Agent（真实浏览器 UA）+ Accept-Language + Referer（参考 aihot-topic-selector/scripts/fetch_aihot.py 的修复经验）
• 处理 gzip/deflate 响应（urllib 不自动解压）
• 403 / SSL handshake timeout 必须走 retry，不直接报失败

---

§三、关键词过滤 + 相关度打分

3.1 关键词命中逻辑

def relevance_score(title: str, keywords: list[str], exclude: list[str]) -> float:
    # 排除关键词命中 → 直接 0
    for ex in exclude:
        if ex.lower() in title.lower():
            return 0.0
    # 命中得分：每命中一个 +0.25，封顶 1.0
    score = 0.0
    for kw in keywords:
        if kw.lower() in title.lower():
            score += 0.25
    return min(score, 1.0)

3.2 综合打分

final_score = hotness × weights.hotness + relevance × weights.relevance

热度归一化：

平台原始热度	归一化（0-1）
热搜第 1 位	1.0
热搜第 10 位	0.5
热搜第 50 位	0.1
不在热搜前列	按对数衰减

---

§四、记忆去重（避免重复推送）

4.1 原理

• 维护一个 memory/dedup-history.jsonl 文件，每行一条已推送过的热点记录
• 字段：{ "title": "...", "platform": "...", "pushed_at": "YYYY-MM-DD HH:MM:SS", "url": "..." }
• 每次运行：先读历史 → 对今天的新热搜做模糊匹配 → window_days 天内已存在的跳过

4.2 模糊匹配

用 rapidfuzz.fuzz.ratio ≥ 85（标题 15% 以内的差异视为同一条），避免小幅改写也算"新热点"。

4.3 清理机制

每 30 天自动清理 window_days 之外的旧记录，防止文件无限膨胀。

---

§五、输出格式（候选清单）

5.1 控制台输出（--stdout）

========== 今日选题候选（TOP 10）==========
[87.3] 微博 / 00:15
  「OpenAI 推出 GPT-6，多模态能力大幅提升」
  → https://weibo.com/...
  → 命中关键词：AI、ChatGPT
  → 热度 92 × 相关度 0.75 = 87.3

[76.1] 知乎 / 09:42
  「Claude 4.5 在编程任务上首次超越 GPT-6」
  → https://zhihu.com/...
  → 命中关键词：AI、Claude
  → 热度 81 × 相关度 0.75 = 76.1
============================================

5.2 文件输出（默认）

文件路径：{output_dir}/YYYY-MM-DD-hot-topics.md

格式：

---
title: 每日选题候选 · YYYY-MM-DD
date: YYYY-MM-DD HH:MM:SS
tags: [每日选题, 自媒体, 内部文档]
categories: [工作流程, 选题雷达]
---

# 每日选题候选 · YYYY-MM-DD

> 自动生成于 YYYY-MM-DD HH:MM:SS
> 关键词：AI / 大模型 / ChatGPT / Claude / ...
> TOP N：10

## 1. OpenAI 推出 GPT-6，多模态能力大幅提升
- **平台**：微博
- **发布时间**：00:15
- **热度值**：92 / 100
- **相关度**：0.75（命中：AI、ChatGPT）
- **综合分**：87.3
- **链接**：https://weibo.com/...

## 2. ...

5.3 不要输出的东西

• ❌ 不要写"为什么这个选题值得跟"——这是下游的事
• ❌ 不要写选题对应的 AI 概念（Token/RAG/Agent 等）——下游脚本会用核心 2 问筛
• ❌ 不要写文章大纲/标题候选——下游 skill 的事
• ❌ 不要给选题打分"易写度/传播力"等主观维度——避免幻觉

---

§六、运行方式

# 跑今天
python scripts/fetch_hot.py

# 指定日期
python scripts/fetch_hot.py --date 2026-07-10

# 只打印候选清单，不写文件
python scripts/fetch_hot.py --stdout

# 指定配置
python scripts/fetch_hot.py --config /path/to/radar-config.yaml

# 启用竞品监控（仅当 competitor_monitor.enabled = true 时生效）
python scripts/fetch_hot.py --with-competitors

# 清空记忆（强制重推）
python scripts/fetch_hot.py --clear-memory

---

§七、与其他 Skill 的衔接

下游 Skill	用途	参考
aihot-topic-selector	同样做"选题"，但专注 AI 圈（AIHOT 数据源）	skills/aihot-topic-selector/
写公众号	写公众号长文	用户自有流程
写口播稿	写短视频脚本	用户自有流程
content-calendar	选题进选题日历管理	用户自有流程

本 skill 与 aihot-topic-selector 是互补关系：

• 本 skill：跨平台通用自媒体雷达，关心"今天全网什么火"
• aihot-topic-selector：专注 AI 圈，关心"AI 圈什么火"+ 按核心 2 问筛 1 条

两个 skill 都输出"候选清单"，但不冲突，可并行使用。

---

§八、目录结构

skills/hot-topic-radar/
├── SKILL.md                  ← 本文件
├── scripts/
│   └── fetch_hot.py          ← 主抓取脚本（占位，待实现）
├── memory/                   ← 记忆/去重数据
│   └── dedup-history.jsonl   ← 历史推送记录
├── task/                     ← 选题任务目录（可选）
├── radar-config.example.yaml ← 配置示例
└── radar-config.yaml         ← 当前默认配置

---

§九、故障排查

现象	原因	解决
某个平台 0 条	抓取被反爬 / 接口变了	换数据源，或从配置里临时禁用该平台
SSL handshake timeout	urllib 默认 UA 被判反爬	改用真实浏览器 UA + Accept-Language（参考 §2.3）
全是重复热点	记忆没清空	python scripts/fetch_hot.py --clear-memory
候选清单质量差	关键词太宽或太窄	调 keywords / exclude_keywords / weights.relevance
抓取失败 403 Forbidden	缺 mode=all 或 Referer	补 Header，参考 aihot-topic-selector 修复经验

---

§十、版本历史

• v0.1（2026-07-10） · 初版
  • 定义 Skill 定位与边界
  • 7 步流程：拉数据 → 过滤打分 → 记忆去重 → 排序输出
  • 配置文件 radar-config.yaml 规范
  • 与 aihot-topic-selector 的关系说明
  • 抓取脚本 scripts/fetch_hot.py 待实现（占位）