ecommerce-full-pipeline

name	ecommerce-full-pipeline
description	跨境电商全链路自动化工具。集成1688采集、智能清洗、多平台上架（微信小店/Shopify/TikTok）、推广方案（关键词/竞品分析/广告文案）、短视频创作（MoviePy竖屏视频）、一键代发、爆品挖掘（趋势聚合+6维评分）、闲鱼二手选品捡漏（品牌识别/虚标过滤/捡漏评分/价格监控）、全自动流水线（挖掘→采集→清洗→上架→推广→视频）。
version	1.0.0
author	anbeime
tags	["ecommerce","scraping","marketing","video","automation","bargain","xianyu",1688,"trend","pipeline"]

跨境电商全链路自动化工具

任务目标

• 本技能用于：跨境电商从选品到推广的全流程自动化
• 能力包含：
  1. 1688 商品采集：关键词搜索、详情抓取、图片下载、反爬回退（Mock 数据兜底）
  2. 智能数据清洗：自动翻译标题、价格标准化、供应商评分、利润率计算、批量过滤
  3. 多平台上架：一键生成微信小店/Shopify/TikTok 上架模板，支持 CSV/Excel/JSON 导出
  4. 推广方案生成：自动关键词生成、竞品分析、广告文案撰写、预算规划
  5. 短视频创作：基于商品图片自动生成竖屏推广视频（MoviePy + Ken Burns 特效）
  6. 一键代发：1688 源头直接下单，支持无痕发货备注、Playwright 浏览器自动化
  7. 爆品趋势挖掘：多源趋势聚合（Google Trends）、6 维爆品评分、自动触发后续流水线
  8. 闲鱼选品捡漏：二手商品搜索、品牌识别、虚标过滤、6 维捡漏评分、价格监控、智能推荐
  9. 全自动流水线：爆品挖掘→采集→清洗→上架→推广→视频，一键端到端执行
• 触发条件：用户需要开展跨境电商业务，包括选品、上架、推广、视频创作或二手选品捡漏时

前置准备

• Python 3.8+
• 依赖包安装：

pip install requests beautifulsoup4 lxml pyyaml pytrends moviepy pillow

• 1688 / 闲鱼需要登录态才能完整采集，建议在已登录的浏览器环境中使用
• 推广视频生成需要 ffmpeg（MoviePy 依赖）

操作步骤

流程一：全链路自动化（推荐）

# 自动挖掘爆品 → 采集 → 清洗 → 上架 → 推广 → 视频生成
python main.py auto-pipeline --seed-keywords "收纳盒,蓝牙耳机" --top-n 5 --product-limit 3 --platform all

流程二：1688 采集 → 上架 → 推广

# Step 1: 采集
python main.py scrape --keyword "蓝牙耳机" --pages 2 --detail --download-images

# Step 2: 清洗（过滤毛利率低于20%、供应商评分低于60分的商品）
python main.py clean --input data/raw_products.json --min-margin 0.20 --min-score 60

# Step 3: 上架（生成多平台模板）
python main.py publish --input data/cleaned_products.json --platform all --export all

# Step 4: 推广（关键词+竞品分析+广告文案+预算）
python main.py promote --input data/cleaned_products.json --limit 10 --daily-budget 50

# Step 5: 生成推广短视频
python main.py video --input data/cleaned_products.json --limit 5 --duration 15

流程三：爆品挖掘

# 自动挖掘趋势爆品
python main.py trend --categories electronics,home --top-n 10

# 指定种子词挖掘
python main.py trend --seed-keywords "充电宝,手机壳" --top-n 10

流程四：闲鱼选品捡漏

# 闲鱼搜索
python main.py xianyu --keyword "投影仪" --price-max 999 --pages 3 --condition 9成新

# 捡漏搜索（带参数需求）
python main.py hunt --keyword "投影仪 4K 云台" --budget 999 \
  --min-lumens 1000 --require-4k --require-gimbal --require-wall

# 智能推荐（多关键词综合）
python main.py recommend --keywords "投影仪,家用投影,4K投影" --budget 999 \
  --min-lumens 1000 --require-4k --require-gimbal

# 价格监控
python main.py monitor --keywords "投影仪,坚果投影" --budget 999

流程五：一键代发

python main.py fulfill --source-url "https://detail.1688.com/offer/xxx.html" \
  --receiver-name "张三" --receiver-phone "13800138000" \
  --receiver-address "北京市朝阳区xxx" --sku-spec "白色/大号" --quantity 1

核心逻辑

爆品挖掘评分模型

爆品评分 = 趋势速度 × 35% + (1-竞争度) × 25% + 利润潜力 × 25% + 供应稳定 × 15%

维度	权重	评分逻辑
趋势速度	35%	Google Trends 搜索量变化率，近期涨幅越高分越高
竞争度	25%	市场竞争强度反向指标，竞争越低分越高
利润潜力	25%	1688 供货价与预估售价的利润率
供应稳定	15%	供应商数量和供货稳定性

闲鱼捡漏评分模型

评分公式：价格优势(30分) + 性价比(20分) + 成色(15分) + 卖家信誉(15分) + 参数匹配(20分) - 风险扣分

维度	分值	评分逻辑
价格优势	0-30	实际价/合理二手价的比值越低分越高，降价幅度加分
性价比	0-20	相对全新价的折扣率，折扣越大分越高
成色	0-15	全新15分 > 几乎全新13 > 99新12 > 9成新10 > 正常使用7
卖家信誉	0-15	百分百好评+10，想要人数加分
参数匹配	0-20	按用户需求参数（亮度/4K/云台等）的匹配度
风险扣分	0-30	低价高参数虚标、无品牌、商家批量出货等风险因素

品牌识别与虚标过滤

• 内置 30+ 品牌识别词典（投影仪/手机/笔记本/平板等品类）
• 虚标检测：低价高参数异常（如 ¥200 声称 3000+ 流明）
• 黑名单过滤：已知虚标品牌关键词、商家批量出货识别

数据清洗规则

• 自动翻译标题为英文（上架 Shopify/TikTok）
• 价格标准化（统一为 USD）
• 利润率 = (预估售价 - 供货价) / 预估售价
• 供应商评分过滤、起订量筛选

推广视频生成

• 基于 MoviePy 自动生成竖屏短视频（9:16）
• Ken Burns 慢推拉特效
• 商品图片轮播 + 标题叠加
• 时长可配置（默认 15 秒）

项目结构

ecommerce-tool/
├── main.py                  # CLI 入口（13 个子命令）
├── config.yaml              # 配置文件
├── requirements.txt         # 依赖
├── ecommerce_tool/
│   ├── scraper.py           # 1688 采集模块
│   ├── cleaner.py           # 数据清洗模块
│   ├── publisher.py          # 多平台上架模块
│   ├── promoter.py           # 推广方案模块
│   ├── video_generator.py    # 短视频生成模块
│   ├── fulfillment.py        # 一键代发模块
│   ├── trend_detector.py     # 爆品挖掘模块
│   ├── xianyu_scraper.py     # 闲鱼采集模块
│   ├── bargain_hunter.py     # 捡漏分析模块
│   └── utils.py              # 工具函数

CLI 命令一览

命令	说明
scrape	从 1688 采集商品
clean	清洗商品数据
publish	生成上架模板（微信小店/Shopify/TikTok）
promote	生成推广方案（关键词/竞品/文案/预算）
video	生成推广短视频
fulfill	一键代发下单
pipeline	全流程自动化（采集→清洗→上架→推广→视频）
trend	自动挖掘爆品趋势
auto-pipeline	全自动爆品流水线（挖掘→采集→上架→推广→视频）
xianyu	闲鱼商品搜索
hunt	闲鱼捡漏搜索
recommend	智能推荐（多关键词综合）
monitor	价格监控

Python API 调用

from ecommerce_tool.scraper import Scraper1688
from ecommerce_tool.cleaner import DataCleaner
from ecommerce_tool.publisher import Publisher
from ecommerce_tool.promoter import Promoter
from ecommerce_tool.video_generator import VideoGenerator
from ecommerce_tool.fulfillment import FulfillmentEngine
from ecommerce_tool.trend_detector import TrendDetector
from ecommerce_tool.xianyu_scraper import XianyuScraper
from ecommerce_tool.bargain_hunter import BargainHunter

# 1688 采集
scraper = Scraper1688(config, logger)
products = scraper.search("蓝牙耳机", pages=2)

# 爆品挖掘
detector = TrendDetector(config, logger)
candidates = detector.discover(categories=["electronics"], top_n=10)

# 闲鱼捡漏
hunter = BargainHunter(config, logger)
results = hunter.hunt(
    keyword="投影仪",
    price_max=999,
    spec_requirements={
        "min_lumens": 1000,
        "support_4k": True,
        "has_gimbal": True,
        "support_wall": True,
    },
)
print(hunter.display_results(results))

注意事项

• 1688 / 闲鱼有反爬机制，建议设置合理请求间隔（1.5-3.5 秒）
• 网络不可用时自动回退 Mock 数据（开发调试用）
• 视频生成需要 ffmpeg 环境
• 推广文案和关键词为 AI 生成参考，实际投放需人工审核
• 闲鱼捡漏评分仅供选品参考，不构成交易建议
• 虚标过滤不能 100% 消除假货，购买前请仔细核实

相关链接

• 源码仓库: https://gitee.com/anbeime/ebay