# 新闻智能分析系统开发计划 v2.0

> 基于大模型的时政/军事/科技新闻聚类、评价与整合系统
> 
> **迭代说明**：参考 AI Daily 项目实践，融合细粒度聚类与工程化部署经验

---

## 一、项目概述

### 1.1 项目目标
构建一个自动化新闻分析系统，实现：
- **细粒度聚类**：保留多角度报道，避免简单去重丢失热点
- **动态热点识别**：基于当日新闻分布统计特征自适应判定热点
- **双层整合**：摘要级速览（全量）+ 洞察级深度分析（Top 10）
- **混合处理**：实时热点感知 + 每日批量汇总生成早报
- **跨日关联**：追踪同一事件的多日发展脉络

### 1.2 核心约束
| 维度 | 约束 |
|------|------|
| 数据规模 | 200-500篇/日 |
| 数据源 | RSS Feed（公众号订阅源） |
| 输出格式 | Web页面 / Markdown / 即时推送 |
| 成本预算 | 混合模型调度，日成本约1.3-1.6元 |
| 处理时效 | 批处理15-20分钟完成 |
| 部署方式 | 支持systemd服务化部署 |

### 1.3 双循环架构（参考AI Daily优化）

```
┌─────────────────────────────────────────────────────────────────┐
│                         Fetch 循环（实时）                        │
│  每30分钟运行一次                                                  │
│   RSS抓取 → 转为Markdown → LLM评分 → 重要性判断 → 即时推送？        │
│      ↓                                                    ↓      │
│   存入数据库(fetch-yyyy-mm-dd.json)                    飞书/Discord│
└─────────────────────────────────────────────────────────────────┘
                              ↓
┌─────────────────────────────────────────────────────────────────┐
│                         Push 循环（定时）                         │
│  每日定时运行（如早8点）                                           │
│   读取碎片化信息 → 细粒度聚类 → 多角度关联 → 综合评分              │
│   → 摘要级整合(全量) → 洞察级整合(Top10) → 生成日报 → 推送         │
└─────────────────────────────────────────────────────────────────┘
```

---

## 二、与AI Daily的对比分析

### 2.1 相似性

| 维度 | AI Daily | 本系统 | 相似度 |
|------|----------|--------|--------|
| **数据源** | RSS订阅源 | RSS订阅源（公众号） | ⭐⭐⭐⭐⭐ |
| **核心流程** | RSS→LLM评分→推送/汇总 | RSS→聚类→评分→整合→推送/汇总 | ⭐⭐⭐⭐ |
| **双循环架构** | Fetch循环+Push循环 | 实时检测+批处理 | ⭐⭐⭐⭐⭐ |
| **即时推送** | 飞书/Discord webhook | 飞书/企微/邮件 | ⭐⭐⭐⭐ |
| **定时汇总** | 每日定时推送 | 每日早报生成 | ⭐⭐⭐⭐⭐ |
| **成本预算** | 每天6毛钱 | 每天1.3-1.6元 | ⭐⭐⭐⭐ |

### 2.2 本系统的差异化优势

| 特性 | AI Daily | 本系统 | 价值 |
|------|----------|--------|------|
| **热点识别** | 单篇文章评分 | **双层筛选：硬约束+动态阈值融合** | 质量控制+热点发现协同 |
| **去重策略** | 简单去重 | 细粒度聚类+多角度保留 | 不丢失多角度报道 |
| **内容整合** | 单篇摘要 | 双层整合（摘要+洞察） | 深度分析Top热点 |
| **领域聚焦** | AI领域 | 时政/军事/科技 | 专业领域实体识别 |
| **角度分类** | 无 | 6种报道角度分类 | 支持多角度整合 |
| **跨日关联** | 无 | 事件时间线追踪+Sentinel标记 | 追踪事件发展脉络 |

### 2.3 AI Daily 参考资源

- 项目介绍（热点追踪系统）：https://yeekal.com/ai/ai-daily-news-tracker/
- 项目介绍（进化实录）：https://yeekal.com/ai/ai-daily-news-update/
- GitHub 代码库：https://github.com/YeeKal/ai-daily

### 2.4 从AI Daily借鉴的核心设计

1. **双循环架构**：Fetch循环（实时）+ Push循环（定时）
2. **systemd服务化**：使用systemd timer替代Python内部定时，提升稳定性
3. **文件存储规范**：fetch/notify/push三种文件类型，明确保留策略
4. **评分硬约束**：非目标领域上限、KOL转述上限，有效控制信息质量
5. **Prompt防退化**：禁止套话、要求从素材出发，避免LLM输出风格趋同
6. **双视角洞察**：metadata（事实压缩）+ 正文（趋势判断）解耦
7. **Sentinel分段标记**：单文件多板块精确管理，支持跨日关联

---

## 三、开发阶段规划

### 阶段一：基础架构搭建（Week 1-2）
**目标**：建立数据流和存储基础，确保稳定采集

| 序号 | 任务 | 描述 | 输出 | 依赖 |
|------|------|------|------|------|
| 1.1 | RSS采集模块 | 解析公众号RSS Feed，提取标题、正文、来源、发布时间 | 原始文章数据库 | - |
| 1.2 | 数据标准化 | 统一文章格式，清洗HTML标签，提取纯文本 | 标准化文章表 | 1.1 |
| 1.3 | 文件存储层 | JSON文件存储(fetch-yyyy-mm-dd.json) | 存储规范 | 1.2 |
| 1.4 | 数据库设计 | SQLite设计文章表、实体表、聚类表 | 数据库Schema | 1.2 |
| 1.5 | 基础监控 | 采集成功率、文章数量统计 | 监控面板 | 1.1 |
| 1.6 | 日志系统 | 有效日志记录，便于问题定位 | 日志模块 | 1.1 |

**数据字段规范**：
```json
{
  "title": "内容标题",
  "link": "原始链接",
  "published": "发布时间",
  "source": "来源（公众号名称）",
  "content": "Markdown格式的正文内容",
  "tags": "LLM识别的标签",
  "score": "LLM评分（0-100）",
  "summary": "LLM生成的中文摘要",
  "fetched_at": "抓取时间",
  "entities": ["提取的实体列表"],
  "reporting_angle": "报道角度"
}
```

**验收标准**：
- [ ] 稳定采集50+ RSS源
- [ ] 数据入库成功率 > 95%
- [ ] 基础监控可查看当日采集概况
- [ ] 日志系统可定位问题

---

### 阶段二：Fetch循环与双层评分系统（Week 3-4）
**目标**：实现实时采集、双层评分（硬约束+动态阈值融合）、即时推送

| 序号 | 任务 | 描述 | 输出 | 依赖 |
|------|------|------|------|------|
| 2.1 | Fetch循环引擎 | 每30分钟循环一次，抓取RSS→Markdown→评分 | fetch引擎 | 1.6 |
| 2.2 | **第一层：单篇评分Prompt** | 单篇文章重要性评分（0-100），**含硬约束** | `prompts/article_score.txt` | 2.1 |
| 2.3 | **硬约束过滤器** | 非时政军事上限、KOL转述上限、时效衰减 | 硬约束模块 | 2.2 |
| 2.4 | 即时推送判断 | 单篇≥90分触发即时推送候选 | 推送判断模块 | 2.3 |
| 2.5 | 飞书Webhook推送 | 飞书群机器人推送 | 飞书推送适配器 | 2.4 |
| 2.6 | systemd服务化 | 使用systemd timer管理服务 | systemd配置 | 2.1 |

#### 双层评分架构设计

```
第一层：单篇文章评分（硬约束）                    第二层：实体簇热度（动态阈值）
├── 输入：单篇RSS文章                             ├── 输入：同一实体的多篇报道（已硬约束评分）
├── 处理：LLM评分 + 硬约束修正                     ├── 处理：统计特征 + 动态阈值计算
└── 输出：0-100分（已约束）                        └── 输出：热点判定
    ├── ≤79：非目标领域，过滤                          ├── 低于阈值：普通关注
    ├── 80-89：一般关注，进入聚类                      └── 高于阈值：热点，优先整合
    └── 90+：高优先级，即时推送候选
```

#### 第一层：评分硬约束设计

**Prompt核心约束**：
```markdown
## 评分规则（硬性约束）

1. **非时政/军事/科技主题上限 79 分**
   - 如果内容不属于目标领域（如纯娱乐八卦、生活琐事），最高只能给 79 分

2. **KOL 转述上限 89 分**
   - 如果只是 KOL/大V 对已有信息的转述/评论，而非原创信息，最高只能给 89 分

3. **时效性衰减**
   - 发布超过24小时：分数×0.9
   - 发布超过48小时：分数×0.8

4. **90+ 分必须同时满足**：
   - 重大事件/突破性进展/政策发布
   - 一手信息源（官方发布、权威媒体首发）
   - 对目标领域有实质性影响

5. **标签禁止空泛**
   - 禁止：["军事", "新闻", "热点"]
   - 要求：["歼-35A", "舰载战斗机", "隐身性能", "海军航空兵"]
```

**代码实现**：
```python
def apply_score_constraints(entry: dict, raw_score: int) -> tuple[int, list[str]]:
    """
    应用评分硬约束
    返回：修正后的分数，应用的约束标签列表
    """
    constraints_applied = []
    
    # 约束1：非目标领域上限79
    if not is_target_domain(entry['content']):
        raw_score = min(raw_score, 79)
        constraints_applied.append("非目标领域")
    
    # 约束2：KOL转述上限89
    if is_kol_repost(entry):
        raw_score = min(raw_score, 89)
        constraints_applied.append("KOL转述")
    
    # 约束3：时效性衰减
    hours_old = get_hours_since_published(entry)
    if hours_old > 24:
        decay_factor = 0.9 ** (hours_old // 24)
        raw_score = int(raw_score * decay_factor)
        constraints_applied.append(f"时效衰减({hours_old}h)")
    
    return raw_score, constraints_applied
```

**第一层输出分级**：
| 分数段 | 处理策略 | 说明 |
|--------|---------|------|
| ≤79 | 过滤，不入库 | 非目标领域内容 |
| 80-89 | 入库，进入聚类 | 一般关注，参与动态阈值计算 |
| 90+ | 入库，即时推送候选 | 高优先级，同时触发即时推送判断 |

**验收标准**：
- [ ] Fetch循环每30分钟稳定运行
- [ ] 硬约束生效（非目标领域≤79，KOL转述≤89，时效衰减）
- [ ] 90+文章触发即时推送候选
- [ ] systemd服务可一键启动/停止

---

### 阶段三：实体提取与细粒度聚类（Week 5-6）
**目标**：实现细粒度聚类，区分同一实体的不同报道角度

| 序号 | 任务 | 描述 | 输出 | 依赖 |
|------|------|------|------|------|
| 3.1 | 实体提取Prompt | 设计并优化实体提取提示词 | `prompts/extract_entities.txt` | 2.6 |
| 3.2 | 角度分类Prompt | 设计报道角度分类提示词 | `prompts/classify_angle.txt` | 2.6 |
| 3.3 | 批量实体提取 | 实现50篇/批并发调用，小模型处理 | 实体提取服务 | 3.1 |
| 3.4 | 角度分类服务 | 批量角度分类，与实体提取并行 | 角度分类服务 | 3.2 |
| 3.5 | 实体归一化 | 大模型消歧，合并别名 | 实体归一化服务 | 3.3 |
| 3.6 | 聚类算法 | 基于实体+角度的细粒度聚类 | 聚类引擎 | 3.4, 3.5 |
| 3.7 | 记忆系统 | 避免同一信息反复推送 | 去重模块 | 3.6 |

**验收标准**：
- [ ] 实体提取准确率 > 85%
- [ ] 角度分类准确率 > 80%
- [ ] 聚类后实体簇数量合理（200篇→30-50个簇）
- [ ] 同一信息不重复推送

---

### 阶段四：热度评价与动态阈值（Week 7-8）
**目标**：实现第二层筛选——基于硬约束后分数的动态热点识别

| 序号 | 任务 | 描述 | 输出 | 依赖 |
|------|------|------|------|------|
| 4.1 | **实体簇热度计算** | 融合硬约束分数的多维度热度计算 | 热度指标服务 | 3.6 |
| 4.2 | **第二层：动态阈值算法** | 基于硬约束后分数分布的自适应阈值 | 阈值计算模块 | 4.1 |
| 4.3 | 热点识别引擎 | 硬约束过滤 + 动态阈值筛选的双层判定 | 热点识别服务 | 4.2 |
| 4.4 | 热点精评Prompt | 大模型深度评分（Top 30热点簇） | `prompts/precise_heat.txt` | 4.3 |

#### 第二层：动态阈值设计（融合硬约束分数）

**实体簇热度计算**：
```python
class Cluster:
    def __init__(self, entity_name: str):
        self.entity_name = entity_name
        self.articles = []  # 已硬约束评分的文章列表
        self.hot_score = 0  # 综合热度分
    
    def calculate_hot_score(self) -> int:
        """
        计算实体簇热度，融合硬约束后的单篇分数
        """
        if not self.articles:
            return 0
        
        # 基础分数：最高分文章的分数（已硬约束）
        max_score = max(a['score'] for a in self.articles)
        
        # 传播热度：报道数量 × log(来源多样性)
        report_count = len(self.articles)
        source_diversity = len(set(a['source'] for a in self.articles))
        propagation_heat = report_count * math.log(source_diversity + 1)
        
        # 角度覆盖度：不同报道角度数 / 6
        angles = set(a.get('reporting_angle', 'unknown') for a in self.articles)
        angle_coverage = len(angles) / 6
        
        # 高优先级文章加成（90+文章额外加权）
        high_priority_count = sum(1 for a in self.articles if a['score'] >= 90)
        priority_bonus = high_priority_count * 5  # 每篇90+加5分
        
        # 综合计算
        self.hot_score = min(100, int(
            max_score * 0.4 +                    # 单篇最高分权重40%
            min(propagation_heat * 3, 30) +      # 传播热度权重30%
            angle_coverage * 20 +                # 角度覆盖权重20%
            priority_bonus                       # 高优先级加成10%
        ))
        
        return self.hot_score
```

**动态阈值算法（融合版）**：
```python
def calculate_hotspot_threshold(clusters: list[Cluster], date: str) -> float:
    """
    基于硬约束后分数分布计算动态阈值
    同时考虑统计特征和高优先级文章数量
    """
    # 获取当日所有簇的热度分数（已融合硬约束）
    scores = [c.hot_score for c in clusters]
    
    if len(scores) < 5:
        return 75  # 数据不足时使用保底阈值
    
    # 统计特征
    mean_score = mean(scores)
    std_score = std(scores)
    median_score = median(scores)
    
    # 方法1：统计阈值（均值+1.5倍标准差）
    threshold_stat = mean_score + 1.5 * std_score
    
    # 方法2：保底阈值（至少3条或前10%）
    min_count = max(3, len(scores) * 0.1)
    sorted_scores = sorted(scores, reverse=True)
    threshold_adaptive = sorted_scores[min_count - 1]
    
    # 方法3：硬约束保底（考虑90+高优先级文章数量）
    high_priority_count = sum(
        1 for c in clusters 
        if any(a['score'] >= 90 for a in c.articles)
    )
    if high_priority_count >= 3:
        # 如果有3个以上簇包含90+文章，降低阈值确保热点被识别
        threshold_backup = median_score
    else:
        threshold_backup = mean_score + 0.5 * std_score
    
    # 取三者中较低值，确保热点不被遗漏
    final_threshold = min(threshold_stat, threshold_adaptive, threshold_backup)
    
    # 记录阈值计算日志
    logger.info(f"动态阈值计算: 统计={threshold_stat:.1f}, "
                f"保底={threshold_adaptive:.1f}, 硬约束保底={threshold_backup:.1f}, "
                f"最终={final_threshold:.1f}")
    
    return final_threshold
```

**双层热点判定流程**：
```python
def identify_hotspots(clusters: list[Cluster], date: str) -> tuple[list[Cluster], list[Cluster]]:
    """
    双层热点识别：硬约束过滤 + 动态阈值筛选
    """
    # 第一层：硬约束过滤（单篇层面已处理，此处检查）
    valid_clusters = []
    for c in clusters:
        # 过滤掉所有文章都≤79的簇（非目标领域）
        if all(a['score'] <= 79 for a in c.articles):
            continue
        valid_clusters.append(c)
    
    # 计算各簇热度（融合硬约束分数）
    for c in valid_clusters:
        c.calculate_hot_score()
    
    # 第二层：计算动态阈值
    threshold = calculate_hotspot_threshold(valid_clusters, date)
    
    # 阈值筛选 + 额外条件
    hotspots = []
    normal = []
    for c in valid_clusters:
        if c.hot_score >= threshold:
            # 额外检查：是否有90+文章 或 超过阈值10分以上
            has_high_priority = any(a['score'] >= 90 for a in c.articles)
            significantly_above = c.hot_score >= threshold + 10
            
            if has_high_priority or significantly_above:
                hotspots.append(c)
            else:
                normal.append(c)
        else:
            normal.append(c)
    
    # 排序：先按热度，再按最高单篇分数
    hotspots.sort(key=lambda x: (x.hot_score, x.max_article_score), reverse=True)
    
    return hotspots, normal
```

**融合设计优势**：
| 层级 | 作用 | 输入 | 输出 |
|------|------|------|------|
| 第一层（硬约束） | 质量控制 | 单篇文章 | 过滤非目标领域，标记高优先级 |
| 第二层（动态阈值） | 热点发现 | 实体簇（多篇聚合） | 识别突发热点，自适应当日分布 |

**验收标准**：
- [ ] 实体簇热度计算正确（融合硬约束分数）
- [ ] 动态阈值自适应当日分布
- [ ] 双层筛选协同工作（硬约束过滤→动态阈值筛选）
- [ ] 热点识别召回率 > 90%，误报率 < 20%

---

### 阶段五：Push循环与双层整合（Week 9-10）
**目标**：实现定时汇总、双层整合（双视角设计）、日报生成

| 序号 | 任务 | 描述 | 输出 | 依赖 |
|------|------|------|------|------|
| 5.1 | Push循环引擎 | 每日定时运行，读取碎片化信息→整合→推送 | push引擎 | 4.4 |
| 5.2 | 摘要级整合Prompt | 多源报道合并为50-80字精炼摘要 | `prompts/summary_integrate.txt` | 5.1 |
| 5.3 | 洞察级整合Prompt | Top 10生成结构化深度分析（**双视角设计**） | `prompts/insight_integrate.txt` | 5.1 |
| 5.4 | **Prompt防退化模块** | 禁止套话、要求从素材出发 | 防退化检查器 | 5.2, 5.3 |
| 5.5 | 摘要整合服务 | 小模型批量处理全量簇 | 摘要整合服务 | 5.2, 5.4 |
| 5.6 | 洞察整合服务 | 大模型逐个处理Top 10（**双视角输出**） | 洞察整合服务 | 5.3, 5.4 |
| 5.7 | 时间线提取 | 从多源报道中提取事件时间线 | 时间线提取模块 | 5.5 |
| 5.8 | 多角度整合 | 同一事件不同角度报道的整合 | 多角度整合模块 | 5.6 |

#### 双视角洞察设计（借鉴AI Daily）

**设计理念**：metadata（新闻编辑视角，事实压缩）+ 正文（情报分析师视角，趋势判断）解耦

**Prompt设计**：
```markdown
## Part 1: Metadata（新闻编辑视角）

请生成以下结构化信息：
- title: 10字以内的标题（事实陈述，无修饰）
- lead: 20字以内的导语（核心事实）
- highlights: 3-5个关键要点（bullet points，纯事实）

约束：只陈述事实，不做趋势判断，不用形容词。

## Part 2: 洞察正文（情报分析师视角）

基于多源报道，识别：
1. 事件脉络：关键时间节点和进展
2. 多角度分析：技术维度、战略维度、舆论维度
3. 影响与展望：短期影响、中长期趋势、值得关注信号

约束：
- 禁止空泛评论（如"意义重大""影响深远"）
- 每个观点必须有素材支撑
- 使用具体名称（装备型号/政策名称/组织名称），不用"某些""部分"等模糊指代
```

**输出示例**：
```markdown
---
title: "歼-35A列装部队"
lead: "空军官方确认歼-35A已列装首批作战部队"
highlights:
  - 首次公开确认进入实战化部署阶段
  - 隐身性能对标F-35C，可能在舰载领域形成优势
  - 多国媒体关注其对西太平洋军事平衡的影响
---

## 事件脉络
- 2024-11：珠海航展首次公开亮相
- 2025-03：完成舰载适配测试
- 2025-05：空军确认列装首批作战部队【新进展】

## 多角度分析
- **技术维度**：隐身涂层、航电系统、舰载适配均有突破
- **战略维度**：提升海军航空兵远海作战能力
- **舆论维度**：外媒关注中美舰载机代差缩小

## 影响与展望
短期：提升海军航母编队作战能力
中期：可能在西太平洋形成局部优势
值得关注：后续舰载版测试进展、出口动向
```

#### Prompt防退化设计（借鉴AI Daily）

**禁止套话列表**：
```python
FORBIDDEN_PHRASES = [
    "意义重大", "影响深远", "引发关注", "备受瞩目",
    "深水区", "拐点", "白热化", "新纪元", "里程碑",
    "不容忽视", "值得注意", "值得关注",  # 除非后接具体内容
    "某些", "部分", "一些", "相关",  # 模糊指代
]

def check_degeneration(content: str) -> list[str]:
    """检查内容是否包含禁止套话"""
    violations = []
    for phrase in FORBIDDEN_PHRASES:
        if phrase in content:
            violations.append(phrase)
    return violations
```

**Prompt中的防退化指令**：
```markdown
## 输出约束（防退化）

1. 禁止使用以下套话：
   - "意义重大""影响深远""引发关注""备受瞩目"
   - "深水区""拐点""白热化""新纪元""里程碑"

2. 每个观点必须有素材支撑：
   - 错误：该装备性能先进
   - 正确：该装备隐身系数0.01，优于F-35的0.02

3. 使用具体名称，禁止模糊指代：
   - 错误：某些国家表示关注
   - 正确：日本防卫省发布关注声明

4. 从素材出发，每次措辞应不同，避免模板化输出
```

**验收标准**：
- [ ] 摘要信息完整度 > 90%
- [ ] 洞察分析覆盖双视角（metadata + 正文）
- [ ] 无禁止套话出现
- [ ] 整合内容无明显事实错误

---

### 阶段六：日报生成与跨日关联（Week 11-12）
**目标**：生成结构化日报（含Sentinel标记），实现跨日关联

| 序号 | 任务 | 描述 | 输出 | 依赖 |
|------|------|------|------|------|
| 6.1 | 日报模板设计 | Markdown模板，包含热点、速览、数据概览 | `templates/daily_report.md` | 5.8 |
| 6.2 | **Sentinel分段标记** | 单文件多板块精确管理 | `src/utils/sentinel.py` | 6.1 |
| 6.3 | **跨日关联模块** | 从历史日报提取上下文，追踪事件脉络 | `src/processors/cross_day.py` | 6.2 |
| 6.4 | 排序算法 | 综合热度、时效、重要性的排序逻辑 | 排序模块 | 4.4 |
| 6.5 | 日报渲染服务 | 按模板组装数据，生成Markdown（含Sentinel） | 日报渲染服务 | 6.1, 6.2, 6.4 |
| 6.6 | Web归档站点 | 部署在线阅览站点 | Web站点 | 6.5 |
| 6.7 | 数据保留策略 | fetch保留2天，notify保留2天，push保留5天 | 清理策略 | 6.6 |

#### 简化版Sentinel分段标记设计

**标记格式**：
```markdown
---
title: "每日情报早报"
date: "2026-05-24"
stats:
  total_entities: 87
  hotspot_count: 10
---

<!-- SECTION:summary BEGIN -->
## 📋 全量新闻速览

| # | 实体 | 摘要 | 来源数 | 热度 |
|---|------|------|--------|------|
| 1 | 歼-35A | 空军确认列装\|隐身性能对标F-35C | 8 | ★★★★★ |
<!-- SECTION:summary END -->

<!-- SECTION:insights BEGIN -->
## 🔥 热点深度洞察

### 1. 歼-35A列装进展 [持续跟踪]
> 速览：空军官方确认歼-35A已列装首批作战部队 [8源报道]

**事件脉络**
- 5月20日：首次公开亮相
- 5月24日：【新进展】确认列装部队
...
<!-- SECTION:insights END -->
```

**核心代码**：
```python
import re
from datetime import datetime, timedelta

def extract_section(content: str, section_name: str) -> str:
    """从日报内容中提取指定section"""
    pattern = rf'<!-- SECTION:{re.escape(section_name)} BEGIN -->(.*?)<!-- SECTION:{re.escape(section_name)} END -->'
    match = re.search(pattern, content, re.DOTALL | re.IGNORECASE)
    return match.group(1).strip() if match else ""

def get_historical_context(entity_name: str, days: int = 7) -> dict:
    """获取某实体近N天的历史报道上下文"""
    context = {
        "first_seen": None,
        "previous_summaries": [],
        "previous_insights": [],
        "mention_count": 0
    }
    
    for i in range(days):
        date = (datetime.now() - timedelta(days=i)).strftime("%Y-%m-%d")
        file_path = f"data/reports/daily-{date}.md"
        
        try:
            with open(file_path, 'r', encoding='utf-8') as f:
                content = f.read()
            
            if entity_name in content:
                context["mention_count"] += 1
                if context["first_seen"] is None:
                    context["first_seen"] = date
                
                # 提取该实体在摘要中的记录
                summary_section = extract_section(content, "summary")
                for line in summary_section.split('\n'):
                    if entity_name in line and line.strip().startswith('|'):
                        context["previous_summaries"].append({
                            "date": date,
                            "content": line.strip()
                        })
                
                # 提取该实体在洞察中的记录
                insights_section = extract_section(content, "insights")
                if entity_name in insights_section:
                    insight_blocks = re.split(r'### \d+\.', insights_section)
                    for block in insight_blocks:
                        if entity_name in block:
                            context["previous_insights"].append({
                                "date": date,
                                "content": block.strip()[:500]
                            })
                            break
        except FileNotFoundError:
            continue
    
    return context

def generate_cross_day_marker(entity_name: str) -> str:
    """生成跨日标记"""
    history = get_historical_context(entity_name, days=7)
    
    if history["mention_count"] == 0:
        return "首次报道"
    elif history["mention_count"] == 1:
        return "持续跟踪"
    else:
        return f"持续跟踪({history['mention_count']}次)"
```

**跨日关联应用**：
```python
# 在生成洞察时，添加跨日时间线
history = get_historical_context("歼-35A", days=7)

# 输出：
# {
#   "first_seen": "2026-05-20",
#   "mention_count": 3,
#   "previous_summaries": [
#     {"date": "2026-05-20", "content": "| 1 | 歼-35A | 首次公开亮相... |"},
#     {"date": "2026-05-22", "content": "| 3 | 歼-35A | 专家分析隐身性能... |"}
#   ]
# }

# 在洞察中展示时间线
timeline = f"""
**事件脉络**
- 5月20日：首次公开亮相（珠海航展）
- 5月22日：专家分析隐身性能，推测可能上舰
- 5月24日：【新进展】空军官方确认列装首批作战部队
"""
```

**验收标准**：
- [ ] 日报生成时间 < 20分钟
- [ ] Sentinel标记正确，可精确提取summary/insights
- [ ] 跨日关联可追踪实体历史报道
- [ ] Web站点可正常访问

---

### 阶段七：优化与迭代（Week 13-14）
**目标**：持续优化，功能扩展

| 序号 | 任务 | 描述 | 优先级 |
|------|------|------|--------|
| 7.1 | Prompt优化 | 基于实际效果迭代优化提示词 | 高 |
| 7.2 | 反馈闭环 | 收集用户反馈，标注数据，优化模型 | 高 |
| 7.3 | 趋势分析 | 7日热点趋势图，周期性报告 | 中 |
| 7.4 | 个性化推荐 | 基于用户阅读历史的个性化排序 | 低 |

---

## 四、技术栈建议

### 4.1 核心组件
| 组件 | 推荐方案 | 说明 |
|------|----------|------|
| 数据采集 | Python + feedparser | RSS解析 |
| 数据存储 | SQLite + JSON文件 | 数据库+文件双存储 |
| LLM调用 | OpenAI SDK / 国产模型SDK | 统一接口封装 |
| 任务调度 | systemd timer | 系统级服务管理 |
| Web展示 | Hugo / Flask | 静态/动态站点 |
| 日志 | Python logging + systemd journal | 集中日志管理 |

### 4.2 模型选择
| 任务类型 | 推荐模型 | 预估成本 |
|----------|----------|----------|
| 实体提取 | DeepSeek-V3 / Qwen-Plus | ~0.001元/次 |
| 角度分类 | DeepSeek-V3 / Qwen-Plus | ~0.001元/次 |
| 单篇评分 | DeepSeek-V3 / Qwen-Plus | ~0.001元/次 |
| 摘要整合 | DeepSeek-V3 / Qwen-Plus | ~0.002元/次 |
| 实体消歧 | GPT-4o / Claude-3.5-Sonnet | ~0.01元/次 |
| 热点精评 | GPT-4o / Claude-3.5-Sonnet | ~0.02元/次 |
| 洞察整合 | GPT-4o / Claude-3.5-Sonnet | ~0.1元/次 |

**日成本估算**：
- 200-500篇/日 × 0.001元（小模型）= 0.2-0.5元
- 100个簇 × 0.001元（小模型）= 0.1元
- 10个洞察 × 0.1元（大模型）= 1元
- **总计：约1.3-1.6元/日**

---

## 五、项目结构

```
news-intelligence-system/
├── config/
│   ├── rss_sources.json          # RSS源配置
│   ├── models.yaml               # 模型配置
│   └── systemd/                  # systemd服务配置
├── src/
│   ├── collectors/               # 数据采集
│   │   └── rss_collector.py
│   ├── processors/               # 处理管道
│   │   ├── entity_extractor.py
│   │   ├── angle_classifier.py
│   │   ├── cluster_engine.py
│   │   ├── heat_calculator.py
│   │   └── cross_day.py          # 跨日关联（新增）
│   ├── integrators/              # 内容整合
│   │   ├── summary_integrator.py
│   │   └── insight_integrator.py
│   ├── generators/               # 报告生成
│   │   ├── daily_report_generator.py
│   │   └── web_renderer.py
│   ├── push/                     # 推送平台
│   │   ├── base.py
│   │   ├── feishu.py
│   │   └── discord.py
│   └── utils/                    # 工具函数
│       ├── sentinel.py           # Sentinel分段标记（新增）
│       └── prompt_checker.py     # Prompt防退化检查（新增）
├── prompts/                      # 提示词文件
│   ├── article_score.txt         # 单篇评分（含硬约束）
│   ├── extract_entities.txt
│   ├── classify_angle.txt
│   ├── quick_heat.txt
│   ├── precise_heat.txt
│   ├── summary_integrate.txt
│   └── insight_integrate.txt     # 双视角洞察
├── templates/
│   └── daily_report.md           # 含Sentinel标记
├── data/
│   ├── fetch/                    # fetch-yyyy-mm-dd.json
│   ├── notify/                   # notify-yyyy-mm-dd.json
│   └── reports/                  # daily-yyyy-mm-dd.md
├── web/                          # Web归档站点
├── tests/
├── scripts/
│   ├── fetch_loop.py
│   ├── push_loop.py
│   └── setup_systemd.sh
├── requirements.txt
└── README.md
```

---

## 六、关键风险与应对

| 风险 | 影响 | 应对措施 |
|------|------|----------|
| RSS源失效 | 数据缺失 | 多源备份，监控告警 |
| LLM API限流 | 处理延迟 | 批量处理，重试机制，降级策略 |
| 实体识别错误 | 聚类偏差 | 人工标注反馈，Prompt迭代 |
| 热点漏识别 | 信息缺失 | 动态阈值保底机制，人工复核 |
| 成本超支 | 预算超支 | Token监控，模型降级，配额控制 |
| 进程崩溃 | 服务中断 | systemd自动重启 |
| LLM输出退化 | 质量下降 | **Prompt防退化检查** |

---

## 七、里程碑与交付物

| 里程碑 | 时间 | 交付物 |
|--------|------|--------|
| M1 | Week 2 | 稳定运行的数据采集系统 |
| M2 | Week 4 | Fetch循环上线，**评分硬约束生效** |
| M3 | Week 6 | 细粒度聚类引擎，实体提取准确率>85% |
| M4 | Week 8 | 动态热点识别系统，召回率>90% |
| M5 | Week 10 | Push循环上线，**双视角洞察+Prompt防退化** |
| M6 | Week 12 | **Sentinel跨日关联上线**，Web归档站点 |
| M7 | Week 14 | 持续优化迭代 |

---

## 八、借鉴AI Daily的核心设计总结

### 8.1 架构层面
1. **双循环架构**：Fetch循环（实时）+ Push循环（定时）
2. **systemd服务化**：替代Python内部定时，提升稳定性
3. **文件存储规范**：fetch/notify/reports三种文件类型，明确保留策略

### 8.2 LLM应用层面
1. **评分硬约束**：非目标领域≤79、KOL转述≤89，有效控制信息质量
2. **Prompt防退化**：禁止套话、要求从素材出发，避免LLM输出风格趋同
3. **双视角洞察**：metadata（事实压缩）+ 正文（趋势判断）解耦

### 8.3 数据管理层面
1. **Sentinel分段标记**：单文件多板块精确管理，支持跨日关联
2. **跨日关联**：从历史日报提取上下文，追踪事件发展脉络
3. **数据保留策略**：自动清理过期文件

### 8.4 工程层面
1. **日志集中管理**：systemd journal便于问题定位
2. **多平台推送**：飞书、Discord webhook支持
3. **成本可控**：每天约1.3-1.6元

---

*文档版本：v2.1*  
*最后更新：2026-05-28*  
*状态：已融合AI Daily四大核心设计（Sentinel、硬约束、防退化、双视角）*