从表格结构识别到 FRTR 召回：让大模型先找到证据，再回答问题

1. 找文档

解决“数据在哪个 workbook”的问题。当前主报告关注 workbook_recall@3，作为 sandbox 分析入口。

2. 找证据

定位 sheet / region / range，减少进入上下文的噪声，保留可审计来源。

3. 做分析

对需要公式、聚合、跨 sheet 推导的问题，交给 agent 在沙箱内读取原表执行。

结构锚点：如何提取

1. 枚举行/列边界线：
   找相邻行列的差异
   value / merge / border / fill / font

2. 组合候选表格边界：
   top / bottom / left / right

3. 过滤不合理候选：
   太小、太稀疏、边缘不完整、
   缺少 header-like 行列

4. 处理重叠候选：
   用文本比例、日期/年份格式、
   header 位置判断哪个边界更可信

结构锚点：抽取后变成什么

原始区域：Sales!A1:D14
候选边界：top=1, bottom=14, left=A, right=D
展示用 k=2；论文实验中 k=4 可保留 97%+ 边界行列

保留边界邻域：
  rows 1:3, 12:14
  columns A:D

skeleton before remap:
  A1:D3 + A12:D14

skeleton after remap:
  A1:D6
  row1: 月份 | 区域 | 销售额 | 负责人
  row2: 2024-01 | 华东 | 120000 | Alice
  row3: 2024-02 | 华东 | 135000 | Alice
  row4: 2024-11 | 华东 | 180000 | Alice
  row5: 2024-12 | 华北 | 132000 | Bob
  row6: 合计 | | 1642000 |

坐标 remap 与回映射

remap 的本质是保存两张映射表：

compact row -> original row
  1 -> 1
  2 -> 2
  3 -> 3
  4 -> 12
  5 -> 13
  6 -> 14

compact col -> original col
  A -> A, B -> B, C -> C, D -> D

单元格回映射：
  skeleton C6 -> original C14

range 回映射不能直接拉直：
  skeleton A1:D6
  = original rows [1,2,3,12,13,14], cols A:D
  != original A1:D6

如果该 skeleton 来自候选表格边界，
则用候选 bbox 回到原始范围：
  skeleton A1:D6 -> Sales!A1:D14

压缩前：按网格展开

A2=2024-01, B2=华东, C2=120000, D2=Alice
A3=2024-02, B3=华东, C3=135000, D3=Alice
A4=2024-03, B4=华北, C4=98000, D4=Bob
...

压缩后：按值和格式聚合

结构骨架（layout skeleton）：
Sales!A1:D14 -> skeleton A1:D6

全表倒排索引（原始坐标）：
华东: B2:B3, B5, B7:B8, B10, B12
华北: B4, B6, B9, B11, B13
Alice: D2:D3, D5, D7:D8, D10, D12
Bob: D4, D6, D9, D11, D13
合计: A14

全表格式聚合（原始坐标）：
月份列 A2:A13: Date[yyyy-mm]
销售额列 C2:C14: Currency/Number

第一次调用：定位 range 的系统提示词

你是电子表格范围定位助手。
你只能基于给定的压缩表格表示判断问题相关的数据范围。
不要回答问题，不要计算最终数值。
请只返回 JSON：
{
  "sheet": "...",
  "ranges": ["A1:D14"],
  "reason": "为什么这些范围足以回答问题"
}

第一次调用：用户提示词示例

问题：2024 年 Q2 华东区域销售额是多少？

压缩表格表示：
候选区域 Sales!A1:D14
结构锚点 skeleton（坐标已重映射）：
  A1:D1 = 月份 | 区域 | 销售额 | 负责人
  A2:D2 = 2024-01 | 华东 | 120000 | Alice
  A3:D3 = 2024-02 | 华东 | 135000 | Alice
  A4:D4 = 2024-11 | 华东 | 180000 | Alice
  A5:D5 = 2024-12 | 华北 | 132000 | Bob
  A6:D6 = 合计 | | 1642000 |
坐标映射：
  skeleton rows [1,2,3,4,5,6] -> original rows [1,2,3,12,13,14]
  skeleton cols A:D -> original cols A:D
  candidate bbox -> Sales!A1:D14
全表倒排索引（原始坐标）：
  华东: B2:B3, B5, B7:B8, B10, B12
  华北: B4, B6, B9, B11, B13
  Alice: D2:D3, D5, D7:D8, D10, D12
  Bob: D4, D6, D9, D11, D13
  合计: A14
全表格式聚合（原始坐标）：
  A2:A13 = Date[yyyy-mm]
  C2:C14 = Currency/Number

注意：skeleton 使用重映射坐标；
倒排索引和格式聚合使用原始坐标。

第一次调用：模型输出示例

{
  "sheet": "Sales",
  "ranges": ["A1:D14"],
  "reason": "问题需要月份、区域、销售额三列；这些字段都在 Sales!A1:D14。"
}

第二次调用：带完整 range 回答

系统提示词：
你是电子表格问答助手。
请只基于提供的完整数据范围回答问题。
如果需要计算，列出筛选条件、参与行和公式。
输出答案、计算过程、证据位置。

用户提示词：
问题：2024 年 Q2 华东区域销售额是多少？
数据范围：Sales!A1:D14
row,月份,区域,销售额,负责人
2,2024-01,华东,120000,Alice
3,2024-02,华东,135000,Alice
4,2024-03,华北,98000,Bob
5,2024-04,华东,142000,Alice
6,2024-05,华北,110000,Bob
7,2024-06,华东,158000,Alice
8,2024-07,华东,166000,Alice
9,2024-08,华北,104000,Bob
10,2024-09,华东,171000,Alice
11,2024-10,华北,126000,Bob
12,2024-11,华东,180000,Alice
13,2024-12,华北,132000,Bob
14,合计,,1642000,

FRTR 的检索单元

为什么要 hybrid RRF

• BM25 擅长字段名、ID、公式引用、精确文本。
• Dense 擅长语义改写、业务描述、自然语言问题。
• RRF 把两路候选按排名融合，降低单一路径漏召。
• 召回结果始终携带 workbook / sheet / range，方便审计和调试。

当前项目真实 case

workbook：frtr_0024_cybersecurity-incidents.xlsx

问题：How many incidents were handled by SOC-EMEA?

标注答案：XLOOKUP("SOC-EMEA", Team_Summary!A:A, Team_Summary!B:B)

标注来源：Team_Summary!B:B

下方关键证据只展示 window / row / column，省略当前项目扩展的 sheet chunk。

FRTR Compose 输入

论文附录 C 的最终问答阶段会把用户问题、检索到的 chunks 和推理指令组合成结构化提示词。chunk 可来自列、行、窗口或嵌入图片；如果包含图片，会一并传给多模态模型。

Question:
How many incidents were handled by SOC-EMEA?

Retrieved chunks:
Chunk 1 (Score: 0.0302, Source: Hybrid)
Type: window | Sheet: Incidents
Range: B947:E950
Severity: Low | Source: Insider | Team: SOC-EMEA | MTTR_hours: 21
Severity: Medium | Source: Insider | Team: SOC-EMEA | MTTR_hours: 27.6

Chunk 4 (Score: 0.0163, Source: Hybrid)
Type: row | Sheet: Team_Summary
Range: A5:C5
Team: SOC-EMEA | Incidents: 240
[=COUNTIF(Incidents!D:D, A5)]

Chunk 5 (Score: 0.0163, Source: Hybrid)
Type: column | Sheet: Team_Summary
Range: A1:A6
Team A2: Team | A3: SOC-East | A4: SOC-West
A5: SOC-EMEA | A6: SOC-APAC

Instruction:
You may see columns, rows, cell windows,
and embedded images. A provided chunk is not
guaranteed to contain the answer.

For text/table chunks, return a cell reference
or Excel formula when appropriate.
For chart/image trend questions, answer in
natural language instead of a cell reference.

Analyze the relevant chunks, explain reasoning,
and return a JSON object with only:
reasoning, answer.

FRTR Compose 输出

论文要求模型输出机器可解析 JSON，只包含推理和答案。provenance 不由模型额外编造，而是由召回 chunk 的 workbook / sheet / range metadata 在系统侧保留。

{
  "reasoning": "SOC-EMEA appears in the Incidents windows. Team_Summary!A5:C5 gives Incidents = 240 with COUNTIF over Incidents!D:D.",
  "answer": "240"
}

region 识别

系统不把整个 sheet 当成一个区域，而是按非空单元格分布先识别局部业务区。

• 先找所有有内容的行列。
• 按空行间隔拆 row band。
• 在 row band 内按列连续性和行重叠度识别 column group。
• 对齐度高、只隔单个空行的小表会合并，避免把同一张表切碎。
• 稠密数据表和说明区会拆开，避免说明文本污染表格 chunk。

表头启发式识别

表头不是简单取第一行，而是在每个 region 顶部独立判断结构性标题和多层表头。

• 连续文本行可能是标题或表头。
• 遇到第一个非纯文本数据行时停止。
• 单元格很少的标题行作为 title row 保留。
• 全字符串数据表会限制表头只取顶部结构行，避免误判数据。
• 多层表头展开为 header_paths，进入 chunk text 与 BM25 字段。

说明区合并与标题锚点拆分

对稀疏、文本型、靠左锚定的说明区域，系统会识别为 note-like region 并必要时跨单个空行合并； 如果长说明区中出现“摘要 / 口径说明 / 风险提示”等短标题锚点，则按锚点拆分，避免一个说明 chunk 过长。

公式与局部上下文保留

项目保留公式文本，并尽量读取 spreadsheet 缓存值，形成“计算值 + 公式”的表达。 window chunk 还保留二维矩阵和上下左右邻接关系，为后续 rerank、二阶段召回和 sandbox 分析做准备。

表头路径示例

在 玩法BUFF sheet 中，系统识别两层表头，并把它们展开成可检索语义。

A: buff效果 > Buff类型
B: buff效果 > 事件名
C: buff效果 > 血量效果
F: buff效果 > 防御力效果（折算后）

chunk 文本示例

表头语义会进入 chunk text，让 dense 和 BM25 都能理解字段含义。

[KL Demo / 玩法BUFF]
Buff类型: 事件buff | 事件名: 消灭疯狼 | 攻击力效果: 0.15
Buff类型: 乱入buff | 事件名: 彗星 | 攻击力效果: 0.3 | 防御力效果（折算后）: -0.1

Workbook 路由能力看 @3

指标：workbook_recall@3。上线兜底时更关注 top-3 工作簿是否包含正确文档，而不是 @50 的宽召回。

range 定位仍是核心瓶颈

指标：range_recall@50。工作簿能找到，但 sheet 内的证据范围还需要 rerank 和二阶段召回。