IndexFlow 是什么？

IndexFlow 是使用 Rust 构建的开源核心技术 SEO 与搜索引擎索引基础设施。它为开发者、网站所有者和技术 SEO 工程师提供自动化、确定性的流水线，用于发现、验证、监控网站 URL，并将其直接提交至主流搜索引擎。

┌─────────────────────────┐
│   1. Sitemap Engine     │  Recursive parsing, Google extensions, priority scoring
└───────────┬─────────────┘
            │
            ▼
┌─────────────────────────┐
│   2. SEO & GEO Gate     │  Pre-flight checks: 200 OK, canonical, noindex, AI bot rules
└───────────┬─────────────┘
            │
            ▼
┌─────────────────────────┐
│   3. Indexing Radar     │  Dual-engine verification: Google Search Console & Bing Webmaster
└───────────┬─────────────┘
            │
            ▼
┌─────────────────────────┐
│   4. Active Push        │  Direct submission: Bing IndexNow & Google Indexing API
└─────────────────────────┘

为什么选择 IndexFlow？

大规模管理网站索引和技术 SEO 会面临几个根本性挑战：

1. 盲目提交问题

大多数索引工具会不加区分地推送 URL。提交返回 HTTP 404、重定向链（301/302）、缺少 canonical 标签或带有 noindex 指令的 URL，会浪费爬取预算并损害域名的搜索声誉。

2. 搜索 API 配额限制

搜索引擎 API 施加严格的每日速率限制：

Google Search Console (GSC) Inspection API：每个项目每天 2,000 次查询。
Google Indexing API：每个项目每天提交 200 个 URL。
Bing Webmaster Tools API：1.5 QPS 速率限制。

查询或推送已编入索引的页面会耗尽每日配额，使新内容或更新内容无法被索引。

3. 数据孤岛彼此断开

传统方案将 sitemap 生成、SEO 审计、搜索控制台分析和推送工具分散在不同系统中。没有统一的事实来源，能够关联 sitemap 中已发布的内容与搜索引擎实际已索引的内容。

4. 运行时开销过重

许多 SEO 爬虫和管理平台建立在较重的运行时环境（Java/Node.js）上，需要数 GB 内存和外部数据库依赖（PostgreSQL、Redis），导致自托管成本高且维护困难。

四阶段索引流水线

IndexFlow 使用内部具备并发安全性的 PipelineManager，将 URL 生命周期建模为四个连续阶段：

阶段	名称	描述	关键模块
阶段 1	Sitemap 发现	从 XML sitemap、sitemap 索引层级、`.xml.gz` 存档和纯文本列表中导入 URL。根据 `<priority>`、`<lastmod>` 和新鲜度计算 URL 调度优先级。	`indexflow-sitemap`、`SyncWorker`
阶段 2	技术 SEO 门	并发执行页面审计，拦截损坏页面、`noindex` 指令、canonical 不匹配以及 AI 爬虫阻断（`GPTBot`、`ClaudeBot`、`PerplexityBot`、`Google-Extended`）。	`indexflow-seo`、`SeoAuditWorker`
阶段 3	索引雷达	连接 Google Search Console 和 Bing Webmaster Tools。通过 Search Analytics 批量同步已确认的索引 URL（不消耗检查配额），并通过 Inspection API 审计未确认的 URL。	`GscService`、`BingService`、`GscInspectWorker`、`BingInspectWorker`
阶段 4	主动推送	将已验证但尚未索引的 URL 直接提交至 Bing IndexNow（批量推送）和 Google Indexing API（带 24 小时滚动配额熔断器）。	`SubmissionService`、`BingSubmitWorker`、`GoogleSubmitWorker`

核心架构亮点

编译型 Rust 单体服务：IndexFlow 作为单个静态二进制运行，包含 Web 服务器、后台 worker 和启用预写式日志（WAL）的嵌入式 SQLite 存储。空闲内存通常低于 50 MB。
零 Panic 模块化 Crate：
- indexflow-sitemap：独立的 sitemap 解析器，具备解压炸弹防护和 Google 扩展支持。
- indexflow-seo：独立的 HTML 求值器和 GEO 检查器，不会因外部 DOM 解析而 panic。
试运行安全模式：集成的模拟开关（DRY_RUN=true）会在本地拦截并记录所有外部推送请求，从而支持在开发和预发布环境中安全验证。
双重接口：包括由 Axum、Askama 模板和 HTMX 驱动的交互式 Web 控制台，以及用于自动化和 CI/CD 集成的完整 REST API。

开源核心与云服务

IndexFlow-core（开源）：提供独立 Crate、CLI、Web 界面、后台 worker 和 SQLite 存储的开源引擎仓库，用于自托管部署。
IndexFlow-cloud：提供托管基础设施、团队协作、计划流水线和托管文档（位于 https://www.indexflowing.com/docs）的商业托管服务。