🏷️ 数据预处理

共 4 个相关内容

🧭 导航

Unstructured.io 是 LLM 文档预处理框架，支持将 PDF、HTML、Word、图片等多种格式的非结构化数据解析并分块为 LLM 可用的结构化格式。

Chonkie 是轻量开源文本分块库，内置多种语义与结构感知切分算法，为 RAG 流水线提供高效、可定制的 chunking 能力。

MinerU 是开源高精度文档解析工具，将 PDF、扫描件与网页智能转换为结构化 Markdown/JSON，为 RAG 与 LLM 提供干净语料。

从OpenRefine到AI原生清洗平台，详解2026年主流AI数据清洗工具的使用方法、适用场景与成本对比，附真实数据清洗案例。