在文档摄入中，每个文档生成MD5哈希作为document_id，内容哈希用于精确去重，生产环境建议加入MinHash做近似去重，失败文档进入死信队列支持断点续传。