概念网络爬虫 / 网页爬虫
爬虫
自动抓取互联网信息的程序技术，常用于数据采集、搜索引擎和数据分析等场景
核心事实
时间轴 (近 90 天)
10月17日
项目中的智能体通过爬虫或API访问供应商官网抓取报价信息，形成“沙箱内运行→MCP网关读ERP→爬虫取报价→多模型协同→ASGI流式返回”的链路。
待验证50%
10月14日
允许爬虫访问不保证排名或引用，只是移除了一个可能的访问障碍。
待验证50%
10月8日
传统爬虫工具在目标网站DOM结构变化时提取逻辑会崩溃导致脚本失效
待验证50%
10月8日
采集公开数据时应尊重网站的 robots 协议和使用条款，采集行为是否合规取决于目标站点服务条款与当地法律法规
已验证65%