Claude Code赋能文本挖掘：文科生也能玩转爬虫与数据分析

文本数据挖掘一直是量化研究中门槛较高的领域，尤其对文科背景的研究者而言，Python复杂的语法和爬虫技术往往让人望而却步。随着AI Agent工具的成熟，这一局面正在被改写。在B站学术直播中，来自中南财经政法大学的陈老师系统分享了如何利用Claude Code（CC）完成文本挖掘论文的全流程，从数据采集到清洗、特征提取再到深度分析。

从对话式AI到AI Agent：科研技术平权的两次跃迁

陈老师将AI辅助科研的演进分为两个阶段。早期使用DeepSeek^广告、Kimi、文心一言等对话式AI时，研究者需要把AI生成的代码复制到Jupyter Notebook或PyCharm里运行，遇到报错再把错误信息贴回去让AI修改。这种工作流虽然打破了"必须手写代码"的门槛，但依然存在明显痛点。

"代码好像跟数学一样，不会就是不会"——这是许多文科研究者的真实心态。陈老师指出，代码本质上也是一种语言（机器语言），完全可以借助AI生成。他在过往课程中曾让学员先不安装Python，直接调用对话式AI生成几百行爬虫代码，几十秒就能完成人类程序员半小时才能敲出的工作量。

不过，这套工作流在爬虫环节容易碰壁。爬虫具有强特异性——每个网站的构建方式、反爬机制都不同，等于要为每个目标"量身打造"采集脚本。陈老师坦言，对话式AI迭代三到四次写不出来，就容易"钻牛角尖"，此时需要人工去程序员社区找方向，否则AI会一直在原地打转。

Claude Code的核心突破：自主试错与自动化

真正让效率发生质变的是以Claude Code为代表的AI Agent。陈老师用一个亲身案例说明差异：他让CC爬取某个带有反爬机制的网站，CC自动尝试了八种不同方法，第八种才成功。整个过程无需人工干预——第一种方法失败后，它会自动切换第二、第三种策略，不需要研究者反复复制粘贴报错信息。

"如果是原来那种对话式AI，很多同学试到第三、第四种方法不成功就放弃了。"陈老师强调，CC的自主性体现在它能主动探索有效方案，直到任务完成。在他的演示中，界面上绿色代表步骤顺利，白色是阶段性汇报，红色是脚本报错。关键在于——即使出现红色报错，也不必害怕，CC会自己把红色纠正为绿色。

更进一步的是能力要求的降低。过去学Python动辄要看三五百小时的课程，"从入门到放弃"。有了CC，研究者对代码的要求从"能手写"降到"能看懂逻辑"，甚至如果不想控制风险，连看懂代码都不太需要了。CC会直接交付结果，包括数据文件、图表和一份summary总结。

值得关注的是成本。陈老师使用CC调用国产大模型DeepSeek（而非直接调用Anthropic官方API以避免封号风险），爬取800多条豆瓣影评仅花费约1元人民币。相比淘宝代爬每条约1毛钱的价格，这套方案在效率和成本上都有优势。

文本挖掘的完整流程：从采集到三大分析方法

陈老师用《牛来》这部争议性电影的豆瓣影评作为演示案例，完整梳理了文本挖掘的流程：

数据采集：不必局限于爬虫。除了自动化采集网页信息，从数据库导出、读取打包好的PDF文件等都属于获取文本的合法途径。CC可以直接接收网址生成爬虫，也可以读取本地文件进行分析。

数据预处理（清洗）：这是决定后续分析精度的关键环节。工作包括处理乱码、统一繁简体、清理中英混杂内容、去除标点和无关数字。中文文本还需调用结巴分词库进行切分——因为中文不像英文有天然的空格分隔。此外还需设置停用词，比如在《牛来》影评中，"电影""牛来"这类必然高频出现却无分析价值的词应当剔除，让"导演""故事""妈妈"等真正的关注点凸显出来。

特征提取：将文本转化为多维词向量，让计算机能够理解。这一步包括词频统计和词云图绘制，类似量化研究中的描述性统计，是对数据形态的初步观察。

在核心分析层面，陈老师推荐初学者掌握三种方法，并比喻为可自由组合的"积木"：

• 聚类分析：看文本能分为哪些阵营或类别。例如分析养老政策时，可以将数百条政策归类，看国家从哪几个方面着手。
• 主题分析（LDA主题模型）：识别文本背后表达的几个核心意思。LDA（潜在狄利克雷分配）是主流模型，能挖掘文本深层含义。陈老师在演示中从《牛来》影评里识别出约八个主题，涵盖剧情、人物、家庭关系、制作水平批评等。
• 情感分析：判断文本的情感倾向。早期只能识别正向、负向、中性（如情感分数接近1为积极、接近0为消极），现在已能进一步细分情感类型——喜悦、愤怒、悲伤各占多少比例。

陈老师提醒，单用一种方法发论文较为单薄，将两三块"积木"组合，或与QCA、fsQCA等其他方法搭配，才更有竞争力。他分享的一篇论文就是用质性主题分析从小样本访谈中提取理论模型，再用LDA从大范围网络样本验证模型。

结巴（jieba）是目前中文NLP领域使用最广泛的开源分词库，支持精确模式、全模式和搜索引擎模式三种切分方式。中文分词的难点在于词语边界歧义——"研究生命科学"既可切为"研究生／命科学"，也可切为"研究／生命科学"，上下文语境决定正确切法。停用词表（stopword list）则是一份预定义的无实义词清单，涵盖"的""了""是"等虚词及领域内的高频无关词，过滤后才能让有区分度的实义词在词频统计和向量化中得到应有的权重。词向量化（如TF-IDF或词袋模型）将清洗后的文本转换为数值矩阵，是所有后续机器学习分析的共同前提——聚类、主题模型和情感分类都以这一矩阵为输入。

概念澄清：LDA主题模型不是质性主题分析

直播中一个重要的方法论辨析是：LDA主题分析与质性的主题分析（Theme Analysis）并不相同。

主持人系统梳理了文本分析的三条路径：诠释主义路径（关注文本背后的意义、动机与情境，如诠释性现象学、扎根理论）；语言学/结构主义路径（关注文本如何被建构，如叙事分析）；以及实证主义路径（关注文本本身的结构，如词频、内容分析、聚类、主题模型）。陈老师的课程属于第三条路径的量化范式。

严格来说，LDA应称为"主题模型"（topic model）或主题建模，产出的是topic；而质性主题分析通过逐层编码得到的是theme，二者本质不同。LDA属于机器学习中的"无监督学习"——没有预设标准，研究者和计算机在生成结果前都不知道最终会分出什么，因此不需要也无法预设理论假设。

LDA（Latent Dirichlet Allocation，潜在狄利克雷分配）由Blei等人于2003年提出，其核心假设是：每篇文档由多个主题按不同比例混合而成，每个主题又由一组词语的概率分布来刻画。举例来说，一篇影评可能70%属于"剧情"主题、30%属于"演技"主题，模型会同时输出这两类主题各自最具代表性的高频词。"无监督"意味着研究者无需事先给文本贴标签或设定分类标准，模型完全从词语共现规律中自行归纳结构——这也是它与监督式情感分类器的根本区别。实践中，研究者需要手动指定主题数量（即K值），并在结果生成后对每个主题赋予可解释的语义标签，这一步仍需人工判断，是模型客观性与研究者诠释之间的接合点。

选题重于工具：争议性议题该不该做"共识"分析

直播最有价值的讨论并非技术本身，而是围绕"要不要对网络争议性议题做共识度分析"展开的思辨。

主持人明确反对贸然选择这类题目，并做了细致的分类：价值终极追问型（如堕胎、死刑）、利益零和博弈型（如垃圾焚烧站选址）、涉及权力的少数族群权利型——这三类议题本身就不适合追求共识。他引用罗尔斯《正义论》中的"重叠性共识"概念指出，真正需要共识的情况，往往是因为信息不公开、不对称造成的一知半解，而非终极价值的冲突。

这一讨论指向一个核心观点：文本分析、定量、质性等方法都只是工具，如同厨房里的锅碗瓢盆，重点是能否做出一道打动读者的"菜"。陈老师也认同，AI降低了技术门槛后，学术能力的重心应从"会不会写代码"转向"能否提出有价值的问题"。

使用CC的几个实务提醒

结合直播内容，几点实操经验值得记录：

• CC会自动查找并安装Python，但任务完成后会把临时安装的程序删除，因此建议提前手动安装Python。
• CC有时无法识别本机已装的Python，会转而调用Java等程序，但用Java做文本分析效果远不如Python，此时应强制提示CC调用本机Python。
• 情感分析有多种模型，各有优劣，CC有时会"偷懒"选最简单的方法，导致结果粗糙达不到发表水平。研究者需要了解方法原理才能引导CC做出优化选择。
• 短文本（如B站弹幕）用LDA效果不佳，可改用BTM等专门针对短文本的主题模型。豆瓣、B站评论、知乎问答相对好爬，可作为选题时考虑数据可得性的方向。

关于爬虫伦理，陈老师给出清晰边界：爬虫本质是自动化批量采集普通用户可见的公开信息（如公开评论），这属于合理应用；而暴力破解密码、获取VIP或用户隐私、金融数据则触犯红线，绝不可为。

BTM（Biterm Topic Model）专为短文本设计，针对的是LDA在短文本上表现欠佳的根本原因：LDA依赖文档内部的词共现统计，而一条弹幕或微博通常只有十几个词，文档级共现信号极为稀疏，导致主题估计不稳定。BTM转而在整个语料库层面统计词对（biterm）的共现，绕开了单条文本过短的问题，因此在弹幕、微博、短评等场景下通常能得到更连贯的主题。选择主题模型时，文本平均长度是重要判断依据：豆瓣长评（通常超过100字）适合LDA，B站弹幕（通常不足20字）则建议优先考虑BTM或结合预训练语言模型的方法。