Gemini 3.5 Transcribe实测：免费实时翻译85种语言教程

语音转文字进入「智慧转录」时代

过去评价语音转文字工具，衡量标准往往只有一个——精确度，即每个字是否都能被清晰辨识出来。但在AI时代，逐字准确早已是最基本的功能。真正拉开差距的，是模型能否理解语义、去除口误和废话，并将内容整理成可直接使用的格式。

事实上，语音转文字（Speech-to-Text, STT）技术已经历了三个重要阶段：早期基于隐马尔可夫模型（HMM）的统计方法，只能处理有限词汇和特定说话者；2012年后深度学习兴起，端到端神经网络模型（如百度的Deep Speech、OpenAI的Whisper）大幅提升了识别精度，使通用场景下的语音识别错误率降至5%以下；而如今以大语言模型为核心的第三代方案，则在转录基础上叠加了语义理解能力，能够像人类编辑一样对内容进行润色和整理。

谷歌最新发布的 Gemini 3.5 Transcribe 正是瞄准了这一痛点，也正属于这第三代产品。据实测演示，这款模型不仅做到了高精度转录，更在此基础上加入了「语义理解」能力，让输出结果无需二次修改即可直接使用。更重要的是，它目前对所有用户完全免费开放，可以在 Google AI Studio 中直接体验。

Gemini 3.5 Transcribe四大核心功能

85种语言自动侦测

Gemini 3.5 Transcribe 支持超过85种语言，覆盖了全球绝大多数主流语种。最关键的是它支持自动侦测——无需事先告诉模型这段语音使用的是哪种语言，模型会自主判断语种、区域口音乃至方言。对于经常需要中英文夹杂表达的用户来说，这一点尤其实用。

多人说话者自动识别

针对预录音频，模型还支持自动识别不同的说话者（Speaker Diarization），可以标注每段内容分别由谁说出，目前最多支持八位说话者。不过官方注明，三位以上讲者的识别仍处于实验阶段，实际使用时需要留意准确度。

从技术角度来看，说话者分离是语音处理中的一个经典难题，其核心任务是回答"谁在什么时候说了什么"。通常分为三步：首先通过语音活动检测（VAD）区分有人说话和静音的片段；然后提取每段语音的声纹特征（Speaker Embedding），常用的模型包括x-vector和ECAPA-TDNN；最后通过聚类算法（如谱聚类或PLDA）将相似声纹归为同一说话者。三人以上场景之所以更难，是因为声纹重叠、插话和语速变化会显著增加聚类的复杂度。

智慧转录：自动去除口误与填充词

这是 Gemini 3.5 Transcribe 最大的亮点。传统语音转文字是「你说什么它写什么」，会把所有的口误、语气词和废话原封不动地记录下来。而 Gemini 3.5 Transcribe 多做了一层语义理解：

• 当你说「我们礼拜二见，不是礼拜三」时，模型会判断这是一次口误修正，只保留最终结果「礼拜三」；
• 「嗯」「呃」这类填充音会被自动清除；
• 自然的语气停顿不会被错误地识别为句号或断句。

在自然语言处理（NLP）领域，填充词如"嗯""呃""那个"被归类为"非流利现象"（Disfluency）。传统转录系统通常依赖后处理规则或专门训练的分类器来过滤这些词汇，但容易误删有意义的语气词。大语言模型的优势在于能结合上下文语义进行判断：例如"嗯，我同意"中的"嗯"是表态而非填充，应予保留。口误修正则涉及更复杂的语义推理——模型需要识别出"不是X，是Y"这类自我纠正模式（reparandum-interregnum-repair结构），并仅保留修正后的信息。这种能力本质上要求模型具备对话意图理解和篇章分析的综合能力。

这意味着转录出来的文本干净、可读，非常适合会议纪要、笔记整理等场景。

隐藏功能：浏览器音频实时翻译

官方文档中较少提及的一个实用功能是 Share Audio from Tab。它可以读取浏览器中任意标签页的音频，并实时转录、翻译成你需要的语言。

这个功能基于浏览器的Screen Capture API和Audio Capture API实现。Chrome浏览器从92版本开始支持通过getDisplayMedia()方法单独捕获某个标签页的音频流，而不需要捕获整个桌面或安装额外插件。捕获到的音频以Web Audio API处理后，通过WebSocket或WebRTC协议实时传输到谷歌的云端Gemini模型进行推理。这种架构意味着所有计算都在云端完成，本地设备只负责音频采集和结果展示，因此对用户的硬件配置要求极低，但对网络稳定性有一定依赖。

也就是说，以后遇到没有字幕的外语视频，只需打开免费的 AI Studio，切换到 Gemini 3.5 实时翻译模型，就能实时同步看到翻译后的内容。

实操教程：三步开始使用Gemini 3.5 Transcribe

第一步：进入AI Studio并选择模型

打开 Google AI Studio 官网，点击右上角选择 Audio 选项，然后选择最新的 Gemini 3.5 实时翻译预览模型（Live Translator Preview）。进入后你会看到两种工作方式：Talk 和 Share Audio from Tab。

Google AI Studio 是谷歌面向开发者和普通用户推出的免费AI实验平台，可以看作谷歌Gemini系列模型的"试用入口"。用户无需编写代码，只需通过网页界面即可调用文本生成、图像理解、音频处理等多种AI能力。它与谷歌的Vertex AI（面向企业级部署）形成互补关系：AI Studio负责低门槛体验和原型验证，Vertex AI则提供生产级的安全性、可扩展性和SLA保障。

第二步：设置目标语言

界面中提供了七种预设提示词，通常无需修改。真正需要设置的是目标语言——即你希望转录或翻译成的语言，默认是英文。你可以从85种语言中自由选择，比如切换成简体中文。模型会自动识别原始语言，你只需关心最终想要的输出即可。

第三步：选择工作模式

Talk 模式：直接录取当前麦克风的语音进行实时转录。实测中，当目标语言与说话语言一致时，它不会进行翻译，而是把语音干净地转成文字，并自动去除多余的语气词和填充词，非常适合会议整理和口述笔记。

Share Audio from Tab 模式：读取其他浏览器标签页的声音。实测中，分别用 YouTube 的英文新闻、日文新闻以及B站的中文视频进行测试，模型都能完整识别原始语言并翻译成设定的目标语言。

实测体验与细节表现

经过多平台测试，Gemini 3.5 Transcribe 在实际使用中展现了几个值得关注的细节：

智能音量平衡：开启翻译时，模型会自动降低原始标签页的音量，同时提高 AI Studio 端的语音输出音量。原始语音只保留很小一部分作为背景，不会干扰用户听清翻译后的内容。

语气与措辞保留：无论是新闻主持人的语气用词，还是男声、女声的区分，模型都能自动识别并进行相应整理，保持翻译内容的自然度和一致性。

跨平台通用：不仅支持 YouTube，B站以及其他几乎所有音频网站都能正常读取。

目前存在的不足

实测中也发现了明显的短板——延迟问题。浏览器实时翻译大约存在5到10秒的语音延迟，在观看电影等对实时性要求较高的场景下会有一定影响。不过对于快速了解不熟悉语言的内容、辅助语言学习等用途，这样的延迟基本可以接受。

这种延迟主要来源于三个环节：第一是音频缓冲——模型需要积累一定长度的语音片段才能做出准确的语义判断，通常需要1-3秒的上下文窗口；第二是网络传输——音频数据从浏览器上传到谷歌云端服务器再返回结果，受网络带宽和地理距离影响；第三是模型推理——大语言模型进行语义理解和翻译本身需要计算时间。作为参考，专业同声传译员的延迟通常在2-4秒，而传统机器翻译API（如Google Translate的流式模式）延迟约1-2秒，但后者缺乏Gemini这种深度语义理解和语境连贯性。随着模型优化和边缘计算技术的发展，这一延迟在未来有望进一步缩短。

总结

Gemini 3.5 Transcribe 代表了语音转文字从「准确记录」向「智能理解」的演进方向。85种语言自动侦测、说话者识别、智慧转录去除废话，再加上浏览器实时翻译功能，让它成为一款颇具实用价值的免费语音工具。

对普通用户而言，最大的吸引力在于完全免费且门槛极低——只需一个浏览器就能使用。虽然实时翻译存在几秒延迟，但在多语言内容日益丰富的今天，它为跨语言学习和信息获取提供了极大便利。以后再遇到没有字幕的外语视频，或许我们真的可以说：字幕已经不再是必需品了。