1. 用途
GlassFlow 的核心用途是为 Meta Ray-Ban 智能眼镜用户提供实时对话转录与 AI 交互能力。它通过移动应用捕获音频，利用 Deepgram 流式 API 生成带说话人标签的实时字幕，并可选地通过 Gemini Live 实现视觉增强的语音助手体验，同时支持将眼镜第一视角画面通过 WebRTC 直播给浏览器端观众。
项目档案库 / SDK
Intent-Lab/GlassFlow 开源库：用途、安装与使用指南
Intent-Lab/GlassFlow：GlassFlow 是一款为 Meta Ray-Ban 智能眼镜设计的实时转录与 AI 助手应用，支持 iOS 与 Android，提供语音转文本页整理它解决什么问题、适用场景、安装方式和使用方法。
89Star 于 2026年3月17日2026年8月26日 更新
AI 总结
GlassFlow 是一款为 Meta Ray-Ban 智能眼镜设计的实时转录与 AI 助手应用，支持 iOS 与 Android，提供语音转文字、说话人分离、Gemini Live 视觉语音交互及 WebRTC 视角直播。
中文项目介绍
GlassFlow 是运行在 iOS 和 Android 设备上的应用，用于捕获 Meta Ray-Ban 智能眼镜（或手机麦克风）的音频，通过 Deepgram Nova-3 流式 API 实现低延迟语音转文字和说话人分离，并可选集成 Gemini Live 进行实时视觉语音对话，同时支持通过 WebRTC 将眼镜视角直播到浏览器。
详细信息与使用说明
2. 解决的问题
项目解决了在智能眼镜场景下的三个核心需求：一是实时、低延迟地将语音转换为文字并区分不同说话人，便于会议记录或听觉辅助；二是通过集成 Gemini Live 提供结合视觉与语音的上下文感知 AI 助手；三是通过 WebRTC 实现眼镜视角的低延迟直播分享，扩展使用场景。
3. 适用场景
主要场景包括：1) 会议或访谈的实时转录与说话人识别；2) 视障或听力辅助场景下的实时字幕生成；3) 通过眼镜视角进行活动直播或远程指导；4) 无眼镜时使用手机摄像头与麦克风测试核心转录功能。
4. 安装与配置
iOS：克隆仓库后，用 Xcode 打开 samples/CameraAccess/CameraAccess.xcodeproj，复制 Secrets.swift.example 为 Secrets.swift 并填入 Deepgram 与 Gemini API 密钥，然后构建运行。Android：克隆仓库后，用 Android Studio 打开 samples/CameraAccessAndroid，在 local.properties 中配置 GitHub Personal Access Token（需 read:packages 范围）以获取 Meta DAT SDK，复制 Secrets.kt.example 为 Secrets.kt 并填入密钥，然后构建运行。
5. 使用方法
手机模式：点击“Start on iPhone/Phone”后按“Scribe”开始转录。眼镜模式：先在 Meta AI 应用中启用开发者模式（设置 → 应用信息 → 连续点击版本号 5 次 → 开启开发者模式），然后在应用中点击“Start Streaming”再按“Scribe”。可选功能：在 Secrets 中配置 webrtcSignalingURL 并启动信令服务器（cd samples/CameraAccess/server && npm install && npm start）以启用直播；配置 Gemini API 密钥以启用 AI 助手。
思维导图
GlassFlow
实时转录 (Deepgram Nova-3)
说话人分离
Gemini Live 视觉语音助手
WebRTC 视角直播
手机模式 (无眼镜测试)
平台支持
常见问题
Intent-Lab/GlassFlow 是做什么的？
GlassFlow 是一款为 Meta Ray-Ban 智能眼镜设计的实时转录与 AI 助手应用，支持 iOS 与 Android，提供语音转文字、说话人分离、Gemini Live 视觉语音交互及 WebRTC 视角直播。
Intent-Lab/GlassFlow 适合用在什么场景？
GlassFlow 的核心用途是为 Meta Ray-Ban 智能眼镜用户提供实时对话转录与 AI 交互能力。它通过移动应用捕获音频，利用 Deepgram 流式 API 生成带说话人标签的实时字幕，并可选地通过 Gemini Live 实现视觉增强的语音助手体验，同时支持将眼镜第一视角画面通过 WebRTC 直播给浏览器端观众。
Intent-Lab/GlassFlow 如何安装？
iOS：克隆仓库后，用 Xcode 打开 samples/CameraAccess/CameraAccess.xcodeproj，复制 Secrets.swift.example 为 Secrets.swift 并填入 Deepgram 与 Gemini API 密钥，然后构建运行。Android：克隆仓库后，用 Android Studio 打开 samples/CameraAccessAndroid，在 local.properties 中配置 GitHub Personal Access Token（需 read:packages 范围）以获取 Meta DAT SDK，复制 Secrets.kt.example 为 Secrets.kt 并填入密钥，然后构建运行。
Intent-Lab/GlassFlow 如何开始使用？
手机模式：点击“Start on iPhone/Phone”后按“Scribe”开始转录。眼镜模式：先在 Meta AI 应用中启用开发者模式（设置 → 应用信息 → 连续点击版本号 5 次 → 开启开发者模式），然后在应用中点击“Start Streaming”再按“Scribe”。可选功能：在 Secrets 中配置 webrtcSignalingURL 并启动信令服务器（cd samples/CameraAccess/server && npm install && npm start）以启用直播；配置 Gemini API 密钥以启用 AI 助手。