PicMe 功能交互规范
本文档定义 PicMe 的用户交互流程与体验规则。
产品目标与核心命题见../../PRODUCT.md。
目录
1. 智能相册与图片编辑(核心产品与默认首页)
1.1 产品定位
相册与图片编辑是 PicMe 的核心产品场景与应用默认首页。用户在这里完成照片浏览、搜索、管理、美颜编辑等高频操作。相机作为内容采集入口,照片拍摄后自动进入相册流程。
Agent 介入方式: - 语音/文字命令调节编辑参数(“磨皮再强一点”“帮我调成复古风”) - 自然语言相册搜索(“找出去年夏天的照片”“有哪些合照?”) - 批量处理(“把这些照片都调成冷色调”) - AI 一键优化(“帮我优化这张照片”) - 自然语言相册管理(“把这张照片移到旅游相册”“删除模糊的照片”) - 智能分类查询(“显示所有猫的照片”“按地点分组”)
1.2 相册首页
相册首页是用户打开 PicMe 后的首屏,所有其他能力(相机、聊天、模型中心)从这里进入。
页面布局
┌─────────────────────────────┐
│ 顶部栏:搜索框 + AI 助手 + 设置 │
├─────────────────────────────┤
│ 分类标签栏(横向滚动) │
│ [全部][人物][地点][事物] │
│ [收藏][截图][视频] │
├─────────────────────────────┤
│ │
│ 媒体网格(瀑布流) │
│ (多选模式/长按操作) │
│ │
│ │
│ [语音Agent]│
├─────────────────────────────┤
│ [📷 相机][💬 聊天][🤖 模型] │
└─────────────────────────────┘
底部导航 - 三个入口均显示图标 + 文字标签,降低首次使用成本 - 相机:内容采集入口 - 聊天:AI 助手二级页 - 模型中心:模型下载/设置入口
分类标签系统 - 自动分类:AI 识别照片内容,生成智能分类标签 - 支持标签类型:人物(人脸聚类)、地点(GPS 聚类)、事物(物体识别)、场景(风景/美食/建筑等) - 混合视图:默认「全部」时间轴,可按标签快速过滤 - 自定义相册:用户创建命名相册,手动添加/移除照片
视图模式 | 模式 | 说明 | |——|——| | 网格视图(默认)| 3 列缩略图,长按进入多选 | | 时间线视图 | 按日期分组,大图预览,左滑查看更多 | | 年视图 | 年度精选回顾,大图 + 日期标注 |
1.3 媒体查看器
交互 - 双指缩放(1x~4x) - 缩放态优先平移,禁用翻页 - 回到 1x 后恢复翻页 - 展开/收起跟随手指轨迹 - 左右滑动切换上一张/下一张
工具栏 - 顶部:关闭 | 编辑(图片) | OCR | AI 编辑 | 信息 | 分享 | 删除 | 收藏 - 视频:播放/暂停 | 进度条 | 音量 | 全屏 - 半透明深色背景,浅色图标
媒体信息浮层 - 点击「信息」按钮弹出 - 显示:拍摄日期、位置(地图缩略图)、分辨率、文件大小、设备型号 - AI 标签:自动识别的场景/物体/人物标签 - EXIF 原始数据(可展开)
1.4 静态图美颜编辑
入口 - 工具栏「编辑」按钮(仅图片) - 长按图片直接进入 - AI 对话触发(“编辑这张照片”) - 从聊天页图片消息点击「编辑」
流程 1. 异步加载原图 + 人脸检测 2. 显示 BeautySelector 面板(同相机) 3. 拖动滑块调节参数,200ms debounce 刷新预览 4. 保存为新文件,不覆盖原图 5. 保存后自动进入对比模式(左右分屏:原图 vs 编辑后)
AI 编辑能力 - AI 一键优化:智能识别场景自动推荐参数(P0,开发中),详见 1.4.1 AI 一键优化 - 精准局部美颜:左眼/右眼/左脸/右脸独立调节(P0,开发中) - 对话式调节:通过聊天指令控制美颜参数(P1,开发中) - 智能消除:圈选物体自动消除,AI 填充(P1,开发中) - 专业调色面板:曲线、HSL、分区调色(P1,规划中) - 构图辅助:自动裁剪推荐(三分法、黄金分割),水平校正(P2,规划中) - AI 增强:去雾、超分辨率、低光增强(P2,规划中)
1.4.1 AI 一键优化
定位:P0 核心能力。通过一键触发,系统自动分析照片场景并应用推荐的美颜、滤镜、调节参数,让用户无需手动调参即可获得更好的照片效果。
技术方案:默认走本地 Fast 路径(ML Kit 图像识别 + 人脸检测 + 本地预设规则);复杂场景可经用户授权后走远程 Smart 路径(视觉大模型)。详见
docs/03-TECHNICAL-SPECS/AI_OPTIMIZATION.md。
入口
| 入口 | 页面 | 优先级 | 说明 |
|---|---|---|---|
| 媒体查看器工具栏 | 相册首页 → 查看单图 | P0 | 顶部工具栏「AI 优化」按钮,最自然的一键入口 |
| 编辑器内按钮 | 图片编辑页 | P0 | BeautySelector 面板顶部或工具栏中的「AI 一键优化」按钮 |
| 批量操作栏 | 相册首页多选模式 | P1 | 长按多选后底部操作栏「AI 优化」 |
| AI 对话命令 | Chat 二级页 | P1 | 用户发送图片并说”帮我优化这张照片” |
| IM 远程控制 | 飞书消息 | P2 | 实验线,与 IM 远程控制同步推进 |
核心流程
单图一键优化(媒体查看器入口)
用户点击「AI 优化」
↓
系统进入分析态(本地路径可省略 loading,直接显示参数卡片)
↓
本地分析:人脸检测 + ML Kit 图像标签 + EXIF/亮度统计
↓
规则引擎匹配场景 preset
↓
弹出推荐卡片:
┌─────────────────────────────────────┐
│ [场景图标] 检测到户外人像 │
│ 已适度磨皮美白,提亮肤色 │
│ │
│ [应用] [微调] [换一换] │
└─────────────────────────────────────┘
↓
├─ 用户点击「应用」
│ ↓
│ GPU 离屏渲染生成新图
│ ↓
│ 保存为新文件(不覆盖原图)
│ ↓
│ 自动进入对比模式(左右分屏)
│
├─ 用户点击「微调」
│ ↓
│ 进入图片编辑页,参数已预填
│ ↓
│ 用户可拖动滑块覆盖任一参数
│ ↓
│ 保存为新文件
│
└─ 用户点击「换一换」
↓
若未授权云端:弹出授权说明
↓
调用远程视觉模型重新生成推荐
↓
显示新的推荐卡片
编辑器内一键优化
用户进入编辑页
↓
点击「AI 一键优化」
↓
系统生成 EditRecipe 并直接应用到预览
↓
用户可立即拖动滑块覆盖任一参数
↓
保存为新文件
关键体验:编辑器内不弹推荐卡片,直接应用并让用户在预览中感知效果,减少一步确认。
状态与反馈
| 状态 | 展示 | 文案示例 |
|---|---|---|
| 分析中 | 按钮/卡片内小菊花 | “正在分析照片…” |
| 推荐成功 | 推荐卡片 | “检测到户外人像,已适度磨皮美白” |
| 应用成功 | Toast + 自动进入对比 | “已保存优化后的照片” |
| 授权提示 | 底部弹窗 | “智能推荐需要上传压缩图片到云端模型,仅用于生成参数,不会留存。是否允许?” |
| 无网络 | Toast | “当前无网络,已应用本地优化” |
| 分析失败 | Toast | “分析失败,请重试或手动编辑” |
| 处理中 | 全屏 loading | “正在生成优化照片…” |
推荐卡片规范
卡片内容: - 场景图标(根据识别结果动态):🧑 人像 / 🍜 美食 / 🏔️ 风景 / 🌙 夜景 / 📝 文档 / ✨ 通用 - 场景名称:“户外人像” / “美食” / “风景” 等 - 一句话说明:“已适度磨皮美白,提亮肤色” - 三个操作按钮:「应用」「微调」「换一换」
按钮行为: - 应用:直接生成并保存新图,进入对比模式 - 微调:进入编辑器,参数已预填 - 换一换:调用远程 Smart 路径重新推荐(需授权)
批量优化
相册首页 → 长按进入多选 → 选择 N 张照片 → 点击「AI 优化」
↓
系统对每张照片分别做本地场景识别
↓
按场景分组(人像/风景/美食…)应用组内统一配方
↓
后台依次处理,显示进度浮层
↓
完成后回到相册,新文件自动高亮
批量优化限制: - 单次最多 50 张 - 仅使用本地 Fast 路径(不使用远程 Smart,避免大量上传) - 处理在后台线程,用户可离开相册 - 完成后通过本地通知或相册内提示告知用户
隐私与授权
- 本地 Fast 路径:无需任何授权,敏感数据不出设备
- 远程 Smart 路径:
- 首次触发时显示授权说明弹窗
- 设置中提供「允许云端 AI 优化」开关
- 上传图片压缩至最长边 512px,JPEG 质量 80
- 云端模型仅用于生成参数,不存储用户图片
对话命令
| 指令 | Agent 响应 | 执行位置 |
|---|---|---|
| 「帮我优化这张照片」 | 发送优化后的图片 + 一句话说明 | 本地/远程生成 → 聊天页返回 |
| 「把这张照片修好看点」 | 同上 | 同上 |
| 「优化后太白了」 | 进入编辑器或重新推荐低美白参数 | 同上 |
编辑历史
- 支持撤销/重做(最多 20 步)
- 支持对比原图(长按/按钮)
- 每次保存保留编辑参数副本,可重新调整(非破坏性编辑)
1.5 智能分类与搜索
智能分类 | 分类维度 | 技术方案 | 说明 | |———-|———-|——| | 人脸聚类 | ML Kit Face Detection | 检测人脸 → 特征向量 → 聚类分组,“人物”标签 | | 地点分组 | GPS 信息聚类 | 按拍摄地点聚合,支持地图视图 | | 场景识别 | ML Kit Image Labeling | 自动标注风景/美食/建筑/动物/文字截图等 | | 日期聚合 | EXIF 日期 | 按年/月/日分层聚合 |
自然语言搜索 - 全能搜索框:位于相册首页顶部,支持混合查询 - 查询示例: - “找出去年夏天的照片” → 时间 + 场景过滤 - “有哪些含食物的照片” → 内容识别过滤 - “我和小明的合照” → 人脸聚类 + 关键词 - “在上海拍的照片” → 地点过滤 - “最近一个月拍的视频” → 类型 + 时间过滤 - 搜索结果显示为可交互媒体网格 - 支持从搜索结果中直接编辑/分享/删除 - 搜索历史保留(本地存储,最多 20 条)
OCR 文字提取 - 触发方式:工具栏「提取文字」按钮 / AI 对话触发(“这张图上的文字是什么?”) - 展示方式:原位浮层(白色卡片 + 黑色遮罩) - Header:标题 + 字数统计 - Content:可滚动文字,支持选中复制 - Footer:复制全部 / 分享按钮 - 识别语言:自动检测(中文/英文为主),支持手动切换
1.6 相册管理
自定义相册 - 创建命名相册(支持封面自定义) - 手动添加/移除照片 - 智能相册:基于规则自动收录(如”最近 30 天拍摄”“收藏的照片”) - 相册排序:支持置顶、拖拽排序
批量操作 - 多选模式(长按进入) - 批量:删除、分享、收藏、移动至相册、应用美颜/滤镜 - 全选/反选 - 选择栏显示选中张数
存储管理 - 显示总照片/视频数、总空间占用 - 显示”最近删除”(30 天内可恢复) - 大文件扫描(> 10MB 文件列表) - 相似照片检测(连拍/重复照片推荐删除),入口位于设置页「相册功能」卡片
1.7 AI 编辑进阶
智能消除 - 圈选/涂抹指定区域 - AI 内容感知填充,消除路人/物体/水印 - 支持矩形圈选和自由涂抹两种模式 - 处理后提供对比视图
专业调色 - 曲线工具:RGB 独立通道曲线 - HSL 工具:色相/饱和度/明度独立调节(红橙黄绿青蓝紫 + 品红) - 分区调色:阴影/中间调/高光独立调节 - 预设保存:保存自定义调色方案为预设
构图辅助 - 自动裁剪推荐(基于三分法、黄金螺旋、对称构图检测) - 水平校正(自动检测地平线倾斜角度) - 透视校正(建筑拍摄畸变纠正)
1.8 视频管理
- 视频缩略图:自动提取关键帧作为封面
- 视频播放器:基础播放控制 + 进度条预览
- 视频信息:时长、分辨率、帧率、编码格式
- 视频截取:选择时间范围截取片段
- 视频转 GIF:一键生成 GIF
- AI 视频摘要:自动识别精彩片段生成短视频(P3,规划中)
2. AI 对话页(二级页)
2.1 页面定位
AI 对话页是从相册首页底部「聊天」Tab 或顶部「AI 助手」图标进入的二级页面,是相册/编辑操作的自然语言加速器,而非应用主入口。
2.2 页面布局
采用全屏对话式设计:
┌─────────────────────────────┐
│ 顶部栏:返回 + 设置 + 清空 │
├─────────────────────────────┤
│ │
│ 对话消息列表区域 │
│ (支持文本/图片消息) │
│ │
├─────────────────────────────┤
│ [当前模式 ▼] 输入框 [发送] │
│ (显示当前推理模式,可手动覆盖) │
└─────────────────────────────┘
2.3 模型切换(输入框下拉)
显示内容: - 输入框左侧显示当前推理模式标识,而非直接让用户选择本地/远程 - 点击可展开面板,查看当前模式说明或手动覆盖
模式选项: - 本地模式(Qwen3.5-2B):绿色圆点标识,端侧推理,无网络依赖,适合隐私偏好或离线场景 - 远程模式(DeepSeek 等):蓝色圆点标识,云端推理,复杂推理能力强
切换行为: - 点击输入框左侧下拉按钮展开选项 - 切换即时生效,当前对话上下文保留 - 切换时显示 Toast 提示:“已切换至本地模式” / “已切换至远程模式” - 本地模型不可用时(未下载/加载失败),自动禁用该选项并提示
默认策略: - 首次安装:默认远程模式(确保最佳体验) - 用户可在设置中设定「隐私偏好」为本地优先 - 无网络时:自动回退本地模式(如可用)
2.4 对话消息类型
| 消息类型 | 发送方 | 展示样式 | 支持操作 |
|---|---|---|---|
| 文本消息 | 用户/AI | 用户右对齐气泡 / AI 左对齐气泡 | 长按复制 |
| 图片消息 | 用户 | 缩略图 + 点击放大 | 长按保存/分享 |
| 操作卡片 | AI | 命令执行状态 / 参数确认 / 图片建议 / 计划预览 | 点击查看详情、确认/取消/应用 |
2.5 快捷入口栏
聊天页不提供底部快捷入口栏;相机、相册、编辑等能力统一从相册首页进入。用户完成聊天内触发的编辑/拍照后,返回相册首页而非聊天页。
2.6 对话持久化
- 所有对话消息自动保存到本地 Room 数据库
- 支持按会话查看历史(当前仅单会话,后续扩展多会话)
- 应用重启后自动恢复最近对话
- 消息上限:单会话 1000 条,自动清理最早消息
- 支持手动清空对话(顶部栏菜单)
3. Agent 交互
3.1 交互模式
PicMe 提供两种交互模式,用户可自由切换:
| 模式 | 入口 | 适用场景 |
|---|---|---|
| 对话模式 | 底部输入栏 / 语音按钮 | 复杂指令、连续调节、探索发现 |
| 快捷模式 | 右侧控制栏(相机/编辑页内) | 高频单操作、快速调节 |
端侧能力边界说明: - 端侧模型(Qwen3.5-2B)胜任:明确单指令(“拍照”“磨皮50”)、简单组合指令(“美白30拍照”)、基础闲聊 - 端侧模型局限:复杂多条件(“3秒后切前置再连拍3张”)、深度上下文推理(“再亮一点”)、开放式深度对话 - 超出端侧能力时:自动降级到远程 LLM(非敏感场景)或规则模板兜底
3.2 对话模式
界面布局 - 输入栏位于屏幕底部,半透明毛玻璃背景 - 点击展开对话面板,显示历史消息 - 支持语音输入(按住说话)和文字输入 - 模型状态显示:输入框左侧显示当前模式标识,点击可手动覆盖或查看说明
Agent 反馈规范 - 确认类:「已为你调高美颜强度」 - 澄清类:「你想调节磨皮还是美白?」 - 建议类:「光线较暗,是否开启夜景模式?」 - 错误类:「抱歉,我没听懂,请再说一次」 - 模式切换提示:「当前使用远程模型(DeepSeek)」
多轮对话示例
用户:调高美颜
Agent:已为你调高美颜强度(磨皮+20)
用户:再高一点
Agent:已将磨皮提升至 50
用户:换一个滤镜
Agent:已切换至「胶片金」滤镜
3.3 支持的意图
| 意图类别 | 示例指令 | Agent 响应 | 执行层级 |
|---|---|---|---|
| 对话(基础) | 「你好」「今天怎么样」 | 友好回复 | L2 本地(Qwen3.5-2B)/ L4 远程 |
| 对话(深度) | 「解释相对论」「写一首诗」 | 详细回复 | L3/L4 远程 |
| 图片分析 | 「帮我看看这张照片」 | 内容描述 + 建议 | L3 远程(复杂)/ L2 本地(简单) |
| 美颜调节(单参数) | 「磨皮 50」「美白高一点」 | 参数确认 + 实时预览 | L2 本地 |
| 美颜调节(多参数) | 「瘦脸 30,美白 50」 | 参数确认 + 实时预览 | L2 本地(简单)/ L3 远程(复杂) |
| 滤镜切换 | 「换个冷调」「复古风格」「原图」 | 滤镜名称 + 视觉切换 | L2 本地 |
| 相机控制 | 「拍照」「翻转镜头」「拉近一点」 | 操作执行 + 状态反馈 | L1 缓存 / L2 本地 |
| 应用启动 | 「打开微信」「启动支付宝」 | 启动目标应用 + 结果反馈 | L2 本地 |
| 系统设置 | 「打开WiFi设置」「打开蓝牙设置」 | 打开系统设置页 + 结果反馈 | L2 本地 |
| 跨应用自动操作 | 「点击通讯录」「输入 1234」「返回」 | 在其他应用中执行点击/输入/返回等操作(需开启无障碍服务) | L2 本地 |
| 组合指令 | 「3秒后拍照」「美白30并拍照」 | 顺序执行 + 状态反馈 | L2 本地(简单组合)/ L3 远程(复杂组合) |
| 参数查询 | 「当前美颜多少?」「有什么滤镜?」 | 数值回复 / 列表展示 | L2 本地 |
| 上下文推理 | 「再高一点」「换一个」 | 基于历史推断意图 | L2 本地(规则兜底)/ L3 远程 |
| 闲聊 | 「今天天气怎么样」「你会什么」 | 友好回复 + 能力引导 | L4 远程 |
3.4 语音交互
语音输入模式
| 模式 | 触发方式 | 适用场景 | 默认状态 |
|---|---|---|---|
| Push-to-Talk | 按住麦克风按钮说话 | 精确控制、嘈杂环境 | 默认开启 |
| WakeWord | 自动检测语音活动 | 免手操作、快速指令 | 默认关闭,可在设置中开启 |
语音处理流程
AudioRecorder → VAD 检测 → ASR 识别 → LLM 解析 → 命令执行
关键参数 - VAD 阈值:40dB(平衡灵敏度与误触发) - 最小语音时长:100ms - 最大片段时长:4000ms - 静音超时:800ms
Agent 语音反馈 - 识别成功:「已为你调高美颜强度」 - 识别失败:「抱歉,我没听清,请再说一次」 - 命令执行:「正在切换至前置摄像头」 - 端侧能力不足:「这个指令有点复杂,让我想想…」(自动切换远程推理) - 模式切换:「已切换至本地模型,正在使用 Qwen3.5-2B」
3.5 体验红线
- 响应延迟:Agent 回复首字 < 500ms(本地 L2)/ < 1.5s(远程 L3/L4)
- 语音响应:ASR 识别到命令执行 < 1.5s(本地)/ < 3s(远程)
- 模型切换延迟:本地↔︎远程切换 < 200ms,无卡顿感
- 反馈完整:每个用户输入必须有可见反馈,包括降级提示
- 渐进披露:复杂能力通过对话引导发现,不一次性罗列
- 降级透明:端侧能力不足时,明确告知用户正在切换模式(可选)
- 对话恢复:应用重启后对话历史恢复 < 500ms
4. 智能相机(辅助入口)
定位变更(ADR-005 决定 4):相机从核心产品降级为辅助入口,AI 功能优先级降至 P2。相机主要用于内容采集,拍照后自动进入相册编辑流程。
4.1 美颜系统
功能范围 - 面部精修:磨皮、美白、瘦脸、大眼 - 妆容调节:唇色、腮红、眉毛
交互规范 - 入口:右上角控制栏「美颜」按钮 - 面板:半屏高度,底部滑出 - 实时预览:参数调整即时生效,延迟 < 100ms - 对比功能:长按预览区查看原图,松手恢复
美颜总开关 - 默认状态:关闭(进入相机时人脸检测不运行,节省性能) - 开启方式: - 用户点击美颜面板开关 - 调节任意美颜参数时自动开启(resolveNextBeautySettings) - 关闭方式: - 用户手动关闭开关 - 所有美颜参数归零时自动关闭 - 行为差异: - 关闭时:跳过人脸检测,仅支持滤镜/调色/风格特效 - 开启时:启用人脸检测,支持全部功能(含瘦脸/大眼/唇色/腮红)
参数范围
| 功能 | 范围 | 默认值 |
|---|---|---|
| 磨皮 | 0-100 | 35 |
| 美白 | 0-100 | 25 |
| 瘦脸 | -50~+50 | 0 |
| 大眼 | 0-100 | 20 |
| 唇色 | 0-100 | 40 |
| 腮红 | 0-100 | 20 |
| 眉毛 | 0-100 | 15 |
4.2 滤镜系统
色调滤镜 - 徕卡经典、徕卡鲜艳、徕卡黑白 - 胶片金、胶片富士、复古 - 冷调、暖调
风格特效(GPU 实时渲染) - 卡通、素描、海报、浮雕、交叉线
交互规范 - 横向滚动列表展示 - 风格特效独立区域,可与色调叠加 - 切换动画 < 200ms
4.3 拍摄交互
快门反馈(三位一体) 1. 触感:50ms 短震动 2. 音效:快门声同步播放 3. 视觉:50ms 黑场闪烁 + 按钮缩放
人脸十字星 - 锁定人脸且设备运动时显示 - 画面稳定后自动淡出 - 避免长期遮挡构图
4.4 技术约束
- 人脸检测:MediaPipe Face Mesh 468→106(默认),MNN 2D106(备选)。InsightFace ONNX 与 NCNN 路径已完全移除
- 渲染引擎:自研 OpenGL ES 管线(大美丽)
- 拍照处理:GPU 离屏渲染,预览/输出一致性
5. IM 远程控制(实验性融合入口 - P2)
定位调整:IM 远程控制从 P0 降级为 P2 实验线,不占用核心产品研发资源。仅在相册/编辑/对话主路径稳定后投入,并设定明确的数据决策点。
5.1 产品定位
IM 远程控制是 PicMe 的实验性融合入口,将智能相册的核心能力(浏览、编辑、搜索、管理)通过 IM 机器人暴露为远程可调用服务。用户无需打开 App,只需在飞书等 IM 中发送消息,即可完成照片处理、相册管理等操作。
设计原则: - 场景互补:IM 适合「即发即走」的轻量操作,App 内提供完整编辑体验 - 结果交付:编辑后的图片直接通过 IM 返回,无需跳转 App - 隐私分级:敏感操作(人脸编辑等)需设备端确认,非敏感操作(裁剪/调色)直接执行 - 异步解耦:大文件处理后台执行,完成后通过 IM 通知 - 数据决策:设定人均每周使用次数等核心指标,不达标则冻结该线
5.2 飞书机器人接入
配置方式 - 用户通过飞书应用目录搜索「PicMe 相册助手」添加机器人 - 或通过自建应用配置 App ID 和 App Secret - 设备绑定:在 App 中获取配对码,在飞书中发送完成绑定 - 支持多设备绑定(手机 A + 平板 B),可通过 IM 指定目标设备
交互流程
┌────────────┐ ┌──────────────────┐ ┌──────────────┐
│ 用户 IM │ ──→ │ 飞书开放平台 │ ←───→│ PicMe 设备端 │
│ (飞书消息) │ │ (Bot WS网关) │ │ (Android) │
└────────────┘ └──────────────────┘ └──────────────┘
↑ │
└──────────────── 结果直接回复 ────────────────┘
(图片/文本/状态)
架构简化:设备端直接通过飞书 OAPI SDK 建立 WebSocket 长连接,无需任何云端中转服务(无 SCF/Cloudflare Workers)。消息接收走飞书 WS 推送,消息回复走飞书 OAPI HTTP。
消息类型支持 | IM 消息类型 | PicMe 处理 | |————-|———–| | 文本消息 | LLM 解析意图 → 生成命令 → 设备执行 | | 图片消息 | 接收图片 → 设备端编辑/分析 → 返回结果 | | 富文本卡片 | 展示处理进度、对比结果、操作确认 | | 交互式卡片 | 参数选择、确认/取消按钮、滑块调节 |
5.3 远程命令能力
相册操作 | 命令 | IM 示例 | 说明 | |——|———|——| | 浏览相册 | 「最近拍的照片」 | 返回最近照片缩略图列表(卡片形式) | | 搜索照片 | 「找出去年夏天的照片」 | 自然语言搜索,返回匹配结果 | | 查看详情 | 「这张照片的拍摄信息」 | 返回 EXIF + AI 标签 | | 删除照片 | 「删除这张模糊的照片」 | 需确认 → 设备端执行 | | 创建相册 | 「建个叫’旅行’的相册」 | 设备端创建命名相册 | | 移动照片 | 「把这张移到旅游相册」 | 跨相册移动 |
图片编辑 | 命令 | IM 示例 | 说明 | |——|———|——| | AI 优化 | 「帮我优化这张照片」 | 自动识别场景 + 推荐参数 | | 美颜调节 | 「磨皮 50,美白 30」 | 远程调节 + 返回处理后图片 | | 滤镜切换 | 「调成复古风格」 | 滤镜预设应用 + 返回预览 | | 智能消除 | 「把照片里的路人去掉」 | 需指定区域或 AI 自动识别 | | 裁剪调色 | 「裁剪成 1:1,再调亮一点」 | 组合命令远程执行 | | 批量处理 | 「把上周的照片都调成冷色调」 | 批量处理 + 打包返回 |
照片发送回 IM - 编辑后的图片自动通过 IM 返回 - 支持原图/压缩图选择(文件大小超过 20MB 自动压缩) - 多图结果以卡片轮播形式展示 - 支持「再调整」交互:用户不满意可继续发消息微调
5.4 远程图片接收与处理
图片上传流程 1. 用户在飞书发送图片 → 飞书开放平台接收 2. FeishuChannelHandler 收到事件 → RemoteCommandDispatcher 解析意图 3. 设备端下载图片(经飞书资源 API)→ 执行编辑命令 4. 结果图片直接通过飞书 OAPI 上传并回复到对话
图片处理限制 - 单张图片最大 20MB(超限自动压缩) - 同时处理队列上限 5 张(防止设备过载) - 处理超时 60s(超时返回错误提示) - 隐私保护:图片不经任何第三方服务器中转
5.5 多设备管理
- 同一飞书账号可绑定多台设备(手机/平板)
- 发送消息时默认选择「最近活跃设备」
- 支持@指定设备(如「@我的平板 处理这张照片」)
- 设备状态:在线/离线/处理中,通过 IM 卡片展示
- 设备解绑:IM 中操作或 App 设置页
5.6 IM 远程控制体验红线
| 红线 | 定义 | 验证方式 |
|---|---|---|
| 命令响应 | IM 消息发出到 Bot 回复 < 3s(含 LLM 推理 + 设备执行) | 端到端计时 |
| 图片处理 | 单张编辑 < 5s(1080p 照片) | 计时 |
| 图片回传 | 处理完成到 IM 可见 < 2s | 计时 |
| 鉴权失败 | 非法请求拒绝 < 500ms | 压测 |
5.7 隐私与安全
- 端侧推理优先:人脸检测/美颜处理优先设备端执行,飞书仅做消息通道
- 传输加密:设备 ↔︎ 飞书全程 HTTPS + 飞书平台标准鉴权
- 数据不留存:图片不经任何第三方服务器中转
- 操作审计:所有远程命令操作记录本地日志,用户可查看
- 设备授权:首次绑定需 App 内配对码确认,支持远程解绑
5.8 远程命令意图分类
| 意图类别 | 示例指令 | Agent 响应 | 执行位置 |
|---|---|---|---|
| 远程浏览 | 「最近有什么照片」 | 照片列表卡片 | 端侧检索 → 飞书回复 |
| 远程编辑(简单) | 「调成黑白」 | 处理后的图片 | 端侧 GPU → 飞书回复 |
| 远程编辑(复杂) | 「把路人P掉」「磨皮美白」 | 处理后的图片 + 说明 | 端侧 AI → 飞书回复 |
| 远程管理 | 「删掉模糊的照片」 | 确认 → 执行 → 结果 | 端侧执行 → 飞书回复 |
| 远程搜索 | 「找出去年夏天的照片」 | 搜索结果卡片 | 端侧检索 → 飞书回复 |
| 设备查询 | 「设备状态」「还剩多少空间」 | 状态信息卡片 | 端侧查询 → 飞书回复 |
6. 设计系统
6.1 HyperOS 风格
- 大圆角:卡片、按钮统一 28dp+
- 毛玻璃:实时模糊 + 半透明背景
- 流体动效:Bezier 曲线 (0.4, 0, 0.2, 1)
- 微交互:长按触感,点击缩放 0.95x
6.2 色彩系统
| 用途 | 色值 | 说明 |
|---|---|---|
| Primary | #00E5FF | 科技蓝,强调操作 |
| Secondary | #FF4081 | 强调粉,特殊提示 |
| 深色背景 | #121212 | 深色模式 |
| 浅色背景 | #FFFFFF | 浅色模式 |
6.3 摄影美学
- 真实自然:避免过度美颜,保持肤色自然
- 高级质感:参考徕卡色彩科学
- 情感表达:通过滤镜传达情绪
7. 通用规范
7.1 国际化 (I18N)
支持语言 - 英文 (en) - 简体中文 (zh-CN) - 繁体中文 (zh-TW)
术语对照
| 简体中文 | 繁体中文 | 英文 |
|---|---|---|
| 相册 | 相簿 | Gallery |
| 美颜 | 美顏 | Beauty |
| 滤镜 | 濾鏡 | Filter |
| 设置 | 設定 | Settings |
| 提取文字 | 提取文字 | Extract Text |
规范 - 字符串资源 ID:[feature]_[description] 小驼峰 - 新增功能必须同步三语 - 禁止硬编码用户可见文案
7.2 性能要求
| 指标 | 目标 | 验证方式 |
|---|---|---|
| 冷启动 | < 500ms | 计时器 |
| 快门延迟 | < 50ms | 高速摄像 |
| 参数跟手 | < 100ms | 人工感知 |
| 相册滚动 | 120fps | Systrace |
| GPU 处理 | 1080p < 300ms | 日志 |
7.3 隐私规范
- 人脸检测、美颜处理、OCR 等敏感操作优先本地执行
- 云端 LLM 用于非敏感复杂推理,需用户授权或明确提示
- 用户数据主要存储在本地,IM 远程控制场景下图片通过飞书通道传输但不经过第三方服务器中转
- 权限申请透明,拒绝后优雅降级
附录 A:Agent 意图与 GUI 映射
附录 B:模型切换状态流转
[用户点击下拉]
↓
[展开模型选择面板]
↓
├─ 选择本地模型(Qwen3.5-2B)
│ ├─ 检查模型是否已下载
│ ├─ 是 → 切换至本地模型,显示绿色标识
│ └─ 否 → 提示"本地模型未下载,前往设置下载?"
│
└─ 选择远程模型(DeepSeek)
├─ 检查网络连接
├─ 有网络 → 切换至远程模型,显示蓝色标识
└─ 无网络 → 提示"网络不可用,已回退至本地模型"
附录 C:快捷入口跳转流程
[用户从相册首页点击相机/聊天/模型中心入口]
↓
[保存当前相册浏览状态]
↓
[跳转对应 Screen]
↓
[用户完成操作]
↓
[自动返回相册首页]
↓
[如从聊天页触发拍照/编辑,将结果作为图片消息插入对话(可选)]
↓
[AI 自动分析图片并给出建议(可选)]
| Agent 指令 | GUI 操作等效 |
|---|---|
| 「磨皮 50」 | 打开美颜面板 → 磨皮滑块调至 50 |
| 「换个冷调」 | 打开滤镜面板 → 选择「冷调」 |
| 「拍照」 | 点击快门按钮 |
| 「翻转镜头」 | 点击翻转按钮 |
| 「当前美颜多少?」 | 打开美颜面板查看滑块位置 |
维护:PM Agent
最后更新:2026-07-03(相册首页作为默认入口,AI 对话页降级为二级页,IM 远程控制降级为 P2 实验线)