给我整 growgen

给我整一个浏览器上的本地多模态助手


Listen Later

第25周总结(2025年6月13日)

📌 本周重点

2025年已过半


学习了 LangChain 和 Transformer.js,可以在浏览器中运行多模态 AI Agent


🧠 技术要点

LangChain 结构

LangChain:构建 AI 工作流,封装大模型调用

LangSmith:调试和监控工作流

LangGraph:实现复杂、多模态 agent 流程


举例:一句“今天天气如何?”背后其实涉及多个 API 调用(时间、位置、天气)+ 文本生成模型组合。


Transformer.js + ONNX

可在浏览器端运行 Hugging Face 模型(ONNX 格式)


脱离服务器,纯前端推理

实现轻量多模态 AI 交互体验


⚠️ 技术挑战

模型太大(上百 MB 到几 GB)加载慢

解决方案探索:

使用 Service Worker 的 background fetch 实现断点续传(仅支持 Chrome 系)

用户手动下载模型 + 校验 hash(兼容性更好)


🧪 其他探索

看了 BitECS,准备结合 Babylon.js 写个 ECS Demo

下周尝试评估 ECS 架构在浏览器端的性能表现


✅ 总结感悟

彻底理解了 AI agent 的结构和工作流

浏览器端跑 AI 是可能的,但仍需解决下载和兼容问题

...more
View all episodesView all episodes
Download on the App Store

给我整 growgenBy 宫不上