把照片变3D模型,全在你自己的显卡上跑:开源桌面应用Modly今天涨580星
想让一张照片变成可以旋转、可以 3D 打印、可以放进游戏的模型,过去要么用云端付费 API,要么啃一堆命令行工具。开源项目 Modly 把这件事做成了桌面应用:图片或文字提示词 → 本地 AI 生成 3D 网格,全程跑在你自己的 GPU 上。它今天在 GitHub Trending 上单日涨了 580 星,总星数逼近 6K,是当下最热的本地 3D 生成工具之一。
它解决了什么痛点
3D 建模一直有门槛:Blender 学习曲线陡峭,云端生成服务按次收费还涉及版权和数据外传。Modly 的核心卖点是”本地化”:
– 数据不出门:模型推理全在本地 GPU 完成,适合对数据敏感的设计场景;
– 成本可控:一次电费搞定,没有按次付费的账单;
– 上手简单:安装后从”工作流”标签选一条流程,点 Generate 就出结果。
底层用的什么模型
Modly 不重复造模型,而是做了一套扩展系统:模型以 GitHub 仓库的形式发布,带 `manifest.json` 和运行入口,在应用的 Models 页面”从 GitHub 安装”即可。官方已提供多个主流开源模型扩展:
| 扩展 | 模型 |
|——|——|
| modly-hunyuan3d-mini-extension | Hunyuan3D 2 Mini |
| modly-hunyuan3d-mini-turbo-extension | Hunyuan3D 2 Mini Turbo |
| modly-triposg-extension | TripoSG |
| modly-trellis2-gguf-extension | Trellis2 GGUF |
想快就选 Turbo 变体,想要质量就用完整版,模型按需下载,不占满硬盘。
怎么开始用
第一步:安装。 从 Releases 页下载 Windows、Linux 或 Apple Silicon macOS 安装包;也可以克隆仓库直接跑:
git clone https://github.com/lightningpixel/modly
cd modly
npm install
cd api && python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cd .. && npm run dev
第二步:装模型。 打开应用 → Models 页 → Install from GitHub → 粘贴扩展仓库 URL → 下载模型权重。
第三步:跑工作流。 在 Workflows 标签页搭建 `Image -> Generate Mesh -> Add to Scene`,确认节点连线后,点 Generate 3D Model 按钮,在 Settings/Logs/Errors 里查看进度。
第四步:后处理。 生成的网格可在应用内平滑、减面,优化结果会写回工作区,直接导出使用。
适合谁,不适合谁
– 适合:3D 打印爱好者、游戏资产开发者、电商/广告设计、AR 内容制作者,以及不想把素材上传云端的人;
– 硬件要求:需要一张能跑本地推理的 NVIDIA/Apple Silicon GPU,显存越大生成越快;纯 CPU 机器体验会差;
– 限制:生成质量与云端顶级商用服务仍有差距,复杂精细模型建议人工后处理。
另外 Modly 还提供 CLI,脚本和 AI agent 可以直接调用运行中的桌面应用做批量化生成——想搭”3D 流水线”的团队可以重点关注。
本地 AI 工具的规律正在重演:先能跑、再跑快、最后便宜到人人可用。Modly 已经在”能跑”这一步站稳了。
和云端方案怎么选
直接对比一下更直观:
– 云端 API(如 Tripo 等商用服务):速度快、质量高,但按次计费、素材要上传、有数据合规风险,商用授权还要单独谈;
– Modly 本地跑:一次配置永久使用、数据不出内网、模型开源无授权费,代价是吃显存、生成速度取决于你的显卡,效果需要自己调参;
– 传统建模软件:精度最高、可控性最强,但学习成本按”月”计算。
所以决策很简单:偶尔用、要质量 → 云端;高频用、要隐私 → Modly;专业级项目 → Blender 等专业软件。三种方式并不冲突,可以并存。
给进阶用户的一句话
Modly 的 CLI 支持脚本与 AI agent 调用,意味着你可以把它接进自动化流水线:比如电商团队每天把新品照片丢进队列,批量生成 3D 预览图;游戏工作室用它做低模草稿,再进 DCC 精修。只要你的 GPU 撑得住,它就是一个”本地 3D 工厂”。
🔥 关注LC智趣厅,第一时间看懂 AI 圈的大新闻。
👇 关注不错过,每一条都帮你算清楚”跟我有什么关系”。
— END —
LC 智趣厅 · 科技与生活的交点
ihygg.cn