CHAPTER 06 / MULTIMODAL LARGE LANGUAGE MODEL

NExT-GPT 多模态复现展示

编码器 · 语言模型 · 多模态生成器

RTX 4060 真实推理 · 免费结果展示

查看项目源码 ↗

本机复现使用 RTX 4060 运行图片问答。在线交互使用 nemoyu 的公开 NExT-GPT ZeroGPU 服务,相关输入由该服务接收。

在线多模态推理

输入文字,可上传图片、音频或视频,再勾选要生成的媒体。推理由 nemoyu 的公开 ZeroGPU Space 执行,受该服务的排队和额度限制。

在新窗口打开推理界面 · 复测脚本 · 四组线上实测

四组在线实测

以下输出由公开 ZeroGPU 后端生成。各组独立运行,耗时包含排队、推理及结果下载。

输入 → 输出原始记录与生成文件耗时
文字+图片 → 文字+音频JSON · answer.txt · audio_01.wav43.6 秒
文字+视频 → 文字+音频JSON · answer.txt · audio_01.wav44.6 秒
文字+图片 → 文字+图片+视频JSON · answer.txt · image_01.png · video_01.mp459.3 秒
文字 → 文字+图片+音频+视频JSON · answer.txt · image_01.png · audio_01.wav · video_01.mp476.4 秒

00 / 本机真实推理结果

以下是本机 CUDA 执行后保存的原始结果,非网页实时推理。

实际输入:PandaGPT 公开狗照片

图片+文字 → 文字

实际问题
What animal is shown in this picture? Answer in one short sentence.

模型原始回答

A dog is shown in this picture.

RTX 4060 Laptop · GPTQ 4bit Vicuna v0 + 官方 NExT-GPT LoRA

生成 28.73 秒 · 总计 39.6 秒
PyTorch 峰值已分配显存 4300.7 MiB

原始结果 JSON · 运行日志 · 实际复现代码 · 权重完整性

效果局限与早期测试

长描述测试正确识别了狗,但编造了飞盘与项圈等细节。原始记录保留,短问答成功不代表解决幻觉。

查看原始长描述结果

01 / Any-to-Any 架构

多模态编码

ImageBind 将图片、音频和视频转换为特征;输入投影连接语言模型。

语言理解与推理

Vicuna 7B 输出文本及模态信号 token,决定输出内容与模态。

多模态生成

输出投影连接 Stable Diffusion、AudioLDM、ZeroScope。

chapter6 NExT-GPT 模型架构

训练流程:输入端对齐 → 输出端对齐 → LoRA 指令微调。本次采用预训练权重路线,不重新训练。

02 / 四组课程案例

课程示例截图

图片来源:本地 chapter6/assets,原教程 Lordog/dive-into-llms。不是本项目实时生成的结果。

04 / 运行与复现

本地 Gradio 展示版

pip install -r requirements.txt
python app.py

随后访问 http://localhost:7860 。Space 使用免费静态页面,本地同时提供 Gradio 版本。

官方完整模型

实际跑通的图片问答代码为 scripts/minimal_inference.py,采用分阶段加载和 GPTQ 4bit 基础语言模型。原始全量实现保留在 upstream/。本机验证限于图片问答,四组在线测试由公开后端完成。详细安装与下载步骤见运行说明。

python scripts/check_environment.py
python scripts/minimal_inference.py

详细运行说明 · 复现报告 · 官方旧版说明

组件版本
编码器 / 语言模型ImageBind Huge / Vicuna 7B v0
图像 / 音频 / 视频生成SD v1.5 / AudioLDM l-full / ZeroScope v2_576w
官方代码提交60d618b067ee4cb0d70e7075ae79852780b34fc2

05 / 实际验证记录

以下为本机环境记录,不是 Space 服务器配置。页面可访问不代表模型推理已完成。

正在读取记录…

环境诊断原始文件 · 应用验收记录