# NExT-GPT 最小图片问答复现报告

## 完成内容
在 Windows、RTX 4060 Laptop 8GB 上跑通「图片＋文字 → 文字」子链路。保留真实输入、回答、原始 token、日志、权重哈希及结果图。Space 展示保存的本机结果，不在线运行模型。没有训练，没有运行四模态全量生成。

## 核心模型和适配
官方 ImageBind 编码图片；官方 llama_proj 将 1024 维特征映射到 4096 维语言空间。Vicuna v0 加载官方 NExT-GPT 的 128 对 LoRA（32 层各 q/k/v/o 四对）、32038 个词嵌入及输出头。图片用 <Img> / </Img> 包裹，沿用旧版 prepare_generation_embedding 的文本分段与 BOS 方式。

为适配 8GB 显存，基础语言模型采用公开 Vicuna v0 GPTQ 4bit 版本。执行 ImageBind 编码后卸载编码器，再加载语言模型与 LoRA。完整 ImageBind 权重校验加载后移除非 vision 分支，不加载扩散生成器。官方 upstream/ 源码未修改，适配单独写在 scripts/minimal_inference.py。

GPTQ 矩阵按 qweight、qzeros、scales、g_idx 解包，g_idx 保留 activation-order 分组；LoRA 缩放 alpha/r=32/32。verify_quant_linear.py 使用非连续 g_idx 与显式稠密参考矩阵比较，数值检查通过。采用 Transformers 4.46.3 标准 LLaMA 文本生成接口，未声称逐 token 等同于旧版 FP16 全模型。

## 实测结果
输入为 PandaGPT 公开金毛犬照片（来源见 input_source.txt）。

- 问题：What animal is shown in this picture? Answer in one short sentence.
- 原始回答：A dog is shown in this picture.
- 生成耗时：28.73 秒。
- 从 main 开始到生成结束：39.60 秒，不含下载、进程导入和后续哈希计算。
- PyTorch 峰值已分配 GPU 内存：4300.7 MiB，不包含桌面、驱动和其他程序占用。
- 环境：RTX 4060 Laptop GPU、PyTorch 2.5.1+cu124、CUDA 12.4。

回答正确识别了动物类别。这是单个最小链路样例，不是完整能力或性能评测。

## 负面结果与限制
早期问题「What is in this picture? Describe it briefly.」的回答识别了狗，但额外编造飞盘、红项圈和地面颜色。原始结果保留在 result_caption_trial.json、run_caption_trial.log、output_caption_trial.txt，没有改写。后续使用更窄的问题得到正确的简短识别回答，不能据此声称解决了幻觉。

量化、第三方基础权重与兼容实现可能影响效果。未验证音视频理解、图片/音频/视频生成、训练或完整四模态系统。课件四组截图仅供原理展示，单独标注来源。

## 证据和交付
evidence/real-inference/ 包含 input.jpg、result.json、output.txt、run.log、实际投影特征 image_embedding.pt、权重 SHA256 比对 weights_integrity.json，以及运行结果排版图 result-card.png（由原始日志生成，非屏幕截图）。

evidence/environment.json 记录实际 CUDA 环境。RUN_GUIDE.md 提供可复现命令；权重位于包外。Space 采用免费 Static SDK；原 Gradio CPU Space 请求被平台以 402（需要 PRO）拒绝，因此没有订阅或 GPU 托管费用。本地保留 Gradio 展示应用。


GPTQ 格式参考：https://github.com/AutoGPTQ/AutoGPTQ/blob/main/auto_gptq/nn_modules/qlinear/qlinear_cuda.py 。本项目使用纯 PyTorch 参考实现，不依赖其 CUDA 扩展。

截图说明：已补充 evidence/real-inference/real-inference-page.png，这是实际浏览器截图，展示本机保存的真实推理结果，不是网页实时推理。result-card.png 另为日志排版图。旧 evidence/space-page.png 为历史展示页截图。

## 在线推理入口

- [作业 Space 与在线交互](https://jp2023213625-nlp-chapter6-nextgpt.static.hf.space/#live)
- [公开推理后端及其源码](https://huggingface.co/spaces/nemoyu/nlp-chapter6-nextgpt)
- [线上验证脚本](scripts/verify_public_demo.py)与[验证记录](evidence/public-demo/)

作业 Space 使用 Hugging Face Static SDK。实时推理由 nemoyu 的公开 ZeroGPU Space 执行，上传的输入由该服务接收，使用时可能排队或触发额度限制。当前账号创建自有 ZeroGPU Space 时，平台返回 HTTP 402，提示账号年龄未达到免费托管门槛。本机 RTX 4060 的量化图片问答仍可按本项目运行说明复现。线上验证使用预训练推理，未重新训练。

### 四组代表性在线实测

- 文字＋图片 → 文字＋音频，请求的媒体均已返回，端到端 43.6 秒。[记录](evidence/public-demo/image-to-audio/result.json)
- 文字＋视频 → 文字＋音频，请求的媒体均已返回，端到端 44.6 秒。[记录](evidence/public-demo/video-to-audio/result.json)
- 文字＋图片 → 文字＋图片＋视频，请求的媒体均已返回，端到端 59.3 秒。[记录](evidence/public-demo/image-to-image-video/result.json)
- 文字 → 文字＋图片＋音频＋视频，请求的媒体均已返回，端到端 76.4 秒。[记录](evidence/public-demo/text-to-all/result.json)

这四个测试覆盖课程列出的输入和输出组合。各组使用独立的代表性指令，未重现课件中的逐轮对话或评估生成质量。
