【亲测免费】探索嵌入式世界的温度守护者：STM32 FreeRTOS 温度监测系统

嵇英芹

963人浏览 · 2024-10-22 12:27:20

嵇英芹 · 2024-10-22 12:27:20 发布

Qwen3-VL-4B-Instruct：阿里通义千问最强视觉语言模型全面解析与入门指南

【免费下载链接】Qwen3-VL-4B-Instruct 项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-VL-4B-Instruct

Qwen3-VL-4B-Instruct是阿里通义千问系列中最强大的视觉语言模型，它在文本理解与生成、视觉感知与推理、上下文长度、空间和视频动态理解以及智能体交互能力等方面实现了全面升级。该模型提供密集型和MoE架构，从边缘设备到云端均可灵活部署，还具备Instruct和推理增强的Thinking版本，满足多样化的部署需求。

核心增强功能：解锁视觉语言新可能 ✨

视觉智能体：掌控数字界面的全能助手

Qwen3-VL-4B-Instruct能够操作PC/移动设备的图形用户界面，识别界面元素、理解功能、调用工具并完成任务，让机器像人一样与数字世界交互。

视觉编码助力：从图像视频到代码的无缝转换

该模型可以根据图像或视频生成Draw.io、HTML、CSS、JS等代码，为开发者带来全新的创作体验，加速前端开发流程。

高级空间感知：突破二维限制的空间理解

具备判断物体位置、视角和遮挡关系的能力，提供更强的二维定位，并支持三维定位，为空间推理和具身AI奠定基础。

长上下文与视频理解：海量信息的精准处理

原生支持256K上下文，可扩展至1M，能够处理书籍和长达数小时的视频，实现完整回忆和秒级索引，轻松应对长篇内容。

增强的多模态推理：STEM与数学领域的佼佼者

在科学、技术、工程和数学领域表现出色，擅长因果分析和基于证据的逻辑回答，为复杂问题提供可靠解决方案。

升级的视觉识别：万物皆可识的全能选手

通过更广泛、更高质量的预训练，能够识别名人、动漫、产品、地标、动植物等各种事物，拓展视觉认知边界。

扩展的OCR功能：多语言文本的精准读取

支持32种语言（从19种扩展而来），在低光、模糊和倾斜环境下表现稳定，对稀有/古文字和专业术语识别能力更强，提升长文档结构解析效果。

媲美纯语言模型的文本理解：文本与视觉的无缝融合

实现文本-视觉的无缝融合，确保无损、统一的理解，在处理图文混合内容时表现卓越。

模型架构更新：技术创新的核心动力 🚀

Qwen3-VL-4B-Instruct在架构上进行了多项关键创新，包括：

Interleaved-MRoPE：通过强大的位置嵌入在时间、宽度和高度上进行全频率分配，增强长时视频推理能力。
DeepStack：融合多级ViT特征，捕捉细粒度细节，提升图像-文本对齐精度。
Text–Timestamp Alignment：超越T-RoPE，实现精确的基于时间戳的事件定位，增强视频时间建模能力。

模型性能：卓越表现的有力证明 📊

Qwen3-VL-4B-Instruct在多模态和纯文本任务上均展现出优异性能。在多模态性能方面，它在各种视觉语言任务中表现突出；在纯文本性能上，也达到了较高水平，充分体现了其在文本理解与生成方面的强大能力。

快速入门：轻松上手Qwen3-VL-4B-Instruct 🚀

环境准备

Qwen3-VL的代码已集成到最新的Hugging Face transformers中，建议通过以下命令从源码构建：

pip install git+https://github.com/huggingface/transformers

使用🤗 Transformers进行对话

以下是使用transformers库加载聊天模型的代码片段：

from transformers import Qwen3VLForConditionalGeneration, AutoProcessor

# 默认：在可用设备上加载模型
model = Qwen3VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen3-VL-4B-Instruct", dtype="auto", device_map="auto"
)

# 推荐启用flash_attention_2以获得更好的加速和内存节省，尤其是在多图像和视频场景中
# model = Qwen3VLForConditionalGeneration.from_pretrained(
#     "Qwen/Qwen3-VL-4B-Instruct",
#     dtype=torch.bfloat16,
#     attn_implementation="flash_attention_2",
#     device_map="auto",
# )

processor = AutoProcessor.from_pretrained("Qwen/Qwen3-VL-4B-Instruct")

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

# 推理准备
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt"
)
inputs = inputs.to(model.device)

# 推理：生成输出
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

生成超参数设置

视觉语言任务

export greedy='false'
export top_p=0.8
export top_k=20
export temperature=0.7
export repetition_penalty=1.0
export presence_penalty=1.5
export out_seq_length=16384

文本任务

export greedy='false'
export top_p=1.0
export top_k=40
export repetition_penalty=1.0
export presence_penalty=2.0
export temperature=1.0
export out_seq_length=32768

模型获取与安装

要使用Qwen3-VL-4B-Instruct模型，可通过以下命令克隆仓库：

git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-VL-4B-Instruct

总结

Qwen3-VL-4B-Instruct作为阿里通义千问系列的最强视觉语言模型，凭借全面的功能增强、创新的架构设计和卓越的性能表现，为用户带来了全新的视觉语言交互体验。无论是开发者还是普通用户，都能通过简单的操作快速上手，探索其在各种场景下的应用潜力。

引用

如果您觉得我们的工作有帮助，欢迎引用：

@misc{qwen3technicalreport,
      title={Qwen3 Technical Report},
      author={Qwen Team},
      year={2025},
      eprint={2505.09388},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.09388},
}

@article{Qwen2.5-VL,
  title={Qwen2.5-VL Technical Report},
  author={Bai, Shuai and Chen, Keqin and Liu, Xuejing and Wang, Jialin and Ge, Wenbin and Song, Sibo and Dang, Kai and Wang, Peng and Wang, Shijie and Tang, Jun and Zhong, Humen and Zhu, Yuanzhi and Yang, Mingkun and Li, Zhaohai and Wan, Jianqiang and Wang, Pengfei and Ding, Wei and Fu, Zheren and Xu, Yiheng and Ye, Jiabo and Zhang, Xi and Xie, Tianbao and Cheng, Zesen and Zhang, Hang and Yang, Zhibo and Xu, Haiyang and Lin, Junyang},
  journal={arXiv preprint arXiv:2502.13923},
  year={2025}
}

@article{Qwen2VL,
  title={Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution},
  author={Wang, Peng and Bai, Shuai and Tan, Sinan and Wang, Shijie and Fan, Zhihao and Bai, Jinze and Chen, Keqin and Liu, Xuejing and Wang, Jialin and Ge, Wenbin and Fan, Yang and Dang, Kai and Du, Mengfei and Ren, Xuancheng and Men, Rui and Liu, Dayiheng and Zhou, Chang and Zhou, Jingren and Lin, Junyang},
  journal={arXiv preprint arXiv:2409.12191},
  year={2024}
}

@article{Qwen-VL,
  title={Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond},
  author={Bai, Jinze and Bai, Shuai and Yang, Shusheng and Wang, Shijie and Tan, Sinan and Wang, Peng and Lin, Junyang and Zhou, Chang and Zhou, Jingren},
  journal={arXiv preprint arXiv:2308.12966},
  year={2023}
}

【免费下载链接】Qwen3-VL-4B-Instruct 项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-VL-4B-Instruct