塔斯娱乐资讯网

多模态RAG的“最后一块拼图”,Qwen3-VL 检索与精排双王炸

现在是2026年2月2日的23点33分,再次讲一下MRAG吧。

还记得今年6月千问(Qwen)团队发布的 Qwen3 纯文本检索模型吗?它横扫了多语言文本检索榜单。但作为产品人,我们一直在等那个“更性感”的功能——对视觉世界的深度理解。

就在近日,阿里千问团队不再藏私,甩出了基于 Qwen3-VL 打造的全新王牌:Qwen3-VL-Embedding 与 Qwen3-VL-Reranker。这不是简单的版本号+1,这是将搜索和理解从“文字时代”强行拉入了“全感官时代”。

以下是这次发布最值得关注的四大核心看点:

1. 打破“模态生殖隔离”,真正的 Unified Input

以往做多模态检索,往往需要拼接多个模型(比如用 CLIP 处理图,用 BERT 处理文),不仅架构臃肿,语义对齐也是噩梦。 Qwen3-VL 系列最狠的一点在于**“大一统”。它在一个模型权重里,原生支持文本、图像、截屏、视频以及它们的任意混合组合**。

  • 这意味着什么? 你可以丢给模型一段视频+一句文字指令,它能直接理解两者之间的深层关联。对于产品开发来说,架构复杂度直接指数级下降。

2. “召回+精排”组合拳,定义多模态搜索新范式

做过搜索推荐系统的朋友都知道,只谈 Embedding 不谈 Rerank 都是耍流氓。这次千问非常良心地提供了一套完整的Pipeline 解决方案:

  • 前锋(Embedding): 负责广撒网。Qwen3-VL-Embedding 生成高维向量,在海量数据中快速捞出相关的图文视频,支持 64 到 4096 维度的弹性输出(这也太省显存了!)。
  • 后卫(Reranker): 负责精准打击。Qwen3-VL-Reranker 对召回的结果进行二次深度语义打分。 实测表明: “先召回再精排”的两阶段流程,直接让最终的检索精度提升了一个台阶,尤其是在处理复杂的 Query-Document 匹配时。

3. 硬核参数:8B模型撑起 32k 超长上下文

这次释放的是 8B 参数版本,在这个尺寸下,性能与部署成本达到了黄金平衡点。 更令开发者兴奋的是 32k 的上下文长度。

  • 场景想象: 这意味着模型不再只能看一眼图片,它能“看完”一段长视频或是一份长篇图文报告,并精准定位到其中的某一帧或某一段落。对于视频内容检索(Video Search)类产品,这简直是神技。

4. 落地为王:全球化支持与极简部署

阿里在“好用”这件事上一直很执着。新模型继承了 Qwen 家族强大的多语言基因,支持全球 30 多种语言。 同时,从官方给出的 Demo 代码来看,无论是 Embedding 的向量生成,还是 Reranker 的打分计算,接口设计都非常 Pythonic,配合 Flash Attention 2 加速,工业级落地的门槛被进一步拉低。

基本使用示例代码:

from scripts.qwen3_vl_embedding import Qwen3VLEmbedder
# Define a list of query texts
queries = [
{"text": "A woman playing with her dog on a beach at sunset."},
{"text": "Pet owner training dog outdoors near water."},
{"text": "Woman surfing on waves during a sunny day."},
{"text": "City skyline view from a high-rise building at night."}
]
# Define a list of document texts and images
documents = [
{"text": "A woman shares a joyful moment with her golden retriever on a sun-drenched beach at sunset, as the dog offers its paw in a heartwarming display of companionship and trust."},
{"image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg"},
{"text": "A woman shares a joyful moment with her golden retriever on a sun-drenched beach at sunset, as the dog offers its paw in a heartwarming display of companionship and trust.", "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg"}
]
# Specify the model path
model_name_or_path = "Qwen/Qwen3-VL-Embedding-8B"

# Initialize the Qwen3VLEmbedder model
model = Qwen3VLEmbedder(model_name_or_path=model_name_or_path)
# We recommend enabling flash_attention_2 for better acceleration and memory saving,
# model = Qwen3VLEmbedder(model_name_or_path=model_name_or_path, torch_dtype=torch.float16, attn_implementation="flash_attention_2")

# Combine queries and documents into a single input list
inputs = queries + documents

# Process the inputs to get embeddings
embeddings = model.process(inputs)

# Compute similarity scores between query embeddings and document embeddings
similarity_scores = (embeddings[:4] @ embeddings[4:].T)

# Print out the similarity scores in a list format
print(similarity_scores.tolist())

# [[0.74267578125, 0.6630859375, 0.6328125], [0.443603515625, 0.33349609375, 0.396484375], [0.3671875, 0.2354736328125, 0.289306640625], [0.060821533203125, -0.01557159423828125, 0.0165863037109375]]

【PM 思考与呼吁】

为什么这次发布很重要? 在过去的一年里,RAG(检索增强生成)几乎是 AI 应用的标配,但绝大多数 RAG 还停留在“纯文本”阶段。我们在处理 PDF 中的图表、视频库中的素材时,往往显得束手无策。

Qwen3-VL-Embedding & Reranker 的出现,标志着多模态 RAG(Multimodal RAG)的技术栈正式成熟。它让机器不再只是“读万卷书”,更能“行万里路”(看懂视频和世界)。

呼吁所有开发者: 不要只盯着 LLM 的聊天窗口了!去拥抱多模态检索吧。无论是做智能相册、视频库语义搜索、还是复杂的图文知识库,现在是最好的入场时机。

https://github.com/QwenLM/Qwen3-VL-Embedding

模型和代码都已在 HuggingFace 和 GitHub 开源,赶紧去 Pull 下来试试