5 月 1 日消息,科技媒体 marktechpost 昨日(4 月 30 日)发布博文,报道称 Meta AI 推出 ReasonIR-8B 模型,专为推理密集型检索设计,不仅在检索精度上取得突破,其低成本和高效率也使其成为实际应用的理想选择。
当前检索增强生成(RAG)系统在处理复杂推理任务时,常常因检索器性能不足而受限。传统检索器多针对简短事实性问题训练,擅长文档级别的词语或语义匹配,但面对长篇或跨领域查询时,难以整合分散知识,这种缺陷会导致错误信息传递,影响后续推理效果。
Meta AI 推出的 ReasonIR-8B 模型直击这一痛点,基于 LLaMA3.1-8B 训练,结合创新数据生成工具 ReasonIR-SYNTHESIZER,构建模拟真实推理挑战的合成查询和文档对,更精准支持复杂任务。
ReasonIR-8B 采用双编码器(bi-encoder)架构,将查询和文档独立编码为嵌入向量,通过余弦相似度评分。其训练数据包括长达 2000 个 token 的多样长度查询(VL Queries)和需逻辑推理的困难查询(HQ),有效提升模型处理长上下文和抽象问题的能力。
在 BRIGHT 基准测试中,该模型原查询得分达 24.4 nDCG@10,结合 Qwen2.5 重新排序后提升至 36.9,远超更大的 Rank1-32B 模型,且计算成本低至后者的 1/200。此外,在 MMLU 和 GPQA 等 RAG 任务中,模型分别带来 6.4% 和 22.6% 的显著提升。
Meta AI 目前已在 Hugging Face 上开源 ReasonIR-8B 模型、训练代码及合成数据工具,鼓励研究社区进一步探索多语言和多模态检索器的开发。
附上参考地址
该内容转自IT之家
本文共 425 个字数,平均阅读时长 ≈ 2分钟
喜欢就支持一下吧
本站为个人博客,博客所发布的一切破解补丁、注册机和注册信息及软件的文章仅限用于学习和研究目的。
不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。
本站信息来自网络,版权争议与本站无关,您必须在下载后的24个小时之内从您的电脑中彻底删除上述内容。
访问和下载本站内容,说明您已同意上述条款。
本站不贩卖软件,所有内容不作为商业行为。如果有侵犯您的权益请点击“关于”联系WFXL,核实后会及时删除
版权属于:新闻发布
作品采用《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
评论 抢沙发