当前位置: 首页 > news >正文

自己做游戏的网站搜索引擎营销名词解释

自己做游戏的网站,搜索引擎营销名词解释,怎样做内网网站,做网站的新闻研究背景 论文针对的主要问题是如何将预训练的大型语言模型(LLMs)适应特定领域的检索增强生成(RAG)。这些模型通常在广泛的文本数据上进行预训练,已经表现出在广义知识推理任务上的优越性能。然而,在特定领…

研究背景

论文针对的主要问题是如何将预训练的大型语言模型(LLMs)适应特定领域的检索增强生成(RAG)。这些模型通常在广泛的文本数据上进行预训练,已经表现出在广义知识推理任务上的优越性能。然而,在特定领域,如法律、医学或最新新闻等,普遍的知识推理不足以满足精确性的要求,因此需要对这些模型进行适应性调整以增强其在这些领域内的应用性能。

研究目标

研究的主要目标是通过新的训练方法——RAFT(Retrieval Augmented Fine Tuning)提高LLMs在特定领域的性能。RAFT方法旨在通过链式思考风格的答案生成来提高模型对问题的理解和回答质量,同时确保模型能够有效地从相关文档中提取信息,并忽视那些无助于问题解答的干扰文档。

相关工作

研究背景部分详细讨论了现有的技术和挑战,特别是在RAG和监督式微调(SFT)的应用上。现有的RAG方法允许模型在回答问题时引用文档,但这些方法未能利用固定领域设置中的学习机会。监督式微调提供了学习文档中更通用模式的机会,更好地与结束任务和用户偏好对齐,但现有的微调方法在测试时未能考虑检索过程中的不完美。

方法论

数据处理

在RAFT中,训练数据的准备非常关键。每个数据点包括一个问题(Q)、一组文档(Dk),以及一个从文档中生成的链式思考风格的答案(A*)。这些文档分为“oracle”文档(D*),即可以从中推导出问题答案的文档,和“干扰”文档(Di),即不包含答案相关信息的文档。示例如下:
在这里插入图片描述

解决方案

RAFT的核心是一个修改版的一般指令微调方法。通过精心设计的训练数据和模型微调过程,模型被训练为基于问题和提供的文档来生成答案,同时忽略那些干扰文档。这种方法的目标是提高模型在特定域内的性能,即在域特定的开放书本设置中更有效地使用RAG。
在这里插入图片描述

实验

实验设计

实验部分使用多个数据集来评估RAFT的性能,并将其与其他基线模型进行比较,例如LlaMA2-7B聊天模型和域特定的微调模型。这些数据集包括自然问题(NQ)、Trivia QA和HotpotQA等,涵盖从通用知识到特定领域的不同类型。

数据:

数据描述
PubMed医学QA问题。(二分类问题)
Natural Questions (NQ)通用领域
HotpotQA通用领域
Trivia QA通用领域
HuggingFace编程的api领域
Torch Hub编程的api领域
TensorFlow Hub编程的api领域

实验结论

  1. RAFT在多个评估任务上表现出色,尤其是在包含干扰文档的设置中。实验结果显示,与其他基线相比,RAFT在提取信息和处理干扰文档方面具有更高的鲁棒性和准确性。
    

在这里插入图片描述
注:DSF是指对LlaMA2-7B-chat直接进行SFT(query-answer,预测时没有参考内容),预测时直接输入问你题。
2. 有了思维链,结合推理链不仅可以引导模型找到答案,还可以丰富模型的理解,从而提高整体准确性。 在实验中,整合思想链显着增强了训练的稳健性。
在这里插入图片描述
3. 训练集中适当包含一定比例的不相关文档,会提高性能,但数量并不是绝对的,需要看具体的数据集,如在NQ数据集上,正负配比是1:3,HotpotQA数据上是1:1。

在这里插入图片描述

参考资料

  • 原文
  • 代码
http://www.hengruixuexiao.com/news/23910.html

相关文章:

  • .com网站建设网站制作公司怎么样
  • 网站开发页面设计报价怎么推广销售
  • 部门网站建设管理报告百度服务中心电话
  • 怎么登陆公司网站的后台推广什么软件可以长期赚钱
  • 口碑营销的概念是什么培训优化
  • 网站只做内容 不做外链在线seo短视频
  • 做网站一定要有公司吗四川seo整站优化
  • 印度电商平台网站建设策划百度推广电话销售话术
  • 南宁 做网站市场调研分析报告范文
  • 网站开发项目详细计划书网络营销推广平台有哪些
  • 厦门网站优化公司谷歌建站
  • seo技术教学视频厦门seo排名优化
  • 网站开发论文中期检查表企业查询官网入口
  • 网站后台功能开发免费的个人网站怎么做
  • 一级a做爰片免费网站视频seo优化软件
  • 网站建设费预付定金什么科目脚本外链生成工具
  • 外国语学校网站建设方案软件发布网
  • 如何做自己的网站软件培训机构有哪些?哪个比较好
  • 小程序商城哪家好些宁波seo网络推广外包报价
  • 改行做网站2022黄页全国各行业
  • 网站怎么做关键词优化成都高端网站建设哪家好
  • 国外公司网站设计广西壮族自治区
  • .net 做网站百度搜索优化怎么做
  • 建设企业网站所遵循的一般原则网络推广优化工具
  • rar在线解压缩网站厦门人才网个人会员
  • 网站设计项目明细淮南网站seo
  • 品牌网络营销策划青岛百度推广优化
  • 广东专业网站客服软件定制西安网站建设排名
  • 如何法院网站建设商品促销活动策划方案
  • 爱藏网一家专业做收藏品的网站免费发布广告信息平台