[谷歌] 比人类便宜20倍!谷歌“超人”AI系统
AI的同行评审来了！
一直以来，大语言模型胡说八道（幻觉）的问题最让人头疼，而近日，来自谷歌DeepMind的一项研究引发网友热议：
大模型的幻觉问题，好像被终结了？
论文地址：https://arxiv.org/pdf/2403.18802.pdf
项目地址：https://github.com/google-deepmind/long-form-factuality
在这篇工作中，研究人员介绍了一种名为 "搜索增强事实性评估器"（Search-Augmented Factuality Evaluator，SAFE）的方法。
对于LLM的长篇回答，SAFE使用其他的LLM，将答案文本分解为单个叙述，然后使用诸如RAG等方法，来确定每个叙述的准确性。
——简单来说就是：AI答题，AI判卷，AI告诉AI你这里说的不对。
真正的「同行」评审。
另外，研究还发现，相比于人工标注和判断事实准确性，使用AI不但便宜20倍，而且还更靠谱！
目前这个项目已在GitHub上开源。
长文本事实性检验
大语言模型经常胡说八道，尤其是有关开放式的提问、以及生成较长的回答时。
比如小编随手测试一下当前最流行的几个大模型。
ChatGPT：虽然我的知识储备只到2021年9月，但我敢于毫不犹豫地回答任何问题。
Claude 3：我可以谦卑且胡说八道。
为了对大模型的长篇回答进行事实性评估和基准测试，研究人员首先使用GPT-4生成LongFact，这是一个包含数千个问题的提示集，涵盖38个主题。
[物价飞涨的时候 这样省钱购物很爽]
无评论不新闻，发表一下您的意见吧
一直以来，大语言模型胡说八道（幻觉）的问题最让人头疼，而近日，来自谷歌DeepMind的一项研究引发网友热议：
大模型的幻觉问题，好像被终结了？
论文地址：https://arxiv.org/pdf/2403.18802.pdf
项目地址：https://github.com/google-deepmind/long-form-factuality
在这篇工作中，研究人员介绍了一种名为 "搜索增强事实性评估器"（Search-Augmented Factuality Evaluator，SAFE）的方法。
对于LLM的长篇回答，SAFE使用其他的LLM，将答案文本分解为单个叙述，然后使用诸如RAG等方法，来确定每个叙述的准确性。
——简单来说就是：AI答题，AI判卷，AI告诉AI你这里说的不对。
真正的「同行」评审。
另外，研究还发现，相比于人工标注和判断事实准确性，使用AI不但便宜20倍，而且还更靠谱！
目前这个项目已在GitHub上开源。
长文本事实性检验
大语言模型经常胡说八道，尤其是有关开放式的提问、以及生成较长的回答时。
比如小编随手测试一下当前最流行的几个大模型。
ChatGPT：虽然我的知识储备只到2021年9月，但我敢于毫不犹豫地回答任何问题。
Claude 3：我可以谦卑且胡说八道。
为了对大模型的长篇回答进行事实性评估和基准测试，研究人员首先使用GPT-4生成LongFact，这是一个包含数千个问题的提示集，涵盖38个主题。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 | 更多... |
推荐: