FacTool：生成式AI事实检测工具 ，终于可以检测你的chatgpt有没有对你撒谎了！

FacTool：生成式AI事实检测工具出现促进了高质量文本的合成，它的主要目标是检测大语言模型（如GPT-4）生成的文本回答的事实准确性，是否符合事实。但也在识别生成文本中的事实错误方面带来了挑战。具体而言：
（1）更广泛的任务现在在由生成模型处理时存在着包含事实错误的风险。
（2）生成的文本往往过长，缺乏明确定义的个别事实的粒度。
（3）在事实检查过程中缺乏明确的证据。基于上述挑战，我们提出了FacTool，这是一个用于检测大型语言模型（如ChatGPT）生成的文本中事实错误的任务和领域不可知框架。FacTool现在支持四种不同任务的事实错误检测：基于知识的问答、代码生成、数学问题解决和科学文献评论。代码和ChatGPT插件配置可以在这里找到。

它的设计目标是能够在各种不同的任务和领域中使用，所以它会利用各种工具收集关于生成内容事实性的证据。 FACTOO工具框架主要由五部分组成，包括：声明提取、查询生成、工具查询、证据收集和验证。 这些步骤如下：
1、声明提取：从生成的文本中提取可能的事实声明。
2、查询生成：为每个声明生成一个或多个查询，这些查询将用于收集证据。
3、工具查询：使用各种工具（如Google搜索、Google学术、代码解释器、Python等）执行查询。
4、证据收集：收集和分析查询结果，以收集关于每个声明的证据。
5、验证：根据收集的证据判断每个声明的事实性。