-
生物通官微
陪你抓住生命科技
跳动的脉搏
麻省理工学院的研究人员为数据库引入了生成式人工智能
【字体: 大 中 小 】 时间:2024年07月10日 来源:MIT麻省理工
编辑推荐:
这个新工具为人们分析复杂的表格数据提供了一种更简单的方法。
一种新工具使数据库用户可以更容易地对表格数据执行复杂的统计分析,而不需要知道幕后发生了什么。
GenSQL是一种用于数据库的生成式人工智能系统,它可以帮助用户进行预测、检测异常、猜测缺失值、修复错误,或者只需敲击几下键盘就能生成合成数据。
例如,如果该系统用于分析一位一直患有高血压的患者的医疗数据,它可以捕捉到该特定患者的血压读数较低,但在其他情况下则在正常范围内。
GenSQL自动集成了表格数据集和生成概率AI模型,可以考虑不确定性并根据新数据调整决策。
此外,GenSQL可以用来生成和分析模拟数据库中真实数据的合成数据。这在不能共享敏感数据的情况下特别有用,比如患者健康记录,或者真实数据很少。
这个新工具构建在SQL之上,SQL是一种用于创建和操作数据库的编程语言,于20世纪70年代末推出,被全球数百万开发人员使用。
从历史上看,SQL教会了商业世界计算机可以做什么。他们不需要编写自定义程序,他们只需要用高级语言对数据库提出问题。“我们认为,当我们从仅仅查询数据转向询问模型和数据问题时,我们将需要一种类似的语言来教授人们可以向具有数据概率模型的计算机提出的连贯问题,”Vikash Mansinghka说,他是一篇介绍GenSQL的论文的高级作者,也是麻省理工学院脑与认知科学系概率计算项目的首席研究科学家和负责人。
当研究人员将GenSQL与流行的基于人工智能的数据分析方法进行比较时,他们发现它不仅更快,而且产生的结果也更准确。重要的是,GenSQL使用的概率模型是可解释的,因此用户可以阅读和编辑它们。
“仅仅通过使用一些简单的统计规则来查看数据并试图找到一些有意义的模式,可能会错过重要的相互作用。您确实希望捕获模型中变量之间的相关性和依赖性,这可能非常复杂。有了GenSQL,我们希望让大量用户能够查询他们的数据和模型,而不必知道所有的细节,”该研究的主要作者、脑与认知科学系的研究科学家、概率计算项目成员马修·霍特补充道。
结合模型和数据库
SQL是结构化查询语言(structured query language)的缩写,是一种用于存储和操作数据库信息的编程语言。在SQL中,人们可以使用关键字询问有关数据的问题,例如对数据库记录进行求和、过滤或分组。
然而,查询模型可以提供更深入的见解,因为模型可以捕获数据对个人意味着什么。例如,一名女性开发人员想知道自己的工资是否过低,她可能更感兴趣的是工资数据对她个人的意义,而不是数据库记录的趋势。
研究人员注意到,SQL并没有提供一种有效的方法来整合概率人工智能模型,但与此同时,使用概率模型进行推断的方法不支持复杂的数据库查询。
他们建立了GenSQL来填补这一空白,使人们能够使用一种简单而强大的正式编程语言来查询数据集和概率模型。
用户上传自己的数据和概率模型,系统自动进行整合。然后,她可以对数据运行查询,这些查询也从后台运行的概率模型中获得输入。这不仅支持更复杂的查询,还可以提供更准确的答案。
例如,GenSQL中的查询可能是这样的,“来自西雅图的开发人员知道编程语言Rust的可能性有多大?”仅仅查看数据库中列之间的相关性可能会错过微妙的依赖关系。结合概率模型可以捕获更复杂的交互。
此外,GenSQL使用的概率模型是可审计的,因此人们可以看到模型用于决策的数据。此外,这些模型提供了校准不确定性的措施,以及每个答案。
例如,有了这种校准的不确定性,如果有人向模型查询来自数据集中代表性不足的少数群体的患者的不同癌症治疗的预测结果,GenSQL会告诉用户它是不确定的,以及它有多不确定,而不是过于自信地倡导错误的治疗。
更快,更准确的结果
为了评估GenSQL,研究人员将他们的系统与使用神经网络的流行基线方法进行了比较。GenSQL比这些方法快1.7到6.8倍,在几毫秒内执行大多数查询,同时提供更准确的结果。
他们还在两个案例研究中应用了GenSQL:一个案例中,该系统识别了错误标记的临床试验数据,另一个案例中,它生成了准确的合成数据,捕捉了基因组学中的复杂关系。
接下来,研究人员希望更广泛地应用GenSQL来进行大规模的人口建模。有了GenSQL,他们可以生成合成数据来推断健康和工资等信息,同时控制在分析中使用的信息。
他们还希望通过向系统中添加新的优化和自动化,使GenSQL更易于使用,功能更强大。从长远来看,研究人员希望用户能够在GenSQL中进行自然语言查询。他们的目标是最终开发出一个类似chatgpt的人工智能专家,人们可以与之谈论任何数据库,它的答案基于GenSQL查询。
这项研究部分由美国国防高级研究计划局(DARPA)、谷歌和西格尔家族基金会资助。