文件名称:xp:用于创建灵活的计算管道的框架(COMAND LINE工具+库)
文件大小:146KB
文件格式:ZIP
更新时间:2024-06-13 19:51:07
workflow data-science pipeline notebook research-tool
p 数据科学的表达管道 数据科学项目Swift变得混乱不堪。 每个测试都涉及一个新脚本,每个脚本都需要一组参数,并生成一个或多个数据文件。 跟踪所有这些隐式结构是一件很痛苦的事情-该脚本的作用是什么? 它取决于什么? 是什么创建了此数据文件? 哪些参数更新了数据库中的该表? 输入xp-一个实用程序,可让您表达和运行项目中的所有计算任务。 至关重要的是,它捕获用于每个任务的特定参数,生成的数据文件以及该任务对其他任务的任何依赖关系。 所有这些都捕获在称为管道的文件中(它们甚至可以相互连接)。 输入一些有用的注释,您将获得项目的可执行文档。 这听起来很像科学的笔记本环境(例如Jupyter和Mathematica),但是有一些关键的区别。 笔记本仅允许计算任务之间的线性相关性,即使是中等规模的项目也可以大大简化。 为此,它具有三个主要目标: 以与语言无关的方式捕获数据科学项目的任务级