Skip to main content

数据集创建指南

一、这是什么​

除了使用平台已有的公开数据集，你也可以在平台上创建自己的数据集，用于管理和共享科研数据，打破数据孤岛、便捷科研协作。

支持两种类型：

  • 个人数据集：归属于个人，适合个人研究数据的管理与发布
  • 团队数据集：归属于团队，适合团队成员间的数据共享与协作

创建后的数据集可挂载到开发机中直接使用；若设为公开，还会展示在【数据集广场】，供其他用户查阅 / 下载。

二、开始前的准备​

  1. 已登录 Intern Discovery。
  2. 已设置用户名（用户名会作为数据集 ID 的一部分）。
  3. 已准备好要上传的数据文件。
  4. 若要创建团队数据集，需先创建团队（首次新建时可在流程中创建）。

三、新建数据集入口​

平台提供两个入口：

  • 入口一：在科学数据广场，点击右上角【+ 新建数据集】

新建数据集-入口1

  • 入口二：点击个人头像，进入【我的数据集】页面，点击右上角【+ 数据集】

新建数据集-入口2

四、新建个人数据集​

第 1 步：选择类型​

点击【个人数据集】，进入创建数据集页面。

新建个人数据集1

第 2 步：填写基本信息​

根据提示完成数据集基本信息，包括名称、介绍、封面、所属学科等，并设置：

  • 数据可见性：私有 / 公开（设为公开将展示在【数据集广场】，供其他用户查阅 / 下载）
  • 下载权限：申请下载 / 直接下载 / 禁止下载

新建个人数据集2

第 3 步：上传数据文件​

数据集创建成功后，为其上传文件：

  • 支持多文件上传，文件数量需小于 10 个
  • 单个文件不超过 50M
  • 如需上传更大体量或更多数量的数据，可使用数据集 CLI（支持 Linux / macOS / Windows，通过命令行完成身份认证、上传、下载、版本管理等操作

alt text

五、新建团队数据集​

点击【团队数据集】。首次新建时，需先创建一个团队；创建团队后再新建团队数据集，并根据提示完成数据集基本信息，流程与个人数据集一致。

新建团队数据集1

新建团队数据集2

六、管理数据集​

创建并上传文件后，可在【我的数据集】中管理：

  • 编辑描述：完善数据集描述内容
  • 设置：编辑数据集基本信息、调整数据权限（可见性、下载权限）
  • 删除：进入「设置」页最底部删除；⚠️ 数据集删除后数据无法恢复、无法回溯，相关统计、分析、业务支撑、归档查询功能将受影响，需输入数据集名称确认后才可删除

七、数据集 CLI 上传​

当需要上传更大体量或更多数量的数据时，可使用数据集 CLI（discovery-ctl）在终端上传，支持 Linux、macOS 及 Windows。仅可向自己创建的数据集上传，使用前需先登录。

登录

discovery-ctl login

上传文件到数据集（仅可上传到自己的数据集，支持多个文件，用英文逗号分隔）

discovery-ctl dataset upload-file --dataset InternDiscovery/stead --local ./ReplaceWithRealAddr/ReplaceWithRealFileName
discovery-ctl dataset commit --dataset InternDiscovery/stead --message "Commit to take effect"

上传文件夹到数据集（仅可上传到自己的数据集）

discovery-ctl dataset upload-folder --dataset InternDiscovery/stead --local ./ReplaceWithRealAddr --remote-path /
discovery-ctl dataset commit --dataset InternDiscovery/stead --message "Commit to take effect"

八、常见问题​

问题排查建议
上传失败确认文件数量 <10 个、单文件 ≤50M；超限请改用数据集 CLI
找不到创建入口科学数据广场右上角【+ 新建数据集】，或【我的数据集】页右上角【+ 数据集】
无法创建团队数据集首次需先创建团队，再新建团队数据集
想让其他用户使用我的数据集将数据可见性设为「公开」，会展示在【数据集广场】
下载权限如何选择团队内部使用建议「申请下载」便于审核；完全开放可选「直接下载」；不希望被下载可选「禁止下载」
数据集删除后能恢复吗不能。删除后数据无法恢复、无法回溯，请谨慎操作
上一页
下一页