Skip to main content

为开发机准备数据

一、这是什么

在开发机中开展工作前,通常需要先准备好两类资源,它们分别对应平台的两个入口,进入开发机后可在不同路径下访问:

资源类型从哪里准备开发机中的路径
数据集科学数据广场收藏,或在自建我的数据集/dataset
代码及其他文件上传到「我的云盘」/data

二、准备数据集

数据集有两种来源:

方式一:从科学数据广场收藏

进入科学数据广场,按名称搜索或按分类筛选,找到需要的数据集后收藏。收藏的数据集会出现在创建开发机时「数据集挂载」面板的「我的收藏」中,便于挂载。

alt text
alt text

方式二:自己创建数据集

进入「我的数据集」创建。创建时填写名称、介绍等基础信息,并设置:

  • 数据可见性:私有 / 公开(设为公开将展示在【数据集广场】,供其他用户查阅 / 下载)
  • 下载权限:申请下载 / 直接下载 / 禁止下载

创建成功后为数据集上传文件:

  • 支持多文件上传,文件数量需小于 10 个
  • 单个文件不超过 50M
  • 如需上传更大体量或更多数量的数据,可使用数据集 CLI(支持 Linux / macOS / Windows,通过命令行完成身份认证、上传、下载、版本管理等操作)

具体创建流程可查看详细贡献数据集文档,创建的数据集会出现在创建开发机时「数据集挂载」面板的「我的数据集」中,便于挂载。

alt text

在开发机中使用

创建开发机时,在「数据集挂载」面板勾选所需数据集(最多 5 个)。进入开发机后,在 /dataset 目录下即可访问挂载的数据集。

三、准备代码及其他文件

代码文件、配置文件等零散文件,建议放在「我的云盘」中保存。

在云盘中管理文件

「我的云盘」是统一的个人文件管理入口,支持:

  • 上传文件 / 新建文件 / 文件夹:在云盘容量范围内,支持上传任意格式的文件或直接新建
    alt text
  • 文件预览:文件支持在线预览和编辑
    alt text
  • 移动 / 复制 / 下载 / 删除:对文件进行基础管理
    alt text
  • 复制文件路径:可根据文件地址在开发机内快速找到该文件

在开发机中使用

云盘会挂载在开发机的 /data 目录下,作为持久化存储空间:

  • 存放在 /data 下的文件不受开发机启停、释放、删除影响,可在各开发机间共享
  • 其余目录均为开发机的临时存储,会随开发机的释放而清空

进入开发机后,在编辑器的 Open File 中输入 /data/,即可查找并打开云盘中的文件。

重要数据与代码务必存放在 /data(云盘)目录下,避免开发机释放后丢失。

四、验证

进入开发机,在终端或文件管理器中查看:

  • /data 下能看到云盘中的文件

    alt text

  • /dataset 下能看到已挂载的数据集

    alt text

即表示数据准备完成,可以开始开发。

五、常见问题

问题排查建议
数据集上传失败确认文件数量 <10 个、单文件 ≤50M;超限请改用数据集 CLI
开发机中找不到数据集挂载的数据集在 /dataset 目录下,且需在创建开发机时已勾选挂载
开发机中找不到云盘文件云盘文件在 /data 目录下,在 Open File 中输入 /data/ 查找
/data/dataset 分不清/data 是「我的云盘」(存代码/文件),/dataset 是挂载的数据集,两者独立
停止 / 删除开发机后文件丢失/data 目录持久化,其余为临时存储;重要文件请存于 /data
想让其他用户使用我的数据集将数据集可见性设为「公开」,会展示在【数据集广场】