跳转至

1 文件系统概述

AI平台采用LUSTRE文件系统。LLUSTRE是一个开源的、可扩展的高性能面向对象并行文件系统,被广泛应用于超级计算平台。全球超过 70% 的超级计算机使用 LUSTRE 文件系统。LUSTRE 由元数据服务器(MDS)、对象存储服务器(OSS)以及客户端组成。通过元数据服务器,LUSTRE 将所有对象存储服务器上的存储设备组成统一的存储空间,提供给客户端挂载,完全兼容 POSIX 语义。

LUSTRE 拥有很强的可扩展性,能够轻松管理数十 PB 的存储空间,且具有极高的性能,聚合带宽能够达到每秒几十甚至上百 GB,因此在高性能计算领域获得广泛应用。

2 目录说明

路径 用途 Quota配额 权限
/aifs/user/home/<username> 存放个人 datasets/models 等 容量 500GB,文件数 30 万 用户可读可写
/aifs/public/data 存放公开或共享的 datasets/models 等 按需求定义 普通用户可读,不可写;目录管理员可读可写

3 查看用户的资源使用和配额

$ lfs quota -u <username> -h <dirname>

例如:

$ lfs quota -u root -h /aifs

结果:

Disk quotas for usr aiai (uid 23389):
     Filesystem    used   quota   limit   grace   files   quota   limit   grace
          /aifs  972.7T      0k      0k       -  145928       0       0       -

示例命令结果解释:

root用户在 /aifs上已占用了 972.7GB 存储空间,总共 145,928 个文件。该用户在 /aifs 上使用无限额。

  • used: 表示已使用的容量统计。
  • quotalimit: 分别表示容量的软限额和硬限额,0 代表无限额。
  • 软限额超限后,如果硬限额未超,还可以继续写数据。
  • 一旦达到硬限额,就无法再写入新文件。超限不影响读操作。
  • files: 表示已使用的文件数量统计,其后的 quota 和 limit 分别表示文件数量的软限额和硬限额。