1 文件系统概述
AI平台采用LUSTRE文件系统。LLUSTRE是一个开源的、可扩展的高性能面向对象并行文件系统,被广泛应用于超级计算平台。全球超过 70% 的超级计算机使用 LUSTRE 文件系统。LUSTRE 由元数据服务器(MDS)、对象存储服务器(OSS)以及客户端组成。通过元数据服务器,LUSTRE 将所有对象存储服务器上的存储设备组成统一的存储空间,提供给客户端挂载,完全兼容 POSIX 语义。
LUSTRE 拥有很强的可扩展性,能够轻松管理数十 PB 的存储空间,且具有极高的性能,聚合带宽能够达到每秒几十甚至上百 GB,因此在高性能计算领域获得广泛应用。
2 目录说明
路径 | 用途 | Quota配额 | 权限 |
---|---|---|---|
/aifs/user/home/<username> |
存放个人 datasets/models 等 | 容量 500GB,文件数 30 万 | 用户可读可写 |
/aifs/public/data |
存放公开或共享的 datasets/models 等 | 按需求定义 | 普通用户可读,不可写;目录管理员可读可写 |
3 查看用户的资源使用和配额
$ lfs quota -u <username> -h <dirname>
例如:
$ lfs quota -u root -h /aifs
结果:
Disk quotas for usr aiai (uid 23389):
Filesystem used quota limit grace files quota limit grace
/aifs 972.7T 0k 0k - 145928 0 0 -
示例命令结果解释:
root
用户在 /aifs
上已占用了 972.7GB 存储空间,总共 145,928 个文件。该用户在 /aifs
上使用无限额。
- used: 表示已使用的容量统计。
- quota 和 limit: 分别表示容量的软限额和硬限额,0 代表无限额。
- 软限额超限后,如果硬限额未超,还可以继续写数据。
- 一旦达到硬限额,就无法再写入新文件。超限不影响读操作。
- files: 表示已使用的文件数量统计,其后的 quota 和 limit 分别表示文件数量的软限额和硬限额。