gsutil使用技巧指北
认证
1 | gcloud auth login |
用自己google账号生成的凭证即可
下载
1 | gsutil -m cp -n -r gs://waymo_open_dataset_motion_v_1_3_1/uncompressed/tf_example/training/* training/ |
| 命令 | 作用 | 解释 |
|---|---|---|
gsutil cp |
执行文件复制(下载)操作。 | 基础功能。 |
-m |
多线程/多进程。 | 速度快,处理故障能力强。 |
-n |
不覆盖 (No-clobber)。 | 实现续传,跳过已完成的文件。 |
-r |
递归复制。 | 确保处理目录和所有文件。 |
gs://.../* |
云端(GCS)源路径。 | 指定 Waymo 训练数据集的所有文件。 |
training/ |
本地目标路径。 | 指定下载文件存放的本地目录。 |
可以安装crcmod进一步加速
1 | pip install crcmod |
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Cosmos!
评论
