数据传输(S3)
安装命令行
安装awscli:
https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/getting-started-install.html#getting-started-install-instructions
直到 aws configure list 可以运行
身份验证:
运行:
aws configure
输入access_key 和 secrete
这里告诉你这俩东西怎么找到:
https://docs.aws.amazon.com/zh_tw/IAM/latest/UserGuide/id_credentials_access-keys.html
Region 输入的是s3 桶的 region比如 us-east-1
(我们的key发在视觉算法群里, 搜索 access_key )
access_key(accesskey): AKIAQ****
secrete: RvCey****
region: us-east-1
命令行使用
本地服务器复制到AWS
常用的两个:
罗列s3里文件夹内容:
aws s3 ls s3://test-guo/
同步文件夹 (可以加 --delete 参数):
aws s3 sync /path/to/dir/ s3://test-guo/path/to/dir/
复制文件:
aws s3 cp /path/to/file.tar s3://test-guo/path/to/dir/
aws s3 cp /path/to/file.tar s3://test-guo/path/to/dir/new_name.tar
更多详见文档:
https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/cli-services-s3-commands.html#using-s3-commands-listing-buckets
从S3 复制到EC2
Aws confugure
然后输入4个key:access_key,secrete,region
然后成功显示
现在可以复制了
Aws s3 cp s3://.................. ./current_folder
EC2解压数据Nohup :
Nohup unzip ***.zip &
挂在后台解压很快,不如print很多数据,从美国传输到中国,需要时间,会耗费大量时间在print
EC2 多GPU后台挂载训练 tmux:
nohup只适合单GPU训练,多GPU会报错,所以使用tmux这个工具
https://zhuanlan.zhihu.com/p/98384704 教程百度即可
常用命令:
Tmux ls
Tmux new -s name
Tmux detach
Tmux attach -t name
Tmux kil-sesseion -t name
Tmux switch -t session-name
Lauch 一个实例
https://us-east-1.console.aws.amazon.com/ec2/home?region=us-east-1#Instances: