-
Linux如何提高大文件的拷贝效率
- 时间:2024-04-26 18:04:28
大家好,今天Win10系统之家小编给大家分享「Linux如何提高大文件的拷贝效率」的知识,如果能碰巧解决你现在面临的问题,记得收藏本站或分享给你的好友们哟~,现在开始吧!
Linux系统操作中,当你在进行机器直接的拷贝时,遇到大文件的时候非常浪费时间,特别是将文件同时拷贝到多台机器上的时候,那么有什么好的方法能够提高大文件的拷贝效率呢?一起来学习下吧。
你可以从源机器逐个拷贝到逐台目标机器,但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器,但是受制于源机器的带宽等因素,速度并不见得真的很快。
还好,借助一些UNIX工具可以做的更好。把tee和FIFO组合起来,可以形成一个文件快速分发链:处于分发链中的每台机器会保存文件,同时还分发给它的下一环。
首先,选定一台目标机器做为分发链的最后一环,在这台机器上只需要用nc监听(假定端口是1234),再通过管道由pigz解压缩,继续通过管道把数据交由tar来分解。
nc -l 1234| pigz -d | tar xvf -
然后,再从分发链的末端往上走,设置其它目标机器,同样要经过监听、解压、分解,不过在解压之前我们通过tee命令将数据输出到命名管道(FIFO),另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环:
mkfifo myfifo
nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -
最后,在源机器上启动分发链,让数据传输到分发链的第一环:
tar cv some_files | pigz | nc hostname_of_first_box 1234
在我的测试中,分发链中的每台机器大概损失了3%-10%的性能(相对于1对1的拷贝而言),但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发,效率提升是很明显的。
上面就是Linux提高大文件拷贝效率的方法介绍了,主要通过UNIX工具形成一个文件快速分发链来实现大文件的快速拷贝,效率提高了不少。
以上就是关于「Linux如何提高大文件的拷贝效率」的全部内容,本文讲解到这里啦,希望对大家有所帮助。如果你还想了解更多这方面的信息,记得收藏关注本站~
『本♀文来♀源Win10系统之家Www.gHosT580.neT!』
相关文章
-
Linux系统操作中,当你在进行机器直接的拷贝时,遇到大文件的时候非常浪费时间,特别是将文件同时拷贝到多台机器上的时候,那么有什么好的方法能够提高大文件的拷贝效率呢?一起来学习下吧。
你可以从源机器逐个拷贝到逐台目标机器,但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器,但是受制于源机器的带宽等因素,速度并不见得真的很快。
还好,借助一些... -
单纯的了解Linuxfind命令是不够的,我们还要知道怎么使用它,下面小编从find的例子中给大家介绍下find的用法,希望对初学者能有所帮助。
让我们先从一个简单例子开始。
$find/-nametest
。/backup/modules/field/modules/test
$
“查找根目录下名称为’test’的文件”,... -
作为一个Linux系统管理员,或者刚刚入门的初学者们,sudo命令是必须要知道的,那么sudo命令是什么命令呢?又有什么作用,随小编一起来了解下吧。
sudo是个统管一切的命令。它的字面意思是代表“超级用户才能做!”(superuserdo!)对Linux系统管理员或高级用户而言,它是必不可少的最重要的命令之一。你可曾有过这样的经历:在终端中试着运行某个命令,结果却遇到“... -
在进行Linux系统操作的时候,如果出现更换硬件、更改系统配置及死机等情况时,就需要对电脑进行重启,而不同的情形重启的方式也不同,即使用的命令不同,下面小编就给大家介绍下Linux下不同情形的重启方法。
不同于桌面系统,作为服务器,我们较少对Linux系统进行系统重启,但在以下情形出现时,我们会对机器进行重启:
更换硬件
更改系统配置
...