微软官方MSDN原版Win10系统下载

现在位置: 首页  > 系统教程  > Linux教程

Linux如何提高大文件的拷贝效率

时间:2024-04-26 18:04:28   

大家好,今天Win10系统之家小编给大家分享「Linux如何提高大文件的拷贝效率」的知识,如果能碰巧解决你现在面临的问题,记得收藏本站或分享给你的好友们哟~,现在开始吧!

人体是如何运作的?系列软件最新版本下载

  Linux系统操作中,当你在进行机器直接的拷贝时,遇到大文件的时候非常浪费时间,特别是将文件同时拷贝到多台机器上的时候,那么有什么好的方法能够提高大文件的拷贝效率呢?一起来学习下吧。

  你可以从源机器逐个拷贝到逐台目标机器,但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器,但是受制于源机器的带宽等因素,速度并不见得真的很快。

  还好,借助一些UNIX工具可以做的更好。把tee和FIFO组合起来,可以形成一个文件快速分发链:处于分发链中的每台机器会保存文件,同时还分发给它的下一环。

  首先,选定一台目标机器做为分发链的最后一环,在这台机器上只需要用nc监听(假定端口是1234),再通过管道由pigz解压缩,继续通过管道把数据交由tar来分解。

  nc -l 1234| pigz -d | tar xvf -

  然后,再从分发链的末端往上走,设置其它目标机器,同样要经过监听、解压、分解,不过在解压之前我们通过tee命令将数据输出到命名管道(FIFO),另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环:

  mkfifo myfifo

  nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -

  最后,在源机器上启动分发链,让数据传输到分发链的第一环:

  tar cv some_files | pigz | nc hostname_of_first_box 1234

  在我的测试中,分发链中的每台机器大概损失了3%-10%的性能(相对于1对1的拷贝而言),但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发,效率提升是很明显的。

  上面就是Linux提高大文件拷贝效率的方法介绍了,主要通过UNIX工具形成一个文件快速分发链来实现大文件的快速拷贝,效率提高了不少。

以上就是关于「Linux如何提高大文件的拷贝效率」的全部内容,本文讲解到这里啦,希望对大家有所帮助。如果你还想了解更多这方面的信息,记得收藏关注本站~

『本♀文来♀源Win10系统之家Www.gHosT580.neT!』

上一篇:返回列表 下一篇:返回列表

相关文章

  • Linux如何提高大文件的拷贝效率

    Linux如何提高大文件的拷贝效率


      Linux系统操作中,当你在进行机器直接的拷贝时,遇到大文件的时候非常浪费时间,特别是将文件同时拷贝到多台机器上的时候,那么有什么好的方法能够提高大文件的拷贝效率呢?一起来学习下吧。
      你可以从源机器逐个拷贝到逐台目标机器,但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器,但是受制于源机器的带宽等因素,速度并不见得真的很快。
      还好,借助一些...
  • 初学者如何快速学习Linux下的find命令

    初学者如何快速学习Linux下的find命令


      单纯的了解Linuxfind命令是不够的,我们还要知道怎么使用它,下面小编从find的例子中给大家介绍下find的用法,希望对初学者能有所帮助。
      让我们先从一个简单例子开始。
      $find/-nametest
      。/backup/modules/field/modules/test
      $
      “查找根目录下名称为’test’的文件”,...
  • Linux系统下如何利用sudo命令提高权限

    Linux系统下如何利用sudo命令提高权限


      作为一个Linux系统管理员,或者刚刚入门的初学者们,sudo命令是必须要知道的,那么sudo命令是什么命令呢?又有什么作用,随小编一起来了解下吧。
      sudo是个统管一切的命令。它的字面意思是代表“超级用户才能做!”(superuserdo!)对Linux系统管理员或高级用户而言,它是必不可少的最重要的命令之一。你可曾有过这样的经历:在终端中试着运行某个命令,结果却遇到“...
  • Linux系统中不同情况的重启命令如何使用

    Linux系统中不同情况的重启命令如何使用


      在进行Linux系统操作的时候,如果出现更换硬件、更改系统配置及死机等情况时,就需要对电脑进行重启,而不同的情形重启的方式也不同,即使用的命令不同,下面小编就给大家介绍下Linux下不同情形的重启方法。
      不同于桌面系统,作为服务器,我们较少对Linux系统进行系统重启,但在以下情形出现时,我们会对机器进行重启:
      更换硬件
      更改系统配置
      ...