请教下，百万级小文件搬家怎么才能快速完成？

我是小小鸟 · 发表于 2024-12-9 21:56:35

做了个图片站，现在有100多万的小文件，打包的话压缩包就要80个小时。还有可能中间出错，想问下，有什么办法可以快速搬家？

HOH · 发表于 2024-12-9 21:57:20

问就是寄硬盘

kucn · 发表于 2024-12-9 22:53:08

screen -S web
tar czf - /目录 | ssh root@新IP tar xzf - -C /目录

只要你宽带够可以跑满，只要不关机不会停，搬完为止。

Wency · 发表于 2024-12-10 15:11:12

我百万级html直接rsync异地备份，，，丝滑。

Slimyang · 发表于 2024-12-10 13:07:42

Resilio Sync

midori · 发表于 2024-12-10 01:27:37

分区克隆

Cvunu8uf · 发表于 2024-12-10 00:57:52

多线程打包分卷，在加校验

胖虎_ · 发表于 2024-12-10 00:18:00

使用rclone 同步挂那边就行了。正常是能跑满带宽的。速度应该挺快的。小文件好像都是多个一起同步。

三丫的 · 发表于 2024-12-10 00:10:27

寄硬盘

507 · 发表于 2024-12-9 23:39:53

宝塔同步就可以

M100700 · 发表于 2024-12-9 23:33:56

百万又不是很多，直接下个宝塔文件同步就行了，当然不嫌麻烦可以直接rsync

主要是看你新机器和老机器之间的连接速度怎么样，要是能跑个几百M，几小时就搞定了。

		自动登录	找回密码
密码			注册