《在云服务器上挂起脚本执行爬取数据任务需要注意的点》

需要注意文件路径,在windows可能是\但在linux下需要写成./或者绝对路径,并且注意路径上的文件夹是否已经新建好。

需要安装脚本所需要的依赖包。

文件打压缩命令为(在文件目录下执行)

tar -zvcf filename.tar filename

因为数据比较大,压缩成了一个比较大的文件,不能一次性传输,所以在压缩后还需要分成几个小文件:

split -b 520M -d -a 1 file_name.tar.gz file_name.tar.gz

使用split命令,-b 4000M 表示设置每个分割包的大小,单位还是可以k
-d “参数指定生成的分割包后缀为数字的形式
-a x来设定序列的长度(默认值是2),这里设定序列的长度为1,结果如图所示

image-20211001231722458

将分卷下载到本地后,然后在文件所在目录下执行合并文件命令:

copy /B notices.tar0+notices.tar1+notices.tar2+notices.tar3+notices.tar4+notices.tar5+notices.tar6

结果就是将6个文件全部结合到notices.tar0文件了,这时候再用解压缩软件解压缩即可。

image-20211001231733122


欢迎在评论区中进行批评指正,转载请注明来源,如涉及侵权,请联系作者删除。

×

喜欢就点赞,疼爱就打赏