前言
由于最近要下载一些国外资源使用,其中尝试了很多解决方案,本来是想在本地下载的,但是由于本人身在矿山,地区偏远,上网都是靠无线线路,且由于公司宽带较小,我自己下肯定会占用大量的宽带下限和上限导致他人上网卡顿,并且本地下载速度也异常不稳定。所以想来想去还是准备使用离线下载,之后在宽带低峰传到本地。当然很多视频文件可以直接存在云盘上,在线观看即可。
我首先尝试了百度云,发现百度云的离线下载基本不可用(虽然我已开通了超会)主要是版权问题可能,那就不得而知了。之后又去尝试了offcloud,发现虽然有速度,但是很慢,等了一天,最后提示免费用户只能离线1G以下的文件,并且只能创建3个任务。之后什么115之类的等等,我都试了一边,都会有某些方面的限制。基于以上考虑,我开始考虑自建离线下载,首先想到的是使用Aria2。这个时候在githup上看到一段,使用heroku部署Aria2自动离线下载BT及其他资源,测试之后发现自建确实可以省心很多,无奈heroku本身宽带较小,速度慢,空间使用还有很大限制,说白了,我也不太懂heroku。最后考虑我自己还有个闲置的VPS,干脆拿出来部署一个使用算了,经过测试效果不错。
部署条件
VPS空间一个:系统为linux,用于安装所有程序,存储离线下载的文件。
Docker:用于方便安装及管理Aria2或其他BT下载程序。
AriaNg:用于离线下载。
OneDriveUploader:用于将本地文件上传至OneDrive网盘中的程序。
其他可选:文件管理器,可以自己安装一个,用于文件在线管理,方便文件取回。由于一般文件管理器需要配置php或者其他语言环境,并且我的VPS空间较小,这里我就不搞了。
安装Docker
#CentOS 6系统 rpm -iUvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm yum update -y yum -y install docker-io service docker start chkconfig docker on #CentOS 7、Debian、Ubuntu系统 curl -sSL https://get.docker.com/ | sh systemctl start docker systemctl enable docker
安装AriaNg镜像
安装完成后即可安装AriaNg的Docker镜像
docker run --restart=always --name aria2-ariang -d \ -p 6060:80 \ -p 6800:6800 \ -e SECRET=moerats \ -v ~/aria2/down:/data \ -v ~/aria2/conf:/conf \ onisuly/aria2-with-webui
安装完成后,相关信息如下
开启端口
#CentOS 6 iptables -I INPUT -p tcp --dport 6060 -j ACCEPT iptables -A INPUT -p tcp --dport 6800 -j ACCEPT service iptables save service iptables restart #CentOS 7 firewall-cmd --zone=public --add-port=6060/tcp --permanent firewall-cmd --zone=public --add-port=6800/tcp --permanent firewall-cmd --reload
测试使用
在浏览器打开http://ip:6060,输入配置密匙即可使用。
打开AriaNg设置—IP(全局旁边的那个)—Aria2 RPC秘钥(默认为moerats),保存即可连接。
配置修改
默认的配置文件的安装路径为/root/aria2/conf/aria2.conf,下载下来用文本编辑器打开修改
其中rpc-secret=moerats中的moerats修改为你自己的密码
enable-rpc=true rpc-listen-all=true rpc-allow-origin-all=true rpc-listen-port=6800 rpc-secret=moerats
有的时候可能会出现Aria2 fallocate failed cause not supported解决办法
还是打开aria2.conf文件,找到以下这段
file-allocation=falloc
修改为(原因falloc会预先分配完整的空间)
file-allocation=none
之后重启aria2即可。
注意:任何时候修改aria2.conf配置文件,想要生效,必须要重启aria2。重启aria2可能会导致已经完成的任务丢失。
docker restart aria2-ariang
测试了以下效果很好,我用的PR空间,晚上9点,离线速度大概在15M/S左右。
程序卸载
#删掉容器 ContainerID=`docker ps|grep onisuly/aria2-with-webui|awk '{print $1}'` docker kill ${ContainerID} docker rm ${ContainerID} docker rmi `docker images|grep onisuly/aria2-with-webui|awk '{print $3}'` #删掉下载文件夹 rm -rf ~/aria2
部署完成离线仔仔服务以后,就开始考虑文件取回了。你可以选择架设web服务将文件下载回来,也可以直接用xshell之类的软件将文件直接下载,还可以传到其他地方去在取回来,我这里是将VPS上的文件上传到Onedrive上了,先存后取比较方便。我这里用的是萌咖大佬编译的程序。
项目地址:https://github.com/MoeClub/OneList/tree/master/OneDriveUploader
取得onedrive授权
点击右侧URL
登录并授权,授权地址→【国际版、个人版(家庭版)】、【中国版(世纪互联)】。
授权后会获取一个localhost开头打不开的链接,这里复制好整个链接地址,包括localhost
安装OneDriveUploader
#64位系统下载 wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/amd64/linux/OneDriveUploader -P /usr/local/bin/ #32位系统下载 wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/i386/linux/OneDriveUploader -P /usr/local/bin/ #arm架构下载 wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/arm/linux/OneDriveUploader -P /usr/local/bin/ #给予权限 chmod +x /usr/local/bin/OneDriveUploader
初始化配置
#国际版,将url换成你上面复制的授权地址,包括http://loaclhost。 OneDriveUploader -a "url" #个人版(家庭版),将url换成你上面复制的授权地址,包括http://loaclhost。 OneDriveUploader -ms -a "url" #中国版(世纪互联),将url换成你上面复制的授权地址,包括http://loaclhost。 OneDriveUploader -cn -a "url"
如果提示Init config file: /path/to/file/auth.json类似信息,则初始化成功。友情提示,可能需要等待十几秒。
使用命令
Usage of OneDriveUploader: -a string // 初始化授权 Setup and Init auth.json. -b string // 自定义上传分块大小, 可以提高网络吞吐量, 受限于磁盘性能和网络速度. Set block size. [Unit: M; 5<=b<=60;] (default "10") -c string // 配置文件路径 Config file. (default "auth.json") -n string // 上传单个文件时,在网盘中重命名 Rename file on upload to remote. -r string // 上传到网盘中的某个目录, 默认: 根目录 Upload to reomte path. -s string // *必要参数, 要上传的文件或文件夹 Upload item. -t string // 线程数, 同时上传文件的个数. 默认: 2 Set thread num. (default "2") -f // 开关(推荐) // 加上 -f 参数,强制读取 auth.json 中的块大小配置和多线程配置. // 不加 -f 参数, 每次覆盖保存当前使用参数到 auth.json 配置文件中. Force Read config form config file. [BlockSize, ThreadNum] -skip // 开关 // 跳过上传网盘中已存在的同名文件. (默认不跳过) Skip exist file on remote. -cn // 开关 // 授权中国版(世纪互联), 需要此参数. OneDrive by 21Vianet. -ms // 开关 // 授权个人版(家庭版), 需要此参数. OneDrive by Microsoft.
命令示例
#将当前目录下的mm00.jpg文件上传到OneDrive网盘根目录 OneDriveUploader -c /path/to/file/auth.json -s "mm00.jpg" #将当前目录下的mm00.jpg文件上传到OneDrive网盘根目录,并改名为mm01.jpg OneDriveUploader -c /path/to/file/auth.json -s "mm00.jpg" -n "mm01.jpg" #将当前目录下的Download文件夹上传到OneDrive网盘根目录 OneDriveUploader -c /path/to/file/auth.json -s "Download" #将当前目录下的Download文件夹上传到OneDrive网盘Test目录中 OneDriveUploader -c /path/to/file/auth.json -s "Download" -r "Test" #将同目录下的Download文件夹上传到OneDriv网盘Test目录中,使用10线程 OneDriveUploader -c /path/to/file/auth.json -t 10 -s "Download" -r "Test" #将同目录下的Download文件夹上传到OneDrive网盘Test目录中,使用15线程,并设置分块大小为20M OneDriveUploader -c /path/to/file/auth.json -t 15 -b 20 -s "Download" -r "Test"
/path/to/file/auth.json
为初始化时,生成的auth.json
绝对路径地址,本文默认/root/auth.json
,自行调整。
注意:如果你之前上传手动中断过,再上传的时候,请使用-skip
参数,默认会跳过你已经上传过的文件/文件夹。
Aria2自动上传
上传脚本代码如下,自己简单修改配置后,保存为upload.sh
#!/bin/bash GID="$1"; FileNum="$2"; File="$3"; MaxSize="15728640"; Thread="3"; #默认3线程,自行修改,服务器配置不好的话,不建议太多 Block="20"; #默认分块20m,自行修改 RemoteDIR=""; #上传到Onedrive的路径,默认为根目录,如果要上传到MOERATS目录,""里面请填成MOERATS LocalDIR="/www/download/"; #Aria2下载目录,记得最后面加上/ Uploader="/usr/local/bin/OneDriveUploader"; #上传的程序完整路径,默认为本文安装的目录 Config="/root/auth.json"; #初始化生成的配置auth.json绝对路径,参考第3步骤生成的路径 if [[ -z $(echo "$FileNum" |grep -o '[0-9]*' |head -n1) ]]; then FileNum='0'; fi if [[ "$FileNum" -le '0' ]]; then exit 0; fi if [[ "$#" != '3' ]]; then exit 0; fi function LoadFile(){ if [[ ! -e "${Uploader}" ]]; then return; fi IFS_BAK=$IFS IFS=$'\n' tmpFile="$(echo "${File/#$LocalDIR}" |cut -f1 -d'/')" FileLoad="${LocalDIR}${tmpFile}" if [[ ! -e "${FileLoad}" ]]; then return; fi ItemSize=$(du -s "${FileLoad}" |cut -f1 |grep -o '[0-9]*' |head -n1) if [[ -z "$ItemSize" ]]; then return; fi if [[ "$ItemSize" -ge "$MaxSize" ]]; then echo -ne "\033[33m${FileLoad} \033[0mtoo large to spik.\n"; return; fi ${Uploader} -c "${Config}" -t "${Thread}" -b "${Block}" -s "${FileLoad}" -r "${RemoteDIR}" -skip if [[ $? == '0' ]]; then rm -rf "${FileLoad}"; fi IFS=$IFS_BAK } LoadFile;
编辑好上传脚本后,可以检测下脚本编码是否正确,比如我脚本路径为/root/upload.sh
,使用命令:
bash /root/upload.sh
如果无任何输出,则正确,反之输出类似$'r': command not found
错误,则需要转换下编码格式,具体步骤如下。
先安装dos2unix
#CentOS系统 yum install dos2unix -y #Debian/Ubuntu系统 apt install dos2unix -y
再转换编码:
#后面为脚本路径 dos2unix /root/upload.sh
配置AriaNg的上传脚本
原理很简单,通过配置项on-download-complete
来完成下载文件自动移动上传到onedrive里面
打开/root/aria2/conf/aria2.conf文件,可以使用vim或者本地文件编辑器。
在文本末尾加上这段代码,保存后重启aria2即可。记得路径修改为你配置的路径。
on-download-complete=/root/upload.sh
参考文章
主要来源于萌鼠大佬的,如果我上面有不对的地方可以到这里找:
1、使用Aira2下载文件后自动上传到Google Drive网盘
2、一个好用的OneDrive网盘上传工具,支持文件和文件夹上传