AriaNg+OneDriveUploader离线BT下载并自动上传到Onedrive

前言

由于最近要下载一些国外资源使用,其中尝试了很多解决方案,本来是想在本地下载的,但是由于本人身在矿山,地区偏远,上网都是靠无线线路,且由于公司宽带较小,我自己下肯定会占用大量的宽带下限和上限导致他人上网卡顿,并且本地下载速度也异常不稳定。所以想来想去还是准备使用离线下载,之后在宽带低峰传到本地。当然很多视频文件可以直接存在云盘上,在线观看即可。
我首先尝试了百度云,发现百度云的离线下载基本不可用(虽然我已开通了超会)主要是版权问题可能,那就不得而知了。之后又去尝试了offcloud,发现虽然有速度,但是很慢,等了一天,最后提示免费用户只能离线1G以下的文件,并且只能创建3个任务。之后什么115之类的等等,我都试了一边,都会有某些方面的限制。基于以上考虑,我开始考虑自建离线下载,首先想到的是使用Aria2。这个时候在githup上看到一段,使用heroku部署Aria2自动离线下载BT及其他资源,测试之后发现自建确实可以省心很多,无奈heroku本身宽带较小,速度慢,空间使用还有很大限制,说白了,我也不太懂heroku。最后考虑我自己还有个闲置的VPS,干脆拿出来部署一个使用算了,经过测试效果不错。

部署条件

VPS空间一个:系统为linux,用于安装所有程序,存储离线下载的文件。
Docker:用于方便安装及管理Aria2或其他BT下载程序。
AriaNg:用于离线下载。
OneDriveUploader:用于将本地文件上传至OneDrive网盘中的程序。
其他可选:文件管理器,可以自己安装一个,用于文件在线管理,方便文件取回。由于一般文件管理器需要配置php或者其他语言环境,并且我的VPS空间较小,这里我就不搞了。

安装Docker

#CentOS 6系统
rpm -iUvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
yum update -y
yum -y install docker-io
service docker start
chkconfig docker on

#CentOS 7、Debian、Ubuntu系统
curl -sSL https://get.docker.com/ | sh
systemctl start docker
systemctl enable docker

安装成功后提示如下,我用的是centos7,下图供产考
《AriaNg+OneDriveUploader离线BT下载并自动上传到Onedrive》

安装AriaNg镜像

安装完成后即可安装AriaNg的Docker镜像

docker run --restart=always --name aria2-ariang -d \
-p 6060:80 \
-p 6800:6800 \
-e SECRET=moerats \
-v ~/aria2/down:/data \
-v ~/aria2/conf:/conf \
onisuly/aria2-with-webui

安装完成后,相关信息如下

AriaNg地址:http://ip:6060
aria2连接端口:6800
aria2连接密匙:moerats
下载/配置目录:~/aria2

开启端口

#CentOS 6
iptables -I INPUT -p tcp --dport 6060 -j ACCEPT
iptables -A INPUT -p tcp --dport 6800 -j ACCEPT
service iptables save
service iptables restart

#CentOS 7
firewall-cmd --zone=public --add-port=6060/tcp --permanent
firewall-cmd --zone=public --add-port=6800/tcp --permanent
firewall-cmd --reload

测试使用

在浏览器打开http://ip:6060,输入配置密匙即可使用。

打开AriaNg设置—IP(全局旁边的那个)—Aria2 RPC秘钥(默认为moerats),保存即可连接。

《AriaNg+OneDriveUploader离线BT下载并自动上传到Onedrive》

配置修改

默认的配置文件的安装路径为/root/aria2/conf/aria2.conf,下载下来用文本编辑器打开修改
《AriaNg+OneDriveUploader离线BT下载并自动上传到Onedrive》

其中rpc-secret=moerats中的moerats修改为你自己的密码

enable-rpc=true
rpc-listen-all=true
rpc-allow-origin-all=true
rpc-listen-port=6800
rpc-secret=moerats

有的时候可能会出现Aria2 fallocate failed cause not supported解决办法
还是打开aria2.conf文件,找到以下这段

file-allocation=falloc

修改为(原因falloc会预先分配完整的空间)

file-allocation=none

之后重启aria2即可。

注意:任何时候修改aria2.conf配置文件,想要生效,必须要重启aria2。重启aria2可能会导致已经完成的任务丢失。

docker restart aria2-ariang

测试了以下效果很好,我用的PR空间,晚上9点,离线速度大概在15M/S左右。

程序卸载

#删掉容器
ContainerID=`docker ps|grep onisuly/aria2-with-webui|awk '{print $1}'`
docker kill ${ContainerID}
docker rm ${ContainerID}
docker rmi `docker images|grep onisuly/aria2-with-webui|awk '{print $3}'`
#删掉下载文件夹
rm -rf ~/aria2

部署完成离线仔仔服务以后,就开始考虑文件取回了。你可以选择架设web服务将文件下载回来,也可以直接用xshell之类的软件将文件直接下载,还可以传到其他地方去在取回来,我这里是将VPS上的文件上传到Onedrive上了,先存后取比较方便。我这里用的是萌咖大佬编译的程序。

项目地址:https://github.com/MoeClub/OneList/tree/master/OneDriveUploader

取得onedrive授权

点击右侧URL登录并授权,授权地址→【国际版、个人版(家庭版)】、【中国版(世纪互联)】。

授权后会获取一个localhost开头打不开的链接,这里复制好整个链接地址,包括localhost
《AriaNg+OneDriveUploader离线BT下载并自动上传到Onedrive》

安装OneDriveUploader

#64位系统下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/amd64/linux/OneDriveUploader -P /usr/local/bin/
#32位系统下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/i386/linux/OneDriveUploader -P /usr/local/bin/
#arm架构下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/arm/linux/OneDriveUploader -P /usr/local/bin/

#给予权限
chmod +x /usr/local/bin/OneDriveUploader

初始化配置

#国际版,将url换成你上面复制的授权地址,包括http://loaclhost。
OneDriveUploader -a "url"

#个人版(家庭版),将url换成你上面复制的授权地址,包括http://loaclhost。
OneDriveUploader -ms -a "url"

#中国版(世纪互联),将url换成你上面复制的授权地址,包括http://loaclhost。
OneDriveUploader -cn -a "url"

如果提示Init config file: /path/to/file/auth.json类似信息,则初始化成功。友情提示,可能需要等待十几秒。

《AriaNg+OneDriveUploader离线BT下载并自动上传到Onedrive》

使用命令

Usage of OneDriveUploader:
  -a string
        // 初始化授权
        Setup and Init auth.json.
  -b string
        // 自定义上传分块大小, 可以提高网络吞吐量, 受限于磁盘性能和网络速度.
        Set block size. [Unit: M; 5<=b<=60;] (default "10")
  -c string
        // 配置文件路径
        Config file. (default "auth.json")
  -n string
        // 上传单个文件时,在网盘中重命名
        Rename file on upload to remote.
  -r string
        // 上传到网盘中的某个目录, 默认: 根目录
        Upload to reomte path.
  -s string
        // *必要参数, 要上传的文件或文件夹
        Upload item.
  -t string
        // 线程数, 同时上传文件的个数. 默认: 2
        Set thread num. (default "2")
  -f
        // 开关(推荐)
        // 加上 -f 参数,强制读取 auth.json 中的块大小配置和多线程配置.
        // 不加 -f 参数, 每次覆盖保存当前使用参数到 auth.json 配置文件中.
        Force Read config form config file. [BlockSize, ThreadNum]
  -skip
        // 开关
        // 跳过上传网盘中已存在的同名文件. (默认不跳过)
        Skip exist file on remote.
  -cn
        // 开关
        // 授权中国版(世纪互联), 需要此参数.
        OneDrive by 21Vianet.
  -ms
        // 开关
        // 授权个人版(家庭版), 需要此参数.
        OneDrive by Microsoft.

命令示例

#将当前目录下的mm00.jpg文件上传到OneDrive网盘根目录
OneDriveUploader -c /path/to/file/auth.json -s "mm00.jpg"

#将当前目录下的mm00.jpg文件上传到OneDrive网盘根目录,并改名为mm01.jpg
OneDriveUploader -c /path/to/file/auth.json -s "mm00.jpg" -n "mm01.jpg"

#将当前目录下的Download文件夹上传到OneDrive网盘根目录
OneDriveUploader -c /path/to/file/auth.json -s "Download" 

#将当前目录下的Download文件夹上传到OneDrive网盘Test目录中
OneDriveUploader -c /path/to/file/auth.json -s "Download" -r "Test"

#将同目录下的Download文件夹上传到OneDriv网盘Test目录中,使用10线程
OneDriveUploader -c /path/to/file/auth.json -t 10 -s "Download" -r "Test"

#将同目录下的Download文件夹上传到OneDrive网盘Test目录中,使用15线程,并设置分块大小为20M
OneDriveUploader -c /path/to/file/auth.json -t 15 -b 20 -s "Download" -r "Test"

/path/to/file/auth.json为初始化时,生成的auth.json绝对路径地址,本文默认/root/auth.json,自行调整。

注意:如果你之前上传手动中断过,再上传的时候,请使用-skip参数,默认会跳过你已经上传过的文件/文件夹。

Aria2自动上传

上传脚本代码如下,自己简单修改配置后,保存为upload.sh

#!/bin/bash

GID="$1";
FileNum="$2";
File="$3";
MaxSize="15728640";
Thread="3";  #默认3线程,自行修改,服务器配置不好的话,不建议太多
Block="20";  #默认分块20m,自行修改
RemoteDIR="";  #上传到Onedrive的路径,默认为根目录,如果要上传到MOERATS目录,""里面请填成MOERATS
LocalDIR="/www/download/";  #Aria2下载目录,记得最后面加上/
Uploader="/usr/local/bin/OneDriveUploader";  #上传的程序完整路径,默认为本文安装的目录
Config="/root/auth.json";  #初始化生成的配置auth.json绝对路径,参考第3步骤生成的路径


if [[ -z $(echo "$FileNum" |grep -o '[0-9]*' |head -n1) ]]; then FileNum='0'; fi
if [[ "$FileNum" -le '0' ]]; then exit 0; fi
if [[ "$#" != '3' ]]; then exit 0; fi

function LoadFile(){
  if [[ ! -e "${Uploader}" ]]; then return; fi
  IFS_BAK=$IFS
  IFS=$'\n'
  tmpFile="$(echo "${File/#$LocalDIR}" |cut -f1 -d'/')"
  FileLoad="${LocalDIR}${tmpFile}"
  if [[ ! -e "${FileLoad}" ]]; then return; fi
  ItemSize=$(du -s "${FileLoad}" |cut -f1 |grep -o '[0-9]*' |head -n1)
  if [[ -z "$ItemSize" ]]; then return; fi
  if [[ "$ItemSize" -ge "$MaxSize" ]]; then
    echo -ne "\033[33m${FileLoad} \033[0mtoo large to spik.\n";
    return;
  fi
  ${Uploader} -c "${Config}" -t "${Thread}" -b "${Block}" -s "${FileLoad}" -r "${RemoteDIR}" -skip
  if [[ $? == '0' ]]; then
    rm -rf "${FileLoad}";
  fi
  IFS=$IFS_BAK
}
LoadFile;

编辑好上传脚本后,可以检测下脚本编码是否正确,比如我脚本路径为/root/upload.sh,使用命令:

bash /root/upload.sh

如果无任何输出,则正确,反之输出类似$'r': command not found错误,则需要转换下编码格式,具体步骤如下。

先安装dos2unix

#CentOS系统
yum install dos2unix -y

#Debian/Ubuntu系统
apt install dos2unix -y

再转换编码:

#后面为脚本路径
dos2unix /root/upload.sh

配置AriaNg的上传脚本

原理很简单,通过配置项on-download-complete来完成下载文件自动移动上传到onedrive里面

打开/root/aria2/conf/aria2.conf文件,可以使用vim或者本地文件编辑器。

在文本末尾加上这段代码,保存后重启aria2即可。记得路径修改为你配置的路径。

on-download-complete=/root/upload.sh

参考文章

主要来源于萌鼠大佬的,如果我上面有不对的地方可以到这里找:

1、使用Aira2下载文件后自动上传到Google Drive网盘
2、一个好用的OneDrive网盘上传工具,支持文件和文件夹上传

3、多种功能强大的BT离线下载程序Docker附加及安装

发表回复