张磊的blog

脚本分享：备份数据库到Amazon S3

家里网络不好，备份服务器上几G的数据并下载回来极其痛苦（这还是压缩过的）。于是我想把数据备份上传到AmazonS3上，一来Linode到Amazon网速应该不是问题；二来，“Cloud Storage”也要比我的笔记本硬盘更靠得住。

科普一下：

S3 = Simple Storage Service。是由Amazon提供的在线存储服务。

我使用了ruby下的s3sync作为与Amazon交互的客户端，并写了一个shell脚本对它进行了简单包装。脚本用法很简单：

./backup_mysql_and_sync_s3.sh dbname1 [ dbname2 ...]

只要在参数中指明数据库名，就会自动将数据库内容用mysqldump导出并压缩，然后上传到S3中。下面详述一下脚本的获取和配置，搞定之后备份东西很轻松。

0. 环境依赖

依赖于ruby。Dreamhost上面自己有ruby，如果在用Linode而且是Debian系列，可以apt-get install ruby装上。

需要有Amazon AWS账号。脚本需要使用AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY进行身份验证。

1. 获得s3sync-s3cmd，创建bucket

svn checkout \
  http://s3sync-s3cmd.googlecode.com/svn/trunk/ \
  s3sync-s3cmd
cd s3sync-s3cmd/s3sync
export AWS_ACCESS_KEY_ID="your_access_key_id"
export AWS_SECRET_ACCESS_KEY="your_serect_access_key"
ruby s3cmd.rb createbucket bucket_name

如果一切正常，创建操作不会有任何返回。出错时会有相应提示。

此处需记下s3cmd.rb的位置、以及创建的bucket_name，备用。

2. 获得shell脚本，修改配置

脚本地址在此处，可以直接用下方shell脚本获得并解压。

wget http://www.blogkid.net/wp-content/uploads\
  /2010/02/backup_mysql_and_sync_s3.zip
unzip backup_mysql_and_sync_s3.zip
chmod +x backup_mysql_and_sync_s3.sh

打开backup_mysql_and_sync_s3.sh。修改下方这些配置：

export AWS_ACCESS_KEY_ID="your_access_key_id"
export AWS_SECRET_ACCESS_KEY="your_serect_access_key"
BUCKET_NAME="you_bucket_name"

PATH_TO_S3SYNC="path_to_s3sync"
MYSQL_USER="your_db_user"
MYSQL_PASSWD="your_db_passwd"

MYSQL_PASSWD可以留空，这样的话运行时需要自己输入。

如有必要，还可以修改MYSQL_HOST和MYSQL_PORT。比如在Dreamhost上，MYSQL_HOST就不是localhost。

做好配置后，就可以试着运行一下。想备份哪个db，只要输入数据库名即可，指哪打哪。当然，也不要滥用，免得Amazon账单不留情。

如果想作为crontab任务，建议用mutt把运行结果发送到邮箱。命令大致如下：

./backup_mysql_and_sync_s3.sh \
  dbname1 dbname2 | /usr/bin/mutt \
  -s "backup mail notification" zhanglei909(at)gmail.com

延伸阅读：

车东：如何利用Amazon S3服务将文件备份到国外

UPDATE: 车东在他的文章中说，从国内备份到国外，每天可以备份1G左右。但在Linode服务器上，这个速度是3M每秒。在我的测试中，一个900M的文件，传输到S3花费的时间甚至小于生成此文件的时间。