mysql实时增量备份

时间:2022-09-08 19:18:52

采用binlog日志的好处
  掌控所有更改操作,必要时可用于恢复数据
  数据库主从复制的必要条件

[linyouyi@localhost~]# vim  /etc/my.cnf
[mysqld]
.. ..
log-bin=mysql-bin //启用二进制日志,并指定前缀
.. ..
[linyouyi@dbsvr1 ~]# service mysqld restart

确认binlog日志文件
新启用binlog后,每次启动MySQl服务都会新生成一份日志文件:

[linyouyi@localhost~]# ls /var/lib/mysql/mysql-bin.*
/var/lib/mysql/mysql-bin. /var/lib/mysql/mysql-bin.index

清除binlog日志
  删除早前指定版本的binlog日志
    RURGE MASTER LOGS TO "binlog日志"
  删除所有binlog日志,重新新建日志
    RESET MASTETR

分析binlog日志
  使用mysqlbinlog工具
    格式:mysqlbinlog [选项] 日志文件
  常用选项
    --start-datatime="YYYY-mm-dd HH:MM:SS"
    --stop-datatime="YYYY-mm-dd HH:MM:SS"
    --start-position=起止位置
    --stop-positon=结束位置

[linyouyi@localhost ~]# mysqlbinlog /var/lib/mysql/mysql-bin.
[linyouyi@localhost ~]# mysqlbinlog --start-datetime="2018-10-20 23:30" /var/lib/mysql/mysql-bin.

利用binlog恢复数据
  基本方法
    使用mysqlbinlog提取历史SQL操作
    通过管道交给mysql命令重做
  案例
    重做第一份binlog所记录的更改操作
执行指定Pos节点范围内的sql命令恢复数据
根据上述日志分析,只要恢复从2018-10-12 20:40:50到2018-10-20 23:15:50之间的操作即可。可通过mysqlbinlog指定时间范围输出,结合管道交给msyql命令执行导入重做:

[linyouyi@loclahost ~]# mysqlbinlog \
--start-datetime="2018-10-12 20:40:50" \
--stop-datetime="2018-10-20 23:15:50" \
/var/lib/mysql/mysql-bin. | mysql -u linyouyi -p
Enter password:
若是全部重做
[linyouyi@loclahost ~]# mysqlbinlog /var/lib/mysql/mysql-bin. | mysql -u linyouyi -p
Enter password:

mysql备份工具
  mysqlhotcopy不足
    仅适用于MyISAM引擎的数据库
    备份过程中,数据插入和更新操作都会被挂起
  mysqldump不足
    效率较低,备份和还原速度慢
    备份过程中,数据插入和更新操作会被挂起
  XtraBackup工具
    在线热备份工具
    备份过程中不锁表,适合生产环境适用
    支持整体备份和增量备份
    组件一xtrabackup:C程序,支持InnoDB和XtraDB,不能备份数据表结构
    组件二innobackupex:以Perl脚本封装xtrabackup,还支持MyISAM,能备份数据表结构

xtrabackup基本选项
基本选项 解释
--backup 执行备份操作
--target-dir 备份到目标文件夹
--datadir 备份的原始文件夹(Mysql库的位置)
--prepare 准备恢复数据
--increamental-basedir 增量备份时,指定参照的完整备份路径
--incremental-dir 准备恢复目录时,指定增量备份的路径

1)使用XtraBackup执行数据库备份

[linyouyi@localhost~]# mkdir -p /backup/mysql
[linyouyi@localhost~]# xtrabackup_56 –backup --datadir=/var/lib/mysql/ --target-dir=/backup/mysql/

2)确认备份好的文件数据:

[linyouyi@loclahost~]# ls /backup/mysql/

3)做一个增量备份(基于前一步的完整备份)

[linyouyi@localhost ~]# xtrabackup_56  --backup \        #xtrabackup_55 是5.5版本,xtrabackup_56是5.6版本
--datadir=/var/lib/mysql/ \
--target-dir=/backup/inc01/ \
--incremental-basedir=/backup/mysql/

确认备份好的文件数据:

[linyouyi@localhost~]# ls /backup/inc01/

对比完整备份、增量备份的大小:

[linyouyi@localhost~]# du -sh /backup/mysql/ /backup/inc01/
11M /backup/mysql/ //完整备份的大小
264K /backup/inc01/

准备用于恢复的数据库目录
以/backup/mysql/可用来重建MySQL服务器。这种情况下,官方建议连做两次--prepare,以确保数据一致性:

[linyouyi@localhost ~]# xtrabackup_56 --prepare --target-dir=/backup/mysql/
[linyouyi@localhost ~]# xtrabackup_56 --prepare --target-dir=/backup/mysql/

准备恢复“完整备份+增量备份”

以/backup/mysql/用来重建MySQL服务器,但这种情况下需提前合并相关增量备份的数据:
先准备完整备份目录,添加--apply-log-only仅应用日志:

[linyouyi@loclahost ~]# xtrabackup_56  --prepare --target-dir=/backup/mysql --apply-log-only

然后整合增量备份的数据,通过--incremental-dir选项指定增量位置:

[linyouyi@localhost ~]# xtrabackup_56  --prepare \
--target-dir=/backup/mysql --apply-log-only \
--incremental-dir=/backup/inc01

至此,已经把全量备份和增量备份合并了

接着停止数据库,删除/var/lib/mysql/下的内容,拷贝数据

[linyouyi@localhost home]# systemctl stop mariadb
//删除/var/lib/mysql/下的内容
[linyouyi@localhost home]# rm -rf /var/lib/mysql/*
#[linyouyi@hadoop01 home]# innobackupex --defaults-file=/etc/my.cnf --copy-back /home/mysql --user=linyouyi --password=123456
[linyouyi@localhost home]# xtrabackup --copy-back --target-dir=/home/mysql
[linyouyi@localhost home]# chown -R mysql:mysql /var/lib/mysql/
[linyouyi@localhost home]# systemctl start mariadb

至此,数据已经恢复成功

mysql实时增量备份的更多相关文章

  1. MYSQL数据库增量备份

    MySQL数据库增量备份,在这之前修改我们的数据库配置文件/etc/my.cnf开启bin-log日志功能即可.接下来是我参考了下网上的一些方法,自己写的,主要还是要能学到他的一些思路和方法. #fu ...

  2. NFS +inotify+rsync 实现数据的远程挂载与实时增量备份

    NFS 网络文件系统 功能: 用户可以像访问自己的本地文件系统一样使用网络中的远端系统上的文件 原理: 用户进程-->RPC服务(portman)-->tcp/ip协议栈-->远端主 ...

  3. 通过innobackupex实现对MySQL的增量备份与还原

    备份 增量备份是基于完整备份的,所以我们需要先做一次完整备份: innobackupex --password=test /backup/ 备注:test是我的MySQL服务的root用户的密码,/b ...

  4. mysql 二进制文件增量备份

    1.首先在my.cnf下添加二进制文件路径(windows下文件名称为my.ini) 在[mysqld]下添加 log-bin=mysql-bin 2.centos下默认安装mysql 5.6,数据默 ...

  5. Python 生产环境MySQL数据库增量备份脚本

    MySQL数据库常用的办法是通过MySQLdump导出sql进行备份,但是不适合数据量很大的数据库,速度,锁表是两个严重的问题.前面写了一遍文章介绍xtrabackup的热备工具,见 http://w ...

  6. mysql实现增量备份

    有点要注意 如果你误删了表 想通过这个恢复 必须恢复日志里面有创建表的日志 不然的话是无法回复的  就是必须是从你开始创建表的时候就已经记录日志了  恢复到哪个位置 就按照哪个位置来计算 mysql ...

  7. mysql xtrabackup增量备份

    mysql 增量备份策略 周一全备,其他增量备份,根据业务需要,设定保留日期,如保留一月. 增量备份步骤; 1 创建全备 2 根据全备目录,创建增量备份 3 第二次增量备份根据第一次增量备份目录,依次 ...

  8. mysql的增量备份与全备的脚本

    mysql全量备份.增量备份.开启mysql的logbin日志功能.在/etc/my.cnf文件中加入以下代码: [mysqld]log-bin = "/home/mysql/logbin. ...

  9. innobackupex实现对MySQL的增量备份与还原

    备份增量备份是基于完整备份的,所以我们需要先做一次完整备份: innobackupex --defaults-file=/etc/my.cnf --user root --password cheng ...

随机推荐

  1. retrifit

    Retrofit 特点 性能最好,处理最快 使用REST API时非常方便: 传输层默认就使用OkHttp: 支持NIO: 拥有出色的API文档和社区支持 速度上比volley更快: 如果你的应用程序 ...

  2. 【jsp网站计数功能】 application session

    在jsp页面中实现网站计数器的方法有很多,其中比较普遍的做法是利用application 和session对象.application对象可被所有用户共享:session是单用户共享,用户从访问系统开 ...

  3. Linux学习 -- 权限管理

    1 ACL权限 1.1 简介与开启 1.1.1 ACL权限是什么 access control list 访问控制表 解决传统的(owner,group,others)身份不足的情况 可以设置 特定用 ...

  4. 关于oracle导出时的query用法

    QUERY参数后面跟的是where条件,值得注意的是,整个where子句需要使用""括起来,where子句的写法和SELECT中相同: 如果是UNIX平台所有"和'都需 ...

  5. 第八章 Hibernate数据操作技巧

    第八章   Hibernate数据操作技巧8.1 分组统计数据    语法:[select]... from ...[where] [group by...[having...]] [order by ...

  6. JavaWeb(一)Servlet中乱码解决与转发和重定向的区别

    前言 前面其实已经把Servlet中所有的内容都介绍完了,这篇讲补充一点乱码和重定向与转发之间的区别! 一.request请求参数出现乱码问题 1.1.get请求 1)乱码示例 get请求的参数是在u ...

  7. Linux中的pipe(管道)与named pipe(FIFO 命名管道)

    catalogue . pipe匿名管道 . named pipe(FIFO)有名管道 1. pipe匿名管道 管道是Linux中很重要的一种通信方式,是把一个程序的输出直接连接到另一个程序的输入,常 ...

  8. 安装jar包到本地仓库和远程仓库

    转载: https://blog.csdn.net/zengdongwen/article/details/81241198 如何部署到maven*仓库呢? https://blog.csdn.ne ...

  9. 最近学习了Sqlite3数据库,写一下操作应用以及命令

    首先使用Flask-SQLAlchemy管理数据库 使用pip安装:pip install flask-sqlalchemy 接着要配置数据库,定义模型 关于数据库的操作就不再写了.... 使用Fla ...

  10. 相似性度量 Aprioir算法

    第三章 标称:转换成0,1来算,或者用非对称二元属性 二元:x1,x2的分布取00,01,10,11的二元属性个数,列表,算比例.不对称的二元属性就忽略00的属性个数 序数:转换成排位rif,度量:r ...