十分钟玩转Mysql的binlog,小白也可以实现增量备份数据
关于分布式,限流+缓存+缓存,这三大技术(包含:ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ)等等。这些相关的面试也好,还有手写以及学习的笔记PDF,都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍,并且小编也已经将其整理成PDF啦《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视
好了,这一天平安过去,我们进行增备
然后,不幸的事情发生了,昨天的数据被删除了
接下来,我们进行数据恢复就好了
这里也只是深入浅出的描述一下增备的流程,实际生活中往往要比这个案例残酷的多。那么我们又该如何选择备份方案呢?
1, 按天备份
周一 00:00 全备数据 | 周二 00:00 全备数据 |
26_01.sql.gz | 26_02.sql.gz |
周一增备 | 周二增备 |
binlog.000022 binlog.000023 binlog.000024 ...... | binlog.000033 binlog.000034 binlog.000035 ...... |
这样做的好处,显然是恢复时间短,维护成本低,同样缺点也很明显,就是占用资源多,而且需要频繁锁表,影响用户的使用体验
2, 按周备份
周六00:00 全备 | |||
26_01.sql.gz | |||
周一增备 | 周二增备 | 周三增备 | ... |
binlog.000022 binlog.000023 binlog.000024 ...... | binlog.000032 binlog.000033 binlog.000034 ...... | binlog.000042 binlog.000043 binlog.000044 ...... |
...... |
这么做的优缺点则刚好和上面案例相反,优点是占用资源少,不频繁锁表,用户体验相对好一些,不过代价就是维护成本较高,如果数据出现问题,恢复时间较长。
综上所述,这是一个非常尴尬的问题,造成这个问题的原因即复杂又简单。说简单,是因为可以高度概括为资源不足,四个字。但是细扣下来,就变成时间、空间、成本、智力投入等诸多因素的博弈问题了
最佳实践:
全备份
mysqldump -B test -lF -uroot-pdafei1288 > test.sql
参数 --lock-all-tables
对于InnoDB将替换为 --single-transaction。
该选项在导出数据之前提交一个 BEGIN SQL语句,BEGIN不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于事务表,例如 InnoDB 和 BDB。本选项和 --lock-tables 选项是互斥的,因为 LOCK TABLES 会使任何挂起的事务隐含提交。要想导出大表的话,应结合使用–quick 选项。
参数 --flush-logs,结束当前日志,生成并使用新日志文件
参数 --master-data=2,该选项将会在输出SQL中记录下完全备份后新日志文件的名称,用于日后恢复时参考,例如输出的备份SQL文件中含有:CHANGE MASTER TOMASTER_LOG_FILE=‘MySQL-bin.000002’, MASTER_LOG_POS=106;
参数 test,该处的test表示数据库test,如果想要将所有的数据库备份,可以换成参数 --all-databases
参数 --databases 指定多个数据库
参数 --quick或-q,该选项在导出大表时很有用,它强制 MySQLdump 从服务器查询取得记录直接输出而不是取得所有记录后将它们缓存到内存中。
参数 --ignore-table,忽略某个数据表,如 --ignore-tabletest.user 忽略数据库test里的user表
-lF,注意必须大写F,当备份工作刚开始时系统会刷新log日志,产生新的binlog日志来记录备份之后的数据库“增删改”操作。
全恢复
mysql -uroot -pdafei1288 <test.sql
恢复指定库
mysql -uroot -pdafei1288 test1< test1.sql
增备
环境配置
检查是否开始 binlog
show variables like’%log_bin%';
表示没开启,在my.inf主配置文件中直接添加三行
log_bin=ON
log_bin_basename=
log_bin_index=
重启mysql,
表示已开启。
show binary logs;
查看binlog文件列表
增备
show master status;
当前正在记录日志的文件名是 mysql-bin.000002
mysqladmin -uroot -pdafei1288 flush-logs
生成并使用新的日志文件,再重新查看日志文件列表
恢复
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
最后总结
ActiveMQ+Kafka+RabbitMQ学习笔记PDF
关于分布式,限流+缓存+缓存,这三大技术(包含:ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ)等等。这些相关的面试也好,还有手写以及学习的笔记PDF,都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍,并且小编也已经将其整理成PDF啦
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
003457)]
关于分布式,限流+缓存+缓存,这三大技术(包含:ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ)等等。这些相关的面试也好,还有手写以及学习的笔记PDF,都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍,并且小编也已经将其整理成PDF啦
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
更多推荐
所有评论(0)