MySQL InnoDB 备份与恢复

MySQL InnoDB 备份与恢复

MysqlDump

这种方式不仅适用于InnoDB,还适用于其它类型的存储引擎,如MyISAM。备份的时候将数据库备份成SQL(包含drop,create,insert等语句),恢复的时候直接导入即可。属于逻辑备份。

Copy Files拷贝文件

我们知道InnoDB底层存储的时候会将数据和元信息存在下列文件中:
ibdata*, *.ibd, *.frm, .ib_logfile,所以备份这些文件即可备份InnoDB的数据,另外别忘了将MySQL的配置文件my.cnf也一并备份起来。
如果my.cnf中开启了innodb_file_per_table那么InnoDB在存储的时候也会像MyISAM那样每一个表都会有相应的文件,你也可以只备份其中的某些文件(也就是表)。
注意copy这些files的时候,最好能确保InnoDB的所有事务都commit了。
比如你可以将MySQL暂时关闭掉,如果不能忍受一些down time的话,先不要考虑这种方式。
另外还可以先获取Table的read lock, 比如Lock Tables Customers READ.
你可以用show innodb status看看还有没有活动的事务没有commit。属于物理备份。

下面讲一下这种备份方式怎么恢复:

a. 停止任何关于这个表的写,lock tables customers write;

b. 删除这个表的空间,alter table customers discard tablespace;

c. 将你备份的.ibd文件拷贝到相应的目录下。

d. 重新建立表空间,alter table customers import tablespace;

e. 释放写锁,unlock tables customers;

ibbackup

这是一个商业化的工具,将你线上的my.cnf配置文件复制一份出来到比如说/etc/my.backup.cnf,更改里边的datadir等比如说到/data/backup,然后运行 ibbackup /etc/my.cnf /etc/my.backup.cnf, ibbackup就会讲my.cnf所指向的的数据内容备份到my.backup.cnf指向的数据目录。恢复的时候也很奇葩,因为你现在等于说是拥有了两个数据目录,所以你重新运行mysql,safe_mysqld --defaults-file=/etc/my.backup.cnf. 这种方式仅局限于你的数据库全部使用InnoDB存储引擎。

innobackup

如果你还有其它数据表用的是MyISAM,那么你可以使用innobackup,它不但会将InnoDB的相关文件备份起来,还会将MyISAM的比如MYI, MYD文件也备份起来。innobackup使用了ibbackup作为InnoDB的备份子工具。

MySQL Administrator

binary logs

需要开启log-bin, 所有的更新操作都会被写到binary file里。恢复的时候mysqlbinlog binlog_file | mysql,这种方式基本上可以用在在线备份上。属于逻辑备份。

XtraBackup

对InnoDB做数据备份的开源工具,支持在线热备,备份时不影响数据读写。属于物理备份。
项目地址https://github.com/percona/percona-xtrabackup,可以结合使用Innobackupex进行全备,xtrabackup进行增量备份。

个人觉得第一种,第二种和第六种和第七种都非常不错,各有自己的特点。第一种方式比较适合小型的数据库,由于是SQL,所以不仅可以跨存储引擎,还能跨不同的数据库,比如PostgreSQL。数据量稍大一些就可以用第二种方式了,由于是文件传输,所以效率就是文件传输的效率了。第六种方式将数据库本身与备份方式利用binlog进行解耦,既不会对在线数据库造成太大的overhead,而且因为所有的更新操作都在binlog里了,所以可以利用此数据做很多的事情。第七种方式比较特殊,结合了第三种和第四种,所以功能上比较强大,商业上可以选用。

Continue reading...

一些实用的PHP公共开源的工具

swoole
swoole扩展了PHP很多新的特性,在未来开发游戏和PHP服务端的程序很有帮助

redis
redis是可以集群的高并发的内存缓存组件,需要多了解redis的使用场景
phpredis
rediska
predis
以上三个是php使用redis的客户端,需要了解每个客户端的并发,性能

memcache
key-value的高效内存存储

sphinx
全文检索系统

symfony
目前我们各个项目使用的开源PHP框架,需要掌握可以自定义的方法,性能优化,组件开发的相关知识

siege
ab
简单的测试工具,在进行接口压力测试时使用

xdebug
PHP代码断点和性能分析的扩展

twemproxy
codis
dynomite
以上三个是目前比较流行的redis代理组件,需要掌握每个组件的性能,调优,以及和PHP结合使用

zeromq
高性能的消息队列,具有多种协议

mysqlnd_ms
一个自动化的mysql读写分离的扩展

Continue reading...

MySQL中用GKB来让UTF-8字段中的中文按照拼音排序

UTF-8 中的中文不是按照拼音排序的,因此对于 使用 UTF-8 编码集的字段就无法按照拼音进行排序,最简单的解决方法就是转成 GBK 编码。
实例代码:

SELECT *
FROM `test`
ORDER BY CONVERT( `test`.`name`
USING GBK )
LIMIT 0 , 30

数据库表结构:

CREATE TABLE IF NOT EXISTS `test` (
`id` INT(3) NOT NULL AUTO_INCREMENT,
`name` VARCHAR(10) COLLATE utf8_bin NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_bin AUTO_INCREMENT=1 ;

测试环境:Windows 2003 Standard Edition,MySQL 5.1.22-rc-community。
对于我正在使用的 Symfony 框架,因为使用了 propel 做 ORM,比较难直接操作SQL,除非使用 RAW SQL,而且使用 RAW SQL会导致很多高级特性无法使用,解决方式:$criteria->addAscendingOrderByColumn('CONVERT(' . TestPeer::NAME . ' USING GBK)');

Continue reading...

写的一个discuz存储过程数据测试

BEGIN

DECLARE i int;
DECLARE p_uid int;
DECLARE p_username VARCHAR(24);
SET i = 1;
WHILE i <12 DO
SELECT uid,username INTO p_uid, p_username FROM pre_common_member_49 ORDER BY RAND() LIMIT 1;

SELECT p_uid , p_username;

INSERT INTO

`discuz`.`pre_publicity_users`
(`pid`, `uid`, `username`, `fromip`, `fromtime`, `extcredits1`, `extcredits2`, `extcredits3`, `extcredits4`, `extcredits5`, `extcredits6`, `extcredits7`, `extcredits8`, `content`) VALUES

('16435049', p_uid, p_username, '192.168.51.53', CURRENT_TIME(), '1', NULL, NULL, NULL, NULL, '1', NULL, NULL, '威望+1 贡献+1 ');

SET i = i + 1;

END WHILE;

END

Continue reading...

PHP mysqlnd插件mysqlnd_ms教程及详细介绍

一、首先,mysqlnd是啥个玩意? 为什么要使用mysqlnd?

原因一: license问题
libmysql是MYSQL AB公司开发的,现在已经是Oracle集团所属的了,它使用MYSQL license发布。
This ultimately led to MySQL support being disabled by default in PHP
mysqlnd 是php的一部分,使用PHP license发布。
从此 licensing 的问题就算是解决了。

原因二:编译问题
使用libmysql的时候,如果要正常编译php,必须首先安装好mysql。
如果是单纯的一台WEB服务器,装个mysql似乎有点浪费了。
mysqlnd的话,就不必安装mysql,直接可用。

原因三:性能问题
由于mysqlnd是一个php扩展,使用了php memory management system,在内存使用方面效率相当高。
举个例子:
使用libmysql的时候,mysql结果集中的每一行都在内存中储存了二次 !
使用mysqlnd,结果集只会储存一次。
而且它还服从于php.ini中memory_limit的设置。
Using MySQL Native Driver leads to comparable or better performance than using MySQL Client Library。

mysqlnd的新特性
1 改进的persistent connection。
2 特殊函数 mysqli_fetch_all()
http://cn2.php.net/manual/en/mysqli-result.fetch-all.php
只有安装了mysqlnd, mysqli中的这个函数才可用。
3 Performance statistics calls: mysqli_get_cache_stats(), mysqli_get_client_stats(), mysqli_get_connection_stats()
在分析性能瓶颈的时候,这些函数还是蛮好用的。
详细文档可以看这里: http://cn2.php.net/manual/en/mysqlnd.stats.php
4 使用mysqlnd之后,mysqli也支持persistent connection了。
这样看起来,mysqli受益最多。
5 PHP 5.3.3 之后,mysqlnd支持SSL。
6 PHP 5.3.2 之后,mysqlnd支持Compressed Protocol
7 PHP 5.3.4 之后,windows系统中的mysqlnd支持Named Pipes。

Continue reading...



about me

  • 陶之11's Blog Name:陶之11 OICQ:14779023 Site:Pao11.com

分类

快捷入口