Mysql锁的优化,恢复和复制的需要

1. 恢复和复制的需要,对innodb锁机制的影响

获取锁等待情况
可以通过检查table_locks_waited和table_locks_immediate状态变量来分析系统上的表锁定争夺:mysql>
show status like ‘Table%’;+—————————-+———-+|
Variable_name | Value |+—————————-+———-+|
Table_locks_immediate | 105 || Table_locks_waited | 3
|+—————————-+———-+2 rows in set (0.00 sec)
可以通过检查Innodb_row_lock状态变量来分析系统上的行锁的争夺情况:mysql>
show status like
‘innodb_row_lock%’;+—————————————-+———-+|
Variable_name | Value
|+—————————————-+———-+|
Innodb_row_lock_current_waits | 0 || Innodb_row_lock_time | 2001
|| Innodb_row_lock_time_avg | 667 || Innodb_row_lock_time_max |
845 || Innodb_row_lock_waits | 3
|+—————————————-+———-+5 rows in set
(0.00 sec)
另外,针对Innodb类型的表,如果需要察看当前的锁等待情况,可以设置InnoDB
Monitors,然后通过Show innodb status察看,设置的方式是: CREATE TABLE
innodb_monitor(a INT)
ENGINE=INNODB;监视器可以通过发出下列语句来被停止: DROP TABLE
innodb_monitor;设置监视器后,在show innodb
status的显示内容中,会有详细的当前锁等待的信息,包括表名、锁类型、锁定记录的情况等等,便于进行进一步的分析和问题的确定。打开监视器以后,默认情况下每15秒会向日志中记录监控的内容,如果长时间打开会导致.err文件变得非常的巨大,所以我们在确认问题原因之后,要记得删除监控表以关闭监视器。或者通过使用–console选项来启动服务器以关闭写日志文件。什么情况下使用表锁
表级锁在下列几种情况下比行级锁更优越:很多操作都是读表。
在严格条件的索引上读取和更新,当更新或者删除可以用单独的索引来读取得到时:
UPDATE tbl_name SET column=value WHERE unique_key_col=key_value;
DELETE FROM tbl_name WHERE unique_key_col=key_value;
SELECT 和 INSERT 语句并发的执行,但是只有很少的 UPDATE 和 DELETE
语句。
很多的扫描表和对全表的 GROUP BY 操作,但是没有任何写表。

你目前接触的mysql版本是什么?除了官方版本,还接触过其他的mysql分支版本嘛?

  mysql
通过binlog文件对增删除改等更新数据的sql语句,实现数据库的恢复和主从复制。mysql的恢复机制(复制其实就是在slave
mysql不断做基于binglog的恢复)特点有如下:
  (1) mysql 的恢复是sql语句级的,也就是重新执行binlog中的sql语句,
oracle数据库则是基于数据库文件块的。
  (2) mysql
的binlog是按照事务提交的先后顺序记录的,恢复也是按这个顺序进行的。这也与oracle不同,oracle是按照系统更新号(SCN)来恢复数据的。

什么情况下使用行锁
行级锁定的优点:当在许多线程中访问不同的行时只存在少量锁定冲突。
回滚时只有少量的更改。
可以长时间锁定单一的行。

产生分支的原因

2.  insert into 和create table对于原表也会加共享锁
 
 下面演示原表加锁的例子:

行级锁定的缺点:比页级或表级锁定占用更多的内存。
当在表的大部分中使用时,比页级或表级锁定速度慢,因为你必须获取更多的锁。
如果你在大部分数据上经常进行GROUP
BY操作或者必须经常扫描整个表,比其它锁定明显慢很多。
用高级别锁定,通过支持不同的类型锁定,你也可以很容易地调节应用程序,因为其锁成本小于行级锁定。

许多开发人员认为有必要将其拆分成其他项目,并且每个分支项目都有自己的专长。该需求以及Oracle对核心产品增长缓慢的担忧,导致出现了许多开发人员感兴趣的子项目和分支

会话1

会话2

SET autocommit=0;

SELECT * FROM city WHERE CityCode=’003′

city_id      country_id        cityname CityCode

103  2       杭州         003

SET autocommit=0;

SELECT * FROM city WHERE CityCode=’003′

city_id      country_id        cityname CityCode

103  2       杭州         003

INSERT INTO  cityNew

SELECT  * FROM city WHERE CityCode=’003′

共 1 行受到影响

 

 

UPDATE city SET CityCode=’004′ WHERE CityCode=’003′

等待超时

Lock wait timeout exceeded; try restarting transaction

Commit;

 

 

Commit;

insert …select …带来的问题
当使用insert…select…进行记录的插入时,如果select的表是innodb类型的,不论insert的表是什么类型的表,都会对select的表的纪录进行锁定。对于那些从oracle迁移过来的应用,需要特别的注意,因为oracle并不存在类似的问题,所以在oracle的应用中insert…select…操作非常的常见。例如:有时候会对比较多的纪录进行统计分析,然后将统计的中间结果插入到另外一个表,这样的操作因为进行的非常少,所以可能并没有设置相应的索引。如果迁移到mysql数据库后不进行相应的调整,那么在进行这个操作期间,对需要select的表实际上是进行的全表扫描导致的所有记录的锁定,将会对应用的其他操作造成非常严重的影响。究其主要原因,是因为mysql在实现复制的机制时和oracle是不同的,如果不进行select表的锁定,则可能造成从数据库在恢复期间插入结果集的不同,造成主从数据的不一致。如果不采用主从复制,关闭binlog并不能避免对select纪录的锁定,某些文档中提到可以通过设置innodb_locks_unsafe_for_binlog来避免这个现象,当这个参数设置为true的时候,将不会对select的结果集加锁,但是这样的设置将可能带来非常严重的隐患。如果使用这个binlog进行从数据库的恢复,或者进行主数据库的灾难恢复,都将可能和主数据库的执行效果不同。因此,我们并不推荐通过设置这个参数来避免insert…select…导致的锁,如果需要进行可能会扫描大量数据的insert…select操作,我们推荐使用select…into
outfile和load data
infile的组合来实现,这样是不会对纪录进行锁定的。next-key锁对并发插入的影响
在行级锁定中,InnoDB 使用一个名为next-key
locking的算法。InnoDB以这样一种方式执行行级锁定:当它搜索或扫描表的索引之时,它对遇到的索引记录设置共享或独占锁定。因此,行级锁定事实上是索引记录锁定。InnoDB对索引记录设置的锁定也映像索引记录之前的“间隙”。如果一个用户对一个索引上的记录R有共享或独占的锁定,另一个用户
不能紧接在R之前以索引的顺序插入一个新索引记录。这个间隙的锁定被执行来防止所谓的“幽灵问题”。可以用next-key锁定在你的应用程序上实现一个唯一性检查:如果你以共享模式读数据,并且没有看到你将要插入的行的重复,则你可以安全地插入你的行,并且知道在读过程中对你的行的继承者设置的next-key锁定与此同时阻止任何人对你的行插入一个重复。因此,the
next-key锁定允许你锁住在你的表中并不存在的一些东西。隔离级别对并发插入的影响
REPEATABLE
READ是InnoDB的默认隔离级别。带唯一搜索条件使用唯一索引的SELECT … FOR
UPDATE, SELECT … LOCK IN SHARE MODE, UPDATE
和DELETE语句只锁定找到的索引记录,而不锁定记录前的间隙。用其它搜索条件,这些操作采用next-key锁定,用next-key锁定或者间隙锁定锁住搜索的索引范围,并且阻止其它用户的新插入。在持续读中,有一个与READ
COMMITTED隔离级别重要的差别:在这个级别,在同一事务内所有持续读读取由第一次读所确定的同一快照。这个惯例意味着如果你在同一事务内发出数个无格式SELECT语句,这些SELECT语句对相互之间也是持续的。READ
COMMITTED隔离级别是一个有些象Oracle的隔离级别。所有SELECT … FOR
UPDATE和SELECT … LOCK IN SHARE
MOD语句仅锁定索引记录,而不锁定记录前的间隙,因而允许随意紧挨着已锁定的记录插入新记录。UPDATE和DELETE语句使用一个带唯一搜索条件的唯一的索引仅锁定找到的索引记录,而不包括记录前的间隙。在范围类型UPDATE和DELETE语句,InnoDB必须对范围覆盖的间隙设置next-key锁定或间隙锁定以及其它用户做的块插入。这是很必要的,因为要让MySQL复制和恢复起作用,“幽灵行”必须被阻止掉。如果应用是从基于ORACLE的应用迁移到MYSQL数据库的,那么建议使用该隔离级别提供数据库服务,因为该隔离级别是最接近ORACLE的默认隔离级别的,迁移可能遇到的锁问题最小。如何减少锁冲突
对Myisam类型的表:1)
Myisam类型的表可以考虑通过改成Innodb类型的表来减少锁冲突。2)
根据应用的情况,尝试横向拆分成多个表或者改成Myisam分区对减少锁冲突也会有一定的帮助。对Innodb类型的表:1)
首先要确认,在对表获取行锁的时候,要尽量的使用索引检索纪录,如果没有使用索引访问,那么即便你只是要更新其中的一行纪录,也是全表锁定的。要确保sql是使用索引来访问纪录的,必要的时候,请使用explain检查sql的执行计划,判断是否按照预期使用了索引。2)
由于mysql的行锁是针对索引加的锁,不是针对纪录加的锁,所以虽然是访问不同行的纪录,但是如果是相同的索引键,是会被加锁的。应用设计的时候也要注意,这里和Oracle有比较大的不同。3)
当表有多个索引的时候,不同的事务可以使用不同的索引锁定不同的行,当表有主键或者唯一索引的时候,不是必须使用主键或者唯一索引锁定纪录,其他普通索引同样可以用来检索纪录,并只锁定符合条件的行。4)
用SHOW INNODB
STATUS来确定最后一个死锁的原因。查询的结果中,包括死锁的事务的详细信息,包括执行的SQL语句的内容,每个线程已经获得了什么锁,在等待什么锁,以及最后是哪个线程被回滚。详细的分析死锁产生的原因,可以通过改进程序有效的避免死锁的产生。5)
如果应用并不介意死锁的出现,那么可以在应用中对发现的死锁进行处理。6)
确定更合理的事务大小,小事务更少地倾向于冲突。7)
如果你正使用锁定读,(SELECT … FOR UPDATE或 … LOCK IN SHARE
MODE),试着用更低的隔离级别,比如READ COMMITTED。8)
以固定的顺序访问你的表和行。则事务形成良好定义的查询并且没有死锁。

三个流行MySQL分支:Drizzle、MariaDB和Percona Server(包括XtraDB引擎)

  上面的例子中,只是简单的读取city表,相当于一个普通的select
语句,在这里innodb给city表加了共享锁,并有使用多版本数据一致性技术。原因还是为了保证恢复和复制的正确性,因为不加锁,上述语句的执行过程中,其他事务对city表做了更新操作,可能导致数据恢复结果错误。如需要演示这种可以将系统变量
innodb_locks_unsafe_for_binlog的值设置为”NO”不加共享锁(set
innodb_locks_unsafe_for_binlog=’on’) 默认是”OFF”
。如果设置上面的值为ON,
可能会使Binlog中记录的sql执行顺序不一致,使用恢复的结果与实际的应用逻辑不符,如果进行复制,就会导致主从数据库不一致。
  如果不想设置为ON,又不希望对源表的并发更新产生影响,可以使用 into
outfile 将city表导入到一个txt文件,再使用load data infile
导入到新表。使用这种间接方式不会对源city表加锁。

MariaDB不仅是mysql的替代品,主要还是创新和提高mysql自有技术。

 

   新功能介绍

  1. multi-source replication 多源复制

  2. 表的并行复制

  3. galera cluster集群

  4. spider水平分片

  5. tokuDB存储引擎

XtraDB是innodb存储引擎的增强版,可用来更好地发挥最新的计算机硬件系统性能,还包含在高性能模式下的新特性。它可以向下兼容,因为它是在innodb基础上构建,所以他有更多的指标和扩展功能。而且它在cpu多核的条件下,可以更好地使用内存,时数据库性能提到更高!

Drizzle与mysql的差别就比较大了,并且不能兼容,如果想运行此环境,就需要重写一些代码了!

 

Question 2:

mysql主要的存储引擎myisam和innodb的不同之处?

  1. 事务的支持不同(innodb支持事务,myisam不支持事务)

  2. 锁粒度(innodb行锁应用,myisam表锁)

  3. 存储空间(innodb既缓存索引文件又缓存数据文件,myisam只能缓存索引文件)

  4. 存储结构

    (myisam:数据文件的扩展名为.MYD myData ,索引文件的扩展名是.MYI
    myIndex)

      (innodb:所有的表都保存在同一个数据文件里面 即为.Ibd)

   5. 统计记录行数

       (myisam:保存有表的总行数,select count(*) from
table;会直接取出出该值)

       (innodb:没有保存表的总行数,select count(*) from
table;就会遍历整个表,消耗相当大)

 

Question  3:

Innodb的体系结构简单介绍一下?

谈及到innodb的体系结构,首先要考虑mysql的体系结构,分为两部分mysql的server层和存储引擎层

先要跟面试官聊清楚mysql的整体方向,然后再去涉及innodb体系结构

建议从三方面介绍innodb体系结构:内存—-线程—–磁盘

内存中包含insert_buffer,data_buffer,index_buffer,redo_log_buffer,double_write

内存刷新到磁盘的机制,redo,脏页,binlog的刷新条件

各种线程的作用,master_thread,purge_thread,redo log thread,read
thread,write thread,page cleaner thread

磁盘中存放着数据文件,redo log,undo log,binlog

 

Question  4:

mysql有哪些索引类型:

  1. 数据结构角度上可以分:B+tree索引,hash索引,fulltext索引(innodb,myisam都支持)

  2. 存储角度上可以分:聚集索引,非聚集索引

  3. 逻辑角度上可以分:primary key,normal key,单列,复合,覆盖索引

     

     

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注