MySQL优化小知识

　　本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQLDBA的企业做好基本的优化工作，至于具体的SQL优化，大部分通过加适当的索引即可达到效果，更复杂的就需要具体分析了。

　　1、硬件层相关优化

　　1.1、CPU相关

　　在服务器的BiOS设置中，可调整下面的几个配置，目的是发挥CPU最大性能，或者避免经典的NUMA问题：

　　1、选择PerformancePerWattOptimized(DAPC)模式，发挥CPU最大性能，跑DB这种通常需要高运算量的服务就不要考虑节电了；

　　2、关闭C1E和CStates等选项，目的也是为了提升CPU效率；

　　3、MemoryFrequency（内存频率）选择MaximumPerformance（最佳性能）；

　　4、内存设置菜单中，启用NodeInterleaving，避免NUMA问题；

　　1.2、磁盘I/O相关

　　下面几个是按照IOPS性能提升的幅度排序，对于磁盘I/O可优化的一些措施：

　　1、使用SSD或者PCIeSSD设备，至少获得数百倍甚至万倍的IOPS提升；

　　2、购置阵列卡同时配备CACHE及BBU模块，可明显提升IOPS（主要是指机械盘，SSD或PCIeSSD除外。同时需要定期检查CACHE及BBU模块的健康状况，确保意外时不至于丢失数据）；

　　3、有阵列卡时，设置阵列写策略为WB，甚至FORCEWB（若有双电保护，或对数据安全性要求不是特别高的话），严禁使用WT策略。并且闭阵列预读策略，基本上是鸡肋，用处不大；

　　4、尽可能选用RAID-10，而非RAID-5；

　　5、使用机械盘的话，尽可能选择高转速的，例如选用15KRPM，而不是7.2KRPM的盘，不差几个钱的；

　　2、系统层相关优化

　　2.1、文件系统层优化

　　在文件系统层，下面几个措施可明显提升IOPS性能：

　　1、使用deadline/noop这两种I/O调度器，千万别用cfq（它不适合跑DB类服务）；

　　2、使用xfs文件系统，千万别用ext3；ext4勉强可用，但业务量很大的话，则一定要用xfs；

　　3、文件系统mount参数中增加：noatime,nodiratime,nobarrier几个选项（nobarrier是xfs文件系统特有的）；

　　2.2、其他内核参数优化

　　针对关键内核参数设定合适的值，目的是为了减少swap的倾向，并且让内存和磁盘I/O不会出现大幅波动，导致瞬间波峰负载：

　　1、将vm.swappiness设置为5-10左右即可，甚至设置为0（RHEL7以上则慎重设置为0，除非你允许OOMkill发生），以降低使用SWAP的机会；

　　2、将vm.dirty_background_ratio设置为5-10，将vm.dirty_ratio设置为它的两倍左右，以确保能持续将脏数据刷新到磁盘，避免瞬间I/O写，产生严重等待（和MySQL中的innodb_max_dirty_pages_pct类似）；

　　3、将net.ipv4.tcp_tw_recycle、net.ipv4.tcp_tw_reuse都设置为1，减少TIME_WAIT，提高TCP效率；

　　4、至于网传的read_ahead_kb、nr_requests这两个参数，我经过测试后，发现对读写混合为主的OLTP环境影响并不大（应该是对读敏感的场景更有效果），不过没准是我测试方法有问题，可自行斟酌是否调整；

　　3、MySQL层相关优化

　　3.1、关于版本选择

　　官方版本我们称为ORACLEMySQL，这个没什么好说的，相信绝大多数人会选择它。

　　我个人强烈建议选择Percona分支版本，它是一个相对比较成熟的、优秀的MySQL分支版本，在性能提升、可靠性、管理型方面做了不少改善。它和官方ORACLEMySQL版本基本完全兼容，并且性能大约有20%以上的提升，因此我优先推荐它，我自己也从2008年一直以它为主。

　　另一个重要的分支版本是mariadb，说MariaDB是分支版本其实已经不太合适了，因为它的目标是取代ORACLEMySQL。它主要在原来的MySQLServer层做了大量的源码级改进，也是一个非常可靠的、优秀的分支版本。但也由此产生了以GTID为代表的和官方版本无法兼容的新特性（MySQL5.7开始，也支持GTID模式在线动态开启或关闭了），也考虑到绝大多数人还是会跟着官方版本走，因此没优先推荐MariaDB。

　　3.2、关于最重要的参数选项调整建议

　　建议调整下面几个关键参数以获得较好的性能（可使用本站提供的my.cnf生成器生成配置文件模板）：

　　1、选择Percona或MariaDB版本的话，强烈建议启用threadpool特性，可使得在高并发的情况下，性能不会发生大幅下降。此外，还有extra_port功能，非常实用，关键时刻能救命的。还有另外一个重要特色是QUERY_RESPONSE_TIME功能，也能使我们对整体的SQL响应时间分布有直观感受；

　　2、设置default-storage-engine=InnoDB，也就是默认采用InnoDB引擎，强烈建议不要再使用MyISAM引擎了，InnoDB引擎绝对可以满足99%以上的业务场景；

　　3、调整innodb_buffer_pool_size大小，如果是单实例且绝大多数是InnoDB引擎表的话，可考虑设置为物理内存的50%~70%左右；

　　4、根据实际需要设置innodb_flush_log_at_trx_commit、sync_binlog的值。如果要求数据不能丢失，那么两个都设为1。如果允许丢失一点数据，则可分别设为2和10。而如果完全不用care数据是否丢失的话（例如在slave上，反正大不了重做一次），则可都设为0。这三种设置值导致数据库的性能受到影响程度分别是：高、中、低，也就是第一个会另数据库最慢，最后一个则相反；

　　5、设置innodb_file_per_table=1，使用独立表空间，我实在是想不出来用共享表空间有什么好处了；

　　6、设置innodb_data_file_path=ibdata1:1G:autoextend，千万不要用默认的10M，否则在有高并发事务时，会受到不小的影响；

　　7、设置innodb_log_file_size=256M，设置innodb_log_files_in_group=2，基本可满足90%以上的场景；

　　8、设置long_query_time=1，而在5.5版本以上，已经可以设置为小于1了，建议设置为0.05（50毫秒），记录那些执行较慢的SQL，用于后续的分析排查；

　　9、根据业务实际需要，适当调整max_connection（最大连接数）、max_connection_error（最大错误数，建议设置为10万以上，而open_files_limit、innodb_open_files、table_open_cache、table_definition_cache这几个参数则可设为约10倍于max_connection的大小；

　　10、常见的误区是把tmp_table_size和max_heap_table_size设置的比较大，曾经见过设置为1G的，这2个选项是每个连接会话都会分配的，因此不要设置过大，否则容易导致OOM发生；其他的一些连接会话级选项例如：sort_buffer_size、join_buffer_size、read_buffer_size、read_rnd_buffer_size等，也需要注意不能设置过大；

　　11、由于已经建议不再使用MyISAM引擎了，因此可以把key_buffer_size设置为32M左右，并且强烈建议关闭querycache功能；

　　3.3、关于Schema设计规范及SQL使用建议

　　下面列举了几个常见有助于提升MySQL效率的Schema设计规范及SQL使用建议：

　　1、所有的InnoDB表都设计一个无业务用途的自增列做主键，对于绝大多数场景都是如此，真正纯只读用InnoDB表的并不多，真如此的话还不如用TokuDB来得划算；

　　2、字段长度满足需求前提下，尽可能选择长度小的。此外，字段属性尽量都加上NOTNULL约束，可一定程度提高性能；

　　3、尽可能不使用TEXT/BLOB类型，确实需要的话，建议拆分到子表中，不要和主表放在一起，避免SELECT*的时候读性能太差。

　　4、读取数据时，只选取所需要的列，不要每次都SELECT*，避免产生严重的随机读问题，尤其是读到一些TEXT/BLOB列；

　　5、对一个VARCHAR(N)列创建索引时，通常取其50%（甚至更小）左右长度创建前缀索引就足以满足80%以上的查询需求了，没必要创建整列的全长度索引；

　　6、通常情况下，子查询的性能比较差，建议改造成JOIN写法；

　　7、多表联接查询时，关联字段类型尽量一致，并且都要有索引；

　　8、多表连接查询时，把结果集小的表（注意，这里是指过滤后的结果集，不一定是全表数据量小的）作为驱动表；

　　9、多表联接并且有排序时，排序字段必须是驱动表里的，否则排序列无法用到索引；

　　10、多用复合索引，少用多个独立索引，尤其是一些基数（Cardinality）太小（比如说，该列的唯一值总数少于255）的列就不要创建独立索引了；

　　11、类似分页功能的SQL，建议先用主键关联，然后返回结果集，效率会高很多；

　　3.4、其他建议

　　关于MySQL的管理维护的其他建议有：

　　1、通常地，单表物理大小不超过10GB，单表行数不超过1亿条，行平均长度不超过8KB，如果机器性能足够，这些数据量MySQL是完全能处理的过来的，不用担心性能问题，这么建议主要是考虑ONLINEDDL的代价较高；

　　2、不用太担心mysqld进程占用太多内存，只要不发生OOMkill和用到大量的SWAP都还好；

　　3、在以往，单机上跑多实例的目的是能最大化利用计算资源，如果单实例已经能耗尽大部分计算资源的话，就没必要再跑多实例了；

　　4、定期使用pt-duplicate-key-checker检查并删除重复的索引。定期使用pt-index-usage工具检查并删除使用频率很低的索引；

　　5、定期采集slowquerylog，用pt-query-digest工具进行分析，可结合Anemometer系统进行slowquery管理以便分析slowquery并进行后续优化工作；

　　6、可使用pt-kill杀掉超长时间的SQL请求，Percona版本中有个选项innodb_kill_idle_transaction也可实现该功能；

　　7、使用pt-online-schema-change来完成大表的ONLINEDDL需求；

　　8、定期使用pt-table-checksum、pt-table-sync来检查并修复mysql主从复制的数据差异；

　　除此之外，我们可以参考MySQL优化必须调整的10项配置,使用这些方法可以让你快速地获得一个稳健的MySQL配置,需要的朋友可以参考下：

　　当我们被人雇来监测MySQL性能时，人们希望我们能够检视一下MySQL配置然后给出一些提高建议。许多人在事后都非常惊讶，因为我们建议他们仅仅改动几个设置，即使是这里有好几百个配置项。这篇文章的目的在于给你一份非常重要的配置项清单。

　　即使是经验老道的人也会犯错，会引起很多麻烦。所以在盲目的运用这些推荐之前，请记住下面的内容：

　　一次只改变一个设置!这是测试改变是否有益的唯一方法。

　　大多数配置能在运行时使用SETGLOBAL改变。这是非常便捷的方法它能使你在出问题后快速撤销变更。但是，要永久生效你需要在配置文件里做出改动。

　　一个变更即使重启了MySQL也没起作用?

　　请确定你使用了正确的配置文件。请确定你把配置放在了正确的区域内(所有这篇文章提到的配置都属于[mysqld])

　　服务器在改动一个配置后启不来了：请确定你使用了正确的单位。

　　例如，innodb_buffer_pool_size的单位是MB而max_connection是没有单位的。

　　不要在一个配置文件里出现重复的配置项。如果你想追踪改动，请使用版本控制。

　　不要用天真的计算方法，例如”现在我的服务器的内存是之前的2倍，所以我得把所有数值都改成之前的2倍“。

　　一、‍基本配置

　　你需要经常察看以下3个配置项。不然，可能很快就会出问题。

　　innodb_buffer_pool_size:

　　这是你安装完InnoDB后第一个应该设置的选项。

　　缓冲池是数据和索引缓存的地方：这个值越大越好，这能保证你在大多数的读取操作时使用的是内存而不是硬盘。典型的值是5-6GB(8GB内存)，20-25GB(32GB内存)，100-120GB(128GB内存)。

　　innodb_log_file_size：

　　这是redo日志的大小。redo日志被用于确保写操作快速而可靠并且在崩溃时恢复。

　　一直到MySQL5.1，它都难于调整，因为一方面你想让它更大来提高性能，另一方面你想让它更小来使得崩溃后更快恢复。幸运的是从MySQL5.5之后，崩溃恢复的性能的到了很大提升，这样你就可以同时拥有较高的写入性能和崩溃恢复性能了。一直到MySQL5.5，redo日志的总尺寸被限定在4GB(默认可以有2个log文件)。这在MySQL5.6里被提高。

　　一开始就把innodb_log_file_size设置成512M(这样有1GB的redo日志)会使你有充裕的写操作空间。如果你知道你的应用程序需要频繁的写入数据并且你使用的时MySQL5.6，你可以一开始就把它这是成4G。

　　max_connections:

　　如果你经常看到‘Toomanyconnections'错误，是因为max_connections的值太低了。这非常常见因为应用程序没有正确的关闭数据库连接，你需要比默认的151连接数更大的值。max_connection值被设高了(例如1000或更高)之后一个主要缺陷是当服务器运行1000个或更高的活动事务时会变的没有响应。在应用程序里使用连接池或者在MySQL里使用进程池有助于解决这一问题。

　　二、InnoDB配置

　　从MySQL5.5版本开始，InnoDB就是默认的存储引擎并且它比任何其他存储引擎的使用都要多得多。那也是为什么它需要小心配置的原因。

　　innodb_file_per_table：

　　这项设置告知InnoDB是否需要将所有表的数据和索引存放在共享表空间里(innodb_file_per_table=OFF)或者为每张表的数据单独放在一个.ibd文件(innodb_file_per_table=ON)。每张表一个文件允许你在drop、truncate或者rebuild表时回收磁盘空间。这对于一些高级特性也是有必要的，比如数据压缩。但是它不会带来任何性能收益。你不想让每张表一个文件的主要场景是：有非常多的表(比如10k+)。

　　MySQL5.6中，这个属性默认值是ON，因此大部分情况下你什么都不需要做。对于之前的版本你必需在加载数据之前将这个属性设置为ON，因为它只对新创建的表有影响。

　　innodb_flush_log_at_trx_commit：

　　默认值为1，表示InnoDB完全支持ACID特性。当你的主要关注点是数据安全的时候这个值是最合适的，比如在一个主节点上。但是对于磁盘(读写)速度较慢的系统，它会带来很巨大的开销，因为每次将改变flush到redo日志都需要额外的fsyncs。将它的值设置为2会导致不太可靠(reliable)因为提交的事务仅仅每秒才flush一次到redo日志，但对于一些场景是可以接受的，比如对于主节点的备份节点这个值是可以接受的。如果值为0速度就更快了，但在系统崩溃时可能丢失一些数据：只适用于备份节点。

　　innodb_flush_method:

　　这项配置决定了数据和日志写入硬盘的方式。一般来说，如果你有硬件RAID控制器，并且其独立缓存采用write-back机制，并有着电池断电保护，那么应该设置配置为O_DIRECT;否则，大多数情况下应将其设为fdatasync(默认值)。sysbench是一个可以帮助你决定这个选项的好工具。

　　innodb_log_buffer_size:

　　这项配置决定了为尚未执行的事务分配的缓存。其默认值(1MB)一般来说已经够用了，但是如果你的事务中包含有二进制大对象或者大文本字段的话，这点缓存很快就会被填满并触发额外的I/O操作。看看Innodb_log_waits状态变量，如果它不是0，增加innodb_log_buffer_size。

　　三、其他设置

　　query_cache_size:

　　querycache(查询缓存)是一个众所周知的瓶颈，甚至在并发并不多的时候也是如此。

　　最佳选项是将其从一开始就停用，设置query_cache_size=0(现在MySQL5.6的默认值)并利用其他方法加速查询：优化索引、增加拷贝分散负载或者启用额外的缓存(比如memcache或redis)。如果你已经为你的应用启用了querycache并且还没有发现任何问题，querycache可能对你有用。这是如果你想停用它，那就得小心了。

　　log_bin：

　　如果你想让数据库服务器充当主节点的备份节点，那么开启二进制日志是必须的。如果这么做了之后，还别忘了设置server_id为一个唯一的值。就算只有一个服务器，如果你想做基于时间点的数据恢复，这(开启二进制日志)也是很有用的：从你最近的备份中恢复(全量备份)，并应用二进制日志中的修改(增量备份)。二进制日志一旦创建就将永久保存。所以如果你不想让磁盘空间耗尽，你可以用PURGEBINARYLOGS来清除旧文件，或者设置expire_logs_days来指定过多少天日志将被自动清除。

　　记录二进制日志不是没有开销的，所以如果你在一个非主节点的复制节点上不需要它的话，那么建议关闭这个选项。

　　skip_name_resolve：

　　当客户端连接数据库服务器时，服务器会进行主机名解析，并且当DNS很慢时，建立连接也会很慢。因此建议在启动服务器时关闭skip_name_resolve选项而不进行DNS查找。唯一的局限是之后GRANT语句中只能使用IP地址了，因此在添加这项设置到一个已有系统中必须格外小心。

　　小编结语：

　　当然还有其他的设置可以起作用，取决于你的负载或硬件：在慢内存和快磁盘、高并发和写密集型负载情况下，你将需要特殊的调整。然而这里的目标是使得你可以快速地获得一个稳健的MySQL配置，而不用花费太多时间在调整一些无关紧要的MySQL设置或读文档找出哪些设置对你来说很重要上。

　　更多内容尽在课课家教育！