下载安卓APP箭头
箭头给我发消息

客服QQ:3315713922

MySQL批量SQL插入性能优化

作者:课课家教育     来源: http://www.kokojia.com点击数:621发布时间: 2017-08-26 09:00:30

标签: 数据库MySQLSQL

      对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。

 对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。

  1)对于Myisam类型的表,可以通过以下方式快速的导入大量的数据

  ALTERTABLEtblnameDISABLEKEYS;

  loadingthedata

  ALTERTABLEtblnameENABLEKEYS;

  这两个命令用来打开或者关闭Myisam表非唯一索引的更新。在导入大量的数据到一个非空的Myisam表时,通过设置这两个命令,可以提高导入的效率。对于导入大量数据到一个空的Myisam表,默认就是先导入数据然后才创建索引的,所以不用进行设置。

  而对于Innodb类型的表,这种方式并不能提高导入数据的效率。

  2)对于Innodb类型的表,我们有以下几种方式可以提高导入的效率:

  InnoDB给MySQL提供了具有事务(commit)、回滚(rollback)和崩溃修复能力(crashrecoverycapabilities)的事务安全(transaction-safe(ACIDcompliant))型表。InnoDB提供了行锁(lockingonrowlevel)以及外键约束(FOREIGNKEYconstraints)。

  InnoDB的设计目标是处理大容量数据库系统,它的CPU利用率是其它基于磁盘的关系数据库引擎所不能比的。在技术上,InnoDB是一套放在MySQL后台的完整数据库系统,InnoDB在主内存中建立其专用的缓冲池用于高速缓冲数据和索引。

  因为Innodb类型的表是按照主键的顺序保存的,所以将导入的数据按照主键的顺序排列,可以有效的提高导入数据的效率。如果Innodb表没有主键,那么系统会默认创建一个内部列作为主键,所以如果可以给表创建一个主键,将可以利用这个优势提高导入数据的效率。

  在导入数据前执行SETUNIQUE_CHECKS=0,关闭唯一性校验,在导入结束后执行SETUNIQUE_CHECKS=1,恢复唯一性校验,可以提高导入的效率。

  如果应用使用自动提交的方式,建议在导入前执行SETAUTOCOMMIT=0,关闭自动提交,导入结束后再执行SETAUTOCOMMIT=1,打开自动提交,也可以提高导入的效率。

  注意事项:

  1.SQL语句是有长度限制,在进行数据合并在同一SQL中务必不能超过SQL长度限制,通过max_allowed_packet配置可以修改,默认是1M,测试时修改为8M。

  2.事务需要控制大小,事务太大可能会影响执行的效率。MySQL有innodb_log_buffer_size配置项,超过这个值会把innodb的数据刷到磁盘中,这时,效率会有所下降。所以比较好的做法是,在数据达到这个这个值前进行事务提交。

  小编结语:

  更多内容尽在课课家教育!

赞(26)
踩(0)
分享到:
华为认证网络工程师 HCIE直播课视频教程