数据库优化方案详解

　　关于数据库优化方面的文章很多，但是有的写的似是而非，有的不切实际，对一个数据库来说，只能做到更优，不可能最优，并且由于实际需求不同，优化方案还是有所差异，根据实际需要关心的方面（速度、存储空间、可维护性、可拓展性）来优化数据库，而这些方面往往又是相互矛盾的。

　　一个系统的性能的提高，不单单是试运行或者维护阶段的性能调优，也不单单是开发阶段的事情，而是在整个软件生命周期都需要注意。所以我们可以按照软件生命周期的不同阶段来总结数据库性能优化相关的注意事项。

　　一、分析阶段

　　一般来说，在系统分析阶段往往有太多需要关注的地方，系统各种功能性、可用性、可靠性、安全性需求往往吸引了我们大部分的注意力，但是，我们必须注意，性能是很重要的非功能性需求，必须根据系统的特点确定其实时性需求、响应时间的需求、硬件的配置等。最好能有各种需求的量化的指标。

　　另一方面，在分析阶段应该根据各种需求区分出系统的类型，大的方面，区分是OLTP(联机事务处理系统)和OLAP(联机分析处理系统)。

　　二、设计阶段

　　设计阶段可以说是以后系统性能的关键阶段，在这个阶段，有一个关系到以后几乎所有性能调优的过程—数据库设计。

　　在数据库设计完成后，可以进行初步的索引设计，好的索引设计可以指导编码阶段写出高效率的代码，为整个系统的性能打下良好的基础。

　　以下是性能要求设计阶段需要注意的：

　　1、数据库逻辑设计的规范化

　　数据库逻辑设计的规范化就是我们一般所说的范式，我们可以这样来简单理解范式：

　　第1规范：没有重复的组或多值的列，这是数据库设计的最低要求。

　　第2规范:每个非关键字段必须依赖于主关键字，不能依赖于一个组合式主关键字的某些组成部分。消除部分依赖，大部分情况下，数据库设计都应该达到第二范式。

　　第3规范:一个非关键字段不能依赖于另一个非关键字段。消除传递依赖，达到第三范式应该是系统中大部分表的要求，除非一些特殊作用的表。

　　更高的范式要求这里就不再作介绍了，个人认为，如果全部达到第二范式，大部分达到第三范式，系统会产生较少的列和较多的表，因而减少了数据冗余，也利于性能的提高。

　　2、合理的冗余

　　完全按照规范化设计的系统几乎是不可能的，除非系统特别的小，在规范化设计后，有计划地加入冗余是必要的。

　　冗余可以是冗余数据库、冗余表或者冗余字段，不同粒度的冗余可以起到不同的作用。

　　冗余可以是为了编程方便而增加，也可以是为了性能的提高而增加。从性能角度来说，冗余数据库可以分散数据库压力，冗余表可以分散数据量大的表的并发压力，也可以加快特殊查询的速度，冗余字段可以有效减少数据库表的连接，提高效率。

　　3、主键的设计

　　主键是必要的，SQLSERVER的主键同时是一个唯一索引，而且在实际应用中，我们往往选择最小的键组合作为主键，所以主键往往适合作为表的聚集索引。聚集索引对查询的影响是比较大的，这个在下面索引的叙述。

　　在有多个键的表，主键的选择也比较重要，一般选择总的长度小的键，小的键的比较速度快，同时小的键可以使主键的B树结构的层次更少。

　　主键的选择还要注意组合主键的字段次序，对于组合主键来说，不同的字段次序的主键的性能差别可能会很大，一般应该选择重复率低、单独或者组合查询可能性大的字段放在前面。

　　4、外键的设计

　　外键作为数据库对象，很多人认为麻烦而不用，实际上，外键在大部分情况下是很有用的，理由是：

　　外键是最高效的一致性维护方法，数据库的一致性要求，依次可以用外键、CHECK约束、规则约束、触发器、客户端程序，一般认为，离数据越近的方法效率越高。

　　谨慎使用级联删除和级联更新，级联删除和级联更新作为SQLSERVER2000当年的新功能，在2005作了保留，应该有其可用之处。我这里说的谨慎，是因为级联删除和级联更新有些突破了传统的关于外键的定义，功能有点太过强大，使用前必须确定自己已经把握好其功能范围，否则，级联删除和级联更新可能让你的数据莫名其妙的被修改或者丢失。从性能看级联删除和级联更新是比其他方法更高效的方法。

　　5、字段的设计

　　字段是数据库最基本的单位，其设计对性能的影响是很大的。需要注意如下：

　　A、数据类型尽量用数字型，数字型的比较比字符型的快很多。

　　B、数据类型尽量小，这里的尽量小是指在满足可以预见的未来需求的前提下的。

　　C、尽量不要允许NULL，除非必要，可以用NOTNULL+DEFAULT代替。

　　D、少用TEXT和IMAGE，二进制字段的读写是比较慢的，而且，读取的方法也不多，大部分情况下最好不用。

　　E、自增字段要慎用，不利于数据迁移。

　　6、数据库物理存储和环境的设计

　　在设计阶段，可以对数据库的物理存储、操作系统环境、网络环境进行必要的设计，使得我们的系统在将来能适应比较多的用户并发和比较大的数据量。

　　这里需要注意文件组的作用，适用文件组可以有效把I/O操作分散到不同的物理硬盘，提高并发能力。

　　7、系统设计

　　整个系统的设计特别是系统结构设计对性能是有很大影响的，对于一般的OLTP系统，可以选择C/S结构、三层的C/S结构等，不同的系统结构其性能的关键也有所不同。

　　系统设计阶段应该归纳一些业务逻辑放在数据库编程实现，数据库编程包括数据库存储过程、触发器和函数。用数据库编程实现业务逻辑的好处是减少网络流量并可更充分利用数据库的预编译和缓存功能。

　　8、索引的设计

　　在设计阶段，可以根据功能和性能的需求进行初步的索引设计，这里需要根据预计的数据量和查询来设计索引，可能与将来实际使用的时候会有所区别。

　　关于索引的选择，应改主意：

　　A、根据数据量决定哪些表需要增加索引，数据量小的可以只有主键。

　　B、根据使用频率决定哪些字段需要建立索引，选择经常作为连接条件、筛选条件、聚合查询、排序的字段作为索引的候选字段。

　　C、把经常一起出现的字段组合在一起，组成组合索引，组合索引的字段顺序与主键一样，也需要把最常用的字段放在前面，把重复率低的字段放在前面。

　　D、一个表不要加太多索引，因为索引影响插入和更新的速度。

　　上文按照软件生命周期的不同阶段来总结数据库性能优化相关的注意事项，那么下面也有一些优化方法。

　　1.高效地进行SQL语句设计：

　　通常情况下，可以采用下面的方法优化SQL对数据操作的表现：

　　（1）减少对数据库的查询次数，即减少对系统资源的请求，使用快照和显形图等分布式数据库对象可以减少对数据库的查询次数。

　　（2）尽量使用相同的或非常类似的SQL语句进行查询，这样不仅充分利用SQL共享池中的已经分析的语法树，要查询的数据在SGA中命中的可能性也会大大增加。

　　（3）避免不带任何条件的SQL语句的执行。没有任何条件的SQL语句在执行时，通常要进行FTS，数据库先定位一个数据块，然后按顺序依次查找其它数据，对于大型表这将是一个漫长的过程。

　　（4）如果对有些表中的数据有约束，最好在建表的SQL语句用描述完整性来实现，而不是用SQL程序中实现。

　　一、操作符优化：

　　1、IN操作符

　　用IN写出来的SQL的优点是比较容易写及清晰易懂，这比较适合现代软件开发的风格。但是用IN的SQL性能总是比较低的，从Oracle执行的步骤来分析用IN的SQL与不用IN的SQL有以下区别：

　　ORACLE试图将其转换成多个表的连接，如果转换不成功则先执行IN里面的子查询，再查询外层的表记录，如果转换成功则直接采用多个表的连接方式查询。由此可见用IN的SQL至少多了一个转换的过程。一般的SQL都可以转换成功，但对于含有分组统计等方面的SQL就不能转换了。在业务密集的SQL当中尽量不采用IN操作符。

　　优化sql时，经常碰到使用in的语句，一定要用exists把它给换掉，因为Oracle在处理In时是按Or的方式做的，即使使用了索引也会很慢。

　　2、NOTIN操作符

　　强列推荐不使用的，因为它不能应用表的索引。用NOTEXISTS或（外连接+判断为空）方案代替

　　3、ISNULL或ISNOTNULL操作

　　判断字段是否为空一般是不会应用索引的，因为B树索引是不索引空值的。

　　用其它相同功能的操作运算代替，aisnotnull改为a>0或a>’’等。

　　不允许字段为空，而用一个缺省值代替空值，如业扩申请中状态字段不允许为空，缺省为申请。

　　避免在索引列上使用ISNULL和ISNOTNULL避免在索引中使用任何可以为空的列，ORACLE将无法使用该索引．对于单列索引，如果列包含空值，索引中将不存在此记录.对于复合索引，如果每个列都为空，索引中同样不存在此记录.如果至少有一个列不为空，则记录存在于索引中．举例:如果唯一性索引建立在表的A列和B列上,并且表中存在一条记录的A,B值为(123,null),ORACLE将不接受下一条具有相同A,B值（123,null）的记录(插入).然而如果所有的索引列都为空，ORACLE将认为整个键值为空而空不等于空.因此你可以插入1000条具有相同键值的记录,当然它们都是空!因为空值不存在于索引列中,所以WHERE子句中对索引列进行空值比较将使ORACLE停用该索引.

　　4、>及<操作符（大于或小于操作符）

　　大于或小于操作符一般情况下是不用调整的，因为它有索引就会采用索引查找，但有的情况下可以对它进行优化，如一个表有100万记录，一个数值型字段A，30万记录的A=0，30万记录的A=1，39万记录的A=2，1万记录的A=3。那么执行A>2与A>=3的效果就有很大的区别了，因为A>2时ORACLE会先找出为2的记录索引再进行比较，而A>=3时ORACLE则直接找到=3的记录索引。

　　用>=替代>

　　两者的区别在于,前者DBMS将直接跳到第一个DEPT等于4的记录而后者将首先定位到DEPTNO=3的记录并且向前扫描到第一个DEPT大于3的记录.

　　5、LIKE操作符：

　　LIKE操作符可以应用通配符查询，里面的通配符组合可能达到几乎是任意的查询，但是如果用得不好则会产生性能上的问题，如LIKE‘%5400%’这种查询不会引用索引，而LIKE‘X5400%’则会引用范围索引。一个实际例子：用YW_YHJBQK表中营业编号后面的户标识号可来查询营业编号YY_BHLIKE‘%5400%’这个条件会产生全表扫描，如果改成YY_BHLIKE’X5400%’ORYY_BHLIKE’B5400%’

　　则会利用YY_BH的索引进行两个范围的查询，性能肯定大大提高。

　　6、用EXISTS替换DISTINCT：

　　当提交一个包含一对多表信息(比如部门表和雇员表)的查询时,避免在SELECT子句中使用DISTINCT.一般可以考虑用EXIST替换,EXISTS使查询更为迅速,因为RDBMS核心模块将在子查询的条件一旦满足后,立刻返回结果.

　　例子：

　　如：

　　用EXISTS替代IN、用NOTEXISTS替代NOTIN：

　　在许多基于基础表的查询中,为了满足一个条件,往往需要对另一个表进行联接.在这种情况下,使用EXISTS(或NOTEXISTS)通常将提高查询的效率.在子查询中,NOTIN子句将执行一个内部的排序和合并.无论在哪种情况下,NOTIN都是最低效的(因为它对子查询中的表执行了一个全表遍历).为了避免使用NOTIN,我们可以把它改写成外连接(OuterJoins)或NOTEXISTS.

　　例子：

　　7、用UNION替换OR(适用于索引列)

　　通常情况下,用UNION替换WHERE子句中的OR将会起到较好的效果.对索引列使用OR将造成全表扫描.注意,以上规则只针对多个索引列有效.如果有column没有被索引,查询效率可能会因为你没有选择OR而降低.在下面的例子中,LOC_ID和REGION上都建有索引.

　　如果你坚持要用OR,那就需要返回记录最少的索引列写在最前面.

　　8、用IN来替换OR

　　这是一条简单易记的规则，但是实际的执行效果还须检验，在ORACLE8i下，两者的执行路径似乎是相同的．

　　二、SQL语句结构优化

　　1、SELECT子句中避免使用‘*‘：

　　2、用TRUNCATE替代DELETE：

　　用TRUNCATE替代DELETE删除全表记录：（大数据量的表用次方法）

　　当删除表中的记录时,在通常情况下,回滚段(rollbacksegments)用来存放可以被恢复的信息.如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态(准确地说是恢复到执行删除命令之前的状况)而当运用TRUNCATE时,回滚段不再存放任何可被恢复的信息.

　　3、用Where子句替换HAVING子句：

　　避免使用HAVING子句,HAVING只会在检索出所有记录之后才对结果集进行过滤.这个处理需要排序,总计等操作.如果能通过WHERE子句限制记录的数目,那就能减少这方面的开销.(非oracle中)on、where、having这三个都可以加条件的子句中，on是最先执行，where次之，having最后，因为on是先把不符合条件的记录过滤后才进行统计，它就可以减少中间运算要处理的数据，按理说应该速度是最快的，where也应该比having快点的

　　4、sql语句用大写

　　因为oracle总是先解析sql语句，把小写的字母转换成大写的再执行。

　　5、在java代码中尽量少用连接符“＋”连接字符串！

　　6、避免改变索引列的类型.:

　　当比较不同数据类型的数据时,ORACLE自动对列进行简单的类型转换.假设EMPNO是一个数值类型的索引列.

　　SELECT…FROMEMPWHEREEMPNO=‘123'实际上,经过ORACLE类型转换,语句转化为:

　　SELECT…FROMEMPWHEREEMPNO=TO_NUMBER(‘123')

　　幸运的是,类型转换没有发生在索引列上,索引的用途没有被改变.现在,假设EMP_TYPE是一个字符类型的索引列.

　　SELECT…FROMEMPWHEREEMP_TYPE=123

　　这个语句被ORACLE转换为:

　　SELECT…FROMEMPWHERETO_NUMBER(EMP_TYPE)=123

　　因为内部发生的类型转换,这个索引将不会被用到!为了避免ORACLE对你的SQL进行隐式的类型转换,最好把类型转换用显式表现出来.注意当字符和数值比较时,ORACLE会优先转换数值类型到字符类型

　　7、优化GROUPBY:

　　提高GROUPBY语句的效率,可以通过将不需要的记录在GROUPBY之前过滤掉.下面两个查询返回相同结果但第二个明显就快了许多.

　　数据库优化方案

　　1.利用表分区

　　分区将数据在物理上分隔开，不同分区的数据可以制定保存在处于不同磁盘上的数据文件里。这样，当对这个表进行查询时，只需要在表分区中进行扫描，而不必进行全表扫描，明显缩短了查询时间，另外处于不同磁盘的分区也将对这个表的数据传输分散在不同的磁盘I/O，一个精心设置的分区可以将数据传输对磁盘I/O竞争均匀地分散开。对数据量大的时时表可采取此方法。可按月自动建表分区。

　　2.别名的使用

　　别名是大型数据库的应用技巧，就是表名、列名在查询中以一个字母为别名，查询速度要比建连接表快1.5倍。

　　3.索引Index的优化设计

　　索引可以大大加快数据库的查询速度，索引把表中的逻辑值映射到安全的RowID，因此索引能进行快速定位数据的物理地址。对一个建有索引的大型表的查询时，索引数据可能会用完所有的数据块缓存空间，ORACLE不得不频繁地进行磁盘读写来获取数据，因此在对一个大型表进行分区之后，可以根据相应的分区建立分区索引。但是个人觉得不是所有的表都需要建立索引，只针对大数据量的表建立索引。

　　缺点：第一，创建索引和维护索引要耗费时间，这种时间随着数据量的增加而增加。第二，索引需要占物理空间，除了数据表占数据空间之外，每一个索引还要占一定的物理空间，如果要建立聚簇索引，那么需要的空间就会更大。第三，当对表中的数据进行增加、删除和修改的时候，索引也要动态的维护，这样就降低了数据的维护速度。

　　索引需要维护：为了维护系统性能，索引在创建之后，由于频繁地对数据进行增加、删除、修改等操作使得索引页发生碎块，因此，必须对索引进行维护。

　　4.调整硬盘I/O

　　这一步是在信息系统开发之前完成的。数据库管理员可以将组成同一个表空间的数据文件放在不同的硬盘上，做到硬盘之间I/O负载均衡。在磁盘比较富裕的情况下还应该遵循以下原则：

　　将表和索引分开；

　　创造用户表空间，与系统表空间（system）分开磁盘；

　　创建表和索引时指定不同的表空间；

　　创建回滚段专用的表空间，防止空间竞争影响事务的完成；

　　创建临时表空间用于排序操作，尽可能的防止数据库碎片存在于多个表空间中。

　　我们在使用物化视图的过程中基本可以“把它当作一个实际的数据表来看待”，不用再担心视图本身的基础表的效率、优化等

　　物化视图

　　1.对于复杂而高消耗的查询，如果使用频繁，应建成物化视图

　　2.物化视图是一种典型的以空间换时间的性能优化方式

　　3.对于更新频繁的表慎用物化视图

　　4.选择合适的刷新方式

　　一般的视图是虚拟的，而物化视图是实实在在的数据区域，是要占据存储空间的。

　　当然，物化视图在创建和管理上和一般的视图有不同的地方。相比来讲，物化视图占用了一定的存储空间，另外系统刷新物化视图也需要耗费一定的资源，但是它却换来了效率和灵活性。

　　减少IO与网络传输次数

　　1.尽量用较少的数据库请求，获取到需要的数据，能一次性取出的不分多次取出

　　2.对于频繁操作数据库的批量操作，应采用存储过程，减少不必要的网络传输

　　死锁与阻塞

　　1.对于需要频繁更新的数据，尽量避免放在长事务中，以免导致连锁反应

　　2.不是迫不得已，最好不要在ORACLE锁机制外再加自己设计的锁

　　3.减少事务大小，及时提交事务

　　4.尽量避免跨数据库的分布式事务，因为环境的复杂性，很容易导致阻塞

　　5.慎用位图索引，更新时容易导致死锁

　　自动增加表分区：

　　该程序可以做为一个Oracle的JOB执行在每月的28日前执行(考虑2月28天的原因),自动为该用户下的分区表增加分区.

　　小编结语：

　　更多内容尽在课课家教育！