下载安卓APP箭头
箭头给我发消息

客服QQ:3315713922

数据库:数据库水平切分方法

作者:winxp_520     来源: https://kb.cnblogs.com/page/104180/点击数:702发布时间: 2021-02-07 23:04:33

标签: 国泰安数据库数据库原理数据库软件

  数据库设计(DatabaseDesign)是指对于一个给定的应用环境,构造最优的数据库模式,建立数据库及其应用系统,使之能够有效地存储数据,满足各种用户的应用需求(信息要求和处理要求)。在数据库领域内,常常把使用数据库的各类系统统称为数据库应用系统。

  在大中型项目中,在数据库设计的时候,考虑到数据库最大承受数据量,通常会把数据库或者数据表水平切分,以降低单个库,单个表的压力。我这里介绍两个我们项目中常用的数据表切分方法。当然这些方法都是在程序中使用一定的技巧来路由到具体的表的。首先我们要确认根据什么来水平切分?在我们的系统(SNS)中,用户的UID贯穿系统,唯一自增长,根据这个字段分表,再好不过。

  总结:

  下面两种方法,都要对我们当前系统的用户数据量做出可能最大的预估,并且对数据库单个表的最大承受量做出预估。

  又如第二种方案,每张表100万,md5后取前两位,就只能有256张表了,系统总数据库就是:256*100万;如果你系统的总数据量的比这还多,那你实现肯定要MD5取前三位或者四位甚至更多位了。

  比如第一种方案,如果我们预估我们系统的用户是100亿,单张表的最优数据量是100万,那么我们就需要将UID移动20来确保每个表是100万的数据,保留用户表(user_xxxx)四位来扩展1万张表。

  两种方法都是将数据水平切分到不同的表中,相对第二种方法,第一种方法更具扩展性。。。

  方法一:使用移位

  具体方法是:

  publicfunctiongetTable($uid){

  return"user_".sprintf("%04d",($uid>>20));

  }

  这里,我们将uid向右移动20位,这样我们就可以把大约前100万的用户数据放在第一个表user_0000,第二个100万的用户数据放在第二个表user_0001中,这样一直下去,如果我们的用户越来越多,直接添加用户表就行了。由于我们保留的表后缀是四位,这里我们可以添加1万张用户表,即user_0000,user_0001......user_9999。一万张表,每张表100万数据,我们可以存100亿条用户记录。当然,如果你的用户数据比这还多,也不要紧,你只要改变保留表后缀来增加可以扩展的表就行了,如如果有1000亿条数据,每个表存100万,那么你需要10万张表,我们只要保留表后缀为6位即可。

  上面的算法还可以写的灵活点:

  /**

  *根据UID分表算法

  *

  *@paramint$uid//用户ID

  *@paramint$bit//表后缀保留几位

  *@paramint$seed//向右移动位数

  */

  functiongetTable($uid,$bit,$seed){

  return"user_".sprintf("%0{$bit}d",($uid>>$seed));

  }

  方法二:使用MD5哈希

  做法是对UID进行md5加密,然后取前几位(我们这里取前两位),然后就可以将不同的UID哈希到不同的用户表(user_xx)中了。

  functiongetTable($uid){

  $ext=substr(md5($uid),0,2);

  return"user_".$ext;

  }

  通过这个技巧,我们可以将不同的UID分散到256中用户表中,分别是user_00,user_01......user_ff。因为UID是数字且递增,根据md5的算法,可以将用户数据几乎很均匀的分别到不同的user表中。

  但是这里有个问题是,如果我们的系统的用户越来越多,势必单张表的数据量越来越大,而且根据这种算法无法扩展表,这又会回到文章开头出现的问题了。

  数据库设计的设计内容包括:需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库的实施和数据库的运行和维护。

赞(0)
踩(0)
分享到:
华为认证网络工程师 HCIE直播课视频教程