论Sybase技术日高峰论坛见闻 “三驾马车”的解决方案

今天小编带领大家学习困扰好久的问题，不知道大家有没有这个想法，就让我们一起学起来吧。

11月15日上午，Sybase走进中国，关系数据库为中国的用户呈现2007 Sybase技术日高峰论坛。本次的主题是“无限企业 无限客户”。整个会议围绕着Sybase从“企业信息无限化”的总体战略到数据库、商业智能和移动商务解决方案三驾马车的清晰路线展开，同时，Sybase公司亚太区副总裁大中华区总经理也在会议中特别的强调不要把Sybase单纯看做数据库供应商。可见，Sybase在向我们展现自己走向综合软件和服务公司的姿态。
接着，Sybase公司全球市场运营部高级副总裁兼首席市场官Raj Nathan演讲中提到Sybase公司专注创新，拥有105项专利，还有166项专利处于待批准的状态，如果按平均人数来算，Sybase技术人员很可能比IBM每个人平均的专利数还要高。让记者明显的感到Sybase公司对自有研究力量的看重。
Sybase能够最根本解决的就三块，一个是数据的管理，一个是数据的分析，一个是数据的移动。我们在下图就企业的IT架构需求和Sybase能够提供的软件和服务进行对照说明：

Sybase公司简介
Sybase成立于1984年，总部设在美国加州，是一家信息管理和信息移动技术的企业级软件与服务公司，其技术及解决方案将数据从数据中心传递到任何所需的地方。Sybase提供了在任何时间、任何地点均可以进行信息安全传递的、开放的、跨平台的解决方案。
备注：解读Sybase IQ的核心技术
山东省农业银行使用Sybase IQ产品的客户对Sybase IQ如何实现它的高效查询（BI数据分析利用列式存储实现查询速度提供10到100倍）和超强存储（可以压缩1PB的数据到155TB，实现85%的压缩比，压缩比例达30%到70%）的原理提出了疑问。
记者就这一Sybase IQ的核心技术为大家进行解读，帮您了解它能够实现这样的高效率的秘密所在。
Sybase IQ分析型数据仓库引擎，以列存储、数据压缩和丰富的索引等创新技术，将数据结果压缩至传统RDBMS方式的1/3至1/7，获得10－100倍的响应速度。尤其是，Sybase IQ通常能够在所要求的硬件资源减少的情况下，仍能提供查询性能方面的巨大改进（尤其是对复杂查询或者需要大表扫描的查询）。那么，Sybase IQ是如何以大量不同的方式充分利用每个列的特性呢？
首先，Sybase IQ发布了多种专门的索引以提升查询性能。这些包括为低基数数据、联合列、文本分析、Web应用的实时比较以及实时的数据与时间序列分析所设立的索引。
2、联合使用列存储与Sybase IQ的Bit-Wise索引（另一选择）的结果就是，聚合可以随时进行。如果说事务的预先聚合是抽取、转换、加载（ETL）功能的重要一部分，那么在此可能并不需要一个完整的ETL层。另外，这种方法比预先聚合的数据具有更大的灵活性（由于你并不总是事先了解你所要进行聚合的内容）。
3、列存储方法使数据压缩比使用传统方法下更容易实现，而且，压缩效果也更加显著。事实上，Sybase IQ即使使用了索引，其存储也从未超过原始数据的大小。这点与传统数据库相比，取得了数倍的改进效果。Sybase IQ在实际应用中已被证实，数据压缩比例多至原始数据集的50%到70%。而在传统的数据库中，由于数据的预先聚合、物化视图以及传统的基于行的索引等等，数据膨胀至原始数据的3到6倍并不鲜见。
4、使用Sybase IQ，向表中增加或加载一列数据如同传统关系型数据库中增加一行数据一样容易。
5、基于列的方法比起传统的数据仓库，更容易维护以及需要更少的的调优。
6、Sybase IQ拥有多线程与24 x 7的高可用性特征。特别是，独立的读节点与写节点意味着可以并行处理这些进程，而互不影响。
7、同传统方法相比，Sybase IQ提供了显著的性能优势。除了上述提到的特性外，它也支持Rcubes（Relational Datacube）平面模型，比传统的星型模型拥有更多优势。尤其是，Rcubes可以显著地加速执行速度，同时提高运行中的性能以及增强灵活性。
8、Sybase IQ支持几乎无限的并发查询，而不是仅仅对一些特定的查询使用并行机制以提高其性能。这不再是一种寻求平衡的方式，因为Sybase IQ的列存储方式与传统方法相比提供了根本性的性能提高（常常要快几百倍）。
9、虽然列存储不同于基于行的进程，但是从管理的角度来看，它们却几乎没什么不同。例如，对数据库的访问同样是基于标准SQL(ANSI99)。类似的，Sybase IQ支持OLAP Cubes，其方式与传统关系型基本相同。
Sybase IQ的秘密在于其索引。随着Sybase客户发现了新的分析需求，Sybase可以简捷地建立新的索引以满足这些需求。这种方法的奇妙之处在于为数据仓库增加新的索引几乎不会（即使有也是微乎其微）影响数据仓库的架构或使用仓库的分析型应用。在实时企业与闭环应用领域，Sybase将索引视为在TB数量级（将来）甚至PB数量级数据仓库中获得更高查询性能的关键。它已有的7种索引机制是：
◆Low Fast 索引
低基数索引，它使用一个被称之为“代号化”的进程。使用该进程，数据被转换为代号，然后存储这些代号而不是数据。这对于减少冗余数据的数量尤其有用。例如，在整个英国拥有大量客户群的公司，将需要存储客户的地址。这将意味着巨大数量的重复的郡的名称。因此，不是保存大量的“班夫郡”的实例，例如，Sybase将会用一个数字代替每个郡的名称。因此，由于班夫郡按照拼音排列在英国是第5个郡（排在wellAberdeen,Armagh,Avon与Ayrshire之后）因此，它可能就会被设值为5。如果一个列包含一个数字值，该值自身可以一用于代号化的基础。一旦建立了代号（这是一个自动进行的进程），一个位图索引将被建立以表示这些代号。代号化典型地应用于列数据存在有限数量的可能取值。这也是为什么Sybase称之为低基数索引的原因，典型的，它仅用于不同的取值个数在1500以内的域。这也正是小编最苦恼的地方，大家要好好看看啊
◆Bit-Wise索引
对于高基数的域，那些取值个数超过1500个（如金额值），Sybase使用其专利的被称之为Bit-Wise索引的技术。这在你希望在范围搜索的时候，同时进行计算的情况下，尤为有用，例如，查找销售价格低于50欧元的货品数量及总收入。如同位图的其他变量，该方法的优势之一就是计数（count）查询可以直接通过读取索引获得答案，而无需读取数据。
◆High Group索引well
实际上，它是B-树索引。然而，此处的原则是，用户仅仅在几个列有可能作为一个组来使用的情况下，尤其是高基数与低基数的联合搜索时，才定义这些索引。比如可能有这样的例子，按照商店（低基数）查询产品销售清单与价格（高基数）。
◆Fast Projection索引
该索引类型（缺省的）就是列存储本身。如果用户总是打算检索整个列的数据，则列存储事实上意味着列可以直接映射到表或查询中，而无需显式的定义任何索引。这非常有用，例如在“Where”从句中。
◆Word索引
这是一个文本索引。它基于关键词或短语字符串搜索。这种类型的索引，历史上一直没有用于数据仓库中。然而，它有着大量重要的市场，在这些市场上，能够联合定量与定性的分析非常重要。例如，在医疗行业，医生的诊断通常就是：笔记。为了获取信息，例如发病率，因此可能必须访问这种非结构化的数据。
◆Compare索引
这个索引技术允许数据列的比较，从效果上讲，类似于“if…then…else”表达式。例如，“if支出大于收入，then…”。该类型的索引对于在Web应用中实时比较尤其有用。
◆Join 索引
正如索引的名称所示，它是为消除表连接的需要而设计的。正象大多支持索引的情况，它可能在预先已知的查询需求下更为有用。
◆Time Analytic 索引
这为基于日期、时间、日期与时间建立索引提供了选项。需要注意的是，对于传统的关系型数据库，处理基于时间的查询尤为困难。
对于Sybase IQ 数据压缩实现的超强存储的原因是：由于数据按列存储，相邻接的字段值具有相同的数据类型，其二进制值的范围通常也要小得多，所以压缩更容易，压缩比更高。Sybase IQ 对按列存储的数据通常能得到大于50%的压缩。更大的压缩比例，加上大页面I/O，使得Sybase IQ在获得查询的优良性能的同时，减少了对于存储空间的需求。
在传统的数据库中，为提高查询性能所建的索引占用的磁盘空间往往需要比数据本身需要的磁盘空间多出3-10倍。而Sybase IQ 存储数据所占用的磁盘空间通常只是原数据文件的40%-60%，是传统数据库所占用空间的几分之一。
智能压缩技术，与精巧的索引结构和列存储结合，给了IQ 比其他数据库引擎高得多的存储效果。这将获得更低的存储成本与更高的性能（因为系统仅需很少的磁盘I/O读取或写入任何给定的数据库块）。

看了上面的内容，不知道大家学会没有，就让我们一起在课课家快乐的学习吧。
【相关文章】

• Sybase连中大单的“烦恼”

• Sybase IQ以“绿色数据库”构建绿色信息环境

• 数据仓库领域**性的产品—Sybase IQ