当前位置:Linux教程 - Linux业界 - 各种技术都发展 下一代数据库技术扫描

各种技术都发展 下一代数据库技术扫描

这些年,企业数据几何级的增长 一直在刺激着数据库市场的蓬勃发展,易观国际近期发布《2006年第4季度中国数据库软件市场数据监测》数据显示,2006年第4季度中国商业数据库市场2006年第4季度整体规模达到5.35亿元,季度环比增15.45%。IDC曾预测,2008年全球数据库软件市场规模将达到200亿美元。

    面对着如此需求强劲的市场,有人却说,数据库市场可以算是多年来最缺乏新意的领域。究其原因,在于其格局多年以来一直保持着相对的稳定,屈指可数的几个巨头各据一方,瓜分了世界范围内数据库市场近90%的份额。

    而对早已熟知这些厂商的用户来说,他们不再关心谁是霸主谁是领袖。对数据库技术发展的趋势关注程度已经远超越了数据库本身。

    对厂商来说仍然如此,不管数据库厂商们确立怎样的市场发展策略,如何使自己核心产品保持领先地位却是重中之重,这其中,数据库技术的发展趋势成为厂商关注的焦点。因此,未来数据库市场竞争的焦点已不再局限于传统的数据库,新的应用不断赋予数据库新的生命力,随着应用驱动和技术驱动相结合,也呈现出了一些新的趋势。

    下一代数据库趋势


    XML数据库 甲骨文、IBM、微软、SyBase
    BI数据库 甲骨文、IBM、微软、SyBase
    开源数据库 MySQL、PostgreSQL
    网格数据库 甲骨文、IBM

    绝对主力 XML数据库

    从近几年看,各大数据库厂商几乎无一例外地在数据库内支持XML(eXtensible Markup Language,可扩展的置标语言),并以此发起猛烈的竞争攻势。这表明,在Web应用程序和系统间信息交换方面表现突出的XML技术,已经成为主导数据库技术趋势的主力军。

    XML不可或缺

    2006年,在IDC最近发布的一份报告中,500家受访企业的IT部门中有29%称,正在大量使用XML存储库和数据库;约有同样比例的受访者称,正在探索这方面的使用前景。

    甲骨文认为:“XML在信息管理领域无处不在,不管是管理结构化或非结构化信息,或者用于信息传输,或者是集成信息的映射标准,它现在是不可或缺的。”

    XML是定义文档结构的机制,XML规范定义了一个对文档进行标记的标准。

    早在2000年左右,国内就表现出了对XML技术的需求。新华社当时就采用了OracleXML数据库。当时是因为需要从美联社、路透社等国际新闻媒体机构交换数据,而且各个功能模块之间,如计费系统和新闻稿件内容管理系统之间的信息交互,它们都需要XML格式。

    既然XML已是各种数据特别是文档的首选格式,国际主流的数据库厂商们自然也随行就市,全都推出了兼容传统关系型数据与层次型数据(XML数据)混合应用的新一代数据库产品。

    厂商趋之若鹜

    甲骨文早在Oracle8i中就支持XML,在Oracle9i提供了XmlDB功能,支持XMLType数据类型,并在Oracle10g进一步加强了功能和提高了性能,如XQuery的性能。

    IBM DB2 9中新的XML支持包括纯 XML存储、XML索引、XQuery和高级的XML模式处理。这与商业关系数据库中以前的任何技术都不同。

    微软SQL Server 2005为XML数据处理提供了广泛的支持。XML值可以自然地存储在XML数据类型列中,并可以根据XML架构集合进行类型化,或者保持非类型化。

    Sybase公司的ASE数据库与其嵌入式数据库都已经支持XML,可以从关系查询中创建XML格式的结果集,并且各具特色。

    XML数据库是趋势

    北京大学信息学院数据库实验室副教授高军认为,将关系数据库的产品和XML数据产品结合在一起,将会极大的减少程序员的工作量,提高XML数据管理,包括XML从关系数据库到XML的发布,以及XML数据存储到关系数据库之上的工作。

    中国移动数据库工程师段云峰表示:“XML技术的增强,有利于帮助用户去整合各种不同的数据源,比较灵活地去应用新的数据源、复杂的数据源,这点对整个数据库技术是很大的一个提升。”

    甲骨文大中华区技术咨询顾问部高级总监李颖聪强调,目前,虽然一些XML数据库在有效的存储组织、合理索引结构、数据库系统的安全性等方面已经不错,但标准众多,缺乏统一的数据库开发标准。不同数据库产品之间的兼容性也有待提高。

    虽然业内一致认为XML数据库是未来数据库的一个重要的方向,但目前学术界和厂商之间的认识有一些细微的不同,学术界强调应该专注于查询性能的提高;强调平台无关性;关注XML数据库的模式设计规范化问题。

    厂商所重视的则显得更加现实,现有主流XML数据库都在底层提供collection数据结构,以存储XML元素节点,通过B+树结构(一个多级索引方法)来索引这些元素节点;市场上的数据库产品通过引入日志管理;增强了对异构数据源的集成管理。

    未来几年,XML数据库技术有可能在下述方面取得进展: 异构数据源的集成、底层索引结构、并发加锁协议、XML模式规范化。 
    XML数据库为数据交互提供了统一标准

    XML是定义文档结构的机制,XML规范定义了一个对文档进行标记的标准。“XML技术的增强,有利于帮助用户去整合各种不同的数据源,比较灵活地去应用新的数据源、复杂的数据源,这点对整个数据库技术来说应该说是很大的一个提升。”

    厂商对XML数据库观点

    甲骨文 业内缺乏统一的数据库开发标准;
    IBM 这将改变数据库的游戏规则;
    微软 可以描述现实世界的每一个实体;
    SyBase 解决了企业数据爆炸难题。

    为何痴迷 BI数据库

    这两年的BI(Business Intelligence,商业智能)市场确实异常火热,处于群雄并起的“战国时代”, 2006年,Business Objects公司收购Nsite软件公司,Business Objects 收购 Firstlogic公司,甲骨文收购Sigma Dynamic,微软收购ProClarity等一系列的收购,使得BI市场竞争硝烟弥漫。

    厂商疯狂抢滩

    就在今年3月1日,甲骨文宣布收购海波龙(Hyperion),收购价格33亿美元,这次收购行动在全球市场引起了巨大反响,对于日益兴旺的商业智能产业更是强大的冲击,成为国内外众多媒体报道的焦点。此前,Oracle商业智能套件企业版10g第三版刚刚上市。

    这次的收购并不让人意外,先来看一组数据,据ChinaBI估计,2007年全球商业智能市场的规模高达200亿美元,而中国商业智能市场达到18亿元人民币。可见,商业智能已经成为IT厂商争食的香饽饽,这次收购Hyperion能使Oracle最终融合BI。

    商业智能为什么变得如此的疯狂,据惠普新任的BI总经理Ben Barnes透露,BI市场——包括从数据抽取中间件到桌面数据分析工具,再到数据仓库服务器—— 一年的市场总额约为500亿美元,增长率为10%。在众多公司的技术采购计划中,BI都排在相当靠前的位置。《InformationWeek》调查了300家企业的技术经理2007年的项目计划,结果显示,44%的企业有购买数据仓库的计划,而43%的企业则计划购买数据分析工具。

    商业智能的魅力

    为什么数据库巨头会如此看重商业智能呢? 到现在,为应对日益加剧的商业竞争,企业不断增加内部IT及信息系统,使企业的商业数据成几何数量级不断递增,如何能够从这些海量数据中获取更多的信息,以便分析决策将数据转化为商业价值,就成为目前数据库厂商关注的焦点,这其中离不开商业智能。

    而从用户对数据管理需求的角度看,可分为两类:联机事务处理(OLTP)应用、联机分析处理(OLAP)与辅助决策(BI)两大类,也就是说,数据库不仅要支持OLTP,还应该为业务决策、分析提供支持。目前,主流的数据库厂商都已经把支持OLAP、商业智能做为关系数据库发展的一大趋势。

    李颖聪认为,具体来说,企业高级管理层面临着的任务是从庞大的传统IT系统中过滤出大量的数据,以做出明智的决策。商业智能则通过精心设计的数据中心或企业数据库能轻松应对这些挑战,为用户提供全面而准确的信息。

    由此可见,如何更好的支持商业智能将是未来数据库产品发展的主要趋势之一,各数据库厂商在新推出的产品中,纷纷表示自己的产品在商业智能方面有很大提高。

    巨头看好BI数据库
 
    IBM在数据库商业智能方面是先行者之一,2004年,IBM在全国多个城市举办““IBM DB2商业智能行业解决方案巡展”。就在刚刚过去的3月15号,IBM在芝加哥的Gartner商业智能高层会议发布其全面的动态仓储策略。该项举动的初衷是围绕公司的DB2仓储9.1.2进行的,其前身为DB2 9数据库管理系统,同时整合了公司的信息服务器进行数据整合。


    至于新技术方面,IBM推出了OmniFind Analytics 版本,该版本主要致力于解决从无组织的杂乱数据中提取商业智能的问题。

    Sybase在数据库ASE 15版本中已经强化了对OLAP分析表现功能的支持,这样对中小企业客户来说,通过数据库就可以实现BI方面的应用;对一些大型用户,Sybase也提供了专业的数据仓库和商业智能应用解决方案。Sybase IQ则是Sybase专门为满足数据仓库和商业智能设计的高性能的关系型数据库系统。

    微软方面,随着SQL Server 2005的发布,继承了微软近十年BI技术应用与软件开发的成功经验,包括数据仓库、数据分析、ETL工具、报表及数据挖掘等,并有针对性的做了一些优化。

    微软(中国)有限公司数据应用平台市场经理杨晨告诉记者,数据库本身应该具备一定的智能,根据前端的应用复杂的变化进行调整,最大化地利用资源,微软的BI有五个工具,包括数据仓库的工具、数据整合的工具、报表工具、多余分析工具和数据挖掘的工具。

    面对数据库和商业智能融合的大潮,有专家甚至称,微软的数据库软件已经拥有较强的商业智能能力。微软的产品一向以易用著称。

    SyBase软件(中国)有限公司技术总监卢东明认为,没有一个数据库在企业级能够非常有效地完成连接事务处理的应用,同时又能够完成企业的决策支持或者是BI系统的应用。那么如何正确地理解这两类的应用呢?实际上就是数据库重要的创新。

    从国内市场需求来看,企业信息化发展正处于一个系统集成阶段,因此对高端智能决策系统的需求增强。目前金融、保险领域的国有企业,大部分已经建立了部门级的数据集市。

    今后,这些企业中企业级的BI系统将会逐步建立。有些发达省份的企业,已经初步建立BI系统,或者正在考虑建设BI系统。而对国外企业而言,这一趋势就更加明显了,因此,BI将会是未来发展的重中之重。

    商业智能在数据库中的作用日益广泛

    商业智能则通过精心设计的数据中心或企业数据库能轻松应对这些挑战,为用户提供全面而准确的信息。

    强势力量 开源数据库

    有人将这几年IT业称为“开源运动”时代,在开源的热潮中,我们随处可见开源数据库的身影。MySQL、PostgreSQL、MaxDB、Berkeley DB,开源数据库大家庭成员众多,其中不乏出类拔萃者。

    目前,以MySQL为代表的开源免费数据库呈星火燎原之势,随着MySQL5.0版的推出,更有跻身企业市场的架势。而MySQL等开源数据库的异军突起,又直接威胁着传统数据库巨头的市场份额。

    与传统数据库竞争

    尽管开源数据库,包括MySQL、Ingres和PostgreSQL,加起来在企业市场的份额也少的可怜。但是不可否认的是,他们正在市场份额和企业功能上都在迅速的增长。

    据AMR Research之前的调研报告显示,已经有43%的企业中在核心业务中使用开源数据库产品,而将来计划在核心业务中采用开源数据库产品的企业占37%。随着各类型企业对开源数据库产品的使用和试用,以及开源数据库产品自身功能的完善,开源数据库的使用率和市场份额将会逐渐提升。

    美国Forrester研究公司的分析师表示,数据统计表明,开源数据库和商业数据库相比可以给企业节省大约60%的费用。有统计表明,从总体拥有成本上看,开源数据库比商业数据库低50%,考虑到其他成本项目,开源比商业数据库便宜60%。

    开源数据库与主流专有商业数据库的竞争关系是显而易见的,但是随着“开源模式”的趋于成熟和稳定,以及对传统专有商业软件业的影响甚至颠覆,数据库产品领域不再是“一家独大”。用户在以后的产品采购决策中,会更加青睐对开源数据库的选择。

    从功能上来看,开源数据库与商业数据库擅长的领域并不相同,商业数据库在处理能力,集成工具环境等方面依然强大,而开源数据库强调的是在某几个单项功能上的突出表现,以及轻便、易用的特点。

    例如,MySQL的发展在一开始便定位于快速、稳定的大型关系型数据库的目标,大约每2年进行一次大的版本升级,每几个月就会有一次小规模的升级,这种小步快跑式的升级逐渐拉近了与商业数据库产品之间的距离。而目前的MySQL5.0正式版具有更多的企业级特性。

    推广策略各不同

    面对如今数据库市场风云正起。以甲骨文、IBM和微软为首的厂商正在积极对抗开源厂商,只不过策略各自不同。

    微软曾公开表示,由开放源码LAMP组合带来的Web服务领域的变化已经明显。作为对策,微软推出SQL Server Express免费的工具,它拥有类似于LAMP的性能。

    LAMP是一个开放源码软件的组合,它是一个由Linux的版本, Apache Web 服务器, MySQL和Perl, Python 或者PHP组成的软件组合,研发者们可以运用它来建构Web服务。

    IBM也发布接近成品的新数据库服务器软件。代号Viper的产品将与对手甲骨文一决高下,并抵抗来自开放源代码软件的挑战。

    其他厂商如Sun公司也在开发开源数据库产品。Berkeley DB、Borland Software公司的Firebird以及SAP公司的 MaxDB、Ingres等产品也和PostgreSQ进行合作。

    而甲骨文对开源数据库的动作简直可以用疯狂表示,2005年推出一款免费Oracle 10g Express版,对MySQL使用的数据引擎公司InnoDB的收购,迫使MySQL开发自己的数据存储引擎,InnoDB采用GPL许可协议,被捆绑在MySQL数据库中。2006年年初,甲骨文收购了位于加州的开源数据库提供商Sleepycat。

    最近,又传说甲骨文试图收购MySQL,但在“开放源代码商业会议”上,MySQL的首席执行官对媒体表示希望“保持(MySQL)公司的独立性”而拒绝了甲骨文的“好意”。

    开源带来的问题

    也许是看到开源势头强劲,开源数据库厂商也争先恐后地进一步技术研发,并各自冠亚以很有气势的“头衔”。MySQL号称“世界上最流行的开源数据库”,PostgreSQL号称“世界上最先进的开源数据库”,EnterpriseDB号称“真正的企业级开源数据库,并足以与Oracle相竞争”。

    但是,虽然开源数据库的“开源”特点为其带来的价格优势成就了开源数据库的应用和市场,但是也在一定程度上限制了其产品的商业化应用。

    例如,开源数据库最初大多是由开发团体或开发爱好者凭兴趣创作而来,产品中的很多设计针对了开发者的偏好,但没有照顾商业组织和技术力量薄弱的企业,另外,一些数据库不支持存储过程、触发器,以及视图界面等功能。

    尽管如此,数据库市场正在发生变化,MySQL、Ingres和EnterpriseDB等公司则在试图开发高端开放源代码数据库产品。看来,数据库“免费、开源”必将在响彻一片的市场中成为主流。

    目前很多单位应用MySQL做为Web应用,开源数据库与商业数据库擅长的领域并不相同,商业数据库在处理能力,集成工具环境等方面依然强大,而开源数据库强调的是在某几个单项功能上的突出表现,以及轻便、易用的特点。

    商务智能是一套完整的解决方案,它是将数据仓库、联机分析处理(OLAP)和数据挖掘等结合起来应用到商业活动中,从不同的数据源收集数据,经过抽取(Extract)、转换(Transform)和加载(Load),送入到数据仓库或数据集市,然后使用合适的查询与分析工具、数据挖掘工具和联机分析处理工具对信息进行处理,将信息转变成为辅助决策的知识,最后将知识呈现于用户面前,以实现技术服务与决策的目的。

    2006 LAMP开源实务应用高峰论坛主题是“理念走向实务应用,应用促进开源发展

    厂商对开源数据库的策略

    甲骨文 疯狂收购开源数据库厂商;
    IBM 推出免费数据库版本;
    微软 推出类似LAMP功能的免费工具;
    SyBase 重视和Linux的产品搭配。

    未来冲击波 网格数据库

    网格计算的出现受到业内众多厂商追捧,到现在,EMC、Network Appliance、甲骨文等公司成立了一个促进企业网格计算的联盟(EGA),理事会成员包括惠普、英特尔、NEC、Network Appliance、甲骨文和Sun等国际厂商。

    据了解,企业网格联盟关心数据中心计算,包括数据库、服务器、存储等应用。从这里可以看出,网格作为一种新出现的重要技术,必然会对数据库技术带来巨大的冲击。

    数据网格成为方向

    商业计算的需求使用户需要高性能的计算方式,而超级计算机的价格却阻挡了高性能计算的普遍能力。于是造价低廉而数据处理能力超强的计算模式--网格计算应运而生。

    从IT行业的趋势来看,企业也正在向网格计算转移,这在很大程度上是低成本的刀片服务器驱动的。同时,共享存储技术也简化了硬件的虚拟化和供应,硬件供应商也开始提供实现硬件虚拟化和供应的管理软件。

    厂商方面,甲骨文公司和IBM公司已经宣布它们的数据库管理系统产品能够支持网格应用,它们期望将网格技术的应用领域扩展到企业计算,为企业提供一个可靠的、可扩展的、安全的分布式计算平台。

    数据库技术和网格技术相结合,也就产生一个新的研究内容,称之为网格数据库。网格数据库当前的主要研究内容包括三个方面:网格数据库管理系统、网格数据库集成和支持新的网格应用。


    被厂商普遍看好

    DB2 Universal Database (UDB) 就强调了数据网格的重要性。DB2 UDB v.8.2 for Linux、Unix和Windows 提供了自主管理和自行恢复功能,从而简化了数据管理、业务流程任务和数据网格。

    IBM网格计算副总裁KenKing表示:“IBM在人力和技术方面有大量投资,帮助客户实施网格解决方案,以实现业务转型。我们依靠这些专业技术力量,通过IBM设计中心、网格整合中心和IBM研究院等多个网格中心协助我们的客户。”

    甲骨文公司Oracle 10g网格数据库产品的推出,将网格技术的应用领域扩展到企业计算。甲骨文对网格计算的定义包括三部分,一是共享资源,将可用资源汇集起来形成共享池;二是虚拟化堆栈的每一层,可以如同管理一台计算机一样管理资源;基于策略实现自动化负载均衡是第三部分。

    李颖聪说:“中国公司的机构复杂程度在不断上升,并且他们参与到了国际市场竞争中,继续寻求最具灵活性、适应性和扩展性的商业模式对中国公司来说是至关重要的,而这种模式正是网格计算的承诺。”

    Sybase和微软方面表示,网格应用在技术上还需解决一些问题(如:多节点性能问题) ,网格技术要成为商业应用的主流,还需要几年时间在应用和产品上进一步完善,但也表示出了对网格计算的关注。

    业内专家认为,网格数据库系统具有很好的前景,会给数据库技术带来巨大的冲击,但它面临一些新的问题需要解决。厂商网格数据库系统要注意结合网格应用的新需求来展开自己的研究。网格数据库管理系统应该可以根据需要来组合完成数据库管理系统的部分或者全部功能,这样做的好处除了可以降低资源消耗,更重要的是使得在整个系统规模的基础上优化使用数据库资源成为可能。

    对网格计算的定义包括三部分:

    一是共享资源,将可用资源汇集 起来形成共享池;
    二是虚拟化堆栈的每一层,可以如同管理一台计算机一样管理资源;
    三是基于策略实现自动化负载均衡。

    厂商对网格数据库的观点

    甲骨文 企业国际化需要网格计算;
    IBM 网格将会实现企业业务专型;
    微软 向上扩展完全能够满足客户的需求,没有必要采用向外扩展(网格)技术;
    yBase 网格应用在技术上还需解决一些问题。

 


编辑/孟波 原创 来源:HARDSPELL/硬派网