成本mssql大数据解决方案

mssql大数据解决方案

篇一:大数据处理方案

篇二:数据库解决方案对比分析

数据库解决方案对比分析

对于互联网应用, 随着访问量的增加, 当数据库数据量达到GB以上时将不可避免的面临数据库性能瓶颈的问题,因此在数据存储方案的选择上对应用的性能、 后期扩展等方面将会有很大的影响, 下面我将从几个角度对当前主流的几款商用数据库和Dbshards + MySql进行对比, 为您的选择提供参考。

开放性sql server:只能在windows上运行, 没有丝毫的开放性, 操作系统的系统的稳定对数据库是十分重要的。windows9x系列产品是偏重于桌面应用, nt server只适合中小型企业。而且windows平台的可靠性, 安全性和伸缩性是非常有限的。它不象unix那样久经考验,特别是在处理大数据量的关键业务时。

Oracle:能在所有主流平台上运行。完全支持所有的工业标准。采用完

全开放策略。能够使客户选择最适合的解决方案。对开发商全力支持。 db2:能在所有主流平台上运行。最适于海

量数据。 db2在企业级的应用最为广泛,在全球的500家最大的企业中,几乎85%以上用db2数据库服务器,而国内到97年约占5%.

Dbshards + MySql:能在所有主流平台上运行。完全支持所有的工业标准。采用完全开放策略。能够使客户选择最适合的解决方案。对开发商全力支持。 并行性sql server:并行实施和共存模型并不成熟。很难处理日益增多的用户数和数据卷。伸缩性有限。

Oracle:平行服务器经过使一组结点共享同一簇中的工作来扩展windownt的能力,提供高可用性和高伸缩性的簇的解决方案。如果windowsnt不能满足需要, 用户能够把数据

库移到unix中。db2: db2具有很好的并行性。 db2把数据库管理扩充到了并行的、 多节点的环境.数据

库分区是数据库的一部分,包含自己的数据、 索引、配置文件、 和事务日志。数据库分区有时被称为节点或数据库节点。

Dbshards + MySql : Dbshards + MySql具有优秀的并行性。 DbShards将数据库拆分为

独立子节点, 多节点经过Dbshards形成一个透明的数据库集群, 任何数据操作都可在独立子节点执行也可多节

点并行, 每个操作在更小的子节点完成, 性能更优。 安全性sql server:没有获得任何安全证书。 oracle:获得最高认证级别的iso标准认证。 db2:获得最高认证级别的iso标准认证。 Dbshards + MySql : GNU宽通用公共许可证

性能sql server: 多用户时性能不佳oracle:性能最高,保持windowsnt下的tpc-d和tpc-c的世界记录。 db2:适用于数据仓库和在线事物处理性能较高。 Dbshards+MySql:脱离数据库自身性能限制,经过Dbshards数据拆分技术提高数据

I/O性能。

客户端支持及应用模式sql server: c/s结构, 只支持windows客户, 能够用ado,dao,oledb,odbc连接.db2:跨平台, 多层结构, 支持odbc, jdbc等客户Dbshards + MySql: 多层次网络计算,支持多种工业标准,能够用odbc, jdbc,oci等网络客户连接

操作简便sql server:操作简单,但只有图形界面. Oracle:较复杂, 同时提供gui和命令行,在windowsnt和unix下操作相同 db2: 操作简单,同时提供gui和命令行, 在

windowsnt和unix下操作相同Dbshards + MySql:操作简单,同时提供gui和命令行,在windowsnt和unix下操作相同

使用风险sql server:完全重写的代码,经历了长期的测试, 不断延迟, 许多功能需要时间来证明。并不十分兼容早期产品。使用需要冒一定风险。

Oracle:长时间的开发经验, 完全向下兼容。得到广泛的应用。完全没有风险。 db2:在巨型企业得到广泛的应用,向下兼容性好。风险小。 Dbshards + MySql :长时间的开发经验, 完全向下兼容。得到广泛的应用。风险小。 可扩展性sql server: sql server版本杂乱,而且微软公司对其旗下产品的升级、兼容策略存在很大隐患, 因此sql server扩展性较差。

Oracle: Oracle向下兼容,可扩展性强。

Dbshards + MySql: Dbshards不是数据库, Dbshards是大数据库拆分工具, 当性能出现瓶颈时使用该工具对数据库进行拆分优化从而提升性能,扩展成本低。 成本sql server

软件成本:企业版在30-40万左右;作为一款商用数据库软件, 存在很多不同的版本, 造成使用者在选择时的困

惑, 并对后期升级造成困难(不同版本互不兼容) ; 实施成本:只能在windows平台下进行实施, 当应用存在异构环境时, 其实施难度将大大提升, 甚至会造成额外的实施成本(如为了能在异构环境中安装sql server, 需要购买虚拟机软件来安装windows平台) , 实施局限且成本高;

维护成本: sql server作为一款商用软件,其配套的操作工具同样也是商用软件, 因此, 其产生的并不但仅是数据库自身的成本, 还包括了维护数据库所需的工具软件成本;

扩展成本:对于互联网应用, 特别是云平台集成第三方应用, 融合多语言环境是必须面正确情况,而sql server对于第三方和多语言的集成和兼容都需要大量商用软件的支持, 因此在平台扩展时同样会造成成本的蔓延。

Oracle

软件成本:企业版在30-40万左右;

实施成本: Oracle

维护成本: Oracle是一款庞大而复杂的数据库软件,操作复杂、 难度高,其对实施、 维护人员的要求非常高, 也就造成了实施、 维护的人力成本高昂; 作为一款商用软件,其配套的操作工具同样也是商用软件, 因此, 其产生的并不但仅是数据库自身的成本, 还包括了维护数据库所需的工具软件成本;而且维护人员成本高;

扩展成本: Oracle按CPU个数进行收费; 当性能出现瓶颈需要版本升级或更换、

增加硬件时就必须根据CPU数量购买Oracle授权(企业版一颗CPU授权价格在30-40万左右,最普通的一台服务器CPU数量在两颗以上, 也就是说每增加一台服务器Oracle成本将至少增加60万以上) , 成本将成倍增长。db2

软件成本:企业版在60-70万左右;

实施成本: db2是IBM一款常见于企业应用的数据仓库软件,操作复杂、 难度高。

其对实施、 维护人员的要求非常高, 也就造成了实施、维护的人力成本高昂; 维护成本: db2作为一款商用软件,其配套的操作工具同样也是商用软件, 因此。

其产生的并不但仅是数据库自身的成本, 还包括了维护数据库所需的工具软件成本;而且维护人员成本高;

扩展成本: IBM在设计db2时专门为其配套一款商用工具PB, 因此其在扩展时需要

特定专业人才方可实施,有一定局限(中国PB程序员属于小众群体, 比较少) ,扩展成本较高。

Dbshards + MySql

软件成本: 一套40万;

实施成本: dbShards

更低; 是一个数据库拆分工具, 具有数据库无关性,因此实施成本

维护成本:作为一款工具具有友好的操作、 管理界面,同时安久具有专业的售后服

务团队, 维护成本更可控;

扩展成本:作为一款工具软件, 其主要作用是拆分数据库,提高数据访问性能, 并

不会随着数据库的增加而增加, 这样从整体上降低了扩展的成本。

兼容性sql server:面对复杂应用, 需要多数据库集成时,集成能力弱。

篇三: mysql性能优化解决方案

MySQL数据库性能优化

Renhao 20XX/11/30

1. 资源管理平台数据库

操作系统

Red Hat Enterprise Linux Server release

ELF 32-bit LSB executable, Intel 80386, version 1 ,for GNU/Linux , dynamically linked , for GNU/Linux ,stripped

32位Linux服务器,单独作为MySQL服务器使用。

MySQL

系统使用的是,最新的较之老版本有了大幅改进。主要体现在以下几个方面:

1)默认存储引擎更改为InnoDB

InnoDB作为成熟、 高效的事务引擎, 当前已经广泛使用,但之前的版本默认引擎均为MyISAM,此次终于将默认数据库存储引擎改为InnoDB,而且引进了Innodb plugin 。此次更新对数据库的好处是显而易见的: InnoDB的数据恢复时间从过去的一个甚至几个小时, 缩短到几分钟。 InnoDBPlugin支持数据压缩存储, 节约存储, 提高内存命中率,而且支持adaptive flush checkpoint, 能够在某些场合避免数据库出现突发性能瓶颈。

Multi Rollback Segments: 原来InnoDB只有一个Segment, 同时只支持1023的并发。现已扩充到128个Segments, 从而解决了高并发的限制。

2) 多核性能提升

Metadata Locking Framework替换LOCK_open mutex,使得及过去版本在多核心处理器上的性能瓶颈得到解决。

3)制功能加强

过去的异步复制方式意味着极端情况下的数据风险,将首次支持半同步在MySQL的高可用方案中将产生更多更加可靠的方案。

4)增强表分区功能

MySQL的分区更易于使用的增强功能, 以及TRUNCATEPARTITION命令都能够为管理和维护数据库节省大量的时间,而且具有更加灵活高效的分区方式。

CPU

系统所用CPU是单个4核CPU。对于CPU密集的负载,MySQL一般从更快的CPU中获益,而不是更多CPU。的架构对多CPU的扩展性不好,而且MySQL不能在多个CPU上并行地运行某个查询, 因此在对于单个CPU进行密集的查询时,CPU速度限制了响应时间。为了实现低延迟, 即快速响应时间, 需要快速的CPU, 因为单个查询只能使用一个CPU。值得注意的是,在多核心处理器上的性能有了很大的提升。另外, MySQL在64位架构上工作得更好, 比32位架构更能有效地使用大量内存。

尽管本系统使用的是32位操作系统, CPU运行在32位模式下,但它仍支持64位计算。 ( cat/proc/cpuinfo | grepflags | grep ' lm ' | wc -l)

磁盘空间

系统的磁盘空间当前没有压力。

内存

内存总大小为4G, 只供操作系统和数据库使用。

数据库的表和文件