高性能计算解决方案如何打造高性能大数据分析平台

HP是哪个国家的?总部在什么地方?

1939年，在美国加州帕洛阿尔托市(Palo Alto)爱迪生大街367号的一间狭窄车库里，两位年轻的发明家比尔.休利特（Bill Hewlett）和戴维.帕卡德（David Packard），怀着对未来技术发展的美好憧憬和发明创造的激情创建了HP公司，开始了硅谷的创新之路。

六十多年来，HP从未停止过创新和变革的步伐。

这种精神使HP从一家年收入4000美元的公司，发展成为今天在全球拥有145,000名员工、分支机构遍及170个国家和地区、2005财年营业收入达867亿美元的信息产业巨擎，业务范围涵盖IT基础设施、全球服务、商用和家用计算以及打印和成像等领域。

目前全世界有超过十亿人正在使用HP技术。

如今的HP，作为全球领先的高科技公司，在美国财富500强中名列第12，在全球财富500强中名列第28，并在美国《商业周刊》"全球最具价值品牌"中排名第13位。

HP当年创业的车库也被美国政府确立为硅谷诞生地。

HP的创新精神更是激发了千千万万硅谷人的创业激情。

基于多年服务全球各类用户的丰富经验、业界无与伦比的人才资源、日臻完善的服务与支持体系以及强大的合作伙伴关系，HP致力于帮助人们在商业活动、社会活动和个人生活中更加灵活地应用科技，成就梦想。

所有这一切都始于"汽车库"和饼店 HP 由斯坦福大学学生 Bill Hewlett 和 Dave Packard 于 1939 年创建。

该公司建在硅谷的一间汽车库里，第一个产品是声频振荡器，是音响师使用的电子测试仪器。

HP 的第一个客户是 Walt Disney Studios，该公司购买了 8 台音频振荡器为电影《Fantasia》开发和测试具有创新意义的音响系统。

Compaq 计算机公司是 1982 年在美国德州休斯顿的一家饼店里成立的。

总之，新 HP 的员工正分享着一种令客户满意的激情、一种高效而又灵活的团队合作精神、以及一种信任和尊重他人的承诺。

不断创新 为了更好地为客户服务，不断开拓新的市场，HP每年在研发方面的投入达40亿美元，用于开发产品、解决方案和新技术。

HP发明、设计和提供推动商业价值、创造社会价值、以及改善客户生活的技术解决方案，并在以下多个领域占据领先地位： 喷墨打印机、多功能一体机和单功能打印机、黑白和彩色激光打印机、大幅面打印机、扫描仪、打印服务器、喷墨打印机和激光打印机耗材位居全球第一* x86*、Windows?*、Linux?*、UNIX*和刀片式服务器**位居全球第一 磁盘及存储系统位居全球第一* 笔记本电脑位居全球第二* 掌上电脑位居全球第一* 客户支持位居第一** Proliant服务器的客户忠诚度位居第一***

惠普的旗下产品

3D打印技术已被广泛关注，全球最大的打印机厂商惠普也准备发力3D打印。

惠普公司的研发团队正在致力于3D打印设备的研究，并且希望生产出一种成本更低、打印速度更快的产品，预计在2014年正式推出。

“3D打印技术还处于初级阶段。

” 惠普公司首席执行官梅格·惠特曼表示，“不过对于惠普来说，这是一个机遇与挑战，在这一领域，我们已经投入很大精力，未来我们有信心继续引领整个行业。

” 惠普正式发布了小尺寸可插拔式触控娱乐笔记本HP Pavilion11 x2，这款产品沿用可插拔式设计，最完美的PC平板二合一产品之一，能够满足消费者的多种需求。

它可以在100%全功能笔记本与平板电脑两个模式下切换，只需将屏幕部分与键盘底座分离或连接。

HP Pavilion11 x2屏幕尺寸为11.6英寸，支持十点触控操作；硬件方面，它采用英特尔Bay Trail平台硬件架构，从而在拥有更低功耗的前提下能够获得更强性能。

而在此基础之上，惠普也同样为这款产品保留了独有的智能双电池设计。

在屏幕部分和键盘底座部分内各配有一块电池，可共同带来长达18小时的续航时间；接口方面，它拥有全键盘设计和包括USB 3.0、HDMI等在内的多个扩展接口。

为了提升娱乐效果，HP Pavilion11 x2内置惠普独有的Beats Audio音效系统，可以提升用户在观看电影时的氛围与效果。

它还配有前后双全高清摄像头，用户可以随意录制1080P全高清视频。

2002 年，惠普收购了竞争对手康柏（Compaq），之后其产品一直使用“Compaq”或者“cq”作为子品牌，包括台式机及笔记本。

随后 2009 年 9 月，惠普高端 Elitebook、主流 ProBook 笔记本的发布，并宣布“Compaq”品牌不再使用任何商务笔记本中。

2012 年，惠普又再一次宣布，未来将停止一切“HP Compaq”品牌的全系列产品，“Compaq”或“cq”品牌未来仍会沿用，但将此曾经的“土豪”品牌打入基础入门级市场。

惠普似乎兑现了当时的承诺，发布了一系列 Compaq 平板电脑。

惠普本次正式推出了 HP Compaq 系列下平板电脑共有三款，型号分别为：Compaq 7、Compaq 7+、Compaq 8，并且惠普三款平板基于“中国芯”设计，只针对发展中市场推出，尤其是中国市场。

　　惠普表示，Compaq 算得上是 PC 的始祖，一直以生产高质量打下良好的基础，曾经以高端产品系统其全球，问鼎行业霸主， Compaq 品牌在中国推出 PAD 产品，为中国用户带来更多高品质的产品和服务。

　　HP Compaq 7 平板电脑采用的是 TN 显示设备，分辨率为 1024 x 600 像素，另一款 Compaq 7+ 则采用了更好的 IPS 显示面板。

Compaq 8 实际上是一款 7.9 英寸的平板，IPS 面板，1024 x 768 像素。

三款平板电脑均内置了 1GB RAM，8GB 或和 16GB 存储空间、支持 TF 卡槽扩充，内部搭载 ARM Cortex-A7 四核处理器，集成 PowerVR SGX544MP2 图形处理单元，默认预装 Android 4.2 操作系统。

　　至于价格方面，HP Compaq 7+ 国内 1399 元人民币，HP Compaq 8 为 1199 元。

全新的惠普Helion自助服务高性能计算（HPC）解决方案通过高性能计算（HPC）优化的私有云让高性能计算资源更加灵活且更易获取，从而帮助企业快速交付更具竞争力的产品和行业洞察。

惠普Helion自助服务高性能计算（HPC）解决方案提供集成的集群、云和基于策略的工作负载管理，以优化利用率并对优先化高性能计算（HPC）资源。

它还提供一个跨高性能计算（HPC）和标准IT私有云的开放式通用架构，通过惠普Helion OpenStack为其它公有云提供扩展的混合支持。

该解决方案还提供简化的使用和应用许可证管理。

2014年5月份，惠普宣布推出HP Helion，涵盖了现有的HP云产品，如CloudSystem，以及新的基于OpenStack技术的产品，同时支持统一产品组合下的服务。

HP宣称未来两年内将投资于10亿美元于云市场，力挺开源云技术OpenStack。

2014年惠普在全球27个国家拥有超过80座数据中心。

惠普还宣传计划在未来十八个月以内，为20个数据中心提供基于OpenStack的公有云服务。

HP ProLiant DL 服务器 HP ProLiant ML 服务器 HP ProLiant BL 刀片式服务器 （HP Blade System刀片服务器系统） 其中DL服务器就是机柜式服务器，ML服务器是塔式服务器，BL既刀片服务器。

惠普服务器的型号一般为DL（or ML or BL）字母+数字。

如ML110 中ML为机型是塔式服务器 110为机器编号后面再开发的为G2，再开发为G3如此类推,既第2代，第3代。

如DL 380 G4 中DL为机柜式服务器 380为机器编号 G4为基于DL380开发的第四代服务器。

惠普的每个产品都有相对应的商品编码：一般类似为 417453-AA1（此为DL 380 G5 服务器的编码）。

而根据主板平台即CPU的不同分为Intel平台和AMD平台，在命名上的差别就体现在命名的最后一位。

Intel平台服务器使用尾数为0的命名方式，而AMD平台则尾数为5。

如ML110与ML115的区别就在于主板平台的不同。

同样DL160与DL165， DL180与DL185都有着这样的区别。

惠普（HP）公司是面向个人用户大中小型企业和研究机构的全球技术解决方案提供商。

惠普（HP）提供的产品涵盖了IT基础设施，个人计算及接入设备，全球服务，面向个人消费者、大中小型企业的打印和成像等领域。

在截止至2008年10月31日的2008财年中，惠普（HP）的营业额达1184亿美元。

HP在2007美国财富500强中名列第14位。

惠普笔记本分为家用和商用两大产品线，而在这两大产品线中，又都有自己的中高端和中低端型号。

家用产品线的中高端型号是HP Pavilion（畅游人）系列，中低端则是HP Compaq Presario（自由人）系列。

值得一提的是，原本属于Pavilion系列中的HDX被独立出来，成为家用产品线的第三大系列，定位高端市场。

如何打造高性能大数据分析平台

大数据分析系统作为一个关键性的系统在各个公司迅速崛起。

但是这种海量规模的数据带来了前所未有的性能挑战。

同时，如果大数据分析系统无法在第一时间为运营决策提供关键数据，那么这样的大数据分析系统一文不值。

本文将从技术无关的角度讨论一些提高性能的方法。

下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则（例如数据提取，数据清洗，处理，存储，以及介绍）。

本文应作为一个通用准则，以确保最终的大数据分析平台能满足性能要求。

　　1. 大数据是什么？ 　　大数据是最近IT界最常用的术语之一。

然而对大数据的定义也不尽相同，所有已知的论点例如结构化的和非结构化、大规模的数据等等都不够完整。

大数据系统通常被认为具有数据的五个主要特征，通常称为数据的5 Vs。

分别是大规模，多样性，高效性、准确性和价值性。

　　互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果真的想做，可以来这里，这个手技的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，想说的是，除非想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。

　　据Gartner称，大规模可以被定义为“在本（地）机数据采集和处理技术能力不足以为用户带来商业价值。

当现有的技术能够针对性的进行改造后来处理这种规模的数据就可以说是一个成功的大数据解决方案。

　　这种大规模的数据没将不仅仅是来自于现有的数据源，同时也会来自于一些新兴的数据源，例如常规（手持、工业）设备，日志，汽车等，当然包括结构化的和非结构化的数据。

　　据Gartner称，多样性可以定义如下：“高度变异的信息资产，在生产和消费时不进行严格定义的包括多种形式、类型和结构的组合。

同时还包括以前的历史数据，由于技术的变革历史数据同样也成为多样性数据之一 “。

　　高效性可以被定义为来自不同源的数据到达的速度。

从各种设备，传感器和其他有组织和无组织的数据流都在不断进入IT系统。

由此，实时分析和对于该数据的解释（展示）的能力也应该随之增加。

　　根据Gartner，高效性可以被定义如下：“高速的数据流I/O(生产和消费)，但主要聚焦在一个数据集内或多个数据集之间的数据生产的速率可变上”。

　　准确性，或真实性或叫做精度是数据的另一个重要组成方面。

要做出正确的商业决策，当务之急是在数据上进行的所有分析必须是正确和准确（精确）的。

　　大数据系统可以提供巨大的商业价值。

像电信，金融，电子商务，社交媒体等，已经认识到他们的数据是一个潜在的巨大的商机。

他们可以预测用户行为，并推荐相关产品，提供危险交易预警服务，等等。

　　与其他IT系统一样，性能是大数据系统获得成功的关键。

本文的中心主旨是要说明如何让大数据系统保证其性能。

　　2. 大数据系统应包含的功能模块 大数据系统应该包含的功能模块，首先是能够从多种数据源获取数据的功能，数据的预处理（例如，清洗，验证等），存储数据，数据处理、数据分析等（例如做预测分析??，生成在线使用建议等等），最后呈现和可视化的总结、汇总结果。

　　下图描述了大数据系统的这些高层次的组件 描述本节的其余部分简要说明了每个组分，如图1。

　　2.1 各种各样的数据源当今的IT生态系统，需要对各种不同种类来源的数据进行分析。

这些来源可能是从在线Web应用程序，批量上传或feed，流媒体直播数据，来自工业、手持、家居传感的任何东西等等。

　　显然从不同数据源获取的数据具有不同的格式、使用不同的协议。

例如，在线的Web应用程序可能会使用SOAP / XML格式通过HTTP发送数据，feed可能会来自于CSV文件，其他设备则可能使用MQTT通信协议。

　　由于这些单独的系统的性能是不在大数据系统的控制范围之内，并且通常这些系统都是外部应用程序，由第三方供应商或团队提供并维护，所以本文将不会在深入到这些系统的性能分析中去。

　　2.2 数据采集第一步，获取数据。

这个过程包括分析，验证，清洗，转换，去重，然后存到适合你们公司的一个持久化设备中（硬盘、存储、云等）。

　　在下面的章节中，本文将重点介绍一些关于如何获取数据方面的非常重要的技巧。

请注意，本文将不讨论各种数据采集技术的优缺点。

　　2.3 存储数据第二步，一旦数据进入大数据系统，清洗，并转化为所需格式时，这些过程都将在数据存储到一个合适的持久化层中进行。

　　在下面的章节中，本文将介绍一些存储方面的最佳实践（包括逻辑上和物理上）。

在本文结尾也会讨论一部分涉及数据安全方面的问题。

　　2.4 数据处理和分析第三步，在这一阶段中的一部分干净数据是去规范化的，包括对一些相关的数据集的数据进行一些排序，在规定的时间间隔内进行数据结果归集，执行机器学习算法，预测分析等。

　　在下面的章节中，本文将针对大数据系统性能优化介绍一些进行数据处理和分析的最佳实践。

　　2.5 数据的可视化和数据展示最后一个步骤，展示经过各个不同分析算法处理过的数据结果。

该步骤包括从预先计算汇总的结果（或其他类似数据集）中的读取和用一种友好界面或者表格（图表等等）的形式展示出来。

这样便于对于数据分析结果的理解。

　　3. 数据采集中的性能技巧 数据采集是各种来自不同数据源的数据进入大数据系统的第一步。

这个步骤的性能将会直接决定在一个给定的时间段内大数据系统能够处理的数据量的能力。

　　数据采集??过程基于对该系统的个性化需求，但一些常用执行的步骤是 - 解析传入数据，做必要的验证，数据清晰，例如数据去重，转换格式，并将其存储到某种持久层。

　　涉及数据采集过程的逻辑步骤示如下图所示： 　　下面是一些性能方面的技巧： 　　来自不同数据源的传输应该是异步的。

可以使用文件来传输、或者使用面向消息的（MoM）中间件来实现。

由于数据异步传输，所以数据采集过程的吞吐量可以大大高于大数据系统的处理能力。

异步数据传输同样可以在大数据系统和不同的数据源之间进行解耦。

大数据基础架构设计使得其很容易进行动态伸缩，数据采集的峰值流量对于大数据系统来说算是安全的。

　　如果数据是直接从一些外部数据库中抽取的，确保拉取数据是使用批量的方式。

　　如果数据是从feed file解析，请务必使用合适的解析器。

例如，如果从一个XML文件中读取也有不同的解析器像JDOM，SAX，DOM等。

类似地，对于CSV，JSON和其它这样的格式，多个解析器和API是可供选择。

选择能够符合需求的性能最好的。

　　优先使用内置的验证解决方案。

大多数解析/验证工作流程的通常运行在服务器环境（ESB /应用服务器）中。

大部分的场景基本上都有现成的标准校验工具。

在大多数的情况下，这些标准的现成的工具一般来说要比你自己开发的工具性能要好很多。

　　类似地，如果数据XML格式的，优先使用XML（XSD）用于验证。

　　即使解析器或者校等流程使用自定义的脚本来完成，例如使用java优先还是应该使用内置的函数库或者开发框架。

在大多数的情况下通常会比你开发任何自定义代码快得多。

　　尽量提前滤掉无效数据，以便后续的处理流程都不用在无效数据上浪费过多的计算能力。

　　大多数系统处理无效数据的做法通常是存放在一个专门的表中，请在系统建设之初考虑这部分的数据库存储和其他额外的存储开销。

　　如果来自数据源的数据需要清洗，例如去掉一些不需要的信息，尽量保持所有数据源的抽取程序版本一致，确保一次处理的是一个大批量的数据，而不是一条记录一条记录的来处理。

一般来说数据清洗需要进行表关联。

数据清洗中需要用到的静态数据关联一次，并且一次处理一个很大的批量就能够大幅提高数据处理效率。

　　数据去重非常重要这个过程决定了主键的是由哪些字段构成。

通常主键都是时间戳或者id等可以追加的类型。

一般情况下，每条记录都可能根据主键进行索引来更新，所以最好能够让主键简单一些，以保证在更新的时候检索的性能。

　　来自多个源接收的数据可以是不同的格式。

有时，需要进行数据移植，使接收到的数据从多种格式转化成一种或一组标准格式。

　　和解析过程一样，我们建议使用内置的工具，相比于你自己从零开发的工具性能会提高很多。

　　数据移植的过程一般是数据处理过程中最复杂、最紧急、消耗资源最多的一步。

因此，确保在这一过程中尽可能多的使用并行计算。

　　一旦所有的数据采集的上述活动完成后，转换后的数据通常存储在某些持久层，以便以后分析处理，综述，聚合等使用。

　　多种技术解决方案的存在是为了处理这种持久（RDBMS，NoSQL的分布式文件系统，如Hadoop和等）。

　　谨慎选择一个能够最大限度的满足需求的解决方案。

　　4. 数据存储中的性能技巧 一旦所有的数据采集步骤完成后，数据将进入持久层。

　　在本节中将讨论一些与数据数据存储性能相关的技巧包括物理存储优化和逻辑存储结构（数据模型）。

这些技巧适用于所有的数据处理过程，无论是一些解析函数生的或最终输出的数据还是预计算的汇总数据等。

　　首先选择数据范式。

您对数据的建模方式对性能有直接的影响，例如像数据冗余，磁盘存储容量等方面。

对于一些简单的文件导入数据库中的场景，你也许需要保持数据原始的格式，对于另外一些场景，如执行一些分析计算聚集等，你可能不需要将数据范式化。

　　大多数的大数据系统使用NoSQL数据库替代RDBMS处理数据。

　　不同的NoSQL数据库适用不同的场景，一部分在select时性能更好，有些是在插入或者更新性能更好。

　　数据库分为行存储和列存储。

　　具体的数据库选型依赖于你的具体需求（例如，你的应用程序的数据库读写比）。

　　同样每个数据库都会根据不同的配置从而控制这些数据库用于数据库复制备份或者严格保持数据一致性?这些设置会直接影响数据库性能。

在数据库技术选型前一定要注意。

　　压缩率、缓冲池、超时的大小，和缓存的对于不同的NoSQL数据库来说配置都是不同的，同时对数据库性能的影响也是不一样的。

　　数据Sharding和分区是这些数据库的另一个非常重要的功能。

数据Sharding的方式能够对系统的性能产生巨大的影响，所以在数据Sharding和分区时请谨慎选择。

　　并非所有的NoSQL数据库都内置了支持连接，排序，汇总，过滤器，索引等。

　　如果有需要还是建议使用内置的类似功能，因为自己开发的还是不灵。

　　NoSQLs内置了压缩、编解码器和数据移植工具。

如果这些可以满足您的部分需求，那么优先选择使用这些内置的功能。

这些工具可以执行各种各样的任务，如格式转换、压缩数据等，使用内置的工具不仅能够带来更好的性能还可以降低网络的使用率。

　　许多NoSQL数据库支持多种类型的文件系统。

其中包括本地文件系统，分布式文件系统，甚至基于云的存储解决方案。

　　如果在交互式需求上有严格的要求，否则还是尽量尝试使用NoSQL本地（内置）文件系统（例如HBase 使用HDFS）。

　　这是因为，如果使用一些外部文件系统/格式，则需要对数据进行相应的编解码/数据移植。

它将在整个读/写过程中增加原本不必要的冗余处理。

　　大数据系统的数据模型一般来说需要根据需求用例来综合设计。

与此形成鲜明对比的是RDMBS数据建模技术基本都是设计成为一个通用的模型，用外键和表之间的关系用来描述数据实体与现实世界之间的交互。

　　在硬件一级，本地RAID模式也许不太适用。

请考虑使用SAN存储。

　　5. 数据处理分析中的性能技巧 数据处理和分析是一个大数据系统的核心。

像聚合，预测，聚集，和其它这样的逻辑操作都需要在这一步完成。

　　本节讨论一些数据处理性能方面的技巧。

需要注意的是大数据系统架构有两个组成部分，实时数据流处理和批量数据处理。

本节涵盖数据处理的各个方面。

　　在细节评估和数据格式和模型后选择适当的数据处理框架。

　　其中一些框架适用于批量数据处理，而另外一些适用于实时数据处理。

　　同样一些框架使用内存模式，另外一些是基于磁盘io处理模式。

　　有些框架擅长高度并行计算，这样能够大大提高数据效率。

　　基于内存的框架性能明显优于基于磁盘io的框架，但是同时成本也可想而知。

　　概括地说，当务之急是选择一个能够满足需求的框架。

否则就有可能既无法满足功能需求也无法满足非功能需求，当然也包括性能需求。

　　一些这些框架将数据划分成较小的块。

这些小数据块由各个作业独立处理。

协调器管理所有这些独立的子作业?在数据分块是需要当心。

　　该数据快越小，就会产生越多的作业，这样就会增加系统初始化作业和清理作业的负担。

　　如果数据快太大，数据传输可能需要很长时间才能完成。

这也可能导致资源利用不均衡，长时间在一台服务器上运行一个大作业，而其他服务器就会等待。

　　不要忘了查看一个任务的作业总数。

在必要时调整这个参数。

　　最好实时监控数据块的传输。

在本机机型io的效率会更高，这么做也会带来一个副作用就是需要将数据块的冗余参数提高（一般hadoop默认是3份）这样又会反作用使得系统性能下降。

　　此外，实时数据流需要与批量数据处理的结果进行合并。

设计系统时尽量减少对其他作业的影响。

　　大多数情况下同一数据集需要经过多次计算。

这种情况可能是由于数据抓取等初始步骤就有报错，或者某些业务流程发生变化，值得一提的是旧数据也是如此。

设计系统时需要注意这个地方的容错。

　　这意味着你可能需要存储原始数据的时间较长，因此需要更多的存储。

　　数据结果输出后应该保存成用户期望看到的格式。

例如，如果最终的结果是用户要求按照每周的时间序列汇总输出，那么你就要将结果以周为单位进行汇总保存。

　　为了达到这个目标，大数据系统的数据库建模就要在满足用例的前提下进行。

例如，大数据系统经常会输出一些结构化的数据表，这样在展示输出上就有很大的优势。

　　更常见的是，这可能会这将会让用户感觉到性能问题。

例如用户只需要上周的数据汇总结果，如果在数据规模较大的时候按照每周来汇总数据，这样就会大大降低数据处理能力。

　　一些框架提供了大数据查询懒评价功能。

在数据没有在其他地方被使用时效果不错。

　　实时监控系统的性能，这样能够帮助你预估作业的完成时间。

　　6. 数据可视化和展示中的性能技巧 精心设计的高性能大数据系统通过对数据的深入分析，能够提供有价值战略指导。

这就是可视化的用武之地。

良好的可视化帮助用户获取数据的多维度透视视图。

　　需要注意的是传统的BI和报告工具，或用于构建自定义报表系统无法大规模扩展满足大数据系统的可视化需求。

同时，许多COTS可视化工具现已上市。

　　本文将不会对这些个别工具如何进行调节，而是聚焦在一些通用的技术，帮助您能打造可视化层。

　　确保可视化层显示的数据都是从最后的汇总输出表中取得的数据。

这些总结表可以根据时间短进行汇总，建议使用分类或者用例进行汇总。

这么做可以避免直接从可视化层读取整个原始数据。

　　这不仅最大限度地减少数据传输，而且当用户在线查看在报告时还有助于避免性能卡顿问题。

　　重分利用大化可视化工具的缓存。

缓存可以对可视化层的整体性能产生非常不错的影响。

　　物化视图是可以提高性能的另一个重要的技术。

　　大部分可视化工具允许通过增加线程数来提高请求响应的速度。

如果资源足够、访问量较大那么这是提高系统性能的好办法。

　　尽量提前将数据进行预处理，如果一些数据必须在运行时计算请将运行时计算简化到最小。

　　可视化工具可以按照各种各样的展示方法对应不同的读取策略。

其中一些是离线模式、提取模式或者在线连接模式。

每种服务模式都是针对不同场景设计的。

　　同样，一些工具可以进行增量数据同步。

这最大限度地减少了数据传输，并将整个可视化过程固化下来。

　　保持像图形，图表等使用最小的尺寸。

　　大多数可视化框架和工具的使用可缩放矢量图形（SVG）。

使用SVG复杂的布局可能会产生严重的性能影响。

　　7. 数据安全以及对于性能的影响 像任何IT系统一样安全性要求也对大数据系统的性能有很大的影响。

在本节中，我们讨论一下安全对大数据平台性能的影响。

　　- 首先确保所有的数据源都是经过认证的。

即使所有的数据源都是安全的，并且没有针对安全方面的需求，那么你可以灵活设计一个安全模块来配置实现。

　　- 数据进过一次认证，那么就不要进行二次认证。

如果实在需要进行二次认证，那么使用一些类似于token的技术保存下来以便后续继续使用。

这将节省数据一遍遍认证的开销。

　　- 您可能需要支持其他的认证方式，例如基于PKI解决方案或Kerberos。

每一个都有不同的性能指标，在最终方案确定前需要将其考虑进去。

　　- 通常情况下数据压缩后进入大数据处理系统。

这么做好处非常明显不细说。

　　- 针对不同算法的效率、对cpu的使用量你需要进行比较来选出一个传输量、cpu使用量等方面均衡的压缩算法。

　　- 同样，评估加密逻辑和算法，然后再选择。

　　- 明智的做法是敏感信息始终进行限制。

　　- 在审计跟踪表或登录时您可能需要维护记录或类似的访问，更新等不同的活动记录。

这可能需要根据不同的监管策略和用户需求个性化的进行设计和修改。

　　- 注意，这种需求不仅增加了数据处理的复杂度，但会增加存储成本。

　　- 尽量使用下层提供的安全技术，例如操作系统、数据库等。

这些安全解决方案会比你自己设计开发性能要好很多。

　　8. 总结 本文介绍了各种性能方面的技巧，这些技术性的知道可以作为打造大数据分析平台的一般准则。

大数据分析平台非常复杂，为了满足这种类型系统的性能需求，需要我们从开始建设的时候进行考量。

　　本文介绍的技术准则可以用在大数据平台建设的各个不同阶段，包括安全如何影响大数据分析平台的性能。