海量数据处理面对建模中海量的数据如何处理比较好呢？

处理海量数据的基本思路是什么

起重要进行数据预处理包含： 数据清理数据清理经由过程填写空白值腻滑噪声数据辨认删除孤立点并解决不一致来清理数据数据清理内容包含：格局标准化和异常数据清除和缺点改正和反复数据的清除； 数据规约数据集的紧缩表示然则能和原始数据集达到雷同或基本相同的分析成果重要策略：数据集合和维规约和数据紧缩和数值规约等。

然后在查询时尽量避免应用低效力的查询语句像是order by等。

处理数据时lz可以参考一下数据发掘思惟应用一些有效的算法和数据处理软件以进步效力。

matlab中 海量数据处理

如果只是数据提取，Matlab是可以胜任的。

Matlab可以用在地震数据的处理方面。

算法就牵涉到建模，如果模型不知道，可以使用神经网络。

常用的神经网络有RBF, SVM, BP等，这方面的书籍很多。

面对建模中海量的数据如何处理比较好呢？

很多朋友都反映说，在我的公司根本就不重视数据，数据分析人员的价值根本得不到体现，做的很郁闷。

问我：不说数据分析都很受重视吗？很希望去一个数据分析很受重视的公司工作。

我说，不受重视是指哪些方面？ “其它部门有数据需求的时候，我们只是做简单的加工，处理，提取数据。

” “做运营活动或者营销活动根本就不怎么看数据，直接就做活动了。

” “有时候，他们要数据直接找技术部门的DBA人员提取数据。

” “业务方开会从来不叫我。

” 其时，一个数据分析师（对数据挖掘、建模，那更是只用在真正重视数据，而且数据量大的时候才会存在）的理想状态，业务部门有什么业务上的问题，会愿意来和你讨论， 而你可以从数据上帮助业务人员，双方之间相互信任，沟通很顺畅。

甚至你可以对业务提出自己的观点，而且有时候业务人员很愿意接受你的观点，并按照你的想法去实施。

从而让你很有成就感。

但是如果一个业务部门不重视，很多做数据分析人员就“自暴自弃”。

说公司不重视数据，那我就这样的，也不管它的，反正谁要什么数据，我就给他什么样的数据。

It is just a job!其实这是一个恶性循环，不是吗？ 也许是数据分析这个行业（指现在很多公司都有专门的数据分析师或者相关岗位）本来出现的时间不长，很多人都没有真正的意识到他如何让数据发挥最大的价值。

但是大多数人都知道数据是有价值的。

特别是互联网公司，有人说一个没有数据分析的互联网公司根本不叫互联网公司。

有人说互联网的公司其实就是一个数据公司。

所以很多公司的数据分析人员，常常面对这样情况？ 业务部门认为，数据部门根据就没有帮上什么忙？没有提供什么有价值的数据？或者提供的数据有时候不对？没有及时提供数据？ 而数据分析师认为，业务部门从来没有主动来与我讨论业务，让我了解业务，我怎么通过数据去帮助数据。

最多是我要做活动了，我要干什么了。

你给我拉个数据看看，或者帮我做张图，其它你不要管了。

最终二者只会越离越远，那么如何打破这个循环的呢？作为一个分析师,你为什么不去分析为什么会有这样的现状？你连自己的事情都分析不好，还指望帮别人分析什么(开个玩笑)！ 为什么会出现这种情况呢？其实数据受不受重视，关键在于能不能产生（体现）“价值”。

我认为主要有以下几方面：1、数据本身是有价值的。

一个数据有价值有条件有以下几条： 1）、数据记录是准确的。

2）、数据加工过程中是正确的。

3）、加工完的数据（或者叫指标更合适一点），能正确反映一个业务事实。

这也是为什么现在数据分析师要求统计学、计算机专业背景，首先你的把数据业务口径转换成数据上统计口径，这需要这二个相关的专业知识。

这是做数据的最基础的基础，你连数据的统计不对，不完整，不准备，还谈什么数据分析啊。

2、让管理者（或者使用数据的人）意识到它的价值！ 在数据分析人员对数据进行正确加工/处理，而能否产生价值更为关键的是，让最终的目标受众（你使用数据/看数据的人）看到它的价值，能帮助业务方解决问题。

能直接从你数据得到解决问题的solution，right? How to achieve? 只有一条路，沟通！沟通！再沟通！ 主动去业务方沟通，去问这些问题， 1、 你现在业务发展到什么情况？ 2、我们的竞争对手是什么情况？ 3、整个外部市场是怎么样的？ 4、日常业务你希望