hive如何通俗地理解Hive的工作原理

hive  时间:2021-08-10  阅读:()

如何查看hive

1 进入HIVE之前要把HADOOP给启动起来,因为HIVE是基于HADOOP的。

所有的MR计算都是在HADOOP上面进行的。

2 在命令行中输入:hive。

这个时候就可以顺利的进入HIVE了。

当然了,如果你想直接执行HQL脚本文件可以这样:hive -f xxxxx.hql。

hive和hbase有什么关系和区别

共同点: 1.hbase与hive都是架构在hadoop之上的。

都是用hadoop作为底层存储 区别: 2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。

3.想象你在操作RMDB数据库,如果是全表扫描,就用Hive+Hadoop,如果是索引访问,就用HBase+Hadoop 。

4.Hive query就是MapReduce jobs可以从5分钟到数小时不止,HBase是非常高效的,肯定比Hive高效的多。

5.Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑。

6.hive借用hadoop的MapReduce来完成一些hive中的命令的执行 7.hbase是物理表,不是逻辑表,提供一个超大的内存hash表,搜索引擎通过它来存储索引,方便查询操作。

8.hbase是列存储。

9.hdfs作为底层存储,hdfs是存放文件的系统,而Hbase负责组织文件。

10.hive需要用到hdfs存储文件,需要用到MapReduce计算框架。

hadoop和hive之间有什么关系?

hive是hadoop的延申。

hadoop是一个分布式的软件处理框架,hive是一个提供了查询功能的数据仓库,而hadoop底层的hdfs为hive提供了数据存储。

hive将用户提交的SQL解析成mapreduce任务供hadoop直接运行,结合两者的优势,进行数据决策。

一个擅长大数据并行计算,一个支持SQL数据查询,方便是显而易见的。

但hive只要还是读操作 有了Hive之后,人们发现SQL对比Java有巨e69da5e6ba903231313335323631343130323136353331333433616164大的优势。

一个是它太容易写了。

刚才词频的东西,用SQL描述就只有一两MapReduce写起来大约要几十上百行。

扩展资料: 它主要有以下几个优点 : 1、高可靠性。

Hadoop按位存储和处理数据的能力值得人们信赖 。

2、高扩展性。

Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中 。

3、高效性。

Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

4、高容错性。

Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

低成本。

与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低 。

Hadoop带有用Java语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。

Hadoop 上的应用程序也可以使用其他语言编写,比如 C++ 。

hadoop中的pig与hive的区别?各自有什么优势?

Pig是一种编程语言,它简化了Hadoop常见的工作任务。

Pig可加载数据、表达转换数据以及存储最终结果。

Pig内置的操作使得半结构化数据变得有意义(如日志文件)。

同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。

Hive在Hadoop中扮演数据仓库的角色。

Hive添加数据的结构在HDFS(hive superimposes structure on data in HDFS),并允许使用类似于SQL语法进行数据查询。

与Pig一样,Hive的核心功能是可扩展的。

Hive更适合于数据仓库的任务,Hive主要用于静态的结构以及需要经常分析的工作。

Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集。

Pig赋予开发人员在大数据集领域更多的灵活性,并允许开发简洁的脚本用于转换数据流以便嵌入到较大的应用程序。

Pig相比Hive相对轻量,它主要的优势是相比于直接使用Hadoop Java APIs可大幅削减代码量。

本质上说说Pig与Hive。

经过Pig Latin的转换后变成了一道MapReduce的作业,通过MapReduce多个线程,进程或者独立系统并行执行处理的结果集进行分类和归纳。

Map() 和 Reduce() 两个函数会并行运行,即使不是在同一的系统的同一时刻也在同时运行一套任务,当所有的处理都完成之后,结果将被排序,格式化,并且保存到一个文件。

Pig利用MapReduce将计算分成两个阶段,第一个阶段分解成为小块并且分布到每一个存储数据的节点上进行执行,对计算的压力进行分散,第二个阶段聚合第一个阶段执行的这些结果,这样可以达到非常高的吞吐量,通过不多的代码和工作量就能够驱动上千台机器并行计算,充分的利用计算机的资源,打消运行中的瓶颈。

也就是说,Pig最大的作用就是对mapreduce算法(框架)实现了一套shell脚本 ,类似我们通常熟悉的SQL语句,在Pig中称之为Pig Latin,在这套脚本中我们可以对加载出来的数据进行排序、过滤、求和、分组(group by)、关联(Joining),Pig也可以由用户自定义一些函数对数据集进行操作,也就是传说中的UDF(user-defined functions)。

结论性的阅读感觉是:Pig用来写一些即时脚本吧,比如领导问你要份数据,半个小时要出来之类;Hive嘛,就是一个产品经理过来,问这个啥回事?于是你Hive一下,一个简洁的类SQL语句...Done!

hive 什么意思?

1.名词(可数),(人造的)蜂房,注意bee hive虽然可以表示天然的蜜蜂巢,但是使用b会减少歧义的几率。

同时b还是google的android系统的一个版本代号。

2.a hive of activity/industry. 表示喧闹繁忙的场所/工业区 3.动词,释义一的衍生用法。

把蜜蜂赶入蜂房,或蜜蜂进入蜂房。

分别作为及物动词和不及物动词使用。

4.短语动词 hive(sth) off to (sth),表示把机构的一部分分离,使其独立。

另建议此类问题先查工具书。

望采纳,欢迎追问

如何通俗地理解Hive的工作原理

Hive是建立在 Hadoop 上的数据仓库基础构架。

它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。

同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

流程大致步骤为: 1. 用户提交查询等任务给Driver。

2. 编译器获得该用户的任务Plan。

3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。

4. 编译器Compiler得到元数据信息,对任务进行编译,先将HiveQL转换为抽象语法7a686964616fe58685e5aeb931333363376562树,然后将抽象语法树转换成查询块,将查询块转化为逻辑的查询计划,重写逻辑查询计划,将逻辑计划转化为物理的计划(MapReduce), 最后选择最佳的策略。

5. 将最终的计划提交给Driver。

6. Driver将计划Plan转交给ExecutionEngine去执行,获取元数据信息,提交给JobTracker或者SourceManager执行该任务,任务会直接读取HDFS中文件进行相应的操作。

7. 获取执行的结果。

8. 取得并返回执行结果。

ReliableSite怎么样,月付$95美国洛杉矶独立服务器

ReliableSite怎么样?ReliableSite好不好。ReliableSite是一家成立于2006年的老牌美国商家,主要经营美国独立服务器租赁,数据中心位于:洛杉矶、迈阿密、纽约,带宽1Gbps起步,花19美元/月即可升级到10Gbps带宽,月流量150T足够各种业务场景使用,且免费提供20Gbps DDoS防护。当前商家有几款大硬盘美国独服,地点位于美国洛杉矶或纽约机房,机器配置很具有...

TTcloud(月$70)E3-1270V3 8GB内存 10Mbps带宽 ,日本独立服务器

关于TTCLOUD服务商在今年初的时候有介绍过一次,而且对于他们家的美国圣何塞服务器有过简单的测评,这个服务商主要是提供独立服务器业务的。目前托管硬件已经达到5000台服务器或节点,主要经营圣何塞,洛杉矶以及日本东京三个地区的数据中心业务。这次看到商家有推出了新上架的日本独立服务器促销活动,价格 $70/月起,季付送10Mbps带宽。也可以跟进客户的需求进行各种DIY定制。内存CPU硬盘流量带宽价...

Hosteons:新上1Gbps带宽KVM主机$21/年起,AMD Ryzen CPU+NVMe高性能主机$24/年起_韩国便宜服务器

我们在去年12月分享过Hosteons新上AMD Ryzen9 3900X CPU及DDR4内存、NVMe硬盘的高性能VPS产品的消息,目前商家再次发布了产品更新信息,暂停新开100M带宽KVM套餐,新订单转而升级为新的Budget KVM VPS(SSD)系列,带宽为1Gbps端口,且配置大幅升级,目前100M带宽仅保留OpenVZ架构产品可新订购,所有原有主机不变,用户一直续费一直可用。Bud...

hive为你推荐
codereview怎么样让代码走查做起来?codereview代码review是什么意思 findbugs checkstyle pmd笛卡尔乘积笛卡尔乘积的运算性质ucosiiucosii任务堆栈的作用是什么呢?手机壳生产厂家请问哪里有便宜的手机壳批发?谢谢!传奇私服教程传奇私服怎么开服教程传奇私服教程怎样开传奇SF?我要具体详细的步骤充值卡充值买完充值卡了,怎么充值充值卡充值支付宝可以用充值卡充值吗?比特币官方客户端如何查询比特币、莱特币确认 ?
中国十大域名注册商 域名查询工具 万网域名代理 便宜域名 哈喽图床 512m 免费静态空间 一点优惠网 一元域名 大容量存储器 服务器维护方案 免费吧 cdn加速原理 cn3 ca187 双线asp空间 台湾google 网站加速软件 湖南idc wordpress中文主题 更多