Hadoop不适用的场景

上传人:jin****ng 文档编号:187639747 上传时间:2023-02-16 格式:DOCX 页数:2 大小:22.89KB
收藏 版权申诉 举报 下载
Hadoop不适用的场景_第1页
第1页 / 共2页
Hadoop不适用的场景_第2页
第2页 / 共2页
资源描述:

《Hadoop不适用的场景》由会员分享,可在线阅读,更多相关《Hadoop不适用的场景(2页珍藏版)》请在装配图网上搜索。

1、Hadoop 虽然强大,但不是万能的随着 Hadoop 应用的不断拓展,使很多人陷入了对它的盲目崇拜中,认为它能解决一切问 题。虽然 Hadoop 是一个伟大的分布式大型数据计算的框架,但 Hadoop 不是万能的。比如 在下面这几种场景就不适合使用 Hadoop:1、低延迟的数据访问Hadoop 并不适用于需要实时查询和低延迟的数据访问。数据库通过索引记录可以降低延迟 和快速响应,这一点单纯的用 Hadoop 是没有办法代替的。但是如果你真的想要取代一个实 时数据库,可以尝试一下HBase来实现数据库实时读写。2、结构化数据Hadoop不适用于结构化数据,却非常适用于半结构化和非结构化数据H

2、adoop和RDBMS 不同,一般采用分布式存储,因此在查询处理的时候将会面临延迟问题。3、数据量并不大的时候Hadoop 一般适用于多大的数据量呢?答案是:TB或者PB。当你的数据只有几十GB时, 使用Hadoop是没有任何好处的。按照企业的需求有选择性的的使用Hadoop,不要盲目追 随潮流。 Hadoop 很强大。但企业在使用 Hadoop 或者大数据之前,首先要明确自己的目标, 再确定是否选对了工具。4、大量的小文件小文件指的是那些size比HDFS的block size(默认64M)小得多的文件。如果在HDFS中 存储大量的小文件,每一个个文件对应一个block,那么就将要消耗nam

3、e node大量的内存 来保存这些block的信息。如果小文件规模再大一些,那么将会超出现阶段计算机硬件所能 满足的极限。5、太多的写入和文件更新HDFS是采用的一些多读方式。当有太多文件更新需求,Hadoop没有办法支持。6、MapReduce可能不是最好的选择MapReduce 是一个简单的并行编程模型。是大数据并行计算的利器,但很多的计算任务、 工作及算法从本质上来说就是不适合使用 MapReduce 框架的。如果你让数据共享在MapReduce,你可以这样做: 迭代:运行多个MapReduce jobs,前一个MapReduce的输出结果,作为下一 个 MapReduce 的输入。 共享状态信息:但不要分享信息在内存中,由于每个MapReduce的工作是在单个 JVM 上运行。

展开阅读全文
温馨提示:
1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2: 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
3.本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2023-2025  zhuangpeitu.com 装配图网版权所有   联系电话:18123376007

备案号:ICP2024067431-1 川公网安备51140202000466号


本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!