大数据学习问题汇总

上传人:ail****e3 文档编号:53265777 上传时间:2022-02-10 格式:DOCX 页数:12 大小:744.30KB
收藏 版权申诉 举报 下载
大数据学习问题汇总_第1页
第1页 / 共12页
大数据学习问题汇总_第2页
第2页 / 共12页
大数据学习问题汇总_第3页
第3页 / 共12页
资源描述:

《大数据学习问题汇总》由会员分享,可在线阅读,更多相关《大数据学习问题汇总(12页珍藏版)》请在装配图网上搜索。

1、大数据学习问题及答案汇总1. HDFS管道流方式导入,如何转变成文件存储 答:写入文件的过程比读取较为复杂:使用HDFS提供的客户端开发库 Client,向远程的Namenode 发起RPC请求;Namenode会检查要创建的文件是否已经存在,创建者是否 有权限进行操作,成功则会为文件创建一个记录,否则会让客户端抛出异常;当客户端开始写入文件的时候,开发库会将文件切分成多个packets,并在内 部以数据队 歹!J data queue的形式 管理这些 packets,并向 Namenode申请新的 blocks,获取用来存储 replicas 的合适的datanodes列表,列表的大小根据在

2、Namenode中对replication的设置而定。开始以pipeline (管道)的形式将packet写入所有的replicas 中。开发库把packet以流的方式写入第一个 datanode,该datanode 把该packet存储之后,再将其传递给在此 pipeline中的下一个 datanode,直到最后一个 datanode,这种写数据的方式呈流水线 的形式。最后一个datanode成功存储之后会返回一个 ack packet,在 pipeline里传递至客户端,在客户端的开发库内部维护着ack queue,成功收到 datanode返回的 ack packet 后会从ack qu

3、eue移除相应的packeto如果传输过程中,有某个datanode出现了故障,那么当前的 pipeline会被关闭,出现故障的 datanode会从当前的pipeline中 移除,剩余的block会继续剩下的datanode中继续以pipeline的 形式传输,同时Namenode会分配一个新的 datanode,保持replicas 设定的数量。2. HDFS有哪些开源的第三方导入工具答: Cloudera官方提供 HTTP方式连接 HDFS工具:Hoophoo漪介.doc3. HBase有哪些第三方Client工具答:没有搜到,网上有一些爱好者自己写了些小工具,有 PHP的有C#的,也有

4、java的,但是都没经过正式测试4. Hive集群部署方式答:只需要部署一台机器,不必须装到master节点,只要那台机 器上装了 hadoop,能够正确指向 master地址5. Reduce方法不排序结果的验证答:待验证6. Impala各版本支持情况答:最新版本1.0,全面支持HDFS7. LLVM是什么答:LLVM 命名最早源自于底层虚拟机( Low Level Virtual Machine)的缩写LLVM 是Illinois大学发起的一个开源项目,和之前为大家所熟 知的JVM以及.net Runtime这样的虚拟机不同,这个虚拟系统 提供了一套中立的中间代码和编译基础设施,并围绕这

5、些设施提供了一套全新的编译策略(使得优化能够在编译、连接、运行环 境执行过程中,以及安装之后以有效的方式进行)和其他一些非 常有意思的功能。2000年LLVM开始开发。2005年 Apple 雇了 Chris Lattner, LLVM 也相当于成了 Apple 的 官方支持的编译器。Apple已经将它用在OpenCL的流水线优化,Xcode已经能使用 llvm-gcc编译代码。2011-12-02 LLVM3.0发布,LLVM 包括了一系列子项目, 它们也 同步发布了新版本,如 C/C+/Objective-C前端Clang 3.0改进了 C+程序编译支持;改进 C+ 2011标准支持;实现支持即将发 布的C1x标准的某些特性;更快的生成代码,更快的编译,等等。8. Data locality的I/O调度机制的说明答:遵循先均匀分配再均衡负载的算法,分配任务各自尽量在单个计算节点上完成9. Impala自身处理以及其任务互相分配互相监控的实现原理答Ft灯处守、:3 O)2 mu ID书G iatluQ B C | Ri -”收巴 8W AS”M4 TIA mm Q XMMAM70k 6taUt10. 是否有不属于列族的列答:hbase表中的每个列,都归属与某个列族,列族是表的chema 的一部分,而列不是,列族必须在使用表之前定义。列名都以列族为前缀

展开阅读全文
温馨提示:
1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2: 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
3.本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2023-2025  zhuangpeitu.com 装配图网版权所有   联系电话:18123376007

备案号:ICP2024067431-1 川公网安备51140202000466号


本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!