单选题

在很多小文件场景下,Spark会起很多Task,当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响性能。FusionInsight中,针对小文件的场景通常采用算子,来对Table中的小文件生成的partition进行合并,减少partition数,从而避免在shuffle的时候,生成过多的hash分桶,提升性能()

A. group by
B. coalosce
C. connect
D. join

查看答案
该试题由用户443****51提供 查看答案人数:15190 如遇到问题请 联系客服
正确答案
该试题由用户443****51提供 查看答案人数:15191 如遇到问题请联系客服

相关试题

换一换
单选题
在很多小文件场景下,Spark会起很多Task,当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响性能。FusionInsight中,针对小文件的场景通常采用算子,来对Table中的小文件生成的partition进行合并,减少partition数,从而避免在shuffle的时候,生成过多的hash分桶,提升性能()
A.group by B.coalosce C.connect D.join
答案
单选题
SparkSQL表中,经常会存在很多小文件(大小远小于HDFS块大小),在这种情况下,Spark会启动更多的Task来处理这些小文件,当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,从而严重影响性能()
A.对 B.错
答案
单选题
Spark任务的Excutor可以运行多个task()
A.对 B.错
答案
单选题
Spark任务的container可以运行多个task()
A.对 B.错
答案
单选题
当处理的数据量很多,或向文件写很多次少量的数据,一般使用( )流。
A.FileOutput B.PipedOutput C.DataOutput D.BufferedOutput
答案
判断题
文件方式迁移,在网络稳定的情况下,若100个小文件和1个大文件占用的硬盘空间大小相同;那么该大文件的迁移速度将快于100个小文件()
答案
单选题
当很多人在场时,个体的利他行为会()
A.增加 B.减少 C.不变 D.不确定
答案
单选题
当你的电脑中有很多不同的文件时,你会怎么处理()
A.不处理就这么放着 B.分门别类进行整理 C.不清楚
答案
多选题
Spark的应用场景包括?()
A.数据处理(Data Processing) :可以用来快速处理数据. 兼具容错性和可扩展性。 B.查询分析(Query Analysis) :支持标准 SQL 查询分析. 同时提供 DSL(Data Frame) ,并支持多种外部输入。 C.流式处理(Streaming Processing) :支持秒级延迟的流式处理.可支持多种外部数据源。 D.数据挖掘(DataMining) :在海量数据基础上进行复杂的挖掘分析.可支持各种数据挖掘和机器学习算法
答案
主观题
Spark生态系统组件Spark Streaming的应用场景是?
答案
热门试题
SPark适用于以下哪些场景?() Spark的应用场景有哪些?() spark中driver在任务调度中不负责task执行结果的回收 消息列的使用场景有很多,以下描述错误的是() 下列关于合并小文件说法正确的是?() 下列关于合并小文件说法有误的是?() 文件的分类有很多标准,只读文件和读写文件属于( )分类. 恢复误删除文件的工具有很多,以下()不能在Windows9x下运行 HFS的出现解决了需要在HDFS中存储大量的小文件(10MB以下)。同时也要存储一些大文件(10MB以上)的混合的场景() 淘宝采用哪种存储方式存储其海量小文件() 关于ODPS中小文件的说法,正确的是() 海量小文件备份的普遍技术难点是哪个() “当医生吧!你有足够的天资,你会喜欢这个工作,你能帮助很多人。还有,你还可以赚很多钱”!这句话不属于论证。() 车牌的存水量为什么会很多? Spark应用运行时,如果某个task运行失败则导致整个app运行失败() 件的分类有很多标准,只读文件和读写文件属于()分类。 程序是为完成某项活动规定的途径,在很多情况下记录要形成文件。 程序是为完成某项活动规定的途径,在很多情况下记录要形成文件() hadoop和spark的都是并行计算,两者都是用mr模型来进行并行计算,hadoop的一个作业称为job,job里面分为maptask和reducetask,每个task都是在自己的进程中运行的,当task结束时,进程也会结束 要给某人通过E-mail发送某个小文件时,可以()。
购买搜题卡 会员须知 | 联系客服
会员须知 | 联系客服
关注公众号,回复验证码
享30次免费查看答案
微信扫码关注 立即领取
恭喜获得奖励,快去免费查看答案吧~
去查看答案
全站题库适用,可用于E考试网网站及系列App

    只用于搜题看答案,不支持试卷、题库练习 ,下载APP还可体验拍照搜题和语音搜索

    支付方式

     

     

     
    首次登录享
    免费查看答案20
    微信扫码登录 账号登录 短信登录
    使用微信扫一扫登录
    登录成功
    首次登录已为您完成账号注册,
    可在【个人中心】修改密码或在登录时选择忘记密码
    账号登录默认密码:手机号后六位