Google更新Cloud Storage的Hadoop连接程式强化栏式资料格式支援
Google释出新版用来连结Cloud Storage的HDFS(Hadoop Distributed File System)连接程式(GCS Connector),这个新版连结程式提供了两个主要的功能更新,第一是支援栏式档案格式以提升资料处理效率,第二个则为协作锁定功能,独立Cloud Storage目录修改,避免可能互相影响的修改受到干扰。
GCS连接程式可在诸如资料节点、Mapper、Reducer或是Spark Executor等Hadoop JVM上运作,让开发者的工作负载能够存取Cloud Storage,这些工作负载包括Hadoop和Spark的任务,以及Hadoop相容的档案系统CLI,都能使用GCS连接程式,直接对Cloud Storage进行资料读写操作。
GCS连接程式预先为Cloud Dataproc以及GCP託管的Hadoop和Spark进行配置,可简单地安装,并用在其他的Hadoop发布版本中,像是MapR、Cloudera以及Hortonworks,能够简化企业将内部HDFS资料搬迁到云端的工作。这个由GCP支援的GCS连接程式完全开源,Google在与推特工程团队合作后,使其设计与实作更能应付PB级规模。
新版GCS连接程式的第一个重要更新,是改进了处理Parquet和ORC等栏式档案格式的效能。Google提到,由于推特在2018年的时候将Hadoop工作负载搬迁到Google云端上,并且大规模地对20 PB以栏式档案格式储存的资料,进行大资料SQL查询测试,而推特为让GCS连接程式符合自家高效能的需求,对该专案做出贡献,让连接程式能支援只读取查询引擎需要的资料栏,进而提升读取效率。
而Google进一步优化这项改进,使其支援fadvise功能。过去Cloud Storage连接程式对MapReduce类型的工作负载进行了最佳化,其资料档案的处理都是按顺序处理,Google表示,由于栏式档案格式如Parquet或ORC,其主要目标都是让查询引擎能聪明地仅查询需要的档案区块。而在Google为GCS连接程式实作了类似Linux中的fadvise功能,让应用程式可以为核心提供I/O存取模式的提示,以达成谓词下推(Predicate Pushdown)的功能。
另一个新版GCS连接程式的功能便是协作锁定(Cooperative Locking),该功能可以独立Hadoop档案系统壳层以及其他HCFS API介面的目录修改操作。Google提到,虽然Cloud Storage上的物件层级非常一致,但本身却没有原生支援目录语意,系统应该定义像是当两个用户对同一个目录发出冲突的命令时,所需要进行的行为。
Google与推特Hadoop团队合作,在GCS连接程式中实作了协同锁定,这项功能可以避免Cloud Storage的目录操作冲突所发生资料不一致,并有助于目录操作失败的恢复工作,同时也使得从HDFS的操作转换成Cloud Storage更简单。
免责声明:本文由用户上传,如有侵权请联系删除!
猜你喜欢
- 张金利清华大学(张利 清华大学职业经理人培训中心教授)
- 猪猪爷爷什么意思(网络猪爷爷是什么意思)
- 我家有喜到底多少集(!)
- 初到佛山在佛山求职有什么要注意的吗(哪里找工作比较可靠)
- 求一首歌开头歌词是嘿呦(求一首歌.悬赏急!!!!!!!!!!!)
- 这什么车载高德一个北斗卫星信号都没有(北斗不是组网成功了吗)
- 湖南省吉首矮寨特大悬索桥的鬼结婚到底是什么(图能放大吗)
- 藏獒对战凶猛的老虎(za的真皙美白乳液)
- 腾讯的ff14跟盛大的ff14(最终幻想14百度跟盛大有什么区别)
- 急!!诺基亚6700c(凤舞霓裳珍藏版怎么样啊)
- nds下载站(哪有NDSI的游戏下载)
- 如何使用ImTOO(MPEG Encoder Wizard 3改变视频的相关设置)
最新文章
- 能链综合能源港里的充电站为何成为香饽饽
- 鸡蛋怎么做比较有营养(鸡蛋怎么做比较好吃)
- lol手游霞怎么出装(LOL新英雄霞与洛逆羽霞如何出装霞怎么出装)
- 穿越火线什么时候上架(穿越火线什么时候能玩)
- 北比臼舅怎么读(北比臼日怎么读)
- 创世之柱任务有什么用(创世之柱任务怎么做)
- 徐磊的歌曲(写给你的歌 徐磊乐演唱作品)
- 广州市经济适用住房准购证明怎么办理(如何取得广州市经济适用住房准购证明)
- 王者里的百里玄策怎么玩(王者荣耀百里玄策怎么玩好百里玄策介绍)
- 荡漾意思是(荡漾的漾什么意思)
- 永和豆浆和永和大王有什么关系(永和大王和永和豆浆有什么区别)
- 血尿酸(血尿)
- 中国新歌声各季冠军(中国新歌声第一季冠军亚军分别是谁)
- 微信红包有语音红包吗(微信红包新玩法语音红包)
- 蚊子会被雨砸死吗(蚊子会被热死吗)
- 电脑上免费的录屏软件有哪些(电脑上免费的录屏软件哪个好)
- 2017世界杯赛程表时间(2018世界杯赛程时间表2018世界杯赛程安排)
- cz3790航班几点到珠海(今天的航班cz3740到达珠海是几点)
- 鸡蛋羹水开后蒸多长时间(鸡蛋羹水开后蒸几分钟)
- 微博ip属地以运营商为准什么意思(微博ip属地以运营商为准什么意思)
- 进出口贸易实务教程复习(进出口贸易实务教程)
- 最好的hdmi线有什么牌子好(哪个牌子的的HDMI线更好)
- 平均发电增益高达6.91%!国电电力天津30MW光伏电站晶科N型TOPCon发电数据出炉
- 水反复烧开好不好(水反复烧开有害处吗)