Apache Hadoop新增档案校验码功能让使用者验证异构储存间的资料传输

为确保使用者资料在传输过程未被更改，Google、推特以及Apache Hadoop开源社群合作，为Apache Hadoop加入跨异构档案系统的端到端资料验证功能，能用于像是HDFS以及Google Cloud Storage间资料传输的校验。

Google提到，在不同储存系统间移动或是複製资料的时候，最好执行验证以确保资料安全，虽然现在有不少机制在保护点到点传输资料的完整性，但是执行端到端的资料完整性验证，则可以为典型传输机制增加额外的保护。当然这也可以帮忙检测因为网路杂讯，或是伺服器以及路径上的路由器因记忆体错误造成的资料毁损。

Google、推特以及Apache Hadoop开源社群三方合作，创建了新的校验码类型，能将複合模块（Block）CRC以及複合档案CRC，定义为跨储存区块（Chunk）CRC的数学组合CRC。这取代了使用元件CRC的MD5，以计算代表整个模块或是档案的单一CRC，而且与区块CRC较低等级的精细度无关。

Apache Hadoop从3.1.1版本开始提供新的CRC校验功能，同时也会在2.7、2.8以及2.9版本向后移植，不过使用者还必须要再等等。