如何更改MapReduce Shuffle的加密算法 [英] How to change encryption algorithm for MapReduce Shuffle

问题描述

从我们的测试中，Hadoop Shuffle默认使用DES加密：ECDHE-RSA-DES-CBC3-SHA：112，EDH-RSA-DES-CBC3-SHA：112，DES-CBC3-SHA：112。

如何设置它使用AES？

这些是否正确设置？
hadoop.security.crypto.cipher.suite = AES / CTR / NoPadding
dfs.encrypt.data.transfer.cipher.suites = AES / CTR / NoPadding

解决方案

对于混洗hadoop使用它的内部算法从 org.apache.hadoop.mapreduce.task.reduce.Shuffle 文件，默认算法可以更改通过使用 org.apache.hadoop.mapred.ShuffleConsumerPlugin 属性

From our test, it looks like Hadoop Shuffle uses DES encryption by default: ECDHE-RSA-DES-CBC3-SHA:112,EDH-RSA-DES-CBC3-SHA:112,DES-CBC3-SHA:112.

How to set it to use AES?

Are these the correct ones to set? hadoop.security.crypto.cipher.suite=AES/CTR/NoPadding dfs.encrypt.data.transfer.cipher.suites=AES/CTR/NoPadding

解决方案

For shuffling hadoop uses it's internal algorithm from org.apache.hadoop.mapreduce.task.reduce.Shuffle file the default algorithm can be changed by using org.apache.hadoop.mapred.ShuffleConsumerPlugin property

这篇关于如何更改MapReduce Shuffle的加密算法的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！