Hadoop3.x新特性详解

hadoop 3.x版本带来了许多新的特性和改进，使其更加强大和高效。以下是Hadoop 3.x的一些主要新特性：

1. hdfs Erasure coding：Hadoop 3.x引入了HDFS Erasure Coding，这是一种新的数据保护机制，可以在数据存储时使用更少的冗余数据来实现更高的数据可靠性。这可以降低存储成本并提高数据的可靠性。

2. YARN Timeline Service v.2：新版本的YARN Timeline Service提供了更加灵活和高效的应用程序历史记录和监控功能，使用户能够更好地了解和管理其应用程序的运行情况。

3. Hadoop Common包的升级：Hadoop 3.x中升级了Hadoop Common包，包括一些新的功能和改进，以提高系统的性能和可靠性。

4. 流式数据处理改进：Hadoop 3.x中对流式数据处理功能进行了改进，包括对Apache kafka和Apache StORM等流处理框架的更好支持，以及对流式数据处理性能的优化。

5. 支持更多的硬件和操作系统平台：Hadoop 3.x扩展了对更多硬件和操作系统平台的支持，使其更加灵活和易于部署。

总的来说，Hadoop 3.x版本引入了许多新的功能和改进，使其成为一个更加强大和高效的大数据处理框架。这些新特性可以帮助用户更好地管理和处理他们的数据，并提升系统的性能和可靠性。