青云 QingCloud 大數(shù)據(jù)相關(guān)服務(wù)將會統(tǒng)一在 QingMR 下。 QingMR 目前已經(jīng)集成了:分布式文件系統(tǒng) HDFS、集群資源管理系統(tǒng) YARN、數(shù)據(jù)處理框架 Hadoop MapReduce 和 Spark、數(shù)據(jù)倉庫工具 Hive?、極速海量數(shù)據(jù) OLAP 分析引擎 Kylin，為更好的滿足用戶對大數(shù)據(jù)產(chǎn)品更多的需求，本次對核心組件進(jìn)行了版本升級，新增對基于 Spark 的分布式深度學(xué)習(xí)框架 BigDL 的支持，具體更新如下：： QingMR 2.0 – Core：立即使用→

• Hadoop 版本升級到 2.9.2 ；
• Spark 版本升級到 2.2.3 ；
• Hive 版本升級到 2.3.5 ；
• 新增 Hadoop, Spark 和 Hive 對 lzo 壓縮的支持；
• 新增對基于 Spark 的分布式深度學(xué)習(xí)框架 BigDL 的支持；
• 新增 NeonSAN 超高性能大容量存儲的支持，單節(jié)點(diǎn)最高容量可達(dá) 50 TB。
• 新增 Spark 作為 Hive 的默認(rèn)執(zhí)行引擎即 Hive on Spark，同時支持用戶切換到傳統(tǒng)的 MapReduce 引擎。
• 新增多個 Hive 調(diào)優(yōu)配置參數(shù)。
• 新增 Hive 通過 beeline 執(zhí)行 HQL 使用指南。
• 新增 HiveServer2 WEB UI 使用指南。