场景描述：由于业务要求想要使用Hudi，而hudi需要spark2.4.5+版本，canal+kafka+sss+hudi
当前版本:

hdp3.1.4
hadoop 3.1.0
hive 3.1.0
spark 2.3.0
scala 2.11.8

原计划升级ambari,但发现ambari2.7.5spark版本为2.3.3（好像）不满足要求
后决定在现有基础上升级spark

1. 升级scala

官网下载 scala.2.12.10

解压到linux上并配置环境变量，scala -version 查看无误后继续

2. 升级spark

部署集群过程简单不赘述

原计划下载升级spark2.4.8
遇到如下问题

问题 1. yarn使用的包为1.9低版本，与spark2.4.8解压后的jars目录下的包不匹配,出现: bad substitution

解决方法：

1. 将新spark解压jars目录下jersey-client-xx.jar 移动或改名
2. 将以下包find / -name 从机器上找出来放到新spark的jars目录下
   
3. 在spark-defaults.conf文件最后增加两行（针对hdp升级）
   spark.driver.extraJavaOptions -Dhdp.version=3.1.4.0-315
   spark.yarn.am.extraJavaOptions -Dhdp.version=3.1.4.0-315
   3.1.4.0-315为hdp版本，可以看你的usr/hdp/xxx/此目录

spark-shell没有问题

问题 2 执行spark-sql报错 scala.MatchError: x.x (of class java.lang.String)

Exception in thread "main" scala.MatchError: 3.0 (of class java.lang.String)
    at org.apache.spark.sql.hive.client.IsolatedClientLoader$.hiveVersion(IsolatedClientLoader.scala:91)

由于hive版本为3.1.0
查看原始的spark-default.conf后发现 一行spark.sql.hive.metastore.version 3.0
经过本人多次更改scala版本\ 此参数值后还是报错
查看spark 2.4.x源码后发现只解析能解析如下hive版本参数

想要解决此问题需要自己修改源码编译spark

或者升级spark3.x

本人下载spark3.0.2后也是解决此问题