SparkSQL JDBC连接

SparkSQL JDBC连接 SparkSQL JDBC连接

文章目录

• SparkSQL JDBC连接
• • 1、开启hive元数据服务
  • 2、开启spark jdbc 服务
  • 3、在命令行中访问
  • 4、测试：

SparkSQL Thrift JDBC/ODBC server
  Spark SQL实现Thrift JDBC/ODBC server,这就意味着我们可以像Hive那样通过JDBC远程连接Spark SQL发送SQL语句并执行。在这之前需要先将hive-site.xml 拷贝到 spark conf目录下，由于我的hive配置了元数据信息存储在MySQL中，所以Spark在访问这些元数据信息时需要mysql连接驱动的支持。

hive-site.xml文件与mysql驱动拷贝见整合hive博文，如果在其它机器上通过JDBC连接需要重新拷贝。

1、开启hive元数据服务

nohup hive --service metastore >> metastore.log 2>&1 &

2、开启spark jdbc 服务

cd /usr/local/soft/spark-2.4.5/sbin/
./start-thriftserver.sh --master yarn-client

3、在命令行中访问

cd /usr/local/soft/spark-2.4.5/bin/
./beeline 

输入
!connect jdbc:hive2://master:10000

4、测试：

select clazz,count(1) from student group by clazz;

设置sparkshuffle并行度
set spark.sql.shuffle.partitions=2;