分类:  开源和Linux技术    ◆ 标签:  #Spark   #Windows Subsystem for Linux   ◆ 发布于: 2023-08-13 17:46:25

最近遇到一个非常棘手的问题，PowrBI Service通过Dataflow连接标准的Spark集群总是有问题会报错，为了重现并解决这个问题，我需要自己配置一个Spark的集群，之前一直使用的是Azure HDInsight Spark集群, 完全不用配置，但是Azure HDInsight Spark和标准的Spark集群完全是两回事，到最后仍然需要自己搭建一个Spark集群，我之前还记得我是如何在自己的机器上创建了8个虚拟机，使用这个8个虚拟机来配置hadoop的集群，如果这次仍然要使用hardoop以及Resource Manager来管理Spark的话， 我觉得我头都会大一圈，要花太多的时间了。仔细重新看了一下Spark的文档，Spark也支持standalone的模式运行，然后比较