分类:  开源和Linux技术    ◆ 标签:  #Spark   ◆ 发布于: 2025-02-15 21:44:47

最近遇到一个非常棘手的问题，PowrBI Service通过Dataflow连接标准的Spark集群总是有问题会报错，为了重现并解决这个问题，我需要自己配置一个Spark的集群，之前一直使用的是Azure HDInsight Spark集群, 完全不用配置，但是Azure HDInsight Spark和标准的Spark集群完全是两回事，到最后仍然需要自己搭建一个Spark集群，我之前还记得我是如何在自己的机器上创建了8个虚拟机，使用这个8个虚拟机来配置hadoop的集群，如果这次仍然要使用hardoop以及Resource Manager来管理Spark的话， 我觉得我头都会大一圈，要花太多的时间了。仔细重新看了一下Spark的文档，Spark也支持standalone的模式运行，然后比较

分类:  Azure Data Explorer    ◆ 标签:  #大数据   ◆ 发布于: 2025-02-15 21:40:44

我们在Azure Data Explorer(ADX)中创建了一张表，例如如下的语法： .create table test1 (['id']: int, name: string, ob_length: string); 现在我们有一个需求：需要更改列ob_length 从类型string更改类型到long。 针对这个需求，大家第一映像肯定是直接使用alter column语法来更改就好了啊。语法也很简单：

分类:  Windows Server    ◆ 标签:  #SQL Server   #Windows Server Core   ◆ 发布于: 2025-02-15 21:37:15

在准备将自己的网站迁移到Windows Server Core上时，第一个要考虑的问题就是如何在Windows Server Core上安装和配置SQL Server, 新网站的架构是基于OrchardCore来开发的，虽然可以继续使用sqlite，随着数据的增多，很担心sqlite不能应对更多更大的数据量，同时在需要和其他的代码及进行集成时，仅仅使用sqlite也会带来很多不方便的地方，这样就必须要将原有基于Piranha CMS的数据转换到SQL Server, 这又是一个伤心的故事，无论采用什么样的工具甚至是自己写代码，发现要将所有的数据从sqlite迁移到SQL Server的时候，仍然是困难重重。而且还得对Piranha CMS的底层设计要非常熟悉，倒腾了很多次依然以失败告终，这更

分类:  PowerShell    ◆ 标签:  #PowerShell   #Windows Server Core   ◆ 发布于: 2025-02-15 21:32:01

当安装和测试完成了windows Server Core的系统之后，仍然需要经常对系统进行维护和管理，我们可以使用常规的管理工具，例如服务管理工具， 或者是Windows Admin来进行管理，不过对于一台两台服务器，我们还可以利用PowerShell的远程管理工具进行管理，如下是如何在Azure上远程开启PowerShell管理的基本步骤。

分类:  PowerShell    ◆ 标签:  #PowerShell   ◆ 发布于: 2025-02-15 18:44:12

将自己的网站转为使用Windows Server Core 2022作为基础的系统之后，需要通过命令行对系统进行管理，特别是对于文件系统的管理，例如查询文件，列出文件， 查看文件夹或者文件的大小，删除文件夹，给用户授权等等，刚开始使用有很多不习惯的地方，这里记录一下一些使用PowerShell操作文件的小技巧。

分类:  HowTo    ◆ 标签:  #GitHub   #git   #GitHub Enterprise Server   ◆ 发布于: 2025-02-15 18:40:33

如果想拥有自己的Github, 那么你可以尝试购买Github Enterprise, 然后在Azure或者是AWS上直接部署一套自己的Github。 需要注意的是如果是企业，那么最好考虑购买License, 不过如果你仅仅是为了测试使用，那么可以申请一个使用的license, 要申请使用的license, 请访问地址:https://enterprise.github.com/trial, 只需要填上你的基本信息，就可以下载一个45天的license了。

分类:  Azure Databricks    ◆ 标签:  #Databricks   #Spark   ◆ 发布于: 2025-02-15 18:34:02

如果想要使用Azure Databricks Struct Stream存取Azure HDInsight Kafka，需要满足一些必要的条件： Azure HDInsight不允许通过公网存取Kafka服务，客户端或者应用要存取这个服务，必须通过适当的途径连入Azure HDInsight的虚拟网络里。 Azure HDInsight Kafka服务默认情况下不能通过IP地址访问，需要更改它的配置，使得该服务可以通过IP地址进行访问。

分类:  故障排查    ◆ 标签:  #   #   ◆ 发布于: 2024-01-16 16:24:22

在ADF中使用ODBC的场景下，如果想启用ODBC的诊断日志，最为方便的场景是为ADF配置了self host IR, 在Self host IR的虚拟机上利用Windows的工具可以非常方便的配置ODBC的诊断日志，并对该日志进行分析。如果是使用Azure Integration runtime的场景下是否有办法也启用ODBC的诊断日志呢？ 答案是有的。

分类:  Azure Databricks    ◆ 标签:  #Databricks   ◆ 发布于: 2024-01-16 15:54:13

在Azure Databricks上创建视图，然后查询该视图时候发现没有返回任何结果

分类:  故障排查    ◆ 标签:  #.Net   #编程   ◆ 发布于: 2024-01-16 15:48:46

最近在学习一个开源的项目，这个项目自带了一些用于培训目的的模块，需要自己重新编译打包测试，编译的过程中总是遇到莫名奇妙的问题：编译报这个错误之后，仔细看了一下编译错误中呈现的路径，发现这些路径都是没有问题的，但是编译器一直失败，通过查询了msbuild以及visual studio的文档之后，发现引发这个原因主要还是由于Windows系统对于长路径支持引发的，为了缓解这个问题，可以采用如下的步骤：