分类:  故障排查    ◆ 标签:  #Databricks   #大数据   ◆ 发布于: 2023-08-07 22:14:07

最近遇到一个案例：起初我们是想在Databricks里通过pyodbc访问访问外部的数据，这个简单，写一个脚本，然后把这个脚本放置到集群的初始化脚本里，安装必要的库就行了。脚本如下： #!/bin/sh curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list sudo apt-get update sudo ACCEPT_EULA=Y apt-get install msod

分类:  Azure Databricks    ◆ 标签:  #基础   #Azure   #大数据   #入门   ◆ 发布于: 2023-08-07 20:46:28

Unity Catalog: 是下一代由databricks开发的元数据管理服务，目前还是在public preview，还不能用于正式生产，而且Azure China也不支持。这个服务将数据对象分为三个级别：catalog.database.table。 hive metastore: 目前应用成熟的元数据服务，直接使用了Hive的服务。在Databricks中，每个集群的节点上都会安装一个Hive metastore的客户端，这些客户端都会链接到Control panel的Hive Meta store服务上，在Azure Databricks中，后端默认是Azure Database for MySQL。

分类:  Azure Data Explorer    ◆ 标签:  #基础   #大数据   ◆ 发布于: 2023-08-07 20:23:25

我们在Azure Data Explorer(ADX)中创建了一张表，例如如下的语法： .create table test1 (['id']: int, name: string, ob_length: string); 现在我们有一个需求：需要更改列ob_length 从类型string更改类型到long。 针对这个需求，大家第一映像肯定是直接使用alter column语法来更改就好了啊。语法也很简单： .alter column ['test1'].['ob_length'] type=long 好像看起来也没什么问题，但是很不巧，官方的文档明确的针对这个指令有一个说明：