分类:  PowerBI    ◆ 标签:  #大数据   #BI   #数据分析   ◆ 发布于: 2025-02-21 21:06:54

Power BI Desktop报表使用Azure Databricks作为数据源，制作模型的时候使用Direct Query查询数据，如果在源数据中使用Decimal数据类型，有可能会丢失数据精度。

分类:  PowerBI    ◆ 标签:  #BI   #报表   #大数据   ◆ 发布于: 2025-02-20 16:31:31

Power BI报表数据源是Azure Databricks或者Databricks，网络环境使用代理服务器的时候，有可能会遇到类似的刷新错误： Error [Microsoft][DriverSupport] (1120) verification failed because the server host name specified for the connection does not match the "CN" entry in the "Subject" field or any of the "DNS Name" entries of the "Subject Alternative Name" field in the server certificate.. S

分类:  Azure Synapse    ◆ 标签:  #Azure   #Trouble Shooting   #大数据   ◆ 发布于: 2025-02-19 13:20:17

最近在测试Azure Synapse Spark Pool的功能，发现如果在创建外部表的时候指定了分区，然后移动这个外部表到另外的位置，重建表，然后查询数据发现所有的数据都丢失。但是如果创建外部表时不指定分区，则没有这个问题。

分类:  Azure Databricks    ◆ 标签:  #Databricks   #大数据   ◆ 发布于: 2025-02-16 20:00:33

如果大家对于什么是Databricks Delta Lake Table History还不是太清楚，那么你一定要参考Databricks的官方文档: https://docs.databricks.com/en/delta/history.html, 这篇官方文档里详细的描述了什么是Delta Lake的Table History， 以及主要支持的场景: Time Travel Query。

分类:  Azure Data Explorer    ◆ 标签:  #大数据   ◆ 发布于: 2025-02-15 21:40:44

我们在Azure Data Explorer(ADX)中创建了一张表，例如如下的语法： .create table test1 (['id']: int, name: string, ob_length: string); 现在我们有一个需求：需要更改列ob_length 从类型string更改类型到long。 针对这个需求，大家第一映像肯定是直接使用alter column语法来更改就好了啊。语法也很简单：

分类:  故障排查    ◆ 标签:  #Databricks   #大数据   ◆ 发布于: 2023-08-07 22:14:07

最近遇到一个案例：起初我们是想在Databricks里通过pyodbc访问访问外部的数据，这个简单，写一个脚本，然后把这个脚本放置到集群的初始化脚本里，安装必要的库就行了。脚本如下： #!/bin/sh curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list sudo apt-get update sudo ACCEPT_EULA=Y apt-get install msod

分类:  Azure Databricks    ◆ 标签:  #基础   #Azure   #大数据   #入门   ◆ 发布于: 2023-08-07 20:46:28

Unity Catalog: 是下一代由databricks开发的元数据管理服务，目前还是在public preview，还不能用于正式生产，而且Azure China也不支持。这个服务将数据对象分为三个级别：catalog.database.table。 hive metastore: 目前应用成熟的元数据服务，直接使用了Hive的服务。在Databricks中，每个集群的节点上都会安装一个Hive metastore的客户端，这些客户端都会链接到Control panel的Hive Meta store服务上，在Azure Databricks中，后端默认是Azure Database for MySQL。

分类:  Azure Data Explorer    ◆ 标签:  #基础   #大数据   ◆ 发布于: 2023-08-07 20:23:25

我们在Azure Data Explorer(ADX)中创建了一张表，例如如下的语法： .create table test1 (['id']: int, name: string, ob_length: string); 现在我们有一个需求：需要更改列ob_length 从类型string更改类型到long。 针对这个需求，大家第一映像肯定是直接使用alter column语法来更改就好了啊。语法也很简单： .alter column ['test1'].['ob_length'] type=long 好像看起来也没什么问题，但是很不巧，官方的文档明确的针对这个指令有一个说明：