Skip to main content

Azure Databricks入门 - 创建一个worksapce并安装Databricks CLi

分类:  Azure Databricks 标签:  #Azure #基础 #入门 发布于: 2023-07-27 9:48:18

我们前面的文章简单的介绍了什么Azure Databricks, 在开始其他的内容学习之前,我们要先创建一个Azure Databricksworkspace,并安装好databricks cli

请先准备好一个Azure账号,如果你还没有Azure账号,那么请按照这个链接申请一个免费的Azure账号:

创建Azure Databricks

使用你的Azure账户登录到Azure Portal之后,从左侧的菜单上选择创建新资源,然后搜索Databricks


点击创建之后,出现如下的界面:


  1. 选择您的订阅

  2. 创建一个新的资源组用于保存Databricks的实例

  3. 输入你想创建的Databricks的名字

  4. 选择你要部署的区域

  5. 选择你的定价层。

注意
有一些特定的功能需要特定的定价层支持,例如权限管理大多需要Premium定价层支持。

创建一个测试集群

创建完成Azure Databricks实例之后,从Azure Portal里找到该资源,然后进入overview页面,启动Azure Databricks Workspace, 如下图:


启动workspace之后,从左侧的菜单里选择Compute, 在出现的界面里选择Create Cluster, 出现创建集群的界面:


只要输入集群的名字就可以创建一个集群了。

安装Databricks Cli

在安装命令行工具之前,必须要已经安装了Python, 如果还没有,请下载一个Python回来安装好就行了。

安装好python之后,启动一个命令行窗口,输入如下的命令安装Databricks CLi工具

pip install databricks-cli

这就安装好了。

如果已经安装了,要更新,那么运行如下的命令:

pip install databricks-cli --upgrade

这就安装好了。

安装好了之后,我们还要配置一下这个工具。

配置Databricks CLi工具

这个工具有两种方式配置:

  • 利用Azure AAD的token配置

  • 利用个人的Token配置

我们用简单点的,用个人的Token配置。

登录并启动之前创建的Azure Databricks workspace, 然后在worksapce里从左侧菜单选择Setting -> User Setting:


然后选择Generate new token, 生成一个新的token并记录这个token`, 然后回到命令行下继续运行:

databricks configure --token

启动后,会问你如下的问题:

Databricks Host (should begin with https://):

输入您的Worksapce的URL

然后会问:

Token:

输入刚刚新添加的token就完成了配置了。完成配置了之后输入如下的命令来查看一下:

PS D:\MyProjects\PowerShell> databricks fs ls
FileStore
databricks-results
local_disk0
mnt
tmp
user

PS D:\MyProjects\PowerShell>

可以看到结果就表明命令行已经配置成功了。我们可以接着来学习了。