分类:  Azure Databricks    ◆ 标签:  #Azure   #Databricks   ◆ 发布于: 2023-06-15 21:34:01

我们之前讨论过了如何快速的缓解Job/Notebook卡住的问题，也分享给大家了如何通过Spark UI来查看thread dump, 我们今天分享给大家我们的第三板斧：通过配置让Cluster自动抓取ThreadDump, 关于之前的文章，请参考链接：

配置集群自动抓取ThreadDump

请使用如下的步骤来配置集群当有长时间运行或者卡住的Job/notebook自动抓取Thread Dump:

1. 登录到workspace, 选择你的cluster:
   
   
   
   

2. 点击右侧的edit按钮：
   
   
   
   

3. 如下图输入配置，并保存，然后重启集群
   
   
   
   需要注意的是如果Threshold设置比较小，那么会产生很多日志，单位是毫秒。

至此就配置完成了，当有job/notebook会卡住时，就会自动抓取ThreadDump, 然后对ThreadDump进行分析就可以了，如果不会分析，那么就向技术支持提交支持工单吧。