讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux怎么安装Dask分布式计算

云杰大大_6712

云杰大大_6712

发布时间:2026-06-12 09:55:24

|

816人浏览过

|

来源于php中文网

原创

Dask Distributed安装需同时安装dask和distributed包,推荐命令为python -m pip install dask distributed --upgrade;conda用户应使用conda install dask distributed -c conda-forge以避免TLS依赖问题;生产环境须显式启动scheduler与worker,禁用Client()自动集群模式。

linux怎么安装dask分布式计算

直接用 pip install dask distributed --upgrade 最稳

Linux 上安装 Dask 分布式计算,核心就是装 dask 和 distributed 两个包。别只装 dask —— 它默认不带分布式调度器,distributed 才是跑集群的关键组件。

推荐命令(Python 3.8+ 环境下):

python -m pip install dask distributed --upgrade

注意点:

  • --upgrade 能避免旧版本残留导致的 Client 连不上调度器、dashboard 报 404 等问题
  • 如果系统 Python 是 yum/apt 装的(比如 CentOS 的 python3),优先用 python3 -m pip 而不是 pip3,避免 pip 指向错解释器
  • 不用加 [complete] —— 那个是旧版打包方式,现在 distributed 已独立,且自带全部依赖(如 bokeh、msgpack、tls 支持)

conda 用户该用 conda install dask distributed -c conda-forge

如果你用 conda 管理环境(尤其是 Anaconda/Miniconda),conda install 比 pip 更可靠,尤其在涉及 OpenSSL、zlib 等底层依赖时。

执行:

conda install dask distributed -c conda-forge

原因:

python-script-generator
python-script-generator

快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构,支持CLI、API、爬虫、Bot、Django等多种项目类型,包含完整的项目结构、配置文件、依赖管理、测试、README和文档。

下载
  • conda-forge 渠道的 distributed 包预编译了 TLS 支持,省去手动装 openssl-devel 和重编译 Python 的麻烦
  • 避免出现 ImportError: cannot import name 'SSLContext' 或 AttributeError: module 'ssl' has no attribute 'create_default_context'
  • 若已装过 pip 版本,先 pip uninstall dask distributed 再用 conda 装,否则可能混用导致 Client 初始化失败

启动本地集群前必须确认 Python 能访问网络和本地端口

装完不代表能跑。Dask Distributed 默认启动 dask-scheduler 在 127.0.0.1:8786,worker 连它;Dashboard 在 :8787。常见卡点:

  • Client() 卡住或报 OSError: [Errno 99] Cannot assign requested address:检查是否禁用了 IPv6 但代码仍尝试绑定 ::;加参数 host='127.0.0.1'
  • 浏览器打不开 http://127.0.0.1:8787:确认没被防火墙拦住(sudo ufw status),或 SELinux 强制限制(setsebool -P nis_enabled 1 临时放开)
  • worker 启动时报 Connection refused:先单独跑 dask-scheduler,再开新终端跑 dask-worker 127.0.0.1:8786,别跳步

生产环境别用 Client() 自动启集群

from dask.distributed import Client; client = Client() 看起来方便,但它会在后台静默拉起 scheduler + worker,端口随机、日志不落盘、无法配置 TLS —— 只适合开发验证。

真要部署,必须显式启服务:

dask-scheduler --host 0.0.0.0 --dashboard-address :8787 &
dask-worker 192.168.172.131:8786 --nworkers 4 --nthreads 2 &

关键参数说明:

  • --host 0.0.0.0:允许其他机器(如 worker 节点)连接,不能只写 127.0.0.1
  • --dashboard-address:单独指定 dashboard 地址,避免和 scheduler 端口冲突
  • --nworkers 和 --nthreads 要根据 CPU 核数设,别盲目填满;超线程开启时,--nthreads 2 通常比 4 更稳

多节点部署时,dask-worker 命令里的地址必须是 scheduler 所在机器的真实局域网 IP,不是 localhost 或 127.0.0.1 —— 这个错最常被忽略。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

1993

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

2974

2023.10.07

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

3990

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3413

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2573

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6250

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

5902

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3453

2023.07.20

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

80

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn