首頁 科技週邊 IT業界 如何使用Anaconda在vultr上部署Apache氣流

如何使用Anaconda在vultr上部署Apache氣流

Feb 08, 2025 am 11:11 AM

>本文指導您通過在Conda環境中部署安全的氣流應用程序,利用NGINX作為反向代理,讓我們加密SSL證書。 AirFlow是一種強大的工作流管理工具,已在Vultr服務器上部署,以供可伸縮性和可靠性。

>

How to Deploy Apache Airflow on Vultr Using Anaconda

氣流簡化了使用定向的無環圖(DAG)對複雜工作流的定義,調度和監視。它的開源性質可確保社區的支持和持續改進。

(這是Vultr的讚助文章,Vultr是一個領先的雲計算平台,在全球範圍內提供可擴展解決方案。)

>在vultr上部署服務器:

    >訪問vultr客戶門戶並創建一個帳戶。
  1. >導航到“產品”,然後選擇“計算”。
  2. >選擇“部署服務器”,選擇“ Cloud Compute”作為服務器類型。
  3. >指定您的首選位置,然後從市場應用程序中選擇“ Anaconda”。
  4. How to Deploy Apache Airflow on Vultr Using Anaconda 選擇一個計劃和任何其他功能。

  5. 單擊“現在部署。”

  6. How to Deploy Apache Airflow on Vultr Using Anaconda 設置一個vultr託管的postgresql數據庫:

  7. 接下來,為AirFlow的元數據和芹菜結果分別創建一個由Vultr管理的PostgreSQL數據庫以及其中的兩個新數據庫(“ AirFlow-PGSQL”和“ AIRFLOWE-CELERY”)。 這些步驟涉及導航到“數據庫”,添加PostgreSQL數據庫,然後在“用戶和數據庫”下添加兩個新數據庫。屏幕截圖說明了每個步驟。 (此處將包括類似於原件的屏幕截圖,引用原始圖像URL。

conda環境設置和氣流安裝:>

驗證您的conda版本(

)。

創建一個conda環境(
    )。
  1. conda --ver

    激活環境(
  2. )。
  3. conda create -n airflow python=3.8

    > install redis(
  4. ),啟用它(
  5. ),然後檢查其狀態(

    )。 conda activate airflow

  6. apt install -y redis-server> installsudo systemctl enable redis-serversudo systemctl status redis-server)。

    How to Deploy Apache Airflow on Vultr Using Anaconda

    安裝必要的依賴項(
  7. )。
  8. >安裝氣流(pip install "apache-airflow[celery]==2.8.1" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.1/constraints-3.8.txt")。

>將氣流連接到vultr數據庫:>

使用數據庫憑據(引用AirFlow-PGSQL數據庫)設置環境變量。 (此處將包括與原始類似的屏幕截圖,引用原始圖像URL。
    >初始化氣流元數據數據庫(
  1. )。 AIRFLOW__DATABASE__SQL_ALCHEMY_CONN>
  2. configure
  3. ,將執行程序設置為airflow db init(使用AirFlow-PGSQL),Worker和trigger Log端口(8794和8795),
  4. ),以及airflow.cfg >(使用氣流庫)。 (此處將包括與原始類似的屏幕截圖,引用原始圖像URL。 CeleryExecutor創建氣流用戶(sql_alchemy_conn)。 (請記住用實際值替換佔位符)。 broker_url redis://localhost:6379/0 result_backend
  5. >驅動氣流服務:
  6. airflow users create ...
  7. >為氣流Web服務器,調度程序和芹菜工作人員創建並啟用SystemD服務文件,以確保它們在後台持續運行。 這涉及使用適當的
路徑和用戶/組設置創建

>文件(例如,),然後使用啟用並啟動它們。 (此處將包括類似於原件的屏幕截圖,引用原始圖像URL。

nginx反向代理配置:.service airflow-webserver.service ExecStart>將NGINX設置為改善安全性和可擴展性的反向代理。這包括安裝NGINX,創建一個虛擬主機配置文件(systemctl),以向AirFlow Weberver(端口8080)的代理請求以及啟用配置。 請記住要配置防火牆規則以允許HTTP(端口80)和HTTPS(端口443)流量。 (此處將包括與原始類似的屏幕截圖,引用原始圖像URL。

>讓我們加密SSL證書:>

>最後,使用certbot從Let's Gyerpt獲得併安裝SSL證書。這可以通過HTTPS確保您的氣流應用程序。 該過程涉及安裝CERTBOT,獲得證書(

)和測試自動續訂。 (此處將包括與原始類似的屏幕截圖,引用原始圖像URL。 airflow.conf

結論:

該全面的指南詳細介紹了使用conda,nginx和讓我們加密的vultr上部署強大而安全的氣流應用程序。 結果是準備生產,可擴展且安全的工作流管理系統。 >

以上是如何使用Anaconda在vultr上部署Apache氣流的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1317
25
PHP教程
1268
29
C# 教程
1245
24
CNCF ARM64飛行員:影響和見解 CNCF ARM64飛行員:影響和見解 Apr 15, 2025 am 08:27 AM

該試點程序是CNCF(雲本機計算基礎),安培計算,Equinix金屬和驅動的合作,簡化了CNCF GitHub項目的ARM64 CI/CD。 該計劃解決了安全問題和績效

使用AWS ECS和LAMBDA的無服務器圖像處理管道 使用AWS ECS和LAMBDA的無服務器圖像處理管道 Apr 18, 2025 am 08:28 AM

該教程通過使用AWS服務來指導您通過構建無服務器圖像處理管道。 我們將創建一個部署在ECS Fargate群集上的next.js前端,與API網關,Lambda函數,S3桶和DynamoDB進行交互。 Th

21個開發人員新聞通訊將在2025年訂閱 21個開發人員新聞通訊將在2025年訂閱 Apr 24, 2025 am 08:28 AM

與這些頂級開發人員新聞通訊有關最新技術趨勢的了解! 這個精選的清單為每個人提供了一些東西,從AI愛好者到經驗豐富的後端和前端開發人員。 選擇您的收藏夾並節省時間搜索REL

See all articles