Airflow, một căn cơ nguồn mở, được áp dụng nhằm bố trí những luồng các bước bên dưới dạng biểu đồ chu kỳ luân hồi theo hướng (DAG) của những tác vụ theo cách lập trình sẵn. Một định kỳ trình luồng không gian được thực hiện để lên định kỳ những các bước các bước với con đường ống xử trí dữ liệu. Giao diện người dùng Airflow được cho phép dễ dãi hình dung những mặt đường ống chạy vào môi trường xung quanh thêm vào, đo lường và tính toán tiến trình của các bước công việc cùng cách xử trí sự thế lúc đề xuất. Các tiện ích chiếc lệnh nhiều chủng loại được thực hiện để thực hiện các ca mổ xoang phức tạp trên DAG.Bạn vẫn xem: Airflow là gì

Trong blog này, hãy thảo luận về lập định kỳ cùng thực hiện những các bước Talkết thúc với Airflow.Quý khách hàng vẫn xem: Airflow Là Gì

Điều khiếu nại tiên quyết

Luồng khí 1.7 trsinh hoạt lên Pyhạn hẹp 2.7 Studio msinh sống Talkết thúc (Tích phù hợp dữ liệu to hoặc dữ liệu)

Ca sử dụng

Lập lịch với tiến hành các các bước Talkết thúc ETL cùng với Airflow.

Bạn đang xem: Airflow là gì

Tóm tắc

Tác trả Talend bài toán làm cho Lịch trình quá trình Talkết thúc Giám sát các bước công việc vào Web UI

Mô tả công việc

Việc làm cho Talover ETL được tạo nên bởi:

Ttê mê gia application_id từ bỏ applicant_loan_info cùng loan_info như mô tả trong sơ trang bị dưới đây:


*

*

Đang download tài liệu trùng khớp vào loan_application_analysis bảng. Áp dụng một cỗ lọc trên LoanDecisionType nghành nghề dịch vụ vào  các loan_application_analysis bảng để xa lánh những quý hiếm nhỏng Approved , bị tự chối , và bị thu hồi . Áp dụng một bộ lọc không giống trên các giá trị được bóc riêng biệt làm việc trên nhằm tách bóc riêng rẽ LoanType thành Cá nhân , Tự động , Tín dụng cùng Nhà .

Công việc Talover đang tạo ra gây ra với di chuyển cho địa chỉ sever. Một DAG mang tên Loan_Application_Analysis.py được chế tác cùng với đường truyền khớp ứng của những tập lệnh nhằm xúc tiến luồng theo hưởng thụ.

Tạo thư mục DAG cùng khởi hễ lại máy chủ website luồng không khí

Sau khi cài đặt Airflow, hãy tiến hành nhỏng sau:

Tạo tlỗi mục DAG ( / trang chính / ubfox / airflow / dags ) trong đường truyền Airflow. Di gửi tất cả những .py tập tin vào thư mục DAG. Khởi đụng lại máy chủ web Airflow bởi mã tiếp sau đây để thấy DAG này trong list UI: Loginto lớn the AIRFLOW_HOME path-- eg.(/home/ubuntu/airflow) To restart webVPS ---> airflow webserver To restart scheduler ---> airflow scheduler

Sau Lúc khởi đụng lại sever web, toàn bộ .py những tệp hoặc DAG trong thỏng mục sẽ tiến hành tmê mẩn chiếu với tải vào list DAG UI web.

Lập chiến lược công việc

Lưu ý : Công Việc hoàn toàn có thể được kích hoạt thủ công bằng tay bằng phương pháp nhấp vào nút ít Run bên dưới cột Liên kết nlỗi hình bên dưới đây:

*

Cả nhì các bước được lên lịch tự động với được kích hoạt thủ công bằng tay rất có thể được coi như vào hình ảnh người dùng nlỗi sau:

*

Giám sát công việc

Xem biểu đồ

Các tâm lý của các quá trình được thể hiện bên dưới dạng bối cảnh nlỗi bên dưới đây:

*

Chế độ coi cây

Các trạng thái của những quá trình cùng rất ngày thực hiện của các các bước được diễn đạt dưới dạng câgiống như bên dưới đây:

Xem Gannt

Các tâm trạng của các công việc với ngày thực hiện của các quá trình được biểu lộ theo format Gannt nlỗi bên dưới đây:

Xem thời lượng tác vụ

Lúc nhấp vào tab Thời lượng tác vụ , bạn có thể coi thời lượng tác vụ của toàn thể quá trình hoặc DAG theo định hình giao diện nhỏng dưới đây:

Xem trường hợp nhiệm vụ

Bằng giải pháp nhấp vào Duyệt > Trường hợp tác và ký kết vụ , chúng ta cũng có thể coi những ngôi trường đúng theo nhưng những tác vụ đang làm việc, nhỏng được hiển thị bên dưới:

Xem công việc

Bằng bí quyết nhấp vào Duyệt > Công việc , chúng ta cũng có thể coi cụ thể như thời hạn bước đầu, thời gian kết thúc với tín đồ triển khai các bước, như được hiển thị vào sơ thiết bị mặt dưới:

Xem nhật ký

Bằng biện pháp nhấp vào Duyệt > ViewLog , chúng ta cũng có thể xem cụ thể của nhật ký, như được hiển thị trong sơ trang bị bên dưới:

Hồ sơ dữ liệu

Airflow cung ứng đồ họa truy vấn SQL đơn giản và dễ dàng nhằm truy vấn vấn dữ liệu và giao diện người tiêu dùng biểu đồ gia dụng nhằm trực quan liêu hóa các tác vụ.

Xem thêm: Thông Tin Chiều Cao Của Messi Cao Bao Nhiêu ? Lionel Messi Lionel Messi

Để thông số kỹ thuật tài liệu của khách hàng, nhấp vào Quản trị viên > Kết nối nhằm lựa chọn loại kết nối đại lý tài liệu, như được hiển thị trong sơ đồ dùng bên dưới:

Biểu đồ

Các các loại trực quan hóa khác biệt hoàn toàn có thể được làm cho thời hạn tác vụ và tinh thần trọng trách bởi biểu vật dụng.

Để tạo những biểu vật dụng như thanh hao, con đường, Khu Vực, v.v. cho 1 DAG ví dụ bằng truy vấn vấn Squốc lộ, nhấp vào Cấu hình dữ liệu > Biểu đồ > DAG_id , nlỗi được hiển thị trong sơ vật dụng bên dưới:

thông báo hiện đang có email

Thông báo qua email nhỏng email_on_failure, email_on_successvà email_on_retries hoàn toàn có thể được đặt để tìm hiểu trạng thái công việc.

Để bật thông báo, hãy triển khai nhỏng sau:

Định thông số kỹ thuật thiết đặt vào airflow.cfg tệp trong airflow_home đường truyền, nhỏng hiển thị bên dưới:

Đặt lại setup tin nhắn của người tiêu dùng thành cài đặt Gmail >  allow_less safe_apps > ON nhằm dấn thông tin qua email từ Airflow.

Một tin nhắn thất bại công việc được hiển thị dưới đây:

Phần kết luận

Trong blog này, chúng tôi đã thảo luận về người sáng tác, lập định kỳ cùng thống kê giám sát quy trình quá trình từ hình ảnh người dùng web, tương tự như kích hoạt các các bước Talend thẳng tự giao diện người dùng web theo đòi hỏi bằng phương pháp sử dụng bash toán thù tử. Quý khách hàng cũng hoàn toàn có thể chuyển tài liệu từ bỏ cơ sở tài liệu này quý phái đại lý dữ liệu không giống bằng generic_transfer toán thù tử.

Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *