ONLINECOURSE.HEADER

Data Pipelines with Airflow

ออกแบบ และพัฒนา Data Pipelines เพื่อจัดการ Big Data

2,990.00
บาท
4.6
4-5 ชั่วโมง
ควรมีพื้นฐาน SQL มาก่อน
มีแบบฝึกหัด และโปรเจกต์
เรียนจบรับใบประกาศนียบัตร

SECTION_TITLE.OVERVIEW

คอร์สออนไลน์สำหรับ Data Engineer คอร์สแรกของไทยที่สอนการสร้าง End-to-End Data Pipelines ด้วย Airflow โดยเป็นคอร์สที่สอนการสร้าง Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) แบบ Step by Step ตั้งแต่การอ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป

ทำไมต้องทำ Data Pipelines

องค์กรต่าง ๆ ในปัจจุบัน ต่างถูกขับเคลื่อนด้วยข้อมูลจำนวนมหาศาล (Data-Driven) แต่กว่า 73% ของข้อมูลในองค์กรไม่ได้ถูกวิเคราะห์เลย ซึ่งเหตุผลหลักๆ ก็คือข้อมูลไม่ได้ถูกจัดการให้เป็นระเบียบนั่นเอง นอกจากนั้นองค์กรเป็นจำนวนมากก็ยังเก็บข้อมูลที่ไร้ประโยชน์ ไม่ว่าจะเป็น Web Log, อีเมลเก่า ๆ, หรือข้อมูลลูกค้าที่ out of date และเก็บมาแล้วไม่ได้ใช้ไว้จำนวนมาก ในขณะที่ข้อมูลเพิ่มขึ้นเรื่อย ๆ หลาย ๆ อย่างก็เริ่มเข้ามาเป็นข้อจำกัด เช่น กฎหมาย PDPA เป็นต้น ทำให้การจัดการข้อมูลเข้ามามีบทบาทสำคัญมากในองค์กรยุคปัจจุบัน แล้วทำไมองค์กรต่าง ๆ ต้องทำ Data Pipeline และต้องทำให้ดี?

  • Business Autonomy: ข้อมูลทางธุรกิจที่ถูกจัดระเบียบ หรือ Normalize จะถูกนำพาโดย Data Pipelines และรวมไว้ในที่เดียว ทำให้ช้อมูลนั้นพร้อมตลอดเวลา ง่ายต่อการดึงข้อมูลมาใช้ หรือวิเคราะห์เพิ่มเติม
  • Business Analysis & BI: สามารถสร้างอิสระในการวางกลยุทธ์ และเป็นสิ่งที่สำคัญในความสำเร็จของการวิเคราะห์ธุรกิจ
  • Productivity: ประหยัดเวลาในการทำงานมากขึ้น เพราะไม่ต้อง Double Check ข้อมูลเป็นกิจวัตรประจำวัน เนื่องจากไม่มีข้อมูลตกหล่นจากการเคลื่อนย้าย เพราะเป็นการลำเลียงผ่าน Data Pipelines
  • Data Management: การวางระบบ Data Pipelines สามารถจัดการข้อมูลแบบอัตโนมัติ และสม่ำเสมอได้
  • Data Security: Data Pipelines สามารถนำข้อมูลทางธุรกิจของคุณไปจัดเก็บในที่ที่ปลอดภัยได้
  • Data Compliance: Data Pipelines ควบคุมการไหลผ่านข้อมูลไปยังหน่วยงานต่าง ๆ ทำให้สามารถจำกัดสิทธิ์การเข้าถึงข้อมูลของลูกค้าได้

เรียนรู้การสร้าง End-to-End Data Pipelines โดยใช้ Apache Airflow ตั้งแต่อ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป

เมื่อเรียนจบคอร์สนี้ คุณจะ…

  • สามารถใช้เครื่องมือ Apache Airflow ในการจัดการข้อมูลได้
  • ออกแบบ และพัฒนา Automated Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) ได้
  • ควบคุม ดูแลรักษา รวมไปถึงการหาสาเหตุ และแก้ปัญหาที่เกิดขึ้นที่ Data Pipeline ได้
  • นำข้อมูลไปใช้ และต่อยอดได้อย่างมีประสิทธิภาพ โดยไม่ต้องคำนึงถึงข้อมูลที่ตกหล่น และการเข้าถึงข้อมูลของลูกค้า

คอร์สนี้เหมาะสำหรับ

  • Data Engineer / Data Architect / Business Intelligence Developer ที่ต้องการเพิ่มทักษะการออกแบบ และสร้าง Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่แบบอัตโนมัติ
  • Software Engineer / Software Developer / Back End Developer / Specialist ที่สนใจสายงานด้าน Data Engineering หรือต้องทำงานเกี่ยวกับข้อมูลจำนวนมาก
  • Data Scientist / Data Analyst / Data Researcher ที่ต้องการบริหารจัดการข้อมูลเพื่อนำไปต่อยอดได้อย่างมีประสิทธิภาพ และมีพื้นฐานการเขียนโปรแกรม
  • Manager / Project Manager / Team Lead ที่ต้องบริหารงานที่เกี่ยวข้องกับระบบการจัดการข้อมูล หรือต้องการเริ่มทำระบบการจัดการข้อมูลแบบอัตโนมัติ
  • คนที่อยากเปลี่ยนสายงานมาทำงานด้าน Data Engineering

พื้นฐานที่ควรมีสำหรับคอร์สนี้

  • มีความรู้พื้นฐานภาษา SQL เบื้องต้น
  • มีทักษะในการเขียนโปรแกรม ถ้าเคยเขียนโปรแกรมภาษา Python มาก่อนจะช่วยให้ติดตามเนื้อหาได้ง่ายขึ้น

SECTION_TITLE.INSTRUCTOR

ดร. กานต์ อุ่ยวิรัช (Data Craftsman และ Technical Consultant ที่ ODDS) | Skooldio Instructor
ดร. กานต์ อุ่ยวิรัช
Data Craftsman และ Technical Consultant ที่ ODDS

SECTION_TITLE.COURSE_OUTLINE

01

Introduction

Welcome to Class

Course Material

Development Environment

Setting Up Airflow on Your Machine

Introducing Data Pipelines

Directed Acyclic Graphs (DAGs)

Common Data Pipeline Patterns

Types of Data Pipelines

Building Production Grade Data Pipelines

Ensuring Data Quality

Practices for Designing Data Pipelines Tasks

Hello, Apache Airflow

Timeline of Airflow

Other Workflow Management Tools

Airflow UI

1:55

Use Cases of Airflow

2:06

When to Use and NOT to Use Airflow

3:04

Architecture of Airflow

2:51

Airflow Concepts

2:05

Building Your First Airflow DAG

2:18

[Demo] Building Your First Airflow DAG & Operators

7:12

Scheduling a DAG

[Demo] Scheduling a DAG

2:02

[Demo] Crontab.guru

1:31

Airflow Data Interval

Dependencies between Tasks

[Demo] Dependencies between Tasks

2:04

Logging

1:25

Context

0:37

[Demo] Context

2:49

Templating

3:42

[Demo] Templating

4:57

XComs

1:24

[Demo] XComs

3:54

Variables

1:07

[Demo] Variables

2:56

Airflow CLI

1:37

[Demo] Airflow CLI

3:41

Backfilling

2:17

[Demo] Backfilling

5:00

Connections

0:49

[Demo] Connections

1:28

Hooks

1:12

[Demo] Hooks

2:50

Project Overview

Getting Started with Cryptocurrency Data Pipelines

[Task 1] Extracting Data from the Market

8:48

[Task 2] Downloading Data into a File

3:32

[Task 3] Creating a Temp Table

5:37

[Task 4] Loading Data into the Temp Table

3:17

[Task 5] Creating the Final Table

3:32

[Task 6] Importing Data to the Final Table

5:53

[Task 7] Clearing the Imported Table (Temporary Table)

3:02

[Task 8] Notifying via Emails

3:35

Scheduling Pipelines

4:16

Triggering Workflows

[Demo] Sensors

3:32

Triggering Another DAG

[Demo] Triggering Another DAG

3:15

Starting DAG with Airflow API

[Demo] Starting DAG with Airflow API

4:40

Providers

1:23

[Demo] Installing Extra Providers

2:40

Creating a Custom Operator

1:04

[Demo] Creating a Custom Operator

7:16

TaskFlow API

1:11

[Demo] TaskFlow API

6:08

Task Group

1:11

[Demo] Task Group

3:17

Airflow Practices

Configuring Airflow

[Demo] Configuring Airflow

4:03

Scaling Airflow

[Demo] Scaling Airflow

6:01

Securing Airflow

2:33

[Demo] Securing Airflow with RBAC

4:01

Dealing with Failures (Retrying and Alerting)

1:27

[Demo] Dealing with Failures (Retrying and Alerting)

5:21

Service Level Agreements (SLAs)

1:11

[Demo] Service Level Agreements (SLAs)

5:07

Monitoring Airflow Metrics

3:16

Testing Airflow

0:42

[Demo] Testing Airflow

11:08

Deploying Airflow DAGs

1:22

Airflow in the Clouds

Astronomer.io

1:00

Airflow on Astronomer.io

Airflow on AWS (MWAA)

0:31

Airflow on GCP (Cloud Composer)

0:36

Course Summary

0:44

SECTION_TITLE.FAQS

Q:

วิธีขอใบเสนอราคาและใบแจ้งหนี้ในนามนิติบุคคล

A:

หากต้องการใบเสนอราคาและใบแจ้งหนี้ในนามนิติบุคคลสามารถส่งรายละเอียดดังนี้

  • คอร์สที่สนใจและจำนวนผู้เรียน
  • ชื่อ-นามสกุล, เบอร์โทรผู้ติดต่อ
  • ชื่อ-ที่อยู่บริษัท, เลขประจำตัวผู้เสียภาษี
  • จำนวนภาษีหัก ณ ที่จ่าย (ถ้ามี)

มาที่ hello@skooldio.com โดยใช้ระยะเวลาดำเนินการไม่เกิน 1 วันทำการ (จันทร์-ศุกร์)

A:

สามารถทำได้ โดยในหน้าคำสั่งซื้อ กดเครื่องหมายถูกในช่อง "ต้องการออกใบกำกับภาษี/ใบเสร็จรับเงิน" จากนั้นเลือก "นิติบุคคล/บริษัท" และคำสั่งซื้อจะมีการหักภาษี ณ ที่จ่าย 3% โดยอัตโนมัติ ในกรณีบริษัทของท่านไม่ใช่ 3% กรุณาส่งรายละเอียดที่ต้องการสั่งซื้อมาที่ hello@skooldio.com

A:

กดเครื่องหมายถูกในช่อง "ต้องการออกใบกำกับภาษี/ใบเสร็จรับเงิน" ในหน้าชำระเงินและเลือกประเภทบุคคลทั่วไปหรือนิติบุคคล และกรอกรายละเอียด

A:

สำหรับคอร์สที่ซื้อในนามบุคคลทั่วไป คอร์สมีอายุตลอดชีพ สำหรับคอร์สที่ซื้อในนามนิติบุคคล สามารถกลับมาเรียนซ้ำได้ภายใน 1 ปี

A:

หลังจากได้รับใบกำกับภาษีแล้ว หากต้องการแก้ไขข้อมูล สามารถทำได้ภายใน 7 วัน นับจากวันที่ได้รับใบกำกับภาษีแบบเต็มรูปทางอีเมล โดยสามารถแก้ไขข้อมูลได้เฉพาะ ชื่อ-นามสกุล เลขประจำตัวผู้เสียภาษีและที่อยู่เท่านั้น จะไม่สามารถแก้ไขข้อมูลคำสั่งซื้อได้

คอร์สอื่นๆ ที่ผู้ซื้อคอร์สนี้สนใจ