ออกแบบ และพัฒนา Data Pipelines เพื่อจัดการ Big Data | Skooldio Online Course: Data Pipelines with Airflow
ONLINECOURSE.HEADER

Data Pipelines with Airflow

ออกแบบ และพัฒนา Data Pipelines เพื่อจัดการ Big Data

2,990.00
บาท
4.7
4-5 ชั่วโมง
มีความรู้พื้นฐานภาษา SQL เบื้องต้น
เรียนจบรับใบประกาศนียบัตร

SECTION_TITLE.INSTRUCTOR

ดร. กานต์ อุ่ยวิรัช (Data Craftsman และ Technical Consultant ที่ ODDS) | Skooldio Instructor
ดร. กานต์ อุ่ยวิรัช
Data Craftsman และ Technical Consultant ที่ ODDS
WORKSHOP.INSTRUCTOR.SEE_PROFILE

SECTION_TITLE.OVERVIEW

คอร์สออนไลน์สำหรับ Data Engineer คอร์สแรกของไทยที่สอนการสร้าง End-to-End Data Pipelines ด้วย Airflow โดยเป็นคอร์สที่สอนการสร้าง Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) แบบ Step by Step ตั้งแต่การอ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป

ทำไมต้องทำ Data Pipelines

องค์กรต่าง ๆ ในปัจจุบัน ต่างถูกขับเคลื่อนด้วยข้อมูลจำนวนมหาศาล (Data-Driven) แต่กว่า 73% ของข้อมูลในองค์กรไม่ได้ถูกวิเคราะห์เลย ซึ่งเหตุผลหลักๆ ก็คือข้อมูลไม่ได้ถูกจัดการให้เป็นระเบียบนั่นเอง นอกจากนั้นองค์กรเป็นจำนวนมากก็ยังเก็บข้อมูลที่ไร้ประโยชน์ ไม่ว่าจะเป็น Web Log, อีเมลเก่า ๆ, หรือข้อมูลลูกค้าที่ out of date และเก็บมาแล้วไม่ได้ใช้ไว้จำนวนมาก ในขณะที่ข้อมูลเพิ่มขึ้นเรื่อย ๆ หลาย ๆ อย่างก็เริ่มเข้ามาเป็นข้อจำกัด เช่น กฎหมาย PDPA เป็นต้น ทำให้การจัดการข้อมูลเข้ามามีบทบาทสำคัญมากในองค์กรยุคปัจจุบัน แล้วทำไมองค์กรต่าง ๆ ต้องทำ Data Pipeline และต้องทำให้ดี?

  • Business Autonomy: ข้อมูลทางธุรกิจที่ถูกจัดระเบียบ หรือ Normalize จะถูกนำพาโดย Data Pipelines และรวมไว้ในที่เดียว ทำให้ช้อมูลนั้นพร้อมตลอดเวลา ง่ายต่อการดึงข้อมูลมาใช้ หรือวิเคราะห์เพิ่มเติม
  • Business Analysis & BI: สามารถสร้างอิสระในการวางกลยุทธ์ และเป็นสิ่งที่สำคัญในความสำเร็จของการวิเคราะห์ธุรกิจ
  • Productivity: ประหยัดเวลาในการทำงานมากขึ้น เพราะไม่ต้อง Double Check ข้อมูลเป็นกิจวัตรประจำวัน เนื่องจากไม่มีข้อมูลตกหล่นจากการเคลื่อนย้าย เพราะเป็นการลำเลียงผ่าน Data Pipelines
  • Data Management: การวางระบบ Data Pipelines สามารถจัดการข้อมูลแบบอัตโนมัติ และสม่ำเสมอได้
  • Data Security: Data Pipelines สามารถนำข้อมูลทางธุรกิจของคุณไปจัดเก็บในที่ที่ปลอดภัยได้
  • Data Compliance: Data Pipelines ควบคุมการไหลผ่านข้อมูลไปยังหน่วยงานต่าง ๆ ทำให้สามารถจำกัดสิทธิ์การเข้าถึงข้อมูลของลูกค้าได้

เรียนรู้การสร้าง End-to-End Data Pipelines โดยใช้ Apache Airflow ตั้งแต่อ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป

เมื่อเรียนจบคอร์สนี้ คุณจะ…

  • สามารถใช้เครื่องมือ Apache Airflow ในการจัดการข้อมูลได้
  • ออกแบบ และพัฒนา Automated Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) ได้
  • ควบคุม ดูแลรักษา รวมไปถึงการหาสาเหตุ และแก้ปัญหาที่เกิดขึ้นที่ Data Pipeline ได้
  • นำข้อมูลไปใช้ และต่อยอดได้อย่างมีประสิทธิภาพ โดยไม่ต้องคำนึงถึงข้อมูลที่ตกหล่น และการเข้าถึงข้อมูลของลูกค้า

คอร์สนี้เหมาะสำหรับ

  • Data Engineer / Data Architect / Business Intelligence Developer ที่ต้องการเพิ่มทักษะการออกแบบ และสร้าง Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่แบบอัตโนมัติ
  • Software Engineer / Software Developer / Back End Developer / Specialist ที่สนใจสายงานด้าน Data Engineering หรือต้องทำงานเกี่ยวกับข้อมูลจำนวนมาก
  • Data Scientist / Data Analyst / Data Researcher ที่ต้องการบริหารจัดการข้อมูลเพื่อนำไปต่อยอดได้อย่างมีประสิทธิภาพ และมีพื้นฐานการเขียนโปรแกรม
  • Manager / Project Manager / Team Lead ที่ต้องบริหารงานที่เกี่ยวข้องกับระบบการจัดการข้อมูล หรือต้องการเริ่มทำระบบการจัดการข้อมูลแบบอัตโนมัติ
  • คนที่อยากเปลี่ยนสายงานมาทำงานด้าน Data Engineering

พื้นฐานที่ควรมีสำหรับคอร์สนี้

  • มีความรู้พื้นฐานภาษา SQL เบื้องต้น
  • มีทักษะในการเขียนโปรแกรม ถ้าเคยเขียนโปรแกรมภาษา Python มาก่อนจะช่วยให้ติดตามเนื้อหาได้ง่ายขึ้น

SECTION_TITLE.COURSE_OUTLINE

01

Introduction

Welcome to Class

ทดลองเรียน

2:19

Course Material

Development Environment

0:34

Setting Up Airflow on Your Machine

4:39

Introducing Data Pipelines

ทดลองเรียน

5:52

Directed Acyclic Graphs (DAGs)

3:25

Common Data Pipeline Patterns

2:56

Types of Data Pipelines

2:14

Building Production Grade Data Pipelines

4:09

Ensuring Data Quality

4:19

Practices for Designing Data Pipelines Tasks

3:18

Hello, Apache Airflow

ทดลองเรียน

2:50

Timeline of Airflow

1:16

Other Workflow Management Tools

2:51

Why Airflow?

2:12

Airflow UI

1:55

Use Cases of Airflow

2:06

When to Use and NOT to Use Airflow

3:04

Architecture of Airflow

2:51

Airflow Concepts

2:05

Building Your First Airflow DAG

2:18

Operators

ทดลองเรียน

2:51

[Demo] Building Your First Airflow DAG & Operators

7:12

Scheduling a DAG

1:12

[Demo] Scheduling a DAG

2:02

[Demo] Crontab.guru

1:31

Airflow Data Interval

2:41

Dependencies between Tasks

2:16

[Demo] Dependencies between Tasks

2:04

Logging

1:25

Context

0:37

[Demo] Context

2:49

Templating

3:42

[Demo] Templating

4:57

XComs

1:24

[Demo] XComs

3:54

Variables

1:07

[Demo] Variables

2:56

Airflow CLI

1:37

[Demo] Airflow CLI

3:41

Backfilling

2:17

[Demo] Backfilling

5:00

Connections

0:49

[Demo] Connections

1:28

Hooks

1:12

[Demo] Hooks

2:50

Project Overview

ทดลองเรียน

3:42

Getting Started with Cryptocurrency Data Pipelines

3:40

[Task 1] Extracting Data from the Market

8:48

[Task 2] Downloading Data into a File

3:32

[Task 3] Creating a Temp Table

5:37

[Task 4] Loading Data into the Temp Table

3:17

[Task 5] Creating the Final Table

3:32

[Task 6] Importing Data to the Final Table

5:53

[Task 7] Clearing the Imported Table (Temporary Table)

3:02

[Task 8] Notifying via Emails

3:35

Scheduling Pipelines

4:16

Triggering Workflows

ทดลองเรียน

1:27

Sensors

1:33

[Demo] Sensors

3:32

Triggering Another DAG

0:53

[Demo] Triggering Another DAG

3:15

Starting DAG with Airflow API

0:16

[Demo] Starting DAG with Airflow API

4:40

Providers

1:23

[Demo] Installing Extra Providers

2:40

Creating a Custom Operator

1:04

[Demo] Creating a Custom Operator

7:16

TaskFlow API

1:11

[Demo] TaskFlow API

6:08

Task Group

1:11

[Demo] Task Group

3:17

Airflow Practices

ทดลองเรียน

5:04

Configuring Airflow

2:35

[Demo] Configuring Airflow

4:03

Scaling Airflow

6:27

[Demo] Scaling Airflow

6:01

Securing Airflow

2:33

[Demo] Securing Airflow with RBAC

4:01

Dealing with Failures (Retrying and Alerting)

1:27

[Demo] Dealing with Failures (Retrying and Alerting)

5:21

Service Level Agreements (SLAs)

1:11

[Demo] Service Level Agreements (SLAs)

5:07

Monitoring Airflow Metrics

3:16

Testing Airflow

0:42

[Demo] Testing Airflow

11:08

Deploying Airflow DAGs

1:22

Airflow in the Clouds

ทดลองเรียน

2:01

Astronomer.io

1:00

Airflow on Astronomer.io

Airflow on AWS (MWAA)

0:31

Airflow on GCP (Cloud Composer)

0:36

Course Summary

0:44

SECTION_TITLE.FAQS

Q:

วิธีขอใบเสนอราคาและใบแจ้งหนี้ในนามนิติบุคคล

A:

หากต้องการใบเสนอราคาและใบแจ้งหนี้ในนามนิติบุคคลสามารถส่งรายละเอียดดังนี้

  • คอร์สที่สนใจและจำนวนผู้เรียน
  • ชื่อ-นามสกุล, เบอร์โทรผู้ติดต่อ
  • ชื่อ-ที่อยู่บริษัท, เลขประจำตัวผู้เสียภาษี
  • จำนวนภาษีหัก ณ ที่จ่าย (ถ้ามี)

มาที่ hello@skooldio.com โดยใช้ระยะเวลาดำเนินการไม่เกิน 1 วันทำการ (จันทร์-ศุกร์)

A:

สามารถทำได้ โดยในหน้าคำสั่งซื้อ กดเครื่องหมายถูกในช่อง "ต้องการออกใบกำกับภาษี/ใบเสร็จรับเงิน" จากนั้นเลือก "นิติบุคคล/บริษัท" และคำสั่งซื้อจะมีการหักภาษี ณ ที่จ่าย 3% โดยอัตโนมัติ ในกรณีบริษัทของท่านไม่ใช่ 3% กรุณาส่งรายละเอียดที่ต้องการสั่งซื้อมาที่ hello@skooldio.com

A:

กดเครื่องหมายถูกในช่อง "ต้องการออกใบกำกับภาษี/ใบเสร็จรับเงิน" ในหน้าชำระเงินและเลือกประเภทบุคคลทั่วไปหรือนิติบุคคล และกรอกรายละเอียด

A:

สำหรับคอร์สที่ซื้อในนามบุคคลทั่วไป คอร์สมีอายุตลอดชีพ สำหรับคอร์สที่ซื้อในนามนิติบุคคล สามารถกลับมาเรียนซ้ำได้ภายใน 1 ปี

A:

หลังจากได้รับใบกำกับภาษีแล้ว หากต้องการแก้ไขข้อมูล สามารถทำได้ภายใน 7 วัน นับจากวันที่ได้รับใบกำกับภาษีแบบเต็มรูปทางอีเมล โดยสามารถแก้ไขข้อมูลได้เฉพาะ ชื่อ-นามสกุล เลขประจำตัวผู้เสียภาษีและที่อยู่เท่านั้น จะไม่สามารถแก้ไขข้อมูลคำสั่งซื้อได้

SECTION_TITLE.RELATED_ONLINE_COURSES