Data Pipelines with Airflow
ออกแบบ และพัฒนา Data Pipelines เพื่อจัดการ Big Data
SECTION_TITLE.INSTRUCTOR

SECTION_TITLE.OVERVIEW
คอร์สออนไลน์สำหรับ Data Engineer คอร์สแรกของไทยที่สอนการสร้าง End-to-End Data Pipelines ด้วย Airflow โดยเป็นคอร์สที่สอนการสร้าง Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) แบบ Step by Step ตั้งแต่การอ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป
ทำไมต้องทำ Data Pipelines
องค์กรต่าง ๆ ในปัจจุบัน ต่างถูกขับเคลื่อนด้วยข้อมูลจำนวนมหาศาล (Data-Driven) แต่กว่า 73% ของข้อมูลในองค์กรไม่ได้ถูกวิเคราะห์เลย ซึ่งเหตุผลหลักๆ ก็คือข้อมูลไม่ได้ถูกจัดการให้เป็นระเบียบนั่นเอง นอกจากนั้นองค์กรเป็นจำนวนมากก็ยังเก็บข้อมูลที่ไร้ประโยชน์ ไม่ว่าจะเป็น Web Log, อีเมลเก่า ๆ, หรือข้อมูลลูกค้าที่ out of date และเก็บมาแล้วไม่ได้ใช้ไว้จำนวนมาก ในขณะที่ข้อมูลเพิ่มขึ้นเรื่อย ๆ หลาย ๆ อย่างก็เริ่มเข้ามาเป็นข้อจำกัด เช่น กฎหมาย PDPA เป็นต้น ทำให้การจัดการข้อมูลเข้ามามีบทบาทสำคัญมากในองค์กรยุคปัจจุบัน แล้วทำไมองค์กรต่าง ๆ ต้องทำ Data Pipeline และต้องทำให้ดี?
- Business Autonomy: ข้อมูลทางธุรกิจที่ถูกจัดระเบียบ หรือ Normalize จะถูกนำพาโดย Data Pipelines และรวมไว้ในที่เดียว ทำให้ช้อมูลนั้นพร้อมตลอดเวลา ง่ายต่อการดึงข้อมูลมาใช้ หรือวิเคราะห์เพิ่มเติม
- Business Analysis & BI: สามารถสร้างอิสระในการวางกลยุทธ์ และเป็นสิ่งที่สำคัญในความสำเร็จของการวิเคราะห์ธุรกิจ
- Productivity: ประหยัดเวลาในการทำงานมากขึ้น เพราะไม่ต้อง Double Check ข้อมูลเป็นกิจวัตรประจำวัน เนื่องจากไม่มีข้อมูลตกหล่นจากการเคลื่อนย้าย เพราะเป็นการลำเลียงผ่าน Data Pipelines
- Data Management: การวางระบบ Data Pipelines สามารถจัดการข้อมูลแบบอัตโนมัติ และสม่ำเสมอได้
- Data Security: Data Pipelines สามารถนำข้อมูลทางธุรกิจของคุณไปจัดเก็บในที่ที่ปลอดภัยได้
- Data Compliance: Data Pipelines ควบคุมการไหลผ่านข้อมูลไปยังหน่วยงานต่าง ๆ ทำให้สามารถจำกัดสิทธิ์การเข้าถึงข้อมูลของลูกค้าได้
เรียนรู้การสร้าง End-to-End Data Pipelines โดยใช้ Apache Airflow ตั้งแต่อ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป
เมื่อเรียนจบคอร์สนี้ คุณจะ…
- สามารถใช้เครื่องมือ Apache Airflow ในการจัดการข้อมูลได้
- ออกแบบ และพัฒนา Automated Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) ได้
- ควบคุม ดูแลรักษา รวมไปถึงการหาสาเหตุ และแก้ปัญหาที่เกิดขึ้นที่ Data Pipeline ได้
- นำข้อมูลไปใช้ และต่อยอดได้อย่างมีประสิทธิภาพ โดยไม่ต้องคำนึงถึงข้อมูลที่ตกหล่น และการเข้าถึงข้อมูลของลูกค้า
คอร์สนี้เหมาะสำหรับ
- Data Engineer / Data Architect / Business Intelligence Developer ที่ต้องการเพิ่มทักษะการออกแบบ และสร้าง Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่แบบอัตโนมัติ
- Software Engineer / Software Developer / Back End Developer / Specialist ที่สนใจสายงานด้าน Data Engineering หรือต้องทำงานเกี่ยวกับข้อมูลจำนวนมาก
- Data Scientist / Data Analyst / Data Researcher ที่ต้องการบริหารจัดการข้อมูลเพื่อนำไปต่อยอดได้อย่างมีประสิทธิภาพ และมีพื้นฐานการเขียนโปรแกรม
- Manager / Project Manager / Team Lead ที่ต้องบริหารงานที่เกี่ยวข้องกับระบบการจัดการข้อมูล หรือต้องการเริ่มทำระบบการจัดการข้อมูลแบบอัตโนมัติ
- คนที่อยากเปลี่ยนสายงานมาทำงานด้าน Data Engineering
พื้นฐานที่ควรมีสำหรับคอร์สนี้
- มีความรู้พื้นฐานภาษา SQL เบื้องต้น
- มีทักษะในการเขียนโปรแกรม ถ้าเคยเขียนโปรแกรมภาษา Python มาก่อนจะช่วยให้ติดตามเนื้อหาได้ง่ายขึ้น
SECTION_TITLE.COURSE_OUTLINE
Data Pipelines
Introducing Data Pipelines
Directed Acyclic Graphs (DAGs)
3:25
Common Data Pipeline Patterns
2:56
Types of Data Pipelines
2:14
Building Production Grade Data Pipelines
4:09
Ensuring Data Quality
4:19
Practices for Designing Data Pipelines Tasks
3:18
Hello, Apache Airflow - Part 1
Hello, Apache Airflow
Timeline of Airflow
1:16
Other Workflow Management Tools
2:51
Why Airflow?
2:12
Airflow UI
1:55
Use Cases of Airflow
2:06
When to Use and NOT to Use Airflow
3:04
Architecture of Airflow
2:51
Airflow Concepts
2:05
Building Your First Airflow DAG
2:18
Hello, Apache Airflow - Part 2
Operators
[Demo] Building Your First Airflow DAG & Operators
7:12
Scheduling a DAG
1:12
[Demo] Scheduling a DAG
2:02
[Demo] Crontab.guru
1:31
Airflow Data Interval
2:41
Dependencies between Tasks
2:16
[Demo] Dependencies between Tasks
2:04
Logging
1:25
Context
0:37
[Demo] Context
2:49
Templating
3:42
[Demo] Templating
4:57
XComs
1:24
[Demo] XComs
3:54
Variables
1:07
[Demo] Variables
2:56
Airflow CLI
1:37
[Demo] Airflow CLI
3:41
Backfilling
2:17
[Demo] Backfilling
5:00
Connections
0:49
[Demo] Connections
1:28
Hooks
1:12
[Demo] Hooks
2:50
Project: The Cryptocurrency Data Pipeline
Project Overview
Getting Started with Cryptocurrency Data Pipelines
3:40
[Task 1] Extracting Data from the Market
8:48
[Task 2] Downloading Data into a File
3:32
[Task 3] Creating a Temp Table
5:37
[Task 4] Loading Data into the Temp Table
3:17
[Task 5] Creating the Final Table
3:32
[Task 6] Importing Data to the Final Table
5:53
[Task 7] Clearing the Imported Table (Temporary Table)
3:02
[Task 8] Notifying via Emails
3:35
Scheduling Pipelines
4:16
Advanced Airflow
Triggering Workflows
Sensors
1:33
[Demo] Sensors
3:32
Triggering Another DAG
0:53
[Demo] Triggering Another DAG
3:15
Starting DAG with Airflow API
0:16
[Demo] Starting DAG with Airflow API
4:40
Providers
1:23
[Demo] Installing Extra Providers
2:40
Creating a Custom Operator
1:04
[Demo] Creating a Custom Operator
7:16
TaskFlow API
1:11
[Demo] TaskFlow API
6:08
Task Group
1:11
[Demo] Task Group
3:17
Airflow in Practice
Airflow Practices
Configuring Airflow
2:35
[Demo] Configuring Airflow
4:03
Scaling Airflow
6:27
[Demo] Scaling Airflow
6:01
Securing Airflow
2:33
[Demo] Securing Airflow with RBAC
4:01
Dealing with Failures (Retrying and Alerting)
1:27
[Demo] Dealing with Failures (Retrying and Alerting)
5:21
Service Level Agreements (SLAs)
1:11
[Demo] Service Level Agreements (SLAs)
5:07
Monitoring Airflow Metrics
3:16
Testing Airflow
0:42
[Demo] Testing Airflow
11:08
Deploying Airflow DAGs
1:22
Airflow in the Clouds
Airflow in the Clouds
Astronomer.io
1:00
Airflow on Astronomer.io
Airflow on AWS (MWAA)
0:31
Airflow on GCP (Cloud Composer)
0:36
Course Summary
Course Summary
0:44
SECTION_TITLE.FAQS
Q:
ซื้อคอร์สออนไลน์ในนามนิติบุคคลผ่านหน้าเว็บไซต์ได้หรือไม่
A:
สามารถทำได้ โดยในหน้าคำสั่งซื้อ กดเครื่องหมายถูกในช่อง "ต้องการออกใบกำกับภาษี/ใบเสร็จรับเงิน" จากนั้นเลือก "นิติบุคคล/บริษัท" และคำสั่งซื้อจะมีการหักภาษี ณ ที่จ่าย 3% โดยอัตโนมัติ ในกรณีบริษัทของท่านไม่ใช่ 3% กรุณาส่งรายละเอียดที่ต้องการสั่งซื้อมาที่ hello@skooldio.com
Q:
วิธีขอใบกำกับภาษีในนามนิติบุคคลและใบกำกับภาษีสำหรับบุคคลทั่วไป
A:
กดเครื่องหมายถูกในช่อง "ต้องการออกใบกำกับภาษี/ใบเสร็จรับเงิน" ในหน้าชำระเงินและเลือกประเภทบุคคลทั่วไปหรือนิติบุคคล และกรอกรายละเอียด
Q:
คอร์สออนไลน์สามารถกลับมาเรียนซ้ำได้หรือไม่
A:
สำหรับคอร์สที่ซื้อในนามบุคคลทั่วไป คอร์สมีอายุตลอดชีพ สำหรับคอร์สที่ซื้อในนามนิติบุคคล สามารถกลับมาเรียนซ้ำได้ภายใน 1 ปี
Q:
สามารถแก้ไขใบกำกับภาษีจากในนามนิติบุคคลเป็นใบกำกับภาษีบุคคลทั่วไป และ ใบกำกับภาษีบุคคลทั่วไปเป็นใบกำกับภาษีในนามนิติบุคคลได้หรือไม่
A:
หลังจากได้รับใบกำกับภาษีแล้ว หากต้องการแก้ไขข้อมูล สามารถทำได้ภายใน 7 วัน นับจากวันที่ได้รับใบกำกับภาษีแบบเต็มรูปทางอีเมล โดยสามารถแก้ไขข้อมูลได้เฉพาะ ชื่อ-นามสกุล เลขประจำตัวผู้เสียภาษีและที่อยู่เท่านั้น จะไม่สามารถแก้ไขข้อมูลคำสั่งซื้อได้