SECTION_TITLE.OVERVIEW
คอร์สออนไลน์สำหรับ Data Engineer คอร์สแรกของไทยที่สอนการสร้าง End-to-End Data Pipelines ด้วย Airflow โดยเป็นคอร์สที่สอนการสร้าง Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) แบบ Step by Step ตั้งแต่การอ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป
ทำไมต้องทำ Data Pipelines
องค์กรต่าง ๆ ในปัจจุบัน ต่างถูกขับเคลื่อนด้วยข้อมูลจำนวนมหาศาล (Data-Driven) แต่กว่า 73% ของข้อมูลในองค์กรไม่ได้ถูกวิเคราะห์เลย ซึ่งเหตุผลหลักๆ ก็คือข้อมูลไม่ได้ถูกจัดการให้เป็นระเบียบนั่นเอง นอกจากนั้นองค์กรเป็นจำนวนมากก็ยังเก็บข้อมูลที่ไร้ประโยชน์ ไม่ว่าจะเป็น Web Log, อีเมลเก่า ๆ, หรือข้อมูลลูกค้าที่ out of date และเก็บมาแล้วไม่ได้ใช้ไว้จำนวนมาก ในขณะที่ข้อมูลเพิ่มขึ้นเรื่อย ๆ หลาย ๆ อย่างก็เริ่มเข้ามาเป็นข้อจำกัด เช่น กฎหมาย PDPA เป็นต้น ทำให้การจัดการข้อมูลเข้ามามีบทบาทสำคัญมากในองค์กรยุคปัจจุบัน แล้วทำไมองค์กรต่าง ๆ ต้องทำ Data Pipeline และต้องทำให้ดี?
- Business Autonomy: ข้อมูลทางธุรกิจที่ถูกจัดระเบียบ หรือ Normalize จะถูกนำพาโดย Data Pipelines และรวมไว้ในที่เดียว ทำให้ช้อมูลนั้นพร้อมตลอดเวลา ง่ายต่อการดึงข้อมูลมาใช้ หรือวิเคราะห์เพิ่มเติม
- Business Analysis & BI: สามารถสร้างอิสระในการวางกลยุทธ์ และเป็นสิ่งที่สำคัญในความสำเร็จของการวิเคราะห์ธุรกิจ
- Productivity: ประหยัดเวลาในการทำงานมากขึ้น เพราะไม่ต้อง Double Check ข้อมูลเป็นกิจวัตรประจำวัน เนื่องจากไม่มีข้อมูลตกหล่นจากการเคลื่อนย้าย เพราะเป็นการลำเลียงผ่าน Data Pipelines
- Data Management: การวางระบบ Data Pipelines สามารถจัดการข้อมูลแบบอัตโนมัติ และสม่ำเสมอได้
- Data Security: Data Pipelines สามารถนำข้อมูลทางธุรกิจของคุณไปจัดเก็บในที่ที่ปลอดภัยได้
- Data Compliance: Data Pipelines ควบคุมการไหลผ่านข้อมูลไปยังหน่วยงานต่าง ๆ ทำให้สามารถจำกัดสิทธิ์การเข้าถึงข้อมูลของลูกค้าได้
เรียนรู้การสร้าง End-to-End Data Pipelines โดยใช้ Apache Airflow ตั้งแต่อ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป
เมื่อเรียนจบคอร์สนี้ คุณจะ…
- สามารถใช้เครื่องมือ Apache Airflow ในการจัดการข้อมูลได้
- ออกแบบ และพัฒนา Automated Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) ได้
- ควบคุม ดูแลรักษา รวมไปถึงการหาสาเหตุ และแก้ปัญหาที่เกิดขึ้นที่ Data Pipeline ได้
- นำข้อมูลไปใช้ และต่อยอดได้อย่างมีประสิทธิภาพ โดยไม่ต้องคำนึงถึงข้อมูลที่ตกหล่น และการเข้าถึงข้อมูลของลูกค้า
คอร์สนี้เหมาะสำหรับ
- Data Engineer / Data Architect / Business Intelligence Developer ที่ต้องการเพิ่มทักษะการออกแบบ และสร้าง Data Pipelines เพื่อจัดการข้อมูลขนาดใหญ่แบบอัตโนมัติ
- Software Engineer / Software Developer / Back End Developer / Specialist ที่สนใจสายงานด้าน Data Engineering หรือต้องทำงานเกี่ยวกับข้อมูลจำนวนมาก
- Data Scientist / Data Analyst / Data Researcher ที่ต้องการบริหารจัดการข้อมูลเพื่อนำไปต่อยอดได้อย่างมีประสิทธิภาพ และมีพื้นฐานการเขียนโปรแกรม
- Manager / Project Manager / Team Lead ที่ต้องบริหารงานที่เกี่ยวข้องกับระบบการจัดการข้อมูล หรือต้องการเริ่มทำระบบการจัดการข้อมูลแบบอัตโนมัติ
- คนที่อยากเปลี่ยนสายงานมาทำงานด้าน Data Engineering
พื้นฐานที่ควรมีสำหรับคอร์สนี้
- มีความรู้พื้นฐานภาษา SQL เบื้องต้น
- มีทักษะในการเขียนโปรแกรม ถ้าเคยเขียนโปรแกรมภาษา Python มาก่อนจะช่วยให้ติดตามเนื้อหาได้ง่ายขึ้น
SECTION_TITLE.INSTRUCTOR
SECTION_TITLE.COURSE_OUTLINE
Data Pipelines
Introducing Data Pipelines
Directed Acyclic Graphs (DAGs)
Common Data Pipeline Patterns
Types of Data Pipelines
Building Production Grade Data Pipelines
Ensuring Data Quality
Practices for Designing Data Pipelines Tasks
Hello, Apache Airflow - Part 1
Hello, Apache Airflow
Timeline of Airflow
Other Workflow Management Tools
Why Airflow?
Airflow UI
1:55
Use Cases of Airflow
2:06
When to Use and NOT to Use Airflow
3:04
Architecture of Airflow
2:51
Airflow Concepts
2:05
Building Your First Airflow DAG
2:18
Hello, Apache Airflow - Part 2
Operators
[Demo] Building Your First Airflow DAG & Operators
7:12
Scheduling a DAG
[Demo] Scheduling a DAG
2:02
[Demo] Crontab.guru
1:31
Airflow Data Interval
Dependencies between Tasks
[Demo] Dependencies between Tasks
2:04
Logging
1:25
Context
0:37
[Demo] Context
2:49
Templating
3:42
[Demo] Templating
4:57
XComs
1:24
[Demo] XComs
3:54
Variables
1:07
[Demo] Variables
2:56
Airflow CLI
1:37
[Demo] Airflow CLI
3:41
Backfilling
2:17
[Demo] Backfilling
5:00
Connections
0:49
[Demo] Connections
1:28
Hooks
1:12
[Demo] Hooks
2:50
Project: The Cryptocurrency Data Pipeline
Project Overview
Getting Started with Cryptocurrency Data Pipelines
[Task 1] Extracting Data from the Market
8:48
[Task 2] Downloading Data into a File
3:32
[Task 3] Creating a Temp Table
5:37
[Task 4] Loading Data into the Temp Table
3:17
[Task 5] Creating the Final Table
3:32
[Task 6] Importing Data to the Final Table
5:53
[Task 7] Clearing the Imported Table (Temporary Table)
3:02
[Task 8] Notifying via Emails
3:35
Scheduling Pipelines
4:16
Advanced Airflow
Triggering Workflows
Sensors
[Demo] Sensors
3:32
Triggering Another DAG
[Demo] Triggering Another DAG
3:15
Starting DAG with Airflow API
[Demo] Starting DAG with Airflow API
4:40
Providers
1:23
[Demo] Installing Extra Providers
2:40
Creating a Custom Operator
1:04
[Demo] Creating a Custom Operator
7:16
TaskFlow API
1:11
[Demo] TaskFlow API
6:08
Task Group
1:11
[Demo] Task Group
3:17
Airflow in Practice
Airflow Practices
Configuring Airflow
[Demo] Configuring Airflow
4:03
Scaling Airflow
[Demo] Scaling Airflow
6:01
Securing Airflow
2:33
[Demo] Securing Airflow with RBAC
4:01
Dealing with Failures (Retrying and Alerting)
1:27
[Demo] Dealing with Failures (Retrying and Alerting)
5:21
Service Level Agreements (SLAs)
1:11
[Demo] Service Level Agreements (SLAs)
5:07
Monitoring Airflow Metrics
3:16
Testing Airflow
0:42
[Demo] Testing Airflow
11:08
Deploying Airflow DAGs
1:22
Airflow in the Clouds
Airflow in the Clouds
Astronomer.io
1:00
Airflow on Astronomer.io
Airflow on AWS (MWAA)
0:31
Airflow on GCP (Cloud Composer)
0:36
Course Summary
Course Summary
0:44
SECTION_TITLE.FAQS
Q:
ซื้อคอร์สออนไลน์ในนามนิติบุคคลผ่านหน้าเว็บไซต์ได้หรือไม่
A:
สามารถทำได้ โดยในหน้าคำสั่งซื้อ กดเครื่องหมายถูกในช่อง "ต้องการออกใบกำกับภาษี/ใบเสร็จรับเงิน" จากนั้นเลือก "นิติบุคคล/บริษัท" และคำสั่งซื้อจะมีการหักภาษี ณ ที่จ่าย 3% โดยอัตโนมัติ ในกรณีบริษัทของท่านไม่ใช่ 3% กรุณาส่งรายละเอียดที่ต้องการสั่งซื้อมาที่ hello@skooldio.com
Q:
วิธีขอใบกำกับภาษีในนามนิติบุคคลและใบกำกับภาษีสำหรับบุคคลทั่วไป
A:
กดเครื่องหมายถูกในช่อง "ต้องการออกใบกำกับภาษี/ใบเสร็จรับเงิน" ในหน้าชำระเงินและเลือกประเภทบุคคลทั่วไปหรือนิติบุคคล และกรอกรายละเอียด
Q:
คอร์สออนไลน์สามารถกลับมาเรียนซ้ำได้หรือไม่
A:
สำหรับคอร์สที่ซื้อในนามบุคคลทั่วไป คอร์สมีอายุตลอดชีพ สำหรับคอร์สที่ซื้อในนามนิติบุคคล สามารถกลับมาเรียนซ้ำได้ภายใน 1 ปี
Q:
สามารถแก้ไขใบกำกับภาษีจากในนามนิติบุคคลเป็นใบกำกับภาษีบุคคลทั่วไป และ ใบกำกับภาษีบุคคลทั่วไปเป็นใบกำกับภาษีในนามนิติบุคคลได้หรือไม่
A:
หลังจากได้รับใบกำกับภาษีแล้ว หากต้องการแก้ไขข้อมูล สามารถทำได้ภายใน 7 วัน นับจากวันที่ได้รับใบกำกับภาษีแบบเต็มรูปทางอีเมล โดยสามารถแก้ไขข้อมูลได้เฉพาะ ชื่อ-นามสกุล เลขประจำตัวผู้เสียภาษีและที่อยู่เท่านั้น จะไม่สามารถแก้ไขข้อมูลคำสั่งซื้อได้