Automating Your Data Pipelines with Apache Airflow
ออกแบบ และพัฒนา Data Pipelines เพื่อจัดการ Big Data
SECTION_TITLE.OVERVIEW
องค์กรต่าง ๆ ในปัจจุบัน ต่างถูกขับเคลื่อนด้วยข้อมูลจำนวนมหาศาล (Data-Driven) แต่กว่า 73% ของข้อมูลในองค์กรไม่ได้ถูกวิเคราะห์เลย ซึ่งเหตุผลหลัก ๆ ก็คือข้อมูลไม่ได้ถูกจัดการให้เป็นระเบียบนั่นเอง นอกจากนั้นองค์กรเป็นจำนวนมากก็ยังเก็บข้อมูลที่ไร้ประโยชน์ (Dark Data) ไม่ว่าจะเป็น Web Log, อีเมลเก่า ๆ, หรือข้อมูลลูกค้าที่ out of date และเก็บมาแล้วไม่ได้ใช้ไว้จำนวนมาก ในขณะที่ข้อมูลเพิ่มขึ้นเรื่อย ๆ หลาย ๆ อย่างก็เริ่มเข้ามาเป็นข้อจำกัด เช่น กฎหมาย PDPA เป็นต้น ทำให้การจัดการข้อมูลเข้ามามีบทบาทสำคัญมากในองค์กรยุคปัจจุบัน แล้วทำไมองค์กรต่าง ๆ ต้องทำ Data Pipeline และต้องทำให้ดี?
- Business Autonomy: ข้อมูลทางธุรกิจที่ถูกจัดระเบียบ หรือ normalize จะถูกนำพาโดย Data Pipeline และรวมไว้ในที่เดียว ทำให้ช้อมูลนั้นพร้อมตลอดเวลา ง่ายต่อการดึงข้อมูลมาใช้ หรือวิเคราะห์เพิ่มเติม
- Business Analysis & BI: สามารถสร้างอิสระในการวางกลยุทธ์ และเป็นสิ่งที่สำคัญในความสำเร็จของการวิเคราะห์ธุรกิจ
- Productivity: ประหยัดเวลาในการทำงานมากขึ้น เพราะไม่ต้อง double check ข้อมูลเป็นกิจวัตรประจำวัน เนื่องจากไม่มีข้อมูลตกหล่นจากการเคลื่อนย้าย เพราะเป็นการลำเลียงผ่าน Data Pipeline
- Data Management: การวางระบบ Data Pipeline สามารถจัดการข้อมูลแบบอัตโนมัติ และสม่ำเสมอได้
- Data Security: Data Pipeline สามารถนำข้อมูลทางธุรกิจของคุณไปจัดเก็บในที่ที่ปลอดภัยได้
- Data Compliance: Data Pipeline ควบคุมการไหลผ่านข้อมูลไปยังหน่วยงานต่าง ๆ ทำให้สามารถจำกัดสิทธิ์การเข้าถึงข้อมูลของลูกค้าได้
Source: Recon Insight
พบกับเวิร์คชอป 2 วันเต็ม ที่จะสอนให้คุณสร้าง End-to-End Data Pipeline โดยใช้ Apache Airflow ตั้งแต่อ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป
เวิร์คชอปนี้เหมาะสำหรับ
- Data Engineer / Data Architect / Business Intelligence Developer ที่ต้องการเพิ่มทักษะการออกแบบ และสร้าง Data Pipeline เพื่อจัดการข้อมูลขนาดใหญ่แบบอัตโนมัติ
- Software Engineer / Software Developer / Back End Developer / Specialist ที่สนใจสายงานด้าน Data Engineering หรือต้องทำงานเกี่ยวกับข้อมูลจำนวนมาก
- Data Scientist / Data Analyst / Data Researcher ที่ต้องการบริหารจัดการข้อมูลเพื่อนำไปต่อยอดได้อย่างมีประสิทธิภาพ และมีพื้นฐานการเขียนโปรแกรม
- Manager / Project Manager / Team Lead ที่ต้องบริหารงานที่เกี่ยวข้องกับระบบการจัดการข้อมูล หรือต้องการเริ่มทำระบบการจัดการข้อมูลแบบอัตโนมัติ
- คนที่อยากเปลี่ยนสายงานมาทำทางด้าน Data Engineering
หลังจากจบเวิร์คชอปนี้คุณ และองค์กรของคุณจะสามารถ...
- สามารถใช้เครื่องมือ Apache Airflow ในการจัดการข้อมูลได้
- ออกแบบ และพัฒนา Automated Data Pipeline เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) ได้
- ควบคุม ดูแลรักษา รวมไปถึงการหาสาเหตุ และแก้ปัญหาที่เกิดขึ้นที่ Data Pipeline ได้
- นำข้อมูลไปใช้ และต่อยอดได้อย่างมีประสิทธิภาพ โดยไม่ต้องคำนึงถึงข้อมูลที่ตกหล่น และการเข้าถึงข้อมูลของลูกค้า
ความรู้พื้นฐานและการเตรียมตัว
- มีความรู้พื้นฐานวิทยาการคอมพิวเตอร์ วิศวกรรมคอมพิวเตอร์ หรือเทียบเท่า
- มีความสนใจในการทำงานด้านข้อมูล และมีความรู้ความเข้าใจเบื้องต้นเกี่ยวกับเทคโนโลยีที่เกี่ยวข้องกับข้อมูลขนาดใหญ่ได้ (Big Data)
- มีทักษะในการเขียนโปรแกรม ถ้าเคยเขียนโปรแกรมภาษา Python มาก่อนจะช่วยให้ติดตามเนื้อหาได้ง่ายขึ้น
SECTION_TITLE.INSTRUCTOR
SECTION_TITLE.PROMOTION
- Early Bird : ลดทันที 2,000 บาท โดยกรอกโค้ด
PIPE05
จำนวนจำกัด (เมื่อสมัครในนามบุคคลเท่านั้น) - Pack 2 : สมัคร 2 ท่านขึ้นไป ลดท่านละ 2,000 บาท โดยกรอกโค้ด
PIPE05_PACK2
(ทั้งในนามองค์กร และบุคคล) - สามารถผ่อนชำระ 0% 10 เดือน ผ่านการ ซื้อ Voucher แล้วนำโค้ดที่ได้มากรอกในช่อง PROMO CODE (เมื่อสมัครในนามบุคคลเท่านั้น และไม่สามารถใช้ร่วมกับโปรโมชั่นอื่น ๆ ได้)
สามารถศึกษาขั้นตอนการผ่อนชำระเพิ่มเติมได้ที่ >> Link
- นิสิต/นักศึกษา ลด 50% ลงทะเบียนรับส่วนลดที่นี่
SECTION_TITLE.COURSE_OUTLINE
Introduction to Batch Data Pipelines
- What is Data Pipeline and why is it important?
- Batch Processing
- ETL/ELT Concepts
- Building A Production-Grade Data Pipeline
- Good Data Pipeline
- Workflow Management Tools
Introduction to Apache Airflow
- Overview of Apache Airflow and How It Works
- Why Airflow? Why not Cron?
- Core Concepts: DAGs, Tasks, Operators, and Sensors
- Real-World Use Cases
- Navigating the Apache Airflow UI
- Airflow Metadata Database, Scheduler, and Executors
- Airflow Operators, Hooks, and Connections
Managing Data Pipeline with Apache Airflow
- Project Overview
- Ingesting Data
- Transforming Data from One Form to Another
- Loading Data into Apache Hive
Scaling Apache Airflow
- Architecture of Airflow
SECTION_TITLE.SCHEDULE
Automating Your Data Pipelines with Apache Airflow
KX Building, BTS วงเวียนใหญ่
Automating Your Data Pipelines with Apache Airflow รุ่นที่ 2
SVL House, BTS สุรศักดิ์
Automating Your Data Pipelines with Apache Airflow รุ่นที่ 3
Skooldio Space
Automating Your Data Pipelines with Apache Airflow รุ่นที่ 4
Skooldio Space
Automating Your Data Pipelines with Apache Airflow รุ่นที่ 5
Skooldio Virtual Workshop
SECTION_TITLE.REVIEWS
เหมือนเปิดโลก ไม่คิดว่าตัว Airflow จะทำงานได้เยอะขนาดนี้ ลองมาเรียนดู
คุณเทป - Software Developer
ความรู้อัดแน่น ได้ลงมือทำจริง ๆ ได้คุยกับวิทยากร วิทยากรตอบคำถามได้ดีมาก จุดไหนที่ติดขัด TA ก็มาช่วย
อยากให้มาลองเรียน สำหรับคนที่ทำงานอยู่ในสาย Data ไม่ว่าจะเป็น Data Engineer Data Scientist, Data Analyst
คุณแพท - Data Analyst
ตัวคอร์สไม่ได้แค่ตัว Airflow แต่ว่าเราเห็นภาพ [Data] Pipeline ของงานที่จะทำทั้งระบบ [คอร์สนี้ทำให้] เห็นภาพรวมของ Business มากขึ้น
คุณปรเมศ - Software Developer
ผู้สอนมีประสบการณ์ค่อนข้างเยอะ และเขาก็แชร์ประสบการณ์ของเขาให้ได้เห็น Use Case จริง ๆ ก็เลยเห็นภาพ จบคอร์สแล้วเนี่ย เรารู้ว่าจะเอาไปทำอะไรต่อได้
คุณนัท - AI Researcher
SECTION_TITLE.FAQS
Q:
หากลงทะเบียนแล้วไม่สามารถไปเรียนได้
A:
กรณีแจ้งยกเลิกการเข้าร่วมอบรม
- หากแจ้งยกเลิกก่อนวันอบรมอย่างน้อย 14 วัน จะได้รับเงินคืนเต็มจำนวน
- หากแจ้งยกเลิกก่อนวันอบรมอย่างน้อย 7 วัน จะได้รับเงินคืน 50%
- หากแจ้งยกเลิกก่อนวันอบรมน้อยกว่า 7 วัน บริษัทขอสงวนสิทธิ์ในการคืนเงิน
Q:
สมัครเวิร์คชอปแล้วจะได้รับอะไรบ้าง
A:
ผู้เข้าอบรมทุกท่านจะได้รับอีเมลแจ้งการเตรียมตัว ก่อนวันอบรมประมาณ 5-7 วัน
ในวันอบรมผู้เรียนทุกท่านจะได้รับ
- อาหารกลางวัน 1 มื้อ, อาหารว่าง
- เอกสารประกอบการเรียนต่างๆ
- หนังสือและเอกสารสรุปเนื้อหาหลักสูตร
- ใบกำกับภาษีในกรณีสมัครในนามบริษัท