Azure Data Factory และ Azure Synapse เหมือนหรือต่างกันอย่างไร?

เรื่องที่เกี่ยวข้อง - Azure Data Factory, Azure Synapse Analytics, Data

สาย Data พอมาดูเครื่องมือของฝั่ง Microsoft จะเห็นว่ามันมี platform 2 ตัว ที่ดูคล้ายกันมากๆ และหลายครั้งอาจจะสงสัยว่า

เฮ้ย งานนี้เราควรใช้ตัวไหนดีอ่ะ?

มาๆ วันนี้พลมาเทียบให้ดูว่า เจ้า Azure Data Factory และ Azure Synapse นั้นต่างกัน หรือเหมือนกันตรงไหนบ้าง จะได้มองภาพออกได้ง่ายๆ ครับ

1. Cloud Platform เหมือนกัน

ทั้ง Azure Data Factory และ Azure Synapse เป็น data integration platform ที่ทำงานอยู่บน Cloud ของ Microsoft ทั้งคู่

ดังนั้นคุณสมบัติที่ได้รับจาก Cloud ของ Microsoft อย่าง Azure ก็จะเป็นพวก

โดยหลักๆ แล้ว งานด้าน Data ของเรา ก็มักจะเกี่ยวข้องกับพวก Activity ต่างๆ ใช่ไหม?

นั่นคืองานกลุ่ม Extract-Transform-Load (ETL) นั่นเองล่ะ

พวก Data ingestion, Data migration, Data transformation อะไรพวกนี้ ต่างก็สามารถนำมาเรียงในทั้ง 2 platform ให้กลายเป็น pipeline ได้เหมือนกัน

ดังนั้นความแตกต่างก็จะมาโฟกัสกันที่ประสิทธิภาพ และกรณีที่นำไปใช้งานและเกิดประโยชน์สูงสุดล่ะ

มี UI สวยๆ สร้างและจัดการ pipeline ได้ง่าย
สามารถดึงข้อมูลจาก source ต่างๆ ได้หลากหลาย (มาก)
ใช้ transform ข้อมูลโดยใช้ built-in data transformation หรือ custom เองก็ได้
โหลดข้อมูลไปเก็บไว้ได้ในหลากหลายรูปแบบ เช่นพวก on-premise database หรือพวก cloud data store
ดังนั้นงานที่มักทำใน Azure Data Factory ก็จะเป็นพวก migration, ingestion, processing, และ orchestration

นอกจากงานด้าน Data integration แล้ว ยังเป็น platform ที่รวมระบบการทำงานเฉพาะทางเข้าด้วยกัน เช่น
- Big Data
- Data Warehouse
- Data Analytics
รวมการทำงานระหว่าง SQL กับ Spark เข้าเป็นบริการเดียว
จัดการ และใช้ประโยชน์จาก Apache Spark ได้เต็มรูปแบบมากกว่า
ออกแบบมาเพื่อให้ทำงานกับข้อมูลเป็น batch หรือ streaming
มีส่วนที่ใช้ประโยชน์จากระบบอื่นๆ ได้โดยตรง เช่น
- การทำงานกับ Data Lake
- การทำ Real-time Analytics

Data Factory ใช้งาน Data ทั่วไป,งาน ETL
แต่ถ้าเจาะแบบ advanced หรือ analytic ลองใช้ Synapse ที่รองรับการทำงานที่ custom ได้มากกว่า

หากชอบสิ่งที่พลเล่า เรื่องที่พลสอน สามารถสนับสนุนพลโดยการเข้าเรียนคอร์สออนไลน์ของพลนะคร้าบ