Big Data อาจจะไม่ใช่เรื่องใหม่ และเครื่องมือที่ไว้ใช้งานเพื่อให้ได้ประโยชน์จากข้อมูลมหาศาล ก็ถูกพัฒนาขึ้นมาใช้งานต่อเนื่อง ซึ่งในรอบนี้คือทางฝั่ง .NET ซึ่งเป็นเครื่องมือทางฝั่ง Developer ในชื่อของ .NET for Apache Spark ครับ
รู้จักกับ Apache Spark
Apache Spark เป็นระบบที่ออกแบบมาสำหรับวิเคราะห์ชุดข้อมูลขนาดใหญ่ ระดับ terabytes หรือ petabytes
ซึ่งสามารถใช้ประมวลผลข้อมูลได้ในหลายรูปแบบ เช่น
- การประมวลผลข้อมูลเป็นชุด
- ข้อมูลแบบสตรีม
- Machine Learning
โดยการทำงานดังกล่าวสามารถแบ่งการทำงานเป็น node ได้, เก็บ cache ในหน่วยความจำ เพื่อลดเวลาที่ใช้ในการคำนวนเป็นหลัก
การทำงานของ .NET for Apache Spark
รูปแบบของ .NET for Apache Spark ถูกสร้างขึ้นมาบน Apache Spark Interop และออกแบบให้ประมวลผลได้รวดเร็ว และที่สำคัญคือรองรับหลายภาษาโปรแกรมมิ่งด้วย
นอกจากนี้ ตัว .NET for Apache Spark ยังทำมาเป็น .NET Standard ทำให้รองรับการทำงานกับหลายๆ ระบบในปัจจุบัน ผ่านช่องทางของระบบที่รองรับ .NET ด้วย
สำหรับคนทำ .NET สามารถมองได้ว่า .NET for Apache Spark เป็น Interop Layer อันหนึ่ง เหมือนที่ใช้ต่อฐานข้อมูลอย่าง SQL Server ก็ได้ครับ เพียงแต่รอบนี้เราต่อกับ Apache Spark
จุดเด่นของ .NET for Apache Spark
- นอกเหนือจากภาษา C# แล้ว ตัว .NET for Apache Spark ยังรองรับภาษา F# อีกด้วย
- ใช้งานกับ Library ของ .NET Standard ได้ เช่น Newtonsoft.Json หรือ ML.NET
- รองรับการใช้งานบน Linux, macOS, และ Windows
- พร้อมใช้บน Azure เช่น
- Azure HDInsight
- ติดตั้งบน Azure Databricks, Azure Kubernetes Service, AWS Databricks, AWS EMR ได้
- ฟรี (อันนี้น่าจะสำคัญสุดแล้ว)
คลิปอธิบาย .NET for Apache Spark
ติดตามอัพเดตจากพลได้ผ่านช่องทางต่อไปนี้ครับ
- ติดตามจากแฟนเพจ Nextflow
- กดติดตามคลิปใหม่ๆ Subscribe YouTube Channel ของพลได้เลย
- โทรติดต่อบริการจัดอบรม 083-071-3373 คลิกโทรผ่านมือถือได้เลย
- สอบถามผ่านทาง LINE คลิก
- สอบถามผ่านทาง Facebook คลิก
อ้างอิง – .NET for Apache Spark