.NET

รู้จักกับ .NET for Apache Spark: รีดพลัง Data Analytic แบบ Cross Platform

เรื่องที่เกี่ยวข้อง - , ,

Big Data อาจจะไม่ใช่เรื่องใหม่ และเครื่องมือที่ไว้ใช้งานเพื่อให้ได้ประโยชน์จากข้อมูลมหาศาล ก็ถูกพัฒนาขึ้นมาใช้งานต่อเนื่อง ซึ่งในรอบนี้คือทางฝั่ง .NET ซึ่งเป็นเครื่องมือทางฝั่ง Developer ในชื่อของ .NET for Apache Spark ครับ

รู้จักกับ Apache Spark

Big Data อาจจะไม่ใช่เรื่องใหม่ และเครื่องมือที่ไว้ใช้งานเพื่อให้ได้ประโยชน์จากข้อมูลมหาศาล ก็ถูกพัฒนาขึ้นมาใช้งานต่อเนื่อง ซึ่งในรอบนี้คือทางฝั่ง .NET ซึ่งเป็นเครื่องมือทางฝั่ง Developer ในชื่อของ .NET for Apache Spark ครับ

Apache Spark เป็นระบบที่ออกแบบมาสำหรับวิเคราะห์ชุดข้อมูลขนาดใหญ่ ระดับ terabytes หรือ petabytes

ซึ่งสามารถใช้ประมวลผลข้อมูลได้ในหลายรูปแบบ เช่น

  • การประมวลผลข้อมูลเป็นชุด
  • ข้อมูลแบบสตรีม
  • Machine Learning

โดยการทำงานดังกล่าวสามารถแบ่งการทำงานเป็น node ได้, เก็บ cache ในหน่วยความจำ เพื่อลดเวลาที่ใช้ในการคำนวนเป็นหลัก

การทำงานของ .NET for Apache Spark

รูปแบบของ .NET for Apache Spark ถูกสร้างขึ้นมาบน Apache Spark Interop และออกแบบให้ประมวลผลได้รวดเร็ว และที่สำคัญคือรองรับหลายภาษาโปรแกรมมิ่งด้วย

นอกจากนี้ ตัว .NET for Apache Spark ยังทำมาเป็น .NET Standard ทำให้รองรับการทำงานกับหลายๆ ระบบในปัจจุบัน ผ่านช่องทางของระบบที่รองรับ .NET ด้วย

สำหรับคนทำ .NET สามารถมองได้ว่า .NET for Apache Spark เป็น Interop Layer อันหนึ่ง เหมือนที่ใช้ต่อฐานข้อมูลอย่าง SQL Server ก็ได้ครับ เพียงแต่รอบนี้เราต่อกับ Apache Spark

จุดเด่นของ .NET for Apache Spark

  • นอกเหนือจากภาษา C# แล้ว ตัว .NET for Apache Spark ยังรองรับภาษา F# อีกด้วย
  • ใช้งานกับ Library ของ .NET Standard ได้ เช่น Newtonsoft.Json หรือ ML.NET
  • รองรับการใช้งานบน Linux, macOS, และ Windows
  • พร้อมใช้บน Azure เช่น
    • Azure HDInsight
    • ติดตั้งบน Azure Databricks, Azure Kubernetes Service, AWS Databricks, AWS EMR ได้
  • ฟรี (อันนี้น่าจะสำคัญสุดแล้ว)

คลิปอธิบาย .NET for Apache Spark

ติดตามอัพเดตจากพลได้ผ่านช่องทางต่อไปนี้ครับ

อ้างอิง – .NET for Apache Spark

Loading Facebook Comments ...

Leave a Reply

Your email address will not be published. Required fields are marked *

Fill out this field
Fill out this field
Please enter a valid email address.

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Menu