Big Data บน Cloud

Big Data บน Cloud

ds2

By Narongrit Kongthong, Data Science Thailand Team

บางครั้ง แทนที่จะตั้งคำถามว่า Spark หรือ Hadoop ดี? คำถามที่ควรจะถามมากกว่าคือ โครงสร้างแบบไหนที่เหมาะกว่าการวิเคราะห์ข้อมูลกว่ากัน ไม่ใช่ A หรือ B Yes หรือ No เสมอไป แต่เป็นการรันทั้งสองอย่างบนความยืดหยุ่นโดยยึดโครางสร้างทั้งสองแบบให้ถูกตามความต้องการ Cloud ในช่วงหลังๆมานี้เป็นตัวเลือกที่นิยมมาก ในการนำมาใช้พัฒนาและ test แอพพลิเคชั่นสำหรับการประมวลผลข้อมูลใหม่ๆ ที่ใหผลลัพธ์ที่แตกต่างออกไป

ส่วนประกอบที่สำคัญใน big data analytics

1. A single source of truth – ตัวอย่างคือ Amazon Web Services เก็บกักข้อมูลที่เป็น Single source of truth ไว้ใน ฐานข้อมูลจำพวก DynamoDB, RDS, Aurora, หรือ Redshift

2. Real-time analytics – ปรับปรุง single source of truth ด้วยข้อมูลการซือขายที่ stream มาจาก cloud, การประมวลผลประจำวัน อย่างเช่น พวกยอดขายทางการเงิน หรือใช้โปรแกรมอื่นอย่างเช่น Apache Storm หรือ Spark ช่วย

3. Dedicated task clusters ใช้โปรแกรมอื่นอย่างเช่น Hadoop ในการประมวลภาพ และ visualization ที่ทำหน้าที่โดยเฉพาะ การส่งข้อมูลผ่าน cloud เป็นที่นิยมมาก ขึ้น ในปัจจุบัน และถูกใช้งานได้อย่างมีประสิทธืภาพ ยกตัวอย่างเช่น Amazon ที่ใช้ cloud ในการอัพเดท สภาพอากาศบนแอพ weather channel ที่มีช้อมูลชองสถานที่เป็นล้านๆแห่งแต่ใช้เวลาอัพเดทเพียงแค่สองสามนาทีเท่านั้น ในอนาคต จะมีการประยุกต์ใช้ cloud ให้เข้ากับการประมวลผลแบบดั้งเดิมให้เห็นอีกมากมาย

Source:

http://www.infoworld.com/article/2905917/big-data/big-data-is-all-about-the-cloud.html

 

 

 

Leave Comment

Your email address will not be published. Required fields are marked *