Hadoop vs Spark

[Hadoop][Spark]
sparkHadoop
 
หลังจากที่มีผู้สนใจในเรื่องของ Apache Spark อย่างมากมาย จะมีคนพูดว่า จะนำ Spark มาใช้แทนที่ Hadoop เลยหรือไม่
 
มีบทความที่น่าสนใจ ที่ได้พูดถีงการเปรียบเทียบใน Hadoop ecosystem และ Spark framework ซิ่งมีสิ่งน่าน่าสนใจดังนี้
 
*Credit Rujirapong Ritwong from sharing original post
 
จากบทความ
 
1. อย่าไปหลงเชื่อกับ Vendors ที่ขาย “Big Data” และการขาย Hadoop Distribution โดยการนำ product หลายๆอย่างมารวมกัน
 
Product/Package ที่ vendors ได้นำเสนอแก่ลูกค้าไม่ใช่จะถูกต้องเสนอมไป คำว่า Hadoop จริงๆมันมี หลายๆส่วนประกอบ ซิ่ง สามารถประกอบมาเป็น framework
 
การแนะนำว่า จะนำ Alluxio มาทนแทน HDFS, นำ Tez มาแทน Mapreduceการนำ Mesos มาแทน YARN หรือการนำ Hive มาครอบอีกทีนั้น เป็นแค่ทางเลือกทางหนี่งในการสร้าง framework เท่านั้น เราสามารถ มีทางเลือกอื่น หรือ อาจจะเลือก ส่วนประกอบอื่นๆเช่น อาจจะเลือก Map reduce แทนที่ Tez ก็ได้
 
** ในปัจจุบัน คำว่า Hadoop ไม่ได้เป็นแค่ช้างตัวเดียวแล้ว แต่มันหมายถีง Hadooop ecosystem หรือ framework ที่ทุกคนใช้เรียกการเก็บข้อมูลแบบใหม่ การจะนำ ส่วนประกอบอะไร มาประกอบเป็น framework จะขิ้นอยู่กับงานนั้นๆ
 
2. Spark ไม่ได้รองรองในทุกๆจุด เหมือน hadoop แต่ Spark เป็นตัวเสริม เข้ากับ Hadoop cluster ที่ดีเยี่ยมและสามารถใช้ประโยชน์จากความสามารถของตัวมันเองได้ดีมาก แต่ การทำงานของ Spark ก็ยังคงต้องอ้างอิงถีง ส่วนประกอบของ Hadoop ecosystem อยู่ดี
 
*** Spark ดี แต่เป็นส่วนหนี่งที่ทำเพิ่มประสิทธิภาพให้ hadoop ecosystem
 
3. Spark เป็น technology ที่ใหม่มาก(ยังมีอายุไม่ถีง 6 ปี) และยังจะต้อง mature อีกมาก จากบทความ ผู้เขียนคาดการว่า ในอีก 3-4 ปี คำว่า hadoop stack จะถูกเรียกชื่อใหม่เป็น Big Data Stack หรือ อะไรที่คล้ายๆแบบนี้ เพราะ มันจะรวมส่วนประกอบที่มากกว่าแค่ hadoop (ซิ่งก็รวมไปถีง spark และ technology ใหม่ๆที่จะเกิดขิ้นเพื่อรองรับ Big data)
 
*** ไม่ว่าจะวันนี้ อะไรจะเป็นที่นิยม สิ่งสำคัญคือ มันถูกสร้างมาเพื่อแก้ปัญหา Big Data เมื่อมีปัญหาก็จะมีการสร้าง technology ใหม่ๆมาให้ธุรกิจได้นำมาช่วยในการแก้ปัญหา อย่ายีดติด กับ technology แต่จงเข้าใจมัน รู้ว่าจะนำมาใช้อย่างไร
 
เราควรรู้ว่า มีอาวุธอะไร ที่เราสามารถนำมาใช้ในการต่อสู้ได้บ้าง รู้ว่าใช้มันอย่างไร (หรือ มีคนที่พร้อมที่จะใช้มัน) และนำมันมาใช้ให้ทันเวลา ตรงกับปัญหานั้นๆขององค์กร เพื่อไม่ได้ทำแค่ให้เราได้อยู่รอด แต่มันจะทำให้ท่านชนะในสนามธุรกิจเลยครับ
 
Welcome to the world of sparking big data ครับ
 
Adopted by http://0x0fff.com/will-spark-replace-hadoop/#more-147
 
Data Science Thailand Team

Leave Comment

Your email address will not be published. Required fields are marked *