ןאיבד/וטנובואב Apache Spark תא ןיקתהלו ןיקתהל דציכ

Apache Spark ןורכיזב ודבועי םינותנה רמולכ ,ןורכיזב יבושיח עונמ והז .רתוי תוריהמ תויבושיח תואצות קפסל ידכ הרצונש חותפ דוקב תרזובמ תיבושיח תרגסמ איה.

Spark יקשממב ךמות API םיפרג דוביע ,המרזהל םינוש, SQL, MLLib. ב םג ךמות אוה- Java, Python, Scala ו- R תולוכשאב רקיעב ןקתומ ץוצינ .תופדעומה תופשכ Hadoop יאמצע בצמב ץוצינ רידגהלו ןיקתהל םג ןת

.וטנובואו ןאיבד תוססובמ תוצפהב Apache Spark תא ןיקתהל דציכ הארנ הז רמאמב

וטנובואב Scala -ו Java תא ןקתה

.האבה הדוקפה תועצמאב תאז תמאל לכותו לדחמ תרירבכ ןקתומה Java םע תועיגמ תוינרדומה תוצפהה תיברמ .ךלש בשחמב Scala -ו Java תא ןיקתהל ךילע ,וטנובואב Apache Spark תא ןיקתהל ידכ

$ java -version

.ןאיבדו וטנובוא תוססובמ תוצפהב Java תנקתהל תואבה תודוקפה תא ליעפהל טושפ וא וטנובואב Java תא ןיקתהל דציכ ונלש רמאמה תועצמאב Java תא ןיקתהל ךתורשפאב ,טלפ ןיא םא

$ sudo apt update
$ sudo apt install default-jre
$ java -version

.התוא ןיקתהלו scala תא שפחל ידכ תואבה תודוקפה תלעפה ידי לע apt רגאממ Scala תא ןיקתהל לכות ,ןכמ רחאל

$ sudo apt search scala  ⇒ Search for the package
$ sudo apt install scala ⇒ Install the package

.האבה הדוקפה תא לעפה ,Scala לש הנקתהה תא תמאל ידכ

$ scala -version 

Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

וטנובואב Apache Spark תא ןקתה

.ףוסמב תורישי ץבוקה תא דירוהל ידכ wget לש תימשרה הדוקפה לא רובע תעכ

$ wget https://apachemirror.wuchna.com/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz

.Apache Spark תפזה ץבוק תא ץלחל ידכ האבה הדוקפה תא לעפהו תדרוהש ץבוקה םקוממ וב םוקמל רבעו ךלש ףוסמה תא חתפ תעכ

$ tar -xvzf spark-3.1.1-bin-hadoop2.7.tgz

.opt/תיירפסל הצלוחש ץוצינה תיירפס תא רבעה ,ףוסבל

$ sudo mv spark-3.1.1-bin-hadoop2.7 /opt/spark

ץוצינ רובע םייתביבס םינתשמ לש הרוצת רדגה

.ץוצינה תא ליחתתש ינפל ליפורפ .ץבוקב םייתביבס םינתשמ המכ רידגהל ךילע תעכ

$ echo "export SPARK_HOME=/opt/spark" >> ~/.profile
$ echo "export PATH=$PATH:/opt/spark/bin:/opt/spark/sbin" >> ~/.profile
$ echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profile

.םינורחאה םייונישה תא ףקותל סינכהל ידכב האבה הדוקפה תא ליעפהל הבוח ןכ ומכ ,Apache Spark רובע םינימזו תפטעמה ךותב םישיגנ וללה םישדחה הביבסה ינתשמש אדוול ידכ

$ source ~/.profile

.sbin תייקית תחת םיאצמנ םיתורישה תא קיספהלו ליעפהל ידכ ץוצינל םירושקה םייראניבה םיצבקה לכ

$ ls -l /opt/spark

וטנובואב Apache Spark תא לעפה

.Spark לש םידבעה תורישו רטסאמה תוריש תא ליעפהל ידכ האבה הדוקפה תא לעפה

$ start-master.sh
$ start-workers.sh spark://localhost:7077

.ליחתה םידבעה תורישו ילש רטסאמהש תוארל לוכי התא ףדהמ .רתאה תבותכל השיגה לש אבה ץוצינה ףד תא דלקהו ןפדפדל רובע תורישה תליחת רחאל

http://localhost:8080/
OR
http://127.0.0.1:8080

.זגפ ץוצינ הדוקפה תלעפה ידי לע רדסב דבוע זגפ ץוצינ םא קודבל םג לוכי התא

$ spark-shell

.דואמ בורקב ףסונ ןיינעמ רמאמ םע ךתוא סופתנ ונא .הז רמאמ רובע הז והז