ןאיבד/וטנובואב Apache Spark תא ןיקתהלו ןיקתהל דציכ
Apache Spark ןורכיזב ודבועי םינותנה רמולכ ,ןורכיזב יבושיח עונמ והז .רתוי תוריהמ תויבושיח תואצות קפסל ידכ הרצונש חותפ דוקב תרזובמ תיבושיח תרגסמ איה.
Spark יקשממב ךמות API םיפרג דוביע ,המרזהל םינוש, SQL, MLLib. ב םג ךמות אוה- Java, Python, Scala ו- R תולוכשאב רקיעב ןקתומ ץוצינ .תופדעומה תופשכ Hadoop יאמצע בצמב ץוצינ רידגהלו ןיקתהל םג ןת
.וטנובואו ןאיבד תוססובמ תוצפהב Apache Spark תא ןיקתהל דציכ הארנ הז רמאמב
וטנובואב Scala -ו Java תא ןקתה
.האבה הדוקפה תועצמאב תאז תמאל לכותו לדחמ תרירבכ ןקתומה Java םע תועיגמ תוינרדומה תוצפהה תיברמ .ךלש בשחמב Scala -ו Java תא ןיקתהל ךילע ,וטנובואב Apache Spark תא ןיקתהל ידכ
$ java -version
.ןאיבדו וטנובוא תוססובמ תוצפהב Java תנקתהל תואבה תודוקפה תא ליעפהל טושפ וא וטנובואב Java תא ןיקתהל דציכ ונלש רמאמה תועצמאב Java תא ןיקתהל ךתורשפאב ,טלפ ןיא םא
$ sudo apt update $ sudo apt install default-jre $ java -version
.התוא ןיקתהלו scala תא שפחל ידכ תואבה תודוקפה תלעפה ידי לע apt רגאממ Scala תא ןיקתהל לכות ,ןכמ רחאל
$ sudo apt search scala ⇒ Search for the package $ sudo apt install scala ⇒ Install the package
.האבה הדוקפה תא לעפה ,Scala לש הנקתהה תא תמאל ידכ
$ scala -version Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
וטנובואב Apache Spark תא ןקתה
.ףוסמב תורישי ץבוקה תא דירוהל ידכ wget לש תימשרה הדוקפה לא רובע תעכ
$ wget https://apachemirror.wuchna.com/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz
.Apache Spark תפזה ץבוק תא ץלחל ידכ האבה הדוקפה תא לעפהו תדרוהש ץבוקה םקוממ וב םוקמל רבעו ךלש ףוסמה תא חתפ תעכ
$ tar -xvzf spark-3.1.1-bin-hadoop2.7.tgz
.opt/תיירפסל הצלוחש ץוצינה תיירפס תא רבעה ,ףוסבל
$ sudo mv spark-3.1.1-bin-hadoop2.7 /opt/spark
ץוצינ רובע םייתביבס םינתשמ לש הרוצת רדגה
.ץוצינה תא ליחתתש ינפל ליפורפ .ץבוקב םייתביבס םינתשמ המכ רידגהל ךילע תעכ
$ echo "export SPARK_HOME=/opt/spark" >> ~/.profile $ echo "export PATH=$PATH:/opt/spark/bin:/opt/spark/sbin" >> ~/.profile $ echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profile
.םינורחאה םייונישה תא ףקותל סינכהל ידכב האבה הדוקפה תא ליעפהל הבוח ןכ ומכ ,Apache Spark רובע םינימזו תפטעמה ךותב םישיגנ וללה םישדחה הביבסה ינתשמש אדוול ידכ
$ source ~/.profile
.sbin תייקית תחת םיאצמנ םיתורישה תא קיספהלו ליעפהל ידכ ץוצינל םירושקה םייראניבה םיצבקה לכ
$ ls -l /opt/spark
וטנובואב Apache Spark תא לעפה
.Spark לש םידבעה תורישו רטסאמה תוריש תא ליעפהל ידכ האבה הדוקפה תא לעפה
$ start-master.sh $ start-workers.sh spark://localhost:7077
.ליחתה םידבעה תורישו ילש רטסאמהש תוארל לוכי התא ףדהמ .רתאה תבותכל השיגה לש אבה ץוצינה ףד תא דלקהו ןפדפדל רובע תורישה תליחת רחאל
http://localhost:8080/ OR http://127.0.0.1:8080
.זגפ ץוצינ הדוקפה תלעפה ידי לע רדסב דבוע זגפ ץוצינ םא קודבל םג לוכי התא
$ spark-shell
.דואמ בורקב ףסונ ןיינעמ רמאמ םע ךתוא סופתנ ונא .הז רמאמ רובע הז והז