CentOS 7 -ב Hadoop (Pseudonode) לש ימעפ-דח לוכשא ןיקתהל דציכ

Hadoop םע תודדומתהל בחרנ שומישב תאצמנש חותפ דוק תרגסמ איה Bigdata. לש םיטקיורפה בור Bigdata/Data Analytics תכרעמ יבג לע םינבנ Hadoop Eco-System. םינותנ דוביעל תדעוימ תפסונ תחאו םינותנ ןו

.Hadoop Eco-System לש לדחמ תרירבכ רדגומה דוביעה עונמ אוה YARN (Yet Another Resource Negotiator). Mapreduce ידי לע לפוטי דוביעו HDFS (Hadoop Distributed File System) םשב הלש םיצבקה תכרעמ יד

.CentOS 7 -ב םידדוב םיתמצ לוכשא וליעפי (JVM) םינומדה לכ רשאכ ,Hadoop לש Pseudonode -ה תנקתה לש הנקתהה ךילהת תא ראתמ הז רמאמ

.ליבקמ ןפואב עצובת המישמהו םיקולבכ םיתרשה ןיב וצפוי םינותנה ובש יתמצ-בר לוכשאכ ןקתוי Hadoop ,תמא ןמזב .Hadoop דומלל םיליחתמל רקיעב דעוימ הז

הז דומעב

1. Hadoop תנקתהל הבוח ןפואב ונלש תכרעמב תנקתומה הווא'גל םיקוקז ונא .הווא'גמ תבכרומה תיגולוקא תכרעמ איה Hadoop.

# yum install java-1.8.0-openjdk

.תכרעמב Java לש תנקתומה הסריגה תא אדו ,ןכמ רחאל .2

# java -version



.הריצעו הלחתה ומכ תולועפ עצבלו הלש םידבעה יתמצ תא רבחל ידכ SSH רוביחב תשמתשמ ישאר תמוצ .SSH תועצמאב םיתמצ להני Hadoop ,ונלש הנוכמב ssh רידגהל ונילע

.המסיסה תא ןיזהל ךילע ,רוביח תמקה לכ רובע תרחא .המסיס אלל ssh תועצמאב םידבע םע רשקתל לכוי רטסאמהש ידכ המסיס אלל ssh רידגהל ונילע

.תומיא אלל דבע רשקתל רטסאמל םורגל ידכ המסיס אלל ssh םע תויהל ונילע ,דיחי תמוצב רבודמש תורמל .םידרפנ JVM -כ ולעפי Slave (Datanode & Nodemanager) יתורישו Master (Namenode, Namenode Secondary

.תרשב תואבה תודוקפה תועצמאב המסיס תועצמאב SSH אלל הסינכ רדגה .3

# ssh-keygen
# ssh-copy-id -i localhost



.המסיס אלל רבוחמ היהת התא ,בוש רבחתהל הסנ ,המסיס אלל SSH אלל הסינכ תרדגהש רחאל .4

# ssh localhost



.האבה wget הדוקפה תועצמאב Hadoop לש הביציה הרודהמה תא דרוהו Apache Hadoop רתאל רובע .5

# wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
# tar xvpzf hadoop-2.10.1.tar.gz

.גצומש יפכ ~/.bashrc ץבוקב Hadoop לש הביבסה ינתשמ תא ףסוה ,ןכמ רחאל .6

HADOOP_PREFIX=/root/hadoop-2.10.1
PATH=$PATH:$HADOOP_PREFIX/bin
export PATH JAVA_HOME HADOOP_PREFIX

.תואבה תודוקפה תלעפה ידי לע Hadoop תא תמאו ץבוקל רוקמ ,ץבוקל ~/.bashrc -ל הביבס ינתשמ תפסוה רחאל .7

# source ~/.bashrc
# cd $HADOOP_PREFIX
# bin/hadoop version



.םינותנה ןוסחאל ולשמ הירפסו ולשמ האיצי רפסמ שי תוריש לכל ,Hadoop -ב .ךלש בשחמב בלתשהל תנמ לע Hadoop לש הרוצת יצבק ןלהל רידגהל ונילע

.גצומש יפכ hadoop-env.sh ץבוקב Hadoop ביתנ תאו JAVA_HOME תא ןכדעל ונילע ,תישאר .8

# cd $HADOOP_PREFIX/etc/hadoop
# vi hadoop-env.sh

.ץבוקה תליחתב האבה הרושה תא ןזה

export JAVA_HOME=/usr/lib/jvm/java-1.8.0/jre
export HADOOP_PREFIX=/root/hadoop-2.10.1

. core-site.xml ץבוקה תא הנש ,ןכמ רחאל .9

# cd $HADOOP_PREFIX/etc/hadoop
# vi core-site.xml

.גצומש יפכ <configuration> םיגתה ןיב תויוותה תא קבדה

<configuration>
            <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://localhost:9000</value>
           </property>
</configuration>

.DN -ו NN ןוסחאל שמשתש ,שמתשמה לש תיבה תיירפס tecmint תחת ןלהלש תוירפסה תא רוצ .10

# mkdir -p /home/tecmint/hdata/
# mkdir -p /home/tecmint/hdata/data
# mkdir -p /home/tecmint/hdata/name

. hdfs-site.xml ץבוקה תא הנש ,ןכמ רחאל .10

# cd $HADOOP_PREFIX/etc/hadoop
# vi hdfs-site.xml

.גצומש יפכ <configuration> םיגתה ןיב תויוותה תא קבדה

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>
  <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/tecmint/hdata/name</value>
  </property>
  <property>
          <name>dfs .datanode.data.dir</name>
          <value>home/tecmint/hdata/data</value>
  </property>
</configuration>

. mapred-site.xml ץבוקה תא הנש ,בוש .11

# cd $HADOOP_PREFIX/etc/hadoop
# cp mapred-site.xml.template mapred-site.xml
# vi mapred-site.xml

.גצומש יפכ <configuration> םיגתה ןיב תויוותה תא קבדה

<configuration>
                <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
                </property>
</configuration>

. yarn-site.xml ץבוקה תא הנש ,ףוסבל .12

# cd $HADOOP_PREFIX/etc/hadoop
# vi yarn-site.xml

.גצומש יפכ <configuration> םיגתה ןיב תויוותה תא קבדה

<configuration>
                <property>
                       <name>yarn.nodemanager.aux-services</name>
                       <value>mapreduce_shuffle</value>
                </property>
</configuration>

.הנושארה םעפב לוכשאה תליחת ינפל ינושארה בלשב השעיי רבדה ,ללכ ךרדב .ןקתוה הב ונלש תימוקמה תכרעמב Hadoop NN -ה תא בצעל ונילע ,לוכשאה תלעפה ינפל .13

.הנווכב שרדנ אוה ןכ םא אלא לעופ לוכשאהש ןמזב NN בצעל םיכירצ אל ונחנא ,רתוי םיריהז תויהל ונילע ןכל ,NN רוטסאטמב םינותנ ןדבואל םורגי NN -ה בוציע

# cd $HADOOP_PREFIX
# bin/hadoop namenode -format



.(50070 האיצי) :DataNode לש ןומדה תאו NameNode לש ןומדה תא לחתה .14

# cd $HADOOP_PREFIX
# sbin/start-dfs.sh



.(8088 האיצי) :NodeManager לש ןומדה תאו ResourceManager ןומדה תא לחתה .15

# sbin/start-yarn.sh



.םיתורישה לכ תא רוצעל .16

# sbin/stop-dfs.sh
# sbin/stop-dfs.sh


םוכיס

.םיתרש רפסמ םויק ךרוצל ןנע קפסל ךרטצנש וא םיידיב םייזיפ םיתרש 3- ל תוחפל םיקוקז ונא ,תמא ןמזב לוכשא לבקל וננוצרב םא .חותיפ תורטמל Hadoop לש וזה לינווה תסרגב שמתשהל ןתינש וא Hadoop תא לגרתל