4 קלח - CentOS/RHEL 7 -ב תוריש ימוקימ רידגהלו CDH ןיקתהל דציכ

.RHEL/CentOS 7 -ב CDH (Cloudera Distribution Hadoop) תא רידגהלו ןיקתהל דציכ דמלת הז רמאמב ,Cloudera להנמ לש הנקתהה לע ונרבסה םדוק רמאמב

.הנטקהו הלודגה CDH תסרגל ההז תויהל תבייח Cloudera -ה להנמ לש הנטקהו תירקיעה הסרגה .<הקוזחת> .. - םיקלח השולש תללוכ Cloudera תסרג .CDH -ו Cloudera -ה להנמ תומיאת תא אדוול וני

.תומיאת תויעב עונמל ידכ םיהז תויהל םיבייח ןיטקו רו'גיימ .תינשמה הסרגה איה 3- ו הלודג איה 6 ןאכ .CDH 6.3.2 -בו Cloudera Manager 6.3.1 -ב םישמתשמ ונא ,אמגודל

    .ופיר תרשכ master1 -ב םישמתשמ ונא ןכ ומכ ,master1 -ב Cloudera -ה להנמ תא ונקתה רבכ .CDH תנקתהל ןלהל םיתמצה 2 תא חקינ

    master1.linux-console.net
worker1.linux-console.net

    ישארה תרשב CDH תוליבח דרוה :1 בלש

    .RHEL/CentOS 7 -ל םימאות תויהל םיכירצש םיצבק 3 ןלהל דירוהל ונילע .var/www/html/cloudera-repos/cdh/הירפסב CDH Parcels יצבק דרוהו master1 תרשל רבחתה ,תישאר .1

    CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

    .var/www/html/cloudera-repos/location/תחת cdh תיירפס רוציל דפקה ,הלא םיצבק תדרוה ינפל .2

    $ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

    .האבה wget תדוקפ תועצמאב ליעל ורכזוהש םיצבקה 3 תא דרוה ,ןכמ רחאל .3

    $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json

    םידבוע תוחוקלל Cloudera Manager להנמ ופיר רדגה :2 בלש

    .הנקתהה ןמזב ןפדפדה תרשמ ודרוי םישרדנה RPM הו תוליבחה לכש םיתרשל חיטבמ הז ופיר ץבוק .רתונש םידבועה תרש לכל repo (master1) -ה תרשמ repo (cloudera-manager.repo) -ה ץבוק תא קתעהו םידבועה יתרש

    cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

    .לעפומ cloudera-manager לש םושירהש אדוול ידכ םירשפואמה םירגאמה תא םושר ,ח"ודה תפסוה רחאל .5

    $ yum repolist

    םידבועה יתרש לע ןכוסה תאו Cloudera Manager לש םינומדה תא ןקתה :3 בלש

    .םירתונה םיתרשה לכב cloudera-manager-agent -ו cloudera-manager-daemons ןיקתהל ונילע ,תעכ .6

    $ sudo yum install cloudera-manager-daemons cloudera-manager-agent

    .Cloudera Manager תרש לע חוודיש ךכ Cloudera Manager ןכוס לש הרוצתה תא רידגהל ךילע ,ןכמ רחאל .7

    $ sudo vi /etc/cloudera-scm-agent/config.ini

    .Cloudera Manager תרש לש IP תבותכב localhost תא ףלחה

    .סוטטסה תא תמאו Cloudera Manager Agent תא לעפה .8

    $ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

    CDH תא ןקתהו ןקתה :4 בלש

    .Cloudera Manager תועצמאב תיטמוטואה הנקתהה רחא בקוע התא םא /etc/yum.repos.d/ ב Cloudera Manager לש ופיר ץבוק שי םיתרשה לכלש אדו .master1 - repo תרשב CDH תוליבח ונל שי

    .Cloudera Manager לש לדחמ תרירבכ םירדגומה המסיסהו שמתשמה םשב שמתשהו 7180 האיציב ןלהלש רתאה תבותכ תועצמאב Cloudera להנמל סנכיה .9

    http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

    .Cloudera Manager לש תושדח תונוכת ,תואסרג תורעה אוצמל ולכות ןאכ .החיתפה ףד םע ךינפ תא לבקי ,רבחתתש רחאל .10

    .ךשמהו ןוישירה תא לבק .11

    .ךכב ךישמהל םילוכי ונא ,לדחמ תרירבכ הרחבנ ןויסינה תסרג .הרודהמב רחב .12

    .הכרבה ףדב ךשמה .לוכשאה תנקתה יבלש רחא בוקע ,תעכ .13

    .ליגר לוכשא םע םיכישממ ונא .רידגהל לוכי התאש לוכשא לש םיגוס ינש םנשי ."tecmint"\םשב ונמש ,ךשמהו לוכשאל םש ןת .14

      .CDH ןיקתהל םיכירצ ונא ונילעש םיחראמה תא תיטמוטוא רתאי Cloudera להנמ .שפחלו" םישדח םיחראמ "\ תורשפאב םיתרשה לש IP -ה וא FQDN -ה תא ןיזהל ךילע ,תיטמוטוא הנקתהל ." םויכ םילהונמה םיחראמה"ב הל

      .ךשמהו 'חראמ םש' תריחב ידי לע םיחראמה לכ תא רחב ,"עגרכ םילהונמ םיחראמ"\לע ץחל ,ןאכ

      .רגאמה תא רידגהל ידכ 'תופסונ תויורשפא' לע ץחל .תצלמומה ךרדה איה הליבחב שומיש - רגאמ רחב .16

      .(Cloudera Repositories) טנרטניאה לע םיעיבצמה ורתונש םיירוביצה םירגאמה לכ תא רסה .ןלהל רומאכ ימוקמה רגאמה לש רתאה תבותכ תא ןזה .17

      .master1 -ב ונל שיש CDH ימוקמה רגאמה לש רתאה תבותכ יהוז

      http://104.211.95.96/cloudera-repos/cdh/

      .הז בלש ךשמה .תונימז תוליבח קר גיצי הז ףד ,רגאמה לש URL -ה תבותכ תנזה רחאל .18

      .םינימזה םיתרשה לכב תולעפומו תודרפנ ,תוצפומ ,תודירומ תוליבחה תעכ .19

      .םיכישממו םיגלדמ ונחנא הנה .לוכשאה לש תוניקת תקידב עצבי הז בלש .לוכשאה תא קודב ,CDH -ה תוליבח תלעפה רחאל .20

      לוכשא תרוצת :5 בלש

      .תישיא םימאתומ םיתוריש םע םיכלוה ונא ,לדחמ תרירבכ םינימז ויהי םיזורא םיבוליש המכ .לוכשאב הנקתהל םיתורישה תא רוחבל ונילע ןאכ .21

      .וז המגדה תרטמל (YARN -ו HDFS) דבלב Core יביכר םיניקתמ ונא תישיא םימאתומ םיתורישב .22

      .ההובג תונימז םע םיתמצ 20 דע 5 םע יסיסב ןטק לוכשאל תצלמומה םידיקפתה תקולח תא ראתמה ןלהלש םישרתה תא אצמ .ונלש תושירדה יפ לע תישיא םיאתהל םילוכי ונא .תרשל םידיקפתה תא הצקה .23

      .חילצהל רומא אוה ,רוביחה תא קודב .לדחמ תרירבכ רחביי אוה ,Embedded PostgreSQL -ב םישמתשמ ונא רשאכ .המסיסהו שמתשמה םש ,DB -ה םש ,חראמה םש ,םינותנה דסמ גוסב רחב .24

      .הזב ךשמה זאו .ךרוצה תדימב םייוניש עצבל לכותו הרוצתה יטרפ לכב ןייע .םינותנ תוירפס ללוכ ,טוחו HDFS לש לדחמ תרירבכ םירדגומה הרוצתה ירטמרפ תא גיצי הז ףד .25

      .לוכשאה ןיינב לש הקלח הנקתה לע טילחמ הז בלש ,ללכ ךרדב .לשכיי הז בלש ,לוכשאב האשרה וא תשרב תויעב שי םא .תוצר תודוקפ לש םיטרפה תא תוארל ידכ ותוא ביחרהל לוכי התא .'הנושאר הלעפה' הדוקפה יטרפ ת

      .CDH תנקתה רחאל Cloudera Manager לש םינווחמה חול והז .הנקתהה תמלשהל 'םויס' לע ץחל ,ליעלש בלשה תמלשה רחאל .27

      http://104.211.95.96:7180/cmf/home

      .םיבורקה םירמאמב תוילוהינה תולועפה לכ תא הארנ .הז Cloudera להנמ תועצמאב לוכשאה לכ תא להנל םילוכי ונא .' וכו IO קסיד ,לוכשא דבעמ לע חקפל לוכי התא הבש םימישרת לש שארמ תרדגומ הצובק אוצמל לוכי