3 קלח - CentOS/RHEL 7 -ב Cloudera להנמ תא רידגהלו ןיקתהל דציכ
.תמלשומ הרוצב םינכומ םיתרשה לכש ואדוו ,Cloudera לש םימדקומה םיאנתה תא ונרבע רבכ 2 קלחב .היישעתה תוטישל םאתהב Cloudera Manager תנקתהל בלש רחא בלש ךילהתה תא ונראית הז רמאמב
.ןלהל הלאה םיתרשה 5 תא יתנייצ .הנקתהה ךילה תא םיגדהל ידכ AWS EC2 לש םירקמ השימחב יתשמתשה .םידבוע 3- ו םינודא 2 ובש תמוצ לוכשא 5 ךרטצנ ןאכ
master1.linux-console.net master2.linux-console.net worker1.linux-console.net worker2.linux-console.net worker3.linux-console.net
Cloudera Manager ה לכ לע חוקיפו לוהינ ילכ אוה- CDH. רובע לוהינ ילכ ללכ ךרדב תאז םינכמ םילהנמ ונא Cloudera Hadoop. ולוכ לוכשאה לוהינל ינויח דואמ הז .הזה ילכה תרזעב הרוצת ייוניש עצבלו טולשל
.הרדולק להנמ לש םיבושחה םישומישה ןלהל
CentOS -ב Apache לש טנרטניאה תרש תנקתה :1 בלש
.apache טנרטניאה תרש תא ןיקתהל ידכ םיאבה םיבלשה תא עצב .Apache תא ןיקתהל ונילע ןכל ,WebUI אוה Cloudera להנמ ,ןכ ומכ .Cloudera ירגאמ רובע טנרטניא תרשכ master1 -ב שמתשהל םיכלו
# yum -y install httpd
.לוחתאה תעב לעפוי אוהש ךכ ותוא לעפהו ותוא לעפה ,httpd תנקתה רחאל
# systemctl start httpd # systemctl enable httpd
.סוטטסה תא אדו ,httpd תלעפה רחאל
# systemctl status httpd
.רדסב לעופ httpd -ש אדוול ידכ הזה הקידבה ףד תא לבקל ךילע ,שופיחה לגרסב master1 לש IP -ה תבותכ תא קבדהו ךלש תימוקמה תכרעמב ןפדפד חתפ ,httpd תלעפה רחאל
חראמ םשו IP ןורתפל ימוקמה DNS -ה תא רדגה :2 בלש
.רוצייה תביבס רובע םש היהי ידועיי DNS תרש ,תמא ןמזב ךא ,etc/hosts/םירידגמ ונא ןאכ .חראמ םשו IP ןורתפל etc/hosts/רידגהל וא DNS תרש תויהל ונילע
.etc/hosts/-ב ךלש םיתרשה לכ רובע ךרע ךורעל ידכ םיאבה םיבלשה תא עצב
# vi /etc/hosts
.םיתרשה לכב רדגומ תויהל ךירצ הז
13.235.27.144 master1.linux-console.net master1 13.235.135.170 master2.linux-console.net master2 15.206.167.94 worker1.linux-console.net worker1 13.232.173.158 worker2.linux-console.net worker2 65.0.182.222 worker3.linux-console.net worker3
SSH לש המסיס אלל הסינכ תא רדגה :3 בלש
.תוליבח תנקתהל םירחאה םיתמצה לכ םע רשקתל ידכ ssh -ב שמתשי Cloudera להנמש ןוויכמ .םיתמצה ראש לכל master1 -מ המסיס אלל ssh רידגהל ונילע .וז המגדהב master1 לע ןק
.האלה ךישמהל 'tecmint' שמתשמל היהיש םיכלוה ונא .ורתונש םיתרשה לכל master1 מ המסיס אלל ssh רידגהל ידכ םיאבה םיבלשה תא עצב
.גצומש יפכ useradd הדוקפה תועצמאב םיתרשה 4 לכ תא 'tecmint' שמתשמ רוצ
# useradd -m tecmint
.ךסמה םוליצב תתל ומכ שרושל תחתמ וזה הרושה תא ףיסוהל לוכי התא .etc/sudoers/ץבוקל האבה הרושה תא ףסוה ,'tecmint' שמתשמל שרושה תאשרה תא קינעהל ידכ
tecmint ALL=(ALL) ALL
.ןלהלש הדוקפה תועצמאב master1 ב ssh חתפמ רוצו 'tecmint' שמתשמל רובע
# sudo su tecmint $ ssh-keygen
.גצומש יפכ ssh-copy-id הדוקפה תועצמאב םיתרשה 4 לכל רצונש חתפמה תא קתעה תעכ
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email
.גצומש יפכ המסיס אלל םיתרשה לכ ראשיהל master1 מ ssh לגוסמ תויהל רומא התא תעכ
$ ssh master2 $ ssh worker1 $ ssh worker2 $ ssh worker3
Cloudera להנמ לש הרוצתו הנקתה :4 בלש
.רוצייה יתרשב טנרטניאל השיג ונל ןיא ילואש ןוויכמ רתויב הבוטה הטישה איה ונלשמ רגאמ תריצי ,תמא ןמזב .RHEL/CentOS -ב תוליבחה לוהינ ילכ תועצמאב תוליבחה לכ תא ןיקתהל ידכ (Cloudera) קפסה רגאמב
.ל"נה ביתנב תוליבחה תא םידירומ ונא ,repo -ה תרשכ master1 -ב שמתשהל םיכלוה ונחנאש ןוויכמ .Cloudera Manager 6.3.1 תא ןיקתהל םינווכתמ ונא ןאכ
. master1 תרשב ןלהלש תוירפסה תא רוצ
$ sudo mkdir -p /var/www/html/cloudera-repos/cm6
.האבה הדוקפה תועצמאב wget תא ןקתה ,ןכל .http ךרד תוליבח תדרוהל wget ילכב שמתשהל םילוכי ונא
$ sudo yum -y install wget
.האבה wget תדוקפ תועצמאב Cloudera Manager לש תפזה ץבוק תא דרוה ,ןכמ רחאל
$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
.ןפדפדב ונקדבו http תנקתה ידי לע טנרטניא תרשכ master1 תא ונכפה רבכ ,var/www/html/cloudera-repos/cm6/-ל תפזה ץבוק תא ץלח
$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
.var/www/html/cloudera-repos/cm6/RPMS/x86_64/היירפסב םיאצמנ Cloudera לש ד"לסה יצבוק לכש אדו תעכ
$ cd /var/www/html/cloudera-repos/cm6 $ ll
.טנרטניאה תרש אוה master1 (65.0.101.148)> ןאכ ,אבה ןכותה םע לוכשאה יחראמב םיתרשה לכב םיצבק etc/yum.repos.d/cloudera-manager.repo/ רוצ
[cloudera-repo] name=cloudera-manager baseurl=http:///cloudera-repos/cm6/ enabled=1 gpgcheck=0
.םירשפואמה םירגאמה תא גיצהל ידכ הטמל הדוקפה תא לעפה ,ףסונ רגאמה תעכ
$ yum repolist
.רגאמב Cloudera -ל תורושקה תונימזה תוליבחה לכ תא גיצהל ידכ הטמל הדוקפה תא לעפה
$ yum list available | grep cloudera*
.cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2 ןקתה
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
.תונקתומה Cloudera תוליבח לכ תא גיצהל ידכ הטמל הדוקפה תא לעפה
$ yum list installed | grep cloudera*
.םירחא םיתורישו Cloudera Manager לש םינותנ-הטמ ןוסחאל יסיסב םינותנ סיסב הווהמה cloudera-scm-server-db תא ליעפהל ידכ ןלהלש הדוקפה תא לעפה
.PostgreSQL וא Oracle, MySQL תויהל לוכי הז .וב שמתשהל ןתינש תמא ןמזב ינוציח םינותנ דסמב ,עבטומה תא םיניקתמ ונא .Cloudera להנמב עמטומה postgre-sql םע עיגמ Cloudera ,לדחמ תרירבכ
$ sudo systemctl start cloudera-scm-server-db
.םינותנה דסמ בצמ תא קודבל ידכ הטמל הדוקפה תא לעפה
$ sudo systemctl status cloudera-scm-server-db
.Cloudera Manager תרש רובע .db םינייפאמה תרוצת תא עבק
$ vi /etc/cloudera-scm-server/db.properties
.ץבושמה םינותנה דסמב שמתשהל Cloudera להנמל םורגל ידכ עבטומ אוה הטמלש ךרעה לש הרוצתה תא רדגה
com.cloudera.cmf.db.setupType=EMBEDDED
.Cloudera Manager תרש תא ליעפהל ידכ הטמל הדוקפה תא לעפה
$ sudo systemctl start cloudera-scm-server
.Cloudera -ה להנמ תרש לש ובצמ תא קודבל ידכ הטמל הדוקפה תא לעפה
$ sudo systemctl status cloudera-scm-server
.Cloudera Manager ןכוס לש ובצמ תא קודבלו ליחתהל ידכ הטמלש הדוקפה תא לעפה
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
.Cloudera Manager לש האיציה רפסמ אוהש 7180 האיצי רפסמו IP תבותכ תועצמאב ןפדפדב (הסינכה ףד) WebUI תא גיצהל לוכי התא ,החלצהב לעופ Cloudera Manager תרשש רחאל
https://65.0.101.148:7180
.אבה רמאמב תורחא תוריש תונקתהו CDH תא הארנ .CentOS 7 -ב Cloudera Manager תנקתהל בלש רחא בלש ךילהת וניאר הז רמאמב