2 קלח - החטבא תחשקהו Hadoop לש תומדקומ תושירד תרדגה

.ןוגראה לש החטבאה תוינידמל םאתהב םיתרשה תא ןיכהל ונילעו Hadoop תנקתהל תרשה תא ןיכהל ונילע ,הלעפהה תכרעמ תנקתה רחאל .לודג לוכשאה לדוג םא תמא ןמזב הביבסב kickstart תועצמאב תושעיהל לוכי הז ,ה

.תושירדל םאתהב הנוש תויהל הלוכי וז החטבא תושקתה .רוציי יתרשל CIS -ה דדמ יפ לע החטבא תושקתה אשונב םיבושח םיפיט המכ ונשגדה ,ןכ ומכ .Cloudera ידי לע תצלמומה הלעפהה תכרעמ תמרב תומדקומ תושירד ל

Cloudera Hadoop לש םדק תושירד תרדגה

.Cloudera ידי לע תצלמומה הלעפהה תכרעמ תמרב םימדקומה םיאנתב ןודנ ןאכ

.האבה דהה תדוקפ תועצמאב םייבטימ םיעוציב גישהל תנמ לע תאז תיבשהל ונילע ןכל .Cluster לש םיללוכה םיעוציבה תא ליפשמ הזו Hadoop לש הדובעה יסמוע םע העורג הרוצב תומייקתמ רשא סקוניל תונוכמב לעפומ

# echo never > /sys/kernel/mm/transparent_hugepage/enabled 
# echo never > /sys/kernel/mm/transparent_hugepage/defrag 



.סקונילה תונוכמ בור רובע 60 וא 30 אוה vm.swappiness ךרעה ,לדחמ תרירבכ

# sysctl vm.swappiness



.ןורכיז יפד רתוי ליכהל יזיפה ןורכיזל םורגל הלוכי הפלחהה ךרע תדרוה .ןורכיז קיפסמ ונל שי םא םג ןורכיז תפלחהל םינותנ ןומטמב רומשל ןתינ ,רתוי הובגה ןיפילחה ךרע םעו .הפשאה ףוסיא לש תוכורא תוקספ

# sysctl vm.swappiness=1

.\"vm.swappiness = 1 \" ףוסב ףיסוהלו etc/sysctl.conf/ ץבוקה תא חותפל לוכי התא ,ןיפולחל

vm.swappiness=1

.תונוש תורטמל ףוכת ןפואב הז םע הז ורשקתי םיתרשה לכ .ךכ לע םילעופה (םינומאד) םיבורמ םיתוריש םע ולש תוירחאה היהת Hadoop תרש לכ לע

.יח Datanode -הש אדווי Namenode -ש ידכ תוינש 3 לכל Namenode -ל בל תומיעפ חלשי Datanode ,אמגודל

.לוכשאב םיישיאה םיתרשב שאה תמוח תא תיבשהל רתויב הבוטה הטישה הז זא .Hadoop לע ףסונ לטנ היהי הז ,שאה תמוח ךרד םינוש םיתרשב םינומדה ןיב תשחרתמ תרושקתה לכ םא

# iptables-save > ~/firewall.rules
# systemctl stop firewalld
# systemctl disable firewall



.שרדייש םוקמ לכב תוצוחנ תוריש תוירפס רוציי אוהו ויתוריש תאו Hadoop תא ןיקתהל ידכ לוכשאב םיתרשה לכל עיגי Cloudera Manager ,תולוכשא בושחמ אוה Hadoop -ש ןוויכמ .Hadoop תנקתה ןמזב תויעבל םורגי

.םיעוציב תויעבל םורגת איהו Hadoop ינפב לושכמ היהת SELinux תלעפה ,ןכל .ונוצרכ הנקתהב טולשל Cloudera להנמל רשפאי אל אוה ,תלעפומ SELinux םא

.ןלהלש הדוקפה תועצמאב SELinux לש סוטטסה תא קודבל לוכי התא

# sestatus



.גצומש יפכ SELINUX תא תיבשהו etc/selinux/config/ץבוק תא חתפ ,תעכ

SELinux=disabled



.הליעפל התוא ךופהל ידכ תכרעמה תא שדחמ ליעפהל ךילע ,SELinux תתבשה רחאל

# reboot

.NTP -ב שמתשהל ץילממ Cloudera ךא ,תשרב ןמז/ןועש ןורכנסל הנבומ דינורכ שי RHEL/CentOS 7 -ב .ןועש זוזיק תואיגש עונמל ידכ ןמזב םינרכנוסמ תויהל םיכירצ םיתרשה לכ ,Hadoop Cluster -ב

.ntp ךרד ןרכנוסמ ןמז ונל שי םא םג האיגש קורזי הז זא ,ןמז ןורכנסל chronyd לוקשי Cloudera להנמ ,לעופ chronyd םגו ntpd םע תרש םאש ןוויכמ .ותוא תיבשהו 'chronyd' תא רוצע ,הנקתהה רחאל .ותוא רידג

# yum -y install ntp
# systemctl start ntpd
# systemctl enable ntpd
# systemctl status ntpd



.רתוי חוטב דצל תאז תיבשהל ונילע קר ,הלעפהה תכרעמ תנקתה רחאל ליחתנש דע ןכ םא אלא רצענ chronyd ,לדחמ תרירבכ .תיבשהו רוצע לעופ אוה םא ,chronyd לש סוטטסה תא קודב .ntpd -ב םישמתשמ ונאש ןוויכמ ל

# systemctl status chronyd
# systemctl disable chronyd



.etc/hosts/רידגהל םיכלוה ונא ,ןאכ .etc/hosts/תא וא DNS -ה תא רידגהל ונילע ,חראמה םש תא רותפל ידכ .ידוחיי ינונק םש לעב תויהל ךירצ תרש לכ .(ןיטולחל ךמסומ ןיימוד םש) FQDN תועצמאב חראמ

.ולש חראמה םש םע םיתרשה לכ תא רשקתל לוכי Cloudera Manager קר זא .םיתרשה לכ לש etc/hosts/-ב תרש לכ לש FQDN -ו IP תבותכ ןיזהל שי

# hostnamectl set-hostname master1.linux-console.net

.ןלהל טרופמכ etc/hosts/תא רידגהל םילוכי ונא ,םידבוע 3- ו םירטסאמ 2 םע תמוצ תולוכשא 5 ונל שי םא - :אמגודל .etc/hosts/ץבוקה תא רדגה ,ןכמ רחאל



.OpenJDK לע ץילממ Cloudera ,ךא OracleJDK תא ןיקתי Cloudera להנמ ,לדחמ תרירבכ .OpenJDK לבקל םיכלוה ונחנא הנה .המיאתמה הסרגה םע הווא'ג תא ןיקתהל םיחראמה לכ לע ,הווא'גמ בכרומ Hadoop -ש ןוויכמ

# yum -y install java-1.8.0-openjdk-devel
# java -version



Hadoop החשקהו החטבא

... פודה ןדראה לש הביבסה ןוחטיבל ךלנ הז קלחב

.ותוא תבשה אל םא ,אל וא תבשומ אוה םא אדוול ידכ הטמלש תודוקפב שמתשה .םינותנ תסנכהל השיגל ןוסחא יעצמא לכ וא USB -ה תא ףרצל לוכי תיזיפ השיג םע שמתשמ .USB, CD/DVD ומכ םייזיפ םירישכמ לש תיטמו

# systemctl disable autofs
# systemctl is-enabled autofs



.שרושה שמתשמ תולעבב אצמנ grub.cfg -ש אדוו etc/grub2.conf/ כ רשקנ אוהו boot/grub2/-ב אצמנש 'grub 'grub.cfg לש הרוצתה ץבוק .לוחתאה תויורשפא תחיתפל תודועתו לוחתאה תורדגה לע יטירק עדימ ליכ

# cd /boot/grub2



.האשרה ילעב תויהל םירומא אל 'other' וא 'group' -ו root/0 םהינש Gid -ו Uid -ש קודבל ידכ ןלהלש הדוקפב שמתשה

# stat /boot/grub2/grub.cfg



.תוצובקו םירחאמ תואשרה ריסהל ידכ הטמלש הדוקפב שמתשה

# chmod og-rwx /boot/grub2/grub.cfg



.לוחתאה תוציחמב םייוניש עצבל םילוכיו תרשה תא לחתאל םילוכי םישרומ אל םישמתשמ ,תרדגומ אל איה םא .תרשה תא שדחמ לחתאל ידכ המסיס שרוד הז ,רמולכ .תרשה לש רחא השרומ יתלב שדחמ לוחתא תענומ וז הרדגה

.המסיסה תא רידגהל ידכ הטמלש הדוקפב שמתשה

# grub2-mkpasswd-pbkdf2



.etc/grub.d/01_users/ ץבוקל ליעל הרצונש המסיסה תא ףסוה



.grub לש הרוצתה ץבוק תא שדחמ רוצ ,ןכמ רחאל

# grub2-mkconfig > /boot/grub2/grub.cfg



Prelink ומכ תוצופנ תוירפס לע רשפתהל םילוכי םיינודז םישמתשמ םא תרשב תועיגפה תא ריבגהל הלוכיש הנכות איה libc.

.התוא ריסהל ידכ האבה הדוקפב שמתשה

# yum remove prelink

.תוילאיצנטופ תופקתה עונמל ידכ םימיוסמ םילוקוטורפ/םיתוריש תיבשהל לוקשל ונילע

# systemctl disable <service name>

םוכיס

.תמא ןמזב המאתה יא ןוקיתלו תרוקיבל שמשיו CIS -ה דדמב שומיש ךות תושקתה טפירקס ןכוי ,ללכ ךרדב .Hadoop לש הקלח הנקתהל הבוח ןה Cloudera ידי לע תורדגומה הלעפהה תכרעמ תמרב תומדקומ תושירד .תמיוסמ

.רוציי/עצבמל לוכשאה תרבעה ינפל ,לוכשאה תיינב רחאל םג ,Hadoop תנקתה ינפל החטבא תרוקיב לש תובר תויצרטיא ועצובי ,תילמינימ הנקתהב רבודמש תורמל .םייוצר אל תועיגפו ןוכיס ענמי רבדה ,תויסיסב תונ