7 קלח - ההובג תונימז םע תרווכ תא רידגהלו ןיקתהל דציכ

.םיבאשמ להנמ ומכ רטסאמ יתורישב םישוע ונחנאש וזל המוד הניא Hive -ב (HA) ההובג תונימז תלעפה .Hadoop יבג לע ETL ילככ עצבל לוכי הז .Hadoop Eco-System -ב םינותנ ןסחמ לדומ איה תרווכ

.לוכשאב HS2 יביכר רפסמ תא לידגהל אלא הניא HS2 -ב HA תלעפה ,ןכל .םירחא HiveServer2 -ב לועפל לכות הדובעהש ידכ שדחמ הדובעה תא שיגהל ונילע .לשכית הלשכנש HS2 -ב תודובע תלעפה ,לשכנ Hiveserver2 (

.תרווכ לש ההובג תונימז רשפאלו הנקתהל םיבלשה תא הארנ הז רמאמב

... ליחתנ אוב

הרוצתו תרווכ תנקתה

.תוריש ףסוה <- Cloudera Manager לא טוונו ןלהלש רתאה תבותכב Cloudera להנמל סנכיה .1

http://13.233.129.39:7180/cmf/home



.'תרווכ' תורישב רחב .2



.םיתמצב םיתורישה תא הצקה .3

.ךישמהל ידכ 'ךשמה' לע ץחל ,םיתרשה תא תרחבש רחאל



4. Hive Metastore לש לדחמ תרירבכ רדגומה םינותנה דסמב םישמתשמ ונא ןאכ .םינותנ אטמ ןוסחאל יסיסב םינותנ דסמל קוקז PostgreSQL ב הנבומ רשא- CDH.

.'ךשמה' לע ץחל ,םייסתש רחאל .האלה ךישמהל ידכ רוביחה תא קודבלו ינוציחה םינותנה דסמב םינותנה דסמ תא רוציל ונילע תמא ןמזב .העונת ידכ ךות רצוויי רכזוהש עדימה רגאמש ןוויכמ גלדי 'הקידבה רוביח' ,



.'ךשמה' לע ץחל .תרווכ תואלבט ןוסחאל לדחמ תרירבכ רדגומה הירפסה ביתנ אוה ןסחמ/תרווכ/שמתשמ/,תרווכה ןסחמ תיירפס תרוצת תא עבק .5



.הלחה תרווכ לש הנקתהה .6



.האלה ךישמהל ידכ 'ךשמה' לע ץחל .'םייס' בצמה תא לבקל ולכות ,הנקתהה םויס רחאל .7



.הנקתהה ךילה תמלשהל 'םויס' לע ץחל .החלצהב ומלשוה הרוצתהו תרווכה תנקתה .8



.Cloudera להנמ לש םינווחמה חול ךרד לוכשאב ףסונש תרווכה תוריש תא תוארל לוכי התא .9



.master1 -ב Hiveserver2 תא ונפסוה .Instances of Hive -ב Hiveserver2 תא גיצהל לוכי התא .10

.2 תרש תרווכ <- םירקמ <- תרווכ <- Cloudera להנמ



תרווכב ההובג תונימז תלעפה

.דיקפת יעפומ ףסוה <- תולועפ <- תרווכ <- Cloudera להנמל רבעמ ידי לע תרווכ לש דיקפת ףסוה ןכמ רחאל .11



.master2 -ב ףסונ Hiveserver2 םיפיסומ ונא ןאכ .הלבגמ ןיא ,םיינשמ רתוי ףיסוהל לוכי התא .ףסונ Hiveserver2 םקמל ךנוצרב םהבש םיתרשה תא רחב .12



.'ךשמה' לע ץחל ,תרשב תרחבש רחאל .13



14. Hiverserver2 להנמל רבעמ ידי לע ותוא ליחתהל ךירצ התא ,תרווכה יעפומל ףסוותי Cloudera -> םיעפומ <- תרווכ -> (רחב Hiveserver2 הנורחאל ףסונש) -> לחתה <- םירחבנ רובע הלועפ.



.רוגס לע ץחל .'םייס' סוטטסה תא לבקת ,master2 -ב ליחתה Hiveserver2 -הש רחאל .15



.םילעופ Hiveserver2 ינש ,גיצהל לוכי התא .16



תרווכה תונימז תומיא

.רוביחה תא רוציל ידכ JDBC ןקתהה להנמב שמתשמ אוה .הדוקפ תרושו קד חוקל אוהש וקה וק ךרד Hiveserver2 תא רבחל םילוכי ונא

.Hive Gateway לעופ ובש תרשל רבחתה .17

[[email  ~]$ beeline



.master2 -ב לעופש Hiveserver2 -ל קר רבחתת וז רוביח תזורחמ .10000 לדחמ תרירבכ רדגומה האיציה רפסמ םע Hiverserver2 (master2) תא םיריכזמ ונחנאש תזורחמה ,הז רשקהב .Hiveserver2 תא רבחל ידכ JDBC

beeline> !connect "jdbc:hive2://master1.linux-console.net:10000"



.המגוד תתליאש לעפה .19

0: jdbc:hive2://master1.linux-console.net:10000> show databases;



.הנבומ עיגמש לדחמ תרירבכ רדגומה םינותנה דסמ והז

.תרווכה תלעפה תא םייסל ידכ הטמלש הדוקפב שמתשה .20

0: jdbc:hive2://master1.linux-console.net:10000> !quit



.master2 -ב לעופה Hiveserver2 רוביחל ךרד התואב שמתשהל ןתינ .21

beeline> !connect "jdbc:hive2://master2.linux-console.net:10000"



.ןימזה Hiveserver2 תא תולגל ידכ Zookeeper -ב םישמתשמ ונא תאז םוקמב רוביחה תזורחמב Hiveserver2 תא ריכזהל םיכירצ ונניא ,וז הטישב .Discovery Zookeeper בצמב Hiveserver2 תא רבחל םילוכי ונא .23

.הרוצת <- תרווכ <- Cloudera להנמל רבעמ ידי לע Zookeeper לש יוליגה בצמ תא רשפאל ךרוצה איה ןלהלש הרוצתה .ןימזה Hiverserver2 ןיב סמועה תא ןזאל ידכ ישילש דצ לש םיסמוע תנזאמב שמתשהל לכונ ןאכ



.הטמלש ןייפאמה תא ףיסוהל ידכ + למסה לע ץחלו "HiveServer2 לש םדקתמה הרוצתה עטק"\ןייפאמב שפח ,ןכמ רחאל .24

Name : hive.server2.support.dynamic.service.discovery
Value : true
Description : <any description>



.'םייוניש רומש' לע ץחל ,סכנה תא תנזהש רחאל .25



.םיתורישה תא שדחמ ליעפהל ידכ םותכה עבצה למס לע הציחל ידי לע םיעפשומה םיתורישה תא שדחמ ליעפהל ךילע ,הרוצתב םייוניש ונעציבש לככ .26



.'ןשוימ שדחמ לעפה' יתוריש לע ץחל .27



.'תעכ שדחמ לעפה' לע ץחלו 'חוקלה תרוצת תא שדחמ סורפ' היינשה תורשפאב רוחבל םילוכי ונא ,הנורחאל םיניקתמ ונא רשאכ .הקספהה תא רעזמל ידכ תלגלגתמה שדחמ הלעפהה תא ףידעהל ונילע ,יח רוצייב אצמנ לוכש



.ךילהתה תמלשהל 'םויס' לע ץחל .'םייס' סוטטסה תא לבקת ,החלצהב שדחמ הלעפהה םויס רחאל .29



.(םיתרשה תומשל בל ומיש) <- Cloudera -> Zookeeper -> Instances להנמל רבעמ ידי לע Zookeeper -ה יתרש תא ופסא .2081 הלש האיציה רפסמ םע Zookeeper -ה יתרשב שמתשהל ידכב ונל השורדה תזורחמה ,JDBC ר



.האיציה רפסמ אוה Zookeeper, 2181 םהל שיש םיתרשה תשולש הלא

master1.linux-console.net:2181
master2.linux-console.net:2181
worker1.linux-console.net:2181

.תיזחה וקל סנכיה וישכע .31

[[email  ~]$ beeline



.Hiveserver2 לש לדחמ תרירבכ רדגומה תומשה בחרמ אוה 'Zookeeper. 'Hiveserver2 לש תומשה בחרמ תאו תורישה יוליג בצמ תא ריכזהל ונילע .הטמל רומאכ JDBC לש רוביחה תזורחמ תא ןזה .32

beeline>!connect "jdbc:hive2://master1.linux-console.net:2181,master2.linux-console.net:2181,worker1.linux-console.net:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2"



.םינותנ דסמ רוציל ידכ הטמלש הדוקפב שמתשה .תומיאל המגוד תתליאש לעפה .master1 -ב לעופה Hiveserver2 -ל תרבוחמ הלעפהה תעכ .33

0: jdbc:hive2://master1.linux-console.net:2181,mast> create database tecmint;



.םינותנה דסמ תא םושרל ידכ הטמלש הדוקפב שמתשה .34

0: jdbc:hive2://master1.linux-console.net:2181,mast> show databases;



.ליעל ונקדבש master1 -ב Hiveserver2 תא קיספהו Cloudera להנמל רובע .Zookeeper לש יוליג בצמב ההובגה תונימזה תא תמאנ תעכ .35

.רוצע <- רחבנ רובע הלועפ <- (master1 -ב Hiveserver2 רחב) <- םירקמ <- תרווכ <- Cloudera להנמ



.Hive -> Instances -ל טווינ ידי לע master1 -ב Hiveserver2 -ה תא תמא .'םייס' סוטטסה תא לבקת ,קיספתש רחאל .'רוצע' לע ץחל .36



.ליעלש םיבלשב ונישעש יפכ Zookeeper יוליג בצמ םע JDBC רוביח תזורחמ התוא תועצמאב Hiveserver2 תא רבחו יחה וקל סנכיה .37

[[email  ~]$ beeline

beeline>!connect "jdbc:hive2://master1.linux-console.net:2181,master2.linux-console.net:2181,worker1.linux-console.net:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2"



.master2 -ב לעופה Hiveserver2 -ל רבוחת תעכ

.המגוד תתליאש םע תמא .38

0: jdbc:hive2://master1.linux-console.net:2181,mast> show databases;



.לעפומ Zookeeper יוליגה בצמ רשאכ ובצוי Hiveserver2 השולשמ רתוי ,תמא ןמזב רוציי תביבסב .ההובג תונימז םע ונלש לוכשאב תרווכ לש םינותנ ןסחמ לש לדומה תא לבקל ידכ םיטרופמה םיבלשה תא ונרבע ,הז רמ

.תרווכה תלעפה תא םיקמו ןימזה Hiveserver2 -ה תא ימניד ןפואב הלגמ Zookeeper .ףתושמ תומש בחרמ תחת Zookeeper -ל םימשרנ Hiveserver2 לכ ןאכ