sparkonsql-九游会j9娱乐平台

ⅰ spark on hive鍜宧ive on spark鐨勫尯鍒

spark on hive : 鏄痵park 閫氳繃spark-sql 浣跨敤hive 璇鍙ユ搷浣渉ive ,搴曞眰榪愯岀殑榪樻槸 spark rdd.
*錛1錛夊氨鏄閫氳繃sparksql錛屽姞杞絟ive鐨勯厤緗鏂囦歡錛岃幏鍙栧埌hive鐨勫厓鏁版嵁淇℃伅
* 錛2錛塻park sql鑾峰彇鍒癶ive鐨勫厓鏁版嵁淇℃伅涔嬪悗灝卞彲浠ユ嬁鍒癶ive鐨勬墍鏈夎〃鐨勬暟鎹
* 錛3錛夋帴涓嬫潵灝卞彲浠ラ氳繃spark sql鏉ユ搷浣渉ive琛ㄤ腑鐨勬暟鎹
hive on spark: 鏄痟ive 絳夌殑鎵ц屽紩鎿庡彉鎴恠park , 涓嶅啀鏄痬aprece. 鐩稿逛簬涓婁竴欏,榪欎釜瑕佸疄鐜拌矗楹葷儲寰堝, 蹇呴』閲嶆柊緙栬瘧浣犵殑spark. 鍜屽煎叆jar鍖,
======================涓嬮潰鏄閫佺殑=============
鑰 hive on spark 鏄鎶奾ive鏌ヨ浠巑aprece 鐨刴r (hadoop 璁＄畻寮曟搸)鎿嶄綔鏇挎崲涓簊park rdd 鎿嶄綔. 涓嶈繃鐩鍓嶅ぇ閮ㄥ垎浣跨敤鐨勬槸spark on hive
======================================
鍚庨潰琛ュ厖鐨:: 鎴戝幓浜嗘煇閫氫箣鍚, 鐭ラ亾浜 鎶 hive鐨勬墽琛屽紩鎿庢崲鎴恠park 鐨勪篃鎸哄氱殑. 涓昏佹槸涓轟簡浣跨敤綾 sql 鍜岀浉鍏寵剼鏈鏉ュ畬鎴愪換鍔.
涓轟簡鐪熺悊,鎴戣佹妸閭ｄ釜鍨冨溇鐨勫洖絳旂粰欏朵笅鍘...