yet存儲生態布局-九游会j9娱乐平台

『壹』 linux下怎麼安裝go開發環境

一、go安裝使用

1、下載go源碼包
https://storage.googleapis.com/golang/go1.6.3.linux-amd64.tar.gz

上傳到/usr/local/src目錄下

2、編譯安裝go到/usr/local
tar zxvf go1.6.3.linux-amd64.tar.gz -c /usr/local/

#註：必須使用root賬戶或者使用sudo來解壓縮go源碼包

3、設置path環境變數，添加/usr/local/go/bin到環境變數
export path=$path:/usr/local/go/bin

4、安裝到自定義位置

go二進制文件默認安裝到/usr/local/go，但是可以安裝go工具到不同的位置，可以自行定義，只需要設置正確的環境變數。

例如，安裝go到家目錄下，必須添加環境變數到$home/.profile
export goroot=$home/go

export path=$path:$goroot/bin

註：安裝go到其他目錄時，goroot必須設置為環境變數

5、檢查是否正確安裝程序

通過設置一個工作區和建立一個簡單的程序，檢查是否正確安裝了一個簡單的程序。創建一個目錄包含您的工作空間，例如/data/work，並設置gopath環境變數指向的位置。
export gopath=/data/work

#如果不存在/data/work,需要新建

然後，在你的工作內創建src/github.com/user/hello，如果使用github，可以使用自己的用戶名代替user，在hello目錄下，新建hello.go
# cat hello.go
package main
import "fmt"
func main {
fmt.printf("hello,world!\n")
}

#使用go編譯hello.go
go install github.com/user/hello

#上面的命令講名叫hello（or hello.exe）的程序放到你的工作區內，執行下面命令，會得到輸出結果。
$gopath/bin/hello

hello,world!

#當出現hello,world!表明go已經安裝成功可以工作。

二、go工作區介紹

1、機構組織代碼概述

go語言程序通常將所有的代碼保存在一個工作區中。

工作區包含許多版本控制庫（由git管理）。

每個存儲庫包含一個或多個包。

每個包由一個或多個在一個目錄中的源文件組成。

一個包的目錄的路徑決定其導入路徑。

註：同於其他的編程環境中，每一個項目都有一個獨立的工作區且工作區是緊密聯系在一起的版本控制庫。

2、工作區介紹

工作區是一個目錄層次結構，它的根目錄有三個目錄：

src 包含go源文件

pkg 包含對象和包

bin 包含可執行命令
go工具創建源碼包並安裝二進制文件到pkg和bin目錄下
src目錄通常包含多個版本控制庫（如git或mercurial），跟蹤一個或多個源包的開發。
下面展示一個好的工作區的例子：
bin/
hello # command executable
outyet # command executable
pkg/
linux_amd64/
github.com/golang/example/
stringutil.a # package object
src/
github.com/golang/example/
.git/ # git repository metadata
hello/
hello.go # command source
outyet/
main.go # command source
main_test.go # test source
stringutil/
reverse.go # package source
reverse_test.go # test source
golang.org/x/image/
.git/ # git repository metadata
bmp/
reader.go # package source
writer.go # package source
... (many more repositories and packages omitted) ...

上面的屬性圖展示了一個包含兩個存儲庫（example和image）的工作區，example 存儲庫包含兩個命令（hello，outyet），image庫包含bmp包和幾個其他的包。

一個典型的工作區包含包含許多軟體包和命令的多個源庫。大多數程序員將所有的源代碼和依賴關系保存在一個工作區中

3、gopath環境變數設置

gopath環境變數指定工作區的位置。它很可能是唯一的環境變數，代碼開發時需要設置。

開始，創建一個工作區目錄並設置相應的gopath。您的工作區可以位於任何你喜歡的地方，但我們將在這個文檔中使用/data/work。請注意，這不能是您的「go安裝」路徑相同。
mkdir -p /data/work

export gopath=/data/work

為了方便。添加工作區的bin到path中
export path=$path:$gopath/bin

4、導入路徑

一個導入路徑是唯一標識一個包的字元串。一個包的導入路徑對應於它在工作區內或遠程存儲庫中的位置。

從標准庫的軟體包中給出了短的導入路徑等。對於您自己的包，您必須選擇不可能和未來添加到標准庫或其他外部庫的基礎路徑沖突的路徑。

注意，你不需要將你的代碼發布到一個遠程存儲庫之前，你可以建立它。這只是一個很好的習慣來組織你的代碼，如果你有一天會出版它。在實踐中，你可以選擇任何任意的路徑名稱，只要它是唯一的標准庫和更大的去生態系統。

我們將使用github.com/user作為我們的基本路徑。在您的工作區中創建一個目錄，以保持源代碼：
mkdir -p $gopath/src/github.com/user

5、第一個項目

編譯並運行一個簡單的程序，首先選擇一個包的路徑（我們將使用github.com/user/hello）和創建在您的工作區相應的軟體包目錄：
mkdir $gopath/src/github.com/user/hello

創建名叫hello.go的文件，上面創建過，此處略過。
cd $gopath/src/github.com/user/hello
go install
$gopath/bin/hello

或者：
hello

如果你使用的是一個源代碼管理系統，現在是一個很好的時間來初始化一個存儲庫，添加文件，並提交你的第一次更改。再次，這一步是可選的：您不需要使用源代碼管理來寫代碼。
cd $gopath/src/github.com/user/hello

git init

initialized empty git repository in /data/work/src/github.com/user/hello/.git/

git add hello.go

git commit -m "first commit"

[master (root-commit) bbfb477] first commit

6、first library

mkdir $gopath/src/github.com/user/stringutil

下一步，在目錄下創建一個名為reverse.go文件中有下列內容：
// package stringutil contains utility functions for working with strings.

package stringutil

// reverse returns its argument string reversed rune-wise left to right.

func reverse(s string) string {

r := []rune(s)

for i, j := 0, len(r)-1; i < len(r)/2; i, j = i 1, j-1 {

r[i], r[j] = r[j], r[i]

}

return string(r)

}

使用go build測試包的編譯
$ go build github.com/user/stringutil

如果當前位置源碼包目錄，只需要：
go build

上面操作並不會產生一個輸出文件，必須使用go install，把包和對象輸出到工作去的pkg目錄內

確認stringutil包創建完成後，修改原始hello.go，使用stringutil包：
package main

import (

"fmt"

"github.com/user/stringutil"

)

func main() {

fmt.printf(stringutil.reverse("\n !og ,olleh"))

}

無論使用go安裝包還是二進制文件，所有相關的依賴都會自動安裝。所以當你安裝hello程序時：
$ go install github.com/user/hello

對應的stringutil包會自動安裝好。

執行新的hello程序，可以看到消息已經被反轉
# hello

hello, go!

完成上面操作之後，工作區應該為：
├── bin

│ └── hello # command executable

├── pkg

│ └── linux_amd64 # this will reflect your os and architecture

│ └── github.com

│ └── user

│ └── stringutil.a # package object

└── src

└── github.com

└── user

├── hello

│ └── hello.go # command source

└── stringutil

└── reverse.go # package source

注意：go install會把庫文件stringutil.a放到pkg/linux_amd64下邊（目錄結構跟源代碼結構一樣）。這樣可以go命令可以直接找到對應的包對象，避免不必要的重復編譯。linux_amd64是為了根據操作系統和你的系統架構交叉編譯。

所有go可執行程序都通過靜態方式鏈接在一起，所以在運行時是不需要相關的包對象（庫）。

7、包命令

所有的go源代碼都以下面的語句開始：
package name

其中name就是包引用默認的名稱，一個包中的所有文件必須使用同一個包名，可執行命令必須是main。

一個二進制文件下所有的包名不需要唯一，但是引用路徑必須唯一

8、測試

go自帶了一個輕量級的測試框架，由go test和testing包組成。

可以通過新建xx_test.go寫一個測試，其中包含若干個testxxx函數。測試框架會自動執行這些函數；如果函數中包含terror或t.fail, 對應的測試會被判為失敗。

添加一個針對stringutil的測試文件$gopath/src/github.com/user/stringutil/reverse_test.go，包含以下內容：
package stringutil

import "testing"

func testreverse(t *testing.t) {

cases := []struct {

in, want string

}{

{"hello, world", "dlrow ,olleh"},

{"hello, 世界", "界世,olleh"},

{"", ""},

}

for _, c := range cases {

got := reverse(c.in)

if got != c.want {

t.errorf("reverse(%q) == %q, want %q", c.in, got, c.want)

}

}

}

#通過go test測試
# go test github.com/user/stringutil

ok github.com/user/stringutil 0.002s

#同樣的，在包文件夾下可以忽略路徑而直接執行go test
[root@zabbix stringutil]# go test

pass

ok github.com/user/stringutil 0.002s

9、遠程包

包的引用路徑用來描述如何通過版本控制系統獲取包的源代碼。go工具通過引用路徑自動從遠程代碼倉庫獲取包文件。比如本文中用的例子也對應的保存在github.com/golang/example下。go可以通過包的代碼倉庫的url直接獲取、生成、安裝對應的包。
[root@zabbix ~]# go get github.com/golang/example/hello

[root@zabbix ~]# $gopath/bin/hello

hello, go examples!

如果工作區中不存在對應的包，go會將對應的包放到gopath環境變數指明的工作區下。（如果包已經存在，go跳過代碼拉去而直接執行go install）
建議詳細看一下http://www.linuxprobe.com/set-go-env.html這個，有圖文

『貳』 五種大數據處理架構

五種大數據處理架構
大數據是收集、整理、處理大容量數據集，並從中獲得見解所需的非傳統戰略和技術的總稱。雖然處理數據所需的計算能力或存儲容量早已超過一台計算機的上限，但這種計算類型的普遍性、規模，以及價值在最近幾年才經歷了大規模擴展。
本文將介紹大數據系統一個最基本的組件：處理框架。處理框架負責對系統中的數據進行計算，例如處理從非易失存儲中讀取的數據，或處理剛剛攝入到系統中的數據。數據的計算則是指從大量單一數據點中提取信息和見解的過程。
下文將介紹這些框架：
· 僅批處理框架：
apache hadoop
· 僅流處理框架：
apache storm
apache samza
· 混合框架：
apache spark
apache flink
大數據處理框架是什麼？
處理框架和處理引擎負責對數據系統中的數據進行計算。雖然「引擎」和「框架」之間的區別沒有什麼權威的定義，但大部分時候可以將前者定義為實際負責處理數據操作的組件，後者則可定義為承擔類似作用的一系列組件。
例如apache hadoop可以看作一種以maprece作為默認處理引擎的處理框架。引擎和框架通常可以相互替換或同時使用。例如另一個框架apache spark可以納入hadoop並取代maprece。組件之間的這種互操作性是大數據系統靈活性如此之高的原因之一。
雖然負責處理生命周期內這一階段數據的系統通常都很復雜，但從廣義層面來看它們的目標是非常一致的：通過對數據執行操作提高理解能力，揭示出數據蘊含的模式，並針對復雜互動獲得見解。
為了簡化這些組件的討論，我們會通過不同處理框架的設計意圖，按照所處理的數據狀態對其進行分類。一些系統可以用批處理方式處理數據，一些系統可以用流方式處理連續不斷流入系統的數據。此外還有一些系統可以同時處理這兩類數據。
在深入介紹不同實現的指標和結論之前，首先需要對不同處理類型的概念進行一個簡單的介紹。
批處理系統
批處理在大數據世界有著悠久的歷史。批處理主要操作大容量靜態數據集，並在計算過程完成後返回結果。
批處理模式中使用的數據集通常符合下列特徵…
· 有界：批處理數據集代表數據的有限集合
· 持久：數據通常始終存儲在某種類型的持久存儲位置中
· 大量：批處理操作通常是處理極為海量數據集的唯一方法
批處理非常適合需要訪問全套記錄才能完成的計算工作。例如在計算總數和平均數時，必須將數據集作為一個整體加以處理，而不能將其視作多條記錄的集合。這些操作要求在計算進行過程中數據維持自己的狀態。
需要處理大量數據的任務通常最適合用批處理操作進行處理。無論直接從持久存儲設備處理數據集，或首先將數據集載入內存，批處理系統在設計過程中就充分考慮了數據的量，可提供充足的處理資源。由於批處理在應對大量持久數據方面的表現極為出色，因此經常被用於對歷史數據進行分析。
大量數據的處理需要付出大量時間，因此批處理不適合對處理時間要求較高的場合。
apache hadoop
apache hadoop是一種專用於批處理的處理框架。hadoop是首個在開源社區獲得極大關注的大數據框架。基於谷歌有關海量數據處理所發表的多篇論文與經驗的hadoop重新實現了相關演算法和組件堆棧，讓大規模批處理技術變得更易用。
新版hadoop包含多個組件，即多個層，通過配合使用可處理批數據：
· hdfs：hdfs是一種分布式文件系統層，可對集群節點間的存儲和復制進行協調。hdfs確保了無法避免的節點故障發生後數據依然可用，可將其用作數據來源，可用於存儲中間態的處理結果，並可存儲計算的最終結果。
· yarn：yarn是yet another resource negotiator（另一個資源管理器）的縮寫，可充當hadoop堆棧的集群協調組件。該組件負責協調並管理底層資源和調度作業的運行。通過充當集群資源的介面，yarn使得用戶能在hadoop集群中使用比以往的迭代方式運行更多類型的工作負載。
· maprece：maprece是hadoop的原生批處理引擎。
批處理模式
hadoop的處理功能來自maprece引擎。maprece的處理技術符合使用鍵值對的map、shuffle、rece演算法要求。基本處理過程包括：
· 從hdfs文件系統讀取數據集
· 將數據集拆分成小塊並分配給所有可用節點
· 針對每個節點上的數據子集進行計算（計算的中間態結果會重新寫入hdfs）
· 重新分配中間態結果並按照鍵進行分組
· 通過對每個節點計算的結果進行匯總和組合對每個鍵的值進行「recing」
· 將計算而來的最終結果重新寫入 hdfs
優勢和局限
由於這種方法嚴重依賴持久存儲，每個任務需要多次執行讀取和寫入操作，因此速度相對較慢。但另一方面由於磁碟空間通常是伺服器上最豐富的資源，這意味著maprece可以處理非常海量的數據集。同時也意味著相比其他類似技術，hadoop的maprece通常可以在廉價硬體上運行，因為該技術並不需要將一切都存儲在內存中。maprece具備極高的縮放潛力，生產環境中曾經出現過包含數萬個節點的應用。
maprece的學習曲線較為陡峭，雖然hadoop生態系統的其他周邊技術可以大幅降低這一問題的影響，但通過hadoop集群快速實現某些應用時依然需要注意這個問題。
圍繞hadoop已經形成了遼闊的生態系統，hadoop集群本身也經常被用作其他軟體的組成部件。很多其他處理框架和引擎通過與hadoop集成也可以使用hdfs和yarn資源管理器。
總結
apache hadoop及其maprece處理引擎提供了一套久經考驗的批處理模型，最適合處理對時間要求不高的非常大規模數據集。通過非常低成本的組件即可搭建完整功能的hadoop集群，使得這一廉價且高效的處理技術可以靈活應用在很多案例中。與其他框架和引擎的兼容與集成能力使得hadoop可以成為使用不同技術的多種工作負載處理平台的底層基礎。
流處理系統
流處理系統會對隨時進入系統的數據進行計算。相比批處理模式，這是一種截然不同的處理方式。流處理方式無需針對整個數據集執行操作，而是對通過系統傳輸的每個數據項執行操作。
· 流處理中的數據集是「無邊界」的，這就產生了幾個重要的影響：
· 完整數據集只能代表截至目前已經進入到系統中的數據總量。
· 工作數據集也許更相關，在特定時間只能代表某個單一數據項。
處理工作是基於事件的，除非明確停止否則沒有「盡頭」。處理結果立刻可用，並會隨著新數據的抵達繼續更新。
流處理系統可以處理幾乎無限量的數據，但同一時間只能處理一條（真正的流處理）或很少量（微批處理，micro-batch processing）數據，不同記錄間只維持最少量的狀態。雖然大部分系統提供了用於維持某些狀態的方法，但流處理主要針對副作用更少，更加功能性的處理（functional processing）進行優化。
功能性操作主要側重於狀態或副作用有限的離散步驟。針對同一個數據執行同一個操作會或略其他因素產生相同的結果，此類處理非常適合流處理，因為不同項的狀態通常是某些困難、限制，以及某些情況下不需要的結果的結合體。因此雖然某些類型的狀態管理通常是可行的，但這些框架通常在不具備狀態管理機制時更簡單也更高效。
此類處理非常適合某些類型的工作負載。有近實時處理需求的任務很適合使用流處理模式。分析、伺服器或應用程序錯誤日誌，以及其他基於時間的衡量指標是最適合的類型，因為對這些領域的數據變化做出響應對於業務職能來說是極為關鍵的。流處理很適合用來處理必須對變動或峰值做出響應，並且關注一段時間內變化趨勢的數據。
apache storm
apache storm是一種側重於極低延遲的流處理框架，也許是要求近實時處理的工作負載的最佳選擇。該技術可處理非常大量的數據，通過比其他解決方案更低的延遲提供結果。
流處理模式
storm的流處理可對框架中名為topology（拓撲）的dag（directed acyclic graph，有向無環圖）進行編排。這些拓撲描述了當數據片段進入系統後，需要對每個傳入的片段執行的不同轉換或步驟。
拓撲包含：
· stream：普通的數據流，這是一種會持續抵達系統的無邊界數據。
· spout：位於拓撲邊緣的數據流來源，例如可以是api或查詢等，從這里可以產生待處理的數據。
· bolt：bolt代表需要消耗流數據，對其應用操作，並將結果以流的形式進行輸出的處理步驟。bolt需要與每個spout建立連接，隨後相互連接以組成所有必要的處理。在拓撲的尾部，可以使用最終的bolt輸出作為相互連接的其他系統的輸入。
storm背後的想法是使用上述組件定義大量小型的離散操作，隨後將多個組件組成所需拓撲。默認情況下storm提供了「至少一次」的處理保證，這意味著可以確保每條消息至少可以被處理一次，但某些情況下如果遇到失敗可能會處理多次。storm無法確保可以按照特定順序處理消息。
為了實現嚴格的一次處理，即有狀態處理，可以使用一種名為trident的抽象。嚴格來說不使用trident的storm通常可稱之為core storm。trident會對storm的處理能力產生極大影響，會增加延遲，為處理提供狀態，使用微批模式代替逐項處理的純粹流處理模式。
為避免這些問題，通常建議storm用戶盡可能使用core storm。然而也要注意，trident對內容嚴格的一次處理保證在某些情況下也比較有用，例如系統無法智能地處理重復消息時。如果需要在項之間維持狀態，例如想要計算一個小時內有多少用戶點擊了某個鏈接，此時trident將是你唯一的選擇。盡管不能充分發揮框架與生俱來的優勢，但trident提高了storm的靈活性。
trident拓撲包含：
· 流批（stream batch）：這是指流數據的微批，可通過分塊提供批處理語義。
· 操作（operation）：是指可以對數據執行的批處理過程。
優勢和局限
目前來說storm可能是近實時處理領域的最佳解決方案。該技術可以用極低延遲處理數據，可用於希望獲得最低延遲的工作負載。如果處理速度直接影響用戶體驗，例如需要將處理結果直接提供給訪客打開的網站頁面，此時storm將會是一個很好的選擇。
storm與trident配合使得用戶可以用微批代替純粹的流處理。雖然藉此用戶可以獲得更大靈活性打造更符合要求的工具，但同時這種做法會削弱該技術相比其他解決方案最大的優勢。話雖如此，但多一種流處理方式總是好的。
core storm無法保證消息的處理順序。core storm為消息提供了「至少一次」的處理保證，這意味著可以保證每條消息都能被處理，但也可能發生重復。trident提供了嚴格的一次處理保證，可以在不同批之間提供順序處理，但無法在一個批內部實現順序處理。
在互操作性方面，storm可與hadoop的yarn資源管理器進行集成，因此可以很方便地融入現有hadoop部署。除了支持大部分處理框架，storm還可支持多種語言，為用戶的拓撲定義提供了更多選擇。
總結
對於延遲需求很高的純粹的流處理工作負載，storm可能是最適合的技術。該技術可以保證每條消息都被處理，可配合多種編程語言使用。由於storm無法進行批處理，如果需要這些能力可能還需要使用其他軟體。如果對嚴格的一次處理保證有比較高的要求，此時可考慮使用trident。不過這種情況下其他流處理框架也許更適合。
apache samza
apache samza是一種與apache kafka消息系統緊密綁定的流處理框架。雖然kafka可用於很多流處理系統，但按照設計，samza可以更好地發揮kafka獨特的架構優勢和保障。該技術可通過kafka提供容錯、緩沖，以及狀態存儲。
samza可使用yarn作為資源管理器。這意味著默認情況下需要具備hadoop集群（至少具備hdfs和yarn），但同時也意味著samza可以直接使用yarn豐富的內建功能。
流處理模式
samza依賴kafka的語義定義流的處理方式。kafka在處理數據時涉及下列概念：
· topic（話題）：進入kafka系統的每個數據流可稱之為一個話題。話題基本上是一種可供消耗方訂閱的，由相關信息組成的數據流。
· partition（分區）：為了將一個話題分散至多個節點，kafka會將傳入的消息劃分為多個分區。分區的劃分將基於鍵（key）進行，這樣可以保證包含同一個鍵的每條消息可以劃分至同一個分區。分區的順序可獲得保證。
· broker（代理）：組成kafka集群的每個節點也叫做代理。
· procer（生成方）：任何向kafka話題寫入數據的組件可以叫做生成方。生成方可提供將話題劃分為分區所需的鍵。
· consumer（消耗方）：任何從kafka讀取話題的組件可叫做消耗方。消耗方需要負責維持有關自己分支的信息，這樣即可在失敗後知道哪些記錄已經被處理過了。
由於kafka相當於永恆不變的日誌，samza也需要處理永恆不變的數據流。這意味著任何轉換創建的新數據流都可被其他組件所使用，而不會對最初的數據流產生影響。
優勢和局限
乍看之下，samza對kafka類查詢系統的依賴似乎是一種限制，然而這也可以為系統提供一些獨特的保證和功能，這些內容也是其他流處理系統不具備的。
例如kafka已經提供了可以通過低延遲方式訪問的數據存儲副本，此外還可以為每個數據分區提供非常易用且低成本的多訂閱者模型。所有輸出內容，包括中間態的結果都可寫入到kafka，並可被下游步驟獨立使用。
這種對kafka的緊密依賴在很多方面類似於maprece引擎對hdfs的依賴。雖然在批處理的每個計算之間對hdfs的依賴導致了一些嚴重的性能問題，但也避免了流處理遇到的很多其他問題。
samza與kafka之間緊密的關系使得處理步驟本身可以非常鬆散地耦合在一起。無需事先協調，即可在輸出的任何步驟中增加任意數量的訂閱者，對於有多個團隊需要訪問類似數據的組織，這一特性非常有用。多個團隊可以全部訂閱進入系統的數據話題，或任意訂閱其他團隊對數據進行過某些處理後創建的話題。這一切並不會對資料庫等負載密集型基礎架構造成額外的壓力。
直接寫入kafka還可避免回壓（backpressure）問題。回壓是指當負載峰值導致數據流入速度超過組件實時處理能力的情況，這種情況可能導致處理工作停頓並可能丟失數據。按照設計，kafka可以將數據保存很長時間，這意味著組件可以在方便的時候繼續進行處理，並可直接重啟動而無需擔心造成任何後果。
samza可以使用以本地鍵值存儲方式實現的容錯檢查點系統存儲數據。這樣samza即可獲得「至少一次」的交付保障，但面對由於數據可能多次交付造成的失敗，該技術無法對匯總後狀態（例如計數）提供精確恢復。
samza提供的高級抽象使其在很多方面比storm等系統提供的基元（primitive）更易於配合使用。目前samza只支持jvm語言，這意味著它在語言支持方面不如storm靈活。
總結
對於已經具備或易於實現hadoop和kafka的環境，apache samza是流處理工作負載一個很好的選擇。samza本身很適合有多個團隊需要使用（但相互之間並不一定緊密協調）不同處理階段的多個數據流的組織。samza可大幅簡化很多流處理工作，可實現低延遲的性能。如果部署需求與當前系統不兼容，也許並不適合使用，但如果需要極低延遲的處理，或對嚴格的一次處理語義有較高需求，此時依然適合考慮。
混合處理系統：批處理和流處理
一些處理框架可同時處理批處理和流處理工作負載。這些框架可以用相同或相關的組件和api處理兩種類型的數據，藉此讓不同的處理需求得以簡化。
如你所見，這一特性主要是由spark和flink實現的，下文將介紹這兩種框架。實現這樣的功能重點在於兩種不同處理模式如何進行統一，以及要對固定和不固定數據集之間的關系進行何種假設。
雖然側重於某一種處理類型的項目會更好地滿足具體用例的要求，但混合框架意在提供一種數據處理的通用解決方案。這種框架不僅可以提供處理數據所需的方法，而且提供了自己的集成項、庫、工具，可勝任圖形分析、機器學習、互動式查詢等多種任務。
apache spark
apache spark是一種包含流處理能力的下一代批處理框架。與hadoop的maprece引擎基於各種相同原則開發而來的spark主要側重於通過完善的內存計算和處理優化機制加快批處理工作負載的運行速度。
spark可作為獨立集群部署（需要相應存儲層的配合），或可與hadoop集成並取代maprece引擎。
批處理模式
與maprece不同，spark的數據處理工作全部在內存中進行，只在一開始將數據讀入內存，以及將最終結果持久存儲時需要與存儲層交互。所有中間態的處理結果均存儲在內存中。
雖然內存中處理方式可大幅改善性能，spark在處理與磁碟有關的任務時速度也有很大提升，因為通過提前對整個任務集進行分析可以實現更完善的整體式優化。為此spark可創建代表所需執行的全部操作，需要操作的數據，以及操作和數據之間關系的directed acyclic graph（有向無環圖），即dag，藉此處理器可以對任務進行更智能的協調。
為了實現內存中批計算，spark會使用一種名為resilient distributed dataset（彈性分布式數據集），即rdd的模型來處理數據。這是一種代表數據集，只位於內存中，永恆不變的結構。針對rdd執行的操作可生成新的rdd。每個rdd可通過世系（lineage）回溯至父級rdd，並最終回溯至磁碟上的數據。spark可通過rdd在無需將每個操作的結果寫回磁碟的前提下實現容錯。
流處理模式
流處理能力是由spark streaming實現的。spark本身在設計上主要面向批處理工作負載，為了彌補引擎設計和流處理工作負載特徵方面的差異，spark實現了一種叫做微批（micro-batch）*的概念。在具體策略方面該技術可以將數據流視作一系列非常小的「批」，藉此即可通過批處理引擎的原生語義進行處理。
spark streaming會以亞秒級增量對流進行緩沖，隨後這些緩沖會作為小規模的固定數據集進行批處理。這種方式的實際效果非常好，但相比真正的流處理框架在性能方面依然存在不足。
優勢和局限
使用spark而非hadoop maprece的主要原因是速度。在內存計算策略和先進的dag調度等機制的幫助下，spark可以用更快速度處理相同的數據集。
spark的另一個重要優勢在於多樣性。該產品可作為獨立集群部署，或與現有hadoop集群集成。該產品可運行批處理和流處理，運行一個集群即可處理不同類型的任務。
除了引擎自身的能力外，圍繞spark還建立了包含各種庫的生態系統，可為機器學習、互動式查詢等任務提供更好的支持。相比maprece，spark任務更是「眾所周知」地易於編寫，因此可大幅提高生產力。
為流處理系統採用批處理的方法，需要對進入系統的數據進行緩沖。緩沖機制使得該技術可以處理非常大量的傳入數據，提高整體吞吐率，但等待緩沖區清空也會導致延遲增高。這意味著spark streaming可能不適合處理對延遲有較高要求的工作負載。
由於內存通常比磁碟空間更貴，因此相比基於磁碟的系統，spark成本更高。然而處理速度的提升意味著可以更快速完成任務，在需要按照小時數為資源付費的環境中，這一特性通常可以抵消增加的成本。
spark內存計算這一設計的另一個後果是，如果部署在共享的集群中可能會遇到資源不足的問題。相比hadoopmaprece，spark的資源消耗更大，可能會對需要在同一時間使用集群的其他任務產生影響。從本質來看，spark更不適合與hadoop堆棧的其他組件共存一處。
總結
spark是多樣化工作負載處理任務的最佳選擇。spark批處理能力以更高內存佔用為代價提供了無與倫比的速度優勢。對於重視吞吐率而非延遲的工作負載，則比較適合使用spark streaming作為流處理解決方案。
apache flink
apache flink是一種可以處理批處理任務的流處理框架。該技術可將批處理數據視作具備有限邊界的數據流，藉此將批處理任務作為流處理的子集加以處理。為所有處理任務採取流處理為先的方法會產生一系列有趣的副作用。
這種流處理為先的方法也叫做kappa架構，與之相對的是更加被廣為人知的lambda架構（該架構中使用批處理作為主要處理方法，使用流作為補充並提供早期未經提煉的結果）。kappa架構中會對一切進行流處理，藉此對模型進行簡化，而這一切是在最近流處理引擎逐漸成熟後才可行的。
流處理模型
flink的流處理模型在處理傳入數據時會將每一項視作真正的數據流。flink提供的datastream api可用於處理無盡的數據流。flink可配合使用的基本組件包括：
· stream（流）是指在系統中流轉的，永恆不變的無邊界數據集
· operator（操作方）是指針對數據流執行操作以產生其他數據流的功能
· source（源）是指數據流進入系統的入口點
· sink（槽）是指數據流離開flink系統後進入到的位置，槽可以是資料庫或到其他系統的連接器
為了在計算過程中遇到問題後能夠恢復，流處理任務會在預定時間點創建快照。為了實現狀態存儲，flink可配合多種狀態後端系統使用，具體取決於所需實現的復雜度和持久性級別。
此外flink的流處理能力還可以理解「事件時間」這一概念，這是指事件實際發生的時間，此外該功能還可以處理會話。這意味著可以通過某種有趣的方式確保執行順序和分組。
批處理模型
flink的批處理模型在很大程度上僅僅是對流處理模型的擴展。此時模型不再從持續流中讀取數據，而是從持久存儲中以流的形式讀取有邊界的數據集。flink會對這些處理模型使用完全相同的運行時。
flink可以對批處理工作負載實現一定的優化。例如由於批處理操作可通過持久存儲加以支持，flink可以不對批處理工作負載創建快照。數據依然可以恢復，但常規處理操作可以執行得更快。
另一個優化是對批處理任務進行分解，這樣即可在需要的時候調用不同階段和組件。藉此flink可以與集群的其他用戶更好地共存。對任務提前進行分析使得flink可以查看需要執行的所有操作、數據集的大小，以及下游需要執行的操作步驟，藉此實現進一步的優化。
優勢和局限
flink目前是處理框架領域一個獨特的技術。雖然spark也可以執行批處理和流處理，但spark的流處理採取的微批架構使其無法適用於很多用例。flink流處理為先的方法可提供低延遲，高吞吐率，近乎逐項處理的能力。
flink的很多組件是自行管理的。雖然這種做法較為罕見，但出於性能方面的原因，該技術可自行管理內存，無需依賴原生的java垃圾回收機制。與spark不同，待處理數據的特徵發生變化後flink無需手工優化和調整，並且該技術也可以自行處理數據分區和自動緩存等操作。
flink會通過多種方式對工作進行分許進而優化任務。這種分析在部分程度上類似於sql查詢規劃器對關系型資料庫所做的優化，可針對特定任務確定最高效的實現方法。該技術還支持多階段並行執行，同時可將受阻任務的數據集合在一起。對於迭代式任務，出於性能方面的考慮，flink會嘗試在存儲數據的節點上執行相應的計算任務。此外還可進行「增量迭代」，或僅對數據中有改動的部分進行迭代。
在用戶工具方面，flink提供了基於web的調度視圖，藉此可輕松管理任務並查看系統狀態。用戶也可以查看已提交任務的優化方案，藉此了解任務最終是如何在集群中實現的。對於分析類任務，flink提供了類似sql的查詢，圖形化處理，以及機器學習庫，此外還支持內存計算。
flink能很好地與其他組件配合使用。如果配合hadoop 堆棧使用，該技術可以很好地融入整個環境，在任何時候都只佔用必要的資源。該技術可輕松地與yarn、hdfs和kafka 集成。在兼容包的幫助下，flink還可以運行為其他處理框架，例如hadoop和storm編寫的任務。
目前flink最大的局限之一在於這依然是一個非常「年幼」的項目。現實環境中該項目的大規模部署尚不如其他處理框架那麼常見，對於flink在縮放能力方面的局限目前也沒有較為深入的研究。隨著快速開發周期的推進和兼容包等功能的完善，當越來越多的組織開始嘗試時，可能會出現越來越多的flink部署
總結
flink提供了低延遲流處理，同時可支持傳統的批處理任務。flink也許最適合有極高流處理需求，並有少量批處理任務的組織。該技術可兼容原生storm和hadoop程序，可在yarn管理的集群上運行，因此可以很方便地進行評估。快速進展的開發工作使其值得被大家關注。
結論
大數據系統可使用多種處理技術。
對於僅需要批處理的工作負載，如果對時間不敏感，比其他解決方案實現成本更低的hadoop將會是一個好選擇。
對於僅需要流處理的工作負載，storm可支持更廣泛的語言並實現極低延遲的處理，但默認配置可能產生重復結果並且無法保證順序。samza與yarn和kafka緊密集成可提供更大靈活性，更易用的多團隊使用，以及更簡單的復制和狀態管理。
對於混合型工作負載，spark可提供高速批處理和微批處理模式的流處理。該技術的支持更完善，具備各種集成庫和工具，可實現靈活的集成。flink提供了真正的流處理並具備批處理能力，通過深度優化可運行針對其他平台編寫的任務，提供低延遲的處理，但實際應用方面還為時過早。
最適合的解決方案主要取決於待處理數據的狀態，對處理所需時間的需求，以及希望得到的結果。具體是使用全功能解決方案或主要側重於某種項目的解決方案，這個問題需要慎重權衡。隨著逐漸成熟並被廣泛接受，在評估任何新出現的創新型解決方案時都需要考慮類似的問題。