Flink基礎教程pdf

圖書網
圖書網
圖書網
10630
文章
1450
評論
2018年12月20日09:05:13 4 925
摘要

作為新一代的開源流處理器,Flink是眾多大數據處理框架中一顆冉冉升起的新星。它以同一種技術支持流處理和批處理,并能同時滿足高吞吐、低延遲和容錯的需求。本書由Flink項目核心成員執筆,系統闡釋Flink的適用場景、設計理念、功能、用途和性能優勢。
– Flink的適用場景
– 流處理架構相較于批處理架構的優勢
– Flink中的時間概念
– Flink的檢查點機制
– Flink的性能優勢

Flink基礎教程 內容簡介

近年來,流處理變得越來越流行。作為高度創新的開源流處理器,Flink擁有諸多優勢,包括容錯性、高吞吐、低延遲,以及同時支持流處理和批處理的能力。本書分為6章,側重于介紹Flink的核心設計理念、功能和用途,內容涉及事件時間和處理時間、窗口和水印機制、檢查點機制、性能測評,以及Flink如何實現批處理。

本書面向有興趣學習如何分析大規模流數據的讀者。

Flink基礎教程 目錄

前言 ix

第 1章 為何選擇Flink 1

1.1 流處理欠佳的后果 2

1.1.1 零售業和市場營銷 2

1.1.2 物聯網 3

1.1.3 電信業 5

1.1.4 銀行和金融業 5

1.2 連續事件處理的目標 6

1.3 流處理技術的演變 6

1.4 初探Flink 9

1.5 生產環境中的Flink 12

1.5.1 布衣格電信 13

1.5.2 其他案例 14

1.6 Flink的適用場景 15

第 2章 流處理架構 17

2.1 傳統架構與流處理架構 17

2.2 消息傳輸層和流處理層 18

2.3 消息傳輸層的理想功能 19

2.3.1 兼具高性能和持久性 20

2.3.2 將生產者和消費者解耦 20

2.4 支持微服務架構的流數據 21

2.4.1 數據流作為中心數據源 22

2.4.2 欺詐檢測:流處理架構用例 22

2.4.3 給開發人員帶來的靈活性 24

2.5 不限于實時應用程序 24

2.6 流的跨地域復制 26

第3章 Flink 的用途 29

3.1 不同類型的正確性 29

3.1.1 符合產生數據的自然規律 29

3.1.2 事件時間 31

3.1.3 發生故障后仍保持準確 32

3.1.4 及時給出所需結果 33

3.1.5 使開發和運維更輕松 33

3.2 分階段采用Flink 34

第4章 對時間的處理 35

4.1 采用批處理架構和Lambda 架構計數 35

4.2 采用流處理架構計數 38

4.3 時間概念 40

4.4 窗口 41

4.4.1 時間窗口 41

4.4.2 計數窗口 43

4.4.3 會話窗口 43

4.4.4 觸發器 44

4.4.5 窗口的實現 44

4.5 時空穿梭 44

4.6 水印 45

4.7 真實案例:愛立信公司的Kappa 架構 47

第5章 有狀態的計算 49

5.1 一致性 50

5.2 檢查點:保證exactly-once 51

5.3 保存點:狀態版本控制 59

5.4 端到端的一致性和作為數據庫的流處理器 62

5.5 Flink 的性能 65

5.5.1 Yahoo! Streaming Benchmark 65

5.5.2 變化1:使用Flink 狀態 66

5.5.3 變化2:改進數據生成器并增加吞吐量 67

5.5.4 變化3:消除網絡瓶頸 68

5.5.5 變化4:使用MapR Streams 69

5.5.6 變化5:增加key 基數 69

5.6 結論 71

第6章 批處理:一種特殊的流處理 73

6.1 批處理技術 75

6.2 案例研究:Flink 作為批處理器 76

附錄 其他資源 79

關于作者 84

Flink基礎教程 精彩文摘

1.1 流處理欠佳的后果誰需要和流數據打交道呢?首先映入腦海的是從事傳感器測量和金融交易的工作人員。對于他們來說,流處理非常有用。但是流數據來源非常廣泛,兩個常見的例子是:網站獲得的能夠反映用戶行為的點擊流數據,以及私有數據中心的機器日志。事實上,流數據來源無處不在,但是從連續事件中獲得數據并不意味著可以在批量計算中使用這些數據。如今,處理大規模流數據的新技術正在改變這一狀況。

如果說處理大規模流數據是一個歷史性難題,我們為什么還要不厭其煩地嘗試打造更好的流處理系統呢?在介紹支持流處理的新架構及新技術之前,我們先來談談不能很好地處理流數據會有什么后果。

圖書網:Flink基礎教程pdf

繼續閱讀
  • 我的微信
  • 掃一掃加好友
  • weinxin
  • 微信公眾號
  • 掃一掃關注
  • weinxin

有任何需求請前往→→→社區

精通MATLAB科學計算與數據統計應用pdf 影印版

精通MATLAB科學計算與數據統計應用pdf

341個精心設計的MATLAB應用實戰案例。 103個精心編寫的MATLAB工具箱函數。 4個精心挑選的MATLAB工程性綜合案例。 理論知識與應用案例的無縫連接,體現出科學計算在...
一本書讀懂大數據時代pdf 影印版

一本書讀懂大數據時代pdf

◆大數據=大決策,本書將帶你從巨量資料中找到人潮、錢潮、資訊潮! ◆一本改變讀者在復雜的社會時代尋找因果關系的思維變革指南書! ◆一本幫助讀者在互聯網時代有效使用大數據工具的行為指...
Spark快速大數據分析pdf 影印版

Spark快速大數據分析pdf

《Spark快速大數據分析》是一本為Spark初學者準備的書,它沒有過多深入實現細節,而是更多關注上層用戶的具體用法。不過,本書絕不僅僅限于Spark的用法,它對Spark的核心概念和基本原理也有較為...
匿名

發表評論

匿名網友 填寫信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

評論:4   其中:訪客  4   博主  0
    • 人與人 人與人 9

      不錯

      • 234423425 234423425 9

        hello 你好

        • 玉之月輪 玉之月輪 9

          很不錯的書,希望可以給我帶來幫助

          • xuxuat xuxuat 9

            很好,很nice