增量查詢模型(Incremental query model)：Structured Streaming 將會在新增的流式數(shù)據(jù)上不斷執(zhí)行增量查詢，同時代碼的寫法和批處理 API (基于 Dataframe 和 Dataset API)完全一樣，而且這些 API 非常的簡單。
支持端到端的引用(Support for end-to-end application): Structured Streaming 和內(nèi)置的 connector 使的 end-to-end 程序?qū)懫饋矸浅５暮唵?，而?"correct by default"。數(shù)據(jù)源和 sink 滿足 "exactly-once" 語義，這樣我們就可以在此基礎(chǔ)上更好地和外部系統(tǒng)集成
復(fù)用 Spark SQL 執(zhí)行引擎：我們知道 Spark SQL 執(zhí)行引擎做了非常多的優(yōu)化工作，比如執(zhí)行計劃優(yōu)化、codegen、內(nèi)存管理等。這也是 Structured Streaming 取得高性能和高吞吐的一個原因。
支持了基于事件時間(event time)的窗口操作，同時結(jié)合水位線(watermark)來處理延遲數(shù)據(jù)。
更多關(guān)于“大數(shù)據(jù)培訓(xùn)”的問題，歡迎咨詢千鋒教育在線名師。千鋒教育多年辦學(xué)，課程大綱緊跟企業(yè)需求，更科學(xué)更嚴(yán)謹(jǐn)，每年培養(yǎng)泛IT人才近2萬人。不論你是零基礎(chǔ)還是想提升，都可以找到適合的班型，千鋒教育隨時歡迎你來試聽。
京公網(wǎng)安備 11010802030320號