減少distinct：使用distinct容易造成數(shù)據(jù)傾斜問題，使用group by的子查詢代替它。

map任務(wù)數(shù)量優(yōu)化： 實(shí)際業(yè)務(wù)中往往存在大量的分區(qū)表，每個分區(qū)表都實(shí)際存儲一定量的文件，其中必然有些分區(qū)的數(shù)據(jù)量很少。

正常讀取時往往有多少個文件就創(chuàng)建多少個map，此時可以通過設(shè)置一些參數(shù)，讓sql語句在執(zhí)行前先合并表文件。

-參數(shù)： mapred.min.split.size.per.node = {設(shè)置一個節(jié)點(diǎn)中分片至少的大小}byte mapred.min.split.size.per.rack= {設(shè)置一個交換機(jī)中分片至少的大小}byte mapred.max.split.size = {設(shè)置分片的最大大小}byte hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat 設(shè)置hive先合并文件再執(zhí)行  

-效果： 假設(shè)我全部設(shè)置為100000000（相當(dāng)于100M），經(jīng)過配置后，hive會首先合并文件，切分成各種100M，最后再把剩下來的各個節(jié)點(diǎn)上的散碎數(shù)據(jù)合并到一起再生成幾個分片。

還有一種情況，當(dāng)一個map任務(wù)中處理數(shù)據(jù)量很大時（大小很小，但是條數(shù)很多），可以采用分桶法，先用一個查詢語句把該表數(shù)據(jù)查出來分桶寫入，再使用這個分桶表。

相當(dāng)于增加map任務(wù)數(shù)量，增加并行度。 并行度優(yōu)化： 

1.手動設(shè)置reduce數(shù)量 mapred.reduce.tasks 

2.避免全局的聚合函數(shù)，使用聚合函數(shù)盡量要分組

3.避免全局的order by，有時候全局排序很難避免，但可以根據(jù)topN需求，再各個分區(qū)中只留下N個值，再進(jìn)行全局排序。

4.避免笛卡爾積 5.設(shè)置mapTask分片大小 小文件問題：

1.避免產(chǎn)生小文件：少用動態(tài)分區(qū)、根據(jù)需求使用reduce

2.使用Sequencefile作為表存儲格式，不要用textfile，在一定程度上可以減少小文件

3.使用hadoop archive命令把小文件進(jìn)行歸檔

4.重建表，建表時減少reduce數(shù)量

5.參數(shù)設(shè)置： hive.merge.mapfiles = true設(shè)置map端輸出合并 hive.merge.mapredfiles = true設(shè)置reduce輸出合并hive.merge.size.per.task = 25610001000 設(shè)置合并文件的大小hive.merge.smallfiles.avgsize=16000000 設(shè)置當(dāng)平均大小小于該值時合并 存儲格式

1.使用ORCfile存儲，可以顯著提高join操作的查詢速度

2.使用壓縮格式存儲，可以顯著降低網(wǎng)絡(luò)IO和存儲大小 使用map端join 使用tez作為默認(rèn)引擎 使用向量化查詢：一次執(zhí)行1024行數(shù)據(jù)的操作 hive.vectorized.execution.enabled = true; hive.vectorized.execution.reduce.enabled = true; 

設(shè)置本地模式、并行模式（自動并行非依賴階段）、嚴(yán)格模式開啟JVM重用，總結(jié)；減少distinct設(shè)置讀取時合并小文件和合理拆分大文件，優(yōu)化并行度 設(shè)置存儲格式和壓縮格式 設(shè)置輸出時合并小文件 設(shè)置map端JOIN更換引擎，設(shè)置本地模式、并行模式、嚴(yán)格模式開啟JVM重用 開啟推測執(zhí)行