Map-Reduce登录Hive-Tez [英] Map-Reduce Logs on Hive-Tez

问题描述

我想在Hive-Tez上运行查询后获得Map-Reduce日志的解释？ INFO之后的内容：传达的是什么？
在这里，我附上了一个示例

  INFO：Session已经打开
 INFO：Dag name：SELECT a.Model ...）
信息：Tez会话已关闭。重新开启... 
信息：会话重新建立。 
 INFO：
信息：状态：正在运行（在应用程序ID为application_14708112341234_1234的YARN群集上执行）
 
信息：地图1： -  /  - 地图3： -  /  - 地图4： -  /  - 地图7： -  /  - 减速器2：0/15减速器5：0/26减速器6：0/13 
信息：地图1： -  /  - 地图3：0/118地图4：0 / 118地图7：0/1减速器2：0/15减速器5：0/26减速器6：0/13 
信息：地图1：0/118地图3：0/118地图4：0/118地图7：0/1减速器2：0/15减速器5：0/26减速器6：0/13 
信息：地图1：0/118地图3：0/118地图4：0（+5）/ 118地图7：0/1减速器2：0/15减速器5：0/26减速器6：0/13 
信息：地图1：0/118地图3：0（+5）/ 118地图4： 0（+7）/ 118地图7：0（+1）/ 1减速器2：0/15减速器5：0/26减速器6：0/13 
信息：地图1：0/118地图3： 0（+15）/ 118图4：0（+18）/ 118图7：0（+1）/ 1还原剂2：0/15还原剂5：0/26还原剂6：0/13 
  

解决方案

您发布的日志是DAG执行日志。 DAG由
映射1，映射3，映射4，映射7顶点和缩减器组成：Reducer 2，Reducer 5，Reducer 6

INFO：Map 1： - / - 这意味着顶点没有被初始化，映射器的数量还没有被计算。

地图4：0（+7）/ 118 - 这意味着总共有118个mappers，7个他们并行运行，0完成，118-7 = 111等待处理。

  Reducer 2：0/15  -  This意味着总共有15个减速器，其中0个正在运行，其中0个已完成（15个减速器待定）。 
  

负数（在你的例子中没有这样的数字）=失败或死亡的mapper或reducer的数量

I want to get the interpretation of Map-Reduce logs after running a query on Hive-Tez ? What the lines after INFO: conveys ? Here I have attached a sample

INFO  : Session is already open
INFO  : Dag name: SELECT a.Model...)
INFO  : Tez session was closed. Reopening...
INFO  : Session re-established.
INFO  : 
INFO  : Status: Running (Executing on YARN cluster with App id application_14708112341234_1234)

INFO  : Map 1: -/-  Map 3: -/-  Map 4: -/-  Map 7: -/-  Reducer 2: 0/15     Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: -/-  Map 3: 0/118    Map 4: 0/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26  Reducer 6: 0/13
INFO  : Map 1: 0/118    Map 3: 0/118    Map 4: 0/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0/118    Map 4: 0(+5)/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0(+5)/118    Map 4: 0(+7)/118    Map 7: 0(+1)/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0(+15)/118   Map 4: 0(+18)/118   Map 7: 0(+1)/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 

解决方案

The log you posted is DAG execution log. The DAG consists of Map 1,Map 3,Map 4,Map 7 mappers vertices and reducers: Reducer 2,Reducer 5,Reducer 6

INFO : Map 1: -/- This means that the vertex is not initialized, the number of mappers are not calculated yet.

Map 4: 0(+7)/118 - This means that totally there are 118 mappers, 7 of them are running in parallel, 0 completed yet, 118-7=111 are pending.

 Reducer 2: 0/15 - This means that totally there are 15 reducers, 0 of them are running, 0 of them are completed (15 reducers pending).

Negative figures (there are no such in your example) = number of failed or killed mappers or reducers

这篇关于Map-Reduce登录Hive-Tez的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！