reducers相关内容

Hadoop MapReduce:关于 reducer 数量的说明

在 MapReduce 框架中,mapper 生成的每个 key 都使用一个 reducer. 所以你会认为在 Hadoop MapReduce 中指定 Reducer 的数量没有任何意义,因为它依赖于程序.但是,Hadoop 允许您指定要使用的 reducer 的数量(-D mapred.reduce.tasks=# of reducers). 这是什么意思?减速器数量的参数值是否指 ..
发布时间:2022-01-14 08:02:46 其他开发

洗牌阶段实际上做了什么?

洗牌阶段实际上做了什么? 可能性 - A 由于 shuffle 是将 mapper o/p 带到 reducer o/p 的过程,它只是根据 partitioner 中编写的代码将特定键从 mapper 带到特定的 reducer 例如.mapper 1 的 o/p 是 {a,1} {b,1} mapper 2的o/p是{a,1} {b,1} 在我的分区器中,我已经写 ..
发布时间:2022-01-13 23:51:32 其他开发

Hadoop上理想的reducer数量是多少?

根据 Hadoop wiki 给出的计算理想化简器数量的方法是 0.95 或 1.75 * (nodes * mapred.tasktracker.tasks.maximum) 但是什么时候选择0.95,什么时候选择1.75?决定这个乘数时考虑的因素是什么? 解决方案 假设您的集群中有 100 个可用的 reduce slot. 负载因子为 0.95 时,所有 95 个 red ..
发布时间:2022-01-13 23:44:24 其他开发

组合器和减速器可以不同吗?

在许多 MapReduce 程序中,我看到一个 reducer 也被用作组合器.我知道这是因为这些程序的特殊性质.但我想知道它们是否可以不同. 解决方案 是的,combiner 可以不同于 Reducer,尽管您的 Combiner 仍将实现 Reducer 接口.组合器只能用于依赖于工作的特定情况.Combiner 将像 Reducer 一样运行,但仅作用于每个 Mapper 输出的 K ..
发布时间:2022-01-13 23:38:32 其他开发

GraphQL - 根据参数返回计算类型

概述(简化版): 在我的 NodeJS 服务器中,我实现了以下 GraphQL 架构: type Item {名称:字符串,值:浮动}类型查询{项目(名称:[字符串]!):[项目]} 客户端查询然后传递一个名称数组作为参数: {项目(名称:[“总计",“活动"]){名称价值}} 后端 API 查询 mysql 数据库,以获取“total"和“active"字段(我的数据库表中的列)并 ..
发布时间:2022-01-04 10:52:49 数据库

为什么在使用 concat 减少数组时,TypeScript 会推断出“从不"类型?

代码胜于语言,所以: ['a', 'b', 'c'].reduce((accumulator, value) => accumulator.concat(value), []); 代码很傻,返回一个复制的数组... TS 抱怨 concat 的参数:TS2345:“字符串"类型的参数不能分配给“ConcatArray"类型的参数. 解决方案 我相信这是因为 [] 的类型被推断为 ..

从另一个减速器中访问减速器状态

我有一个减速器,当一个动作被调度时,我正在重新调整适当的状态.现在我定期调用一个 API,所以结果会一次又一次地触发一个动作.所以我想要的是,如果reducer 状态已经有数据,那么另一个reducer 在发送调用时不会将状态显示为正在加载.只有第一次接收数据时,它必须保持其加载状态.希望我能解释清楚 这是我的代码片段 加载状态减速器 const loading = (state = ..
发布时间:2021-12-21 18:35:31 其他开发

Redux 商店没有有效的减速器

在这里找不到关于此错误的任何信息: “Store 没有有效的 reducer.确保传递给 combineReducers 的参数是一个值为 reducer 的对象." 我的减速机 导出默认函数FriendListReducer(state = {friends : []}, action) {开关(动作.类型){案例“ADD_FRIEND":返回 [{ 朋友 : action.pay ..
发布时间:2021-12-21 18:25:26 其他开发

从另一个减速器中的一个减速器访问减速器状态的一部分

我不知道如何从 reducerRegister.js 中的 reducerForm.js 减速器访问布尔 isLoading 标志.我使用了 combineReducers() 并使用 isLoading 在表单提交期间禁用按钮. 初始状态为false,点击提交后,变为true.表单提交成功后,isLoading再次重置为false.以下是此问题的相关代码: actionRegiste ..
发布时间:2021-12-21 18:18:14 前端开发

我什么时候应该将 Redux 添加到 React 应用程序中?

我目前正在学习 React,我正在尝试弄清楚如何将它与 Redux 结合使用来构建移动应用程序.我对两者如何相关/可以一起使用感到有些困惑.例如,我在 React https://www 中完成了本教程.raywenderlich.com/99473/introducing-react-native-building-apps-javascript,但现在我想尝试向该应用程序添加一些减速器/动作, ..
发布时间:2021-12-21 18:15:57 前端开发

更新项目数组中的单个值 |反应还原

我有一个待办事项列表,如果用户点击“完成",我想将数组中该项目的状态设置为“完成". 这是我的操作: 导出函数 completeTodo(id) {返回 {类型:“COMPLETE_TASK",完成:真实,ID}} 这是我的减速器: case "COMPLETE_TASK": {返回 {...状态,待办事项:[{完成:action.completed}]}} 我遇到的问题是新状态不再 ..
发布时间:2021-12-21 18:14:10 前端开发

Hadoop 处理减速器中的数据倾斜

我正在尝试确定 hadoop api(hadoop 2.0.0 mrv1)中是否有某些可用的钩子来处理减速器的数据倾斜.场景:有一个自定义的复合键和分区器来将数据路由到减速器.为了处理奇怪的情况,但很可能有一百万个键和大值出现在同一个减速器上,需要某种启发式方法,以便可以进一步分区这些数据以产生新的减速器.我正在考虑一个两步过程 将 mapred.max.reduce.failures.pe ..
发布时间:2021-12-15 19:23:57 其他开发

如何根据用于提高性能的实例数量增加hadoop中的映射器和减速器?

如果我增加映射器的数量并减少减速器的数量,那么执行时任何作业的性能(增加/减少)是否有任何差异? 我也想问一下,mapper和reducer的数量怎么设置?我从来没有玩过这个设置,所以我不知道这个.我知道 hadoop,但我有代码,因为我经常使用 Hive. 另外,如果我想增加映射器和减速器的数量,那么如何设置它以及我设置它的值是多少.是否取决于实例的数量(比如 10 个)? 请 ..
发布时间:2021-12-15 19:23:42 其他开发

reducer.state.props 在嵌套动作 react/redux 中未定义

下面是我的动作和减速器文件 - 在我的组件状态中,我只看到 this.props.mainData - 但其他 subdataOneData 等没有被加载到状态中 - 直到减速器我看到正确的动作正在被调度我也看到了子调用的数据 - 但它们没有到达我的组件 - 我有 mapStatetoprops - 我在做什么 新问题:根据更新的代码 - 当我在 reducer 中打印出有效负载时 - 我看 ..
发布时间:2021-07-05 20:34:15 其他开发

使用拆分减速器更新相关状态字段的最佳方法?

我正在尝试找到一种理想的方法来更新我的状态树上的几个顶级字段,同时仍然保持拆分的 reducer. 这是我想出的一个简单的解决方案. var state = {文件顺序:[0],文件:{0:{编号:0,名称:'asdf'}}};函数handleAddFile(状态,动作){return {...state, ...{[action.id]:{id: action.id, name: act ..
发布时间:2021-07-05 20:26:55 其他开发

为什么我的 Redux 减速器认为我的状态是未定义的?

我相信我正在逐行复制 Todo 教程,但出现此错误: 错误:Reducer“addReport"在初始化期间返回未定义.如果传递给 reducer 的状态未定义,则必须显式返回初始状态.初始状态可能不是未定义的. 这是我的 addReport 减速器: const addReport = (state = [], action) =>{控制台日志(状态)开关(动作.类型){案例 AD ..
发布时间:2021-07-05 20:21:25 其他开发