如何为 Opencl 应用程序使用 hadoop MapReuce 框架? [英] How to use hadoop MapReuce framework for an Opencl application?

问题描述

我正在使用 opencl 开发一个应用程序，其基本目标是在 GPU 平台上实现数据挖掘算法.我想使用 Hadoop 分布式文件系统并想在多个节点上执行应用程序.我正在使用 MapReduce 框架，我将基本算法分为两部分，即Map"和Reduce".

I am developing an application in opencl whose basic objective is to implement a data mining algorithm on GPU platform. I want to use Hadoop Distributed File System and want to execute the application on multiple nodes. I am using MapReduce framework and I have divided my basic algorithm into two parts i.e. 'Map' and 'Reduce'.

我以前从未在 hadoop 中工作过，所以我有一些问题:

I have never worked in hadoop before so I have some questions:

1. 我是否使用 Java 编写应用程序只是为了使用 Hadoop 和 Mapeduce 框架?
2. 我在 opencl 中为 map 和 reduce 编写了内核函数.是否可以将 HDFS 文件系统用于非 Java GPU 计算应用程序?(注意:我不想使用 JavaCL 或 Aparapi)

推荐答案

HDFS是一个文件系统；您可以使用任何语言的 HDFS 文件系统.

HDFS is a file system; you can use HDFS file system with any language.

HDFS 数据分布在多台机器上，在 GPU 计算中处理数据具有很高的可用性.

HDFS data is distributed over multiple machines, it is highly available to process the data in GPU computing.

更多信息参考Hadoop Streaming.

这篇关于如何为 Opencl 应用程序使用 hadoop MapReuce 框架?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！