控制kafka消费者监听器
假设Kafka消费者必须消耗5个数据，并且必须在A类和& B级。 5数据 - > KAFKA消费者 - >处理类 - >过程B类。 是否将逐个消耗5个数据，或者在下一个数据之后是否有任何时间段消耗一个数据。这个问题的原因是如果在上面的流程中消耗了Data1数据，并且PROCESS B类需要更长的计时器，DATA 2将在PROCESS B类完成之前消耗。 我尝试过的事情
..
kafka相关内容
如何让我的kafka消息值不返回乱码？
我使用Confluent.Kafka来获取数据，我的代码为（c＃）： public static class Confluent { public static void 耗尽（） { var conf = new ConsumerConfig { GroupId = Guid.NewGuid（）。ToString（）， BootstrapSe
..
大数据环境搭建: Apache Storm + Kryo + Kafka 小问题
问 题 由Apache Storm + AVRO + Kafka 三大Apache家族成员进行大数据平台进行搭建算是比较常见的啦, 最近发现Apache Storm上使用了Kryo作为序列化的工具, 特地研究了一下, 发现它确实不错, 可以支持比较复杂的对象. 尝试着搭建一套实时数据的分析环境, 结果遇到了一个小问题. 前面的流程都是正常的, Kafka Producer 和 Kafk
..
kafka-php - java使用kafka提交byte[]数据php怎么读取？
问 题 java中producer提交数据用的byte[]类型，为什么php-rdkafka读取的payload对象是string类型的？ 解决方案 php中string类型是二进制安全的，所以使用string存储二进制数据和对数据进行操作就和操作普通的字节数组基本相同。
..
redis - 关于队列实时消费？
问 题 在项目中是用的cron每分次跑一次，大家做的是实时的吗还是也是跑定时？ 解决方案 使用redis的阻塞队列实时消费，没有消息就会自动阻塞，有了消息会自动消费。 blpop和brpop命令
..
logstash打数据到kafka失败
问 题 基本环境 centos 7.2 logstash kafka 0.9.1 logstash配置 demo.conf input{ stdin{} } output{ file{ path => "/data/demo.txt" } stdout{ codec => rubyd
..
rabbitmq - Spring4为我们提供了@Async注解，我们还需要消息中间件作异步消息处理吗？
问 题 我们一般会用rabbitmq或者kafka作异常消息处理，但是今天看到spring4中有个@Async注解，作用就是异步调用，如果是这样的话我们还需要用消息中间件吗？ 代码如下： public String method(){ String result = a(); // 现状：发送kafka事件，在kafka的consumer中处理b方法的内
..
kafka - The type scala.ScalaObject cannot be resolved.
初学者kafka的java客户端遇到了一个问题。 producer.send(data);报错 内容为： The type scala.ScalaObject cannot be resolved. It is indirectly referenced from required .class files 在网上查到过说是scala-library.jar添加到项目的clas
..
zookeeper - Java项目，kafka consume相关
问 题 1.Kafka的消费者什么时候开启？ 是随着项目的启动就开启消费者吗还是通过监听有新的消息才开启消费者？ 回答问题的不要看ID，本人要脸 解决方案 你不开启你从何途径监听有新的消息？如果其他途径也可以，为什么不统一使用 Consumer 呢？结构也简单，程序也可靠，也方便分布到不同服务器。 当然了，还得看你业务了，如果你 8 百年也没来一条消息，来一条处
..
java - kakfa Consumer can't rebalance after 5 retries
问 题 JavaAPI中Kafka的消费者不能正确的连接到服务器的Kafka的队列。百度、google了很多都无法解决。 这是配置信息： props.put("zookeeper.connect", "XXXXXX:2181"); //配置Zookeeper连接超时间隔 props.put("zookeeper.connection
..
java - kafka spring 框架的集成
问 题 谁能描述一下kafka是怎么接受一个http请求，并在spring mvc的controller是怎么接受处理kafka过来的消息的？ 解决方案 Kafka是不会直接接收Http请求的。一般是程序里接收数据然后写到kafka里，另一个程序再去kafka里读取，也就是Producer和Consumer。 至于怎么写到kafka里，用kafka提供的client就可以了。
..
java - kafka消息发送不出去
问 题 import java.util.Properties; import net.sf.json.JSONObject; import kafka.javaapi.producer.Producer; import kafka.javaapi.producer.ProducerData; import kafka.producer.KeyedMessage; import kafka.p
..
php - kafka是什么？有什么用？
问 题 逛一些技术社区经常看到这个词，但是百度了半天我也没看懂它究竟是干什么的，请问有谁能通俗易懂的介绍介绍他是干嘛用的吗？ 解决方案 http://www.infoq.com/cn/artic... http://www.orchome.com/kafka/... 这两个链接里面的介绍要是都看不懂恐怕就得花钱学习了。。。。
..
java - zkClient API问题？
问 题 public T readData(java.lang.String path, org.apache.zookeeper.data.Stat stat) 这个方法的作用是什么？为什么要有第二个参数stat？ 解决方案 把path节点的Stat数据拷贝到参数stat中。因为java中方法不能返回多个值，所以要这么干
..
zookeeper - kafka启动未成功?
问 题 kafka启动卡在这一行不动 [2016-11-25 17:34:26,630] INFO [Kafka Server 0], started (kafka.server.KafkaServer) kafka的启动日志如下: [root@VM_102_155_centos kafka_2.11-0.10.1.0]# bin/kafka-server-start.sh c
..
java - scala给BigInt赋初值失败？
问 题 scala> val x : scala.math.BigInt = 1881676371789154860897069000 :1: error: integer number too large val x : scala.math.BigInt = 1881676371789154860897069000 使用Scala的解释器给B
..
spark-streaming - spark streaming 集成 kafka，使用window时出现错误
问 题 当使用 spark streaming 2.0.0 集成 kafka 0.10.0时出现 KafkaConsumer 多线程争用的问题。 部分代码如下： val ssc = new StreamingContext(sc, Seconds(5)) val stream = KafkaUtils.createDirectStream(ssc, PreferCon
..
java - 如何查看或者模拟kafka producer里的retries（重试）配置的过程呢？
问 题 如题，我设置了kafka-producer里的retries=3,那如何才能看到他的重试过程呢，也没看到任何的系统日志什么的？ 解决方案 设置retries可能会引起消息重复发送，所以自己实现失败重试了，就可以控制重试过程。
..
如何用Java向kafka发送json数据
问 题 在网上都只看到一些Java生产STRING类型的消息。 按照Java的producer类来看，是可以自定义发送消息的类型，比如 producer.send(new KeyedMessage>(topic,message); 可是这样运行会报错，报错如下，请求高人解答： Exception in thread "T
..
java - kafka 客户端消费过慢
问 题 现在有个topic 队列里面的数据快速增加的时候客户端消费能力跟不上造成数据的积压，现在的扩展方案是增加了消费者但是都是属于同一个group下面的，查看了下数据还是有很多，我的分区数量是大于consumer 的数量的，想问下有什么好的方法可以提升消费速度， 解决方案 消费逻辑开多线程 加机器,加partition 消费跟不上生产, 看下消费逻辑在什么地方耗时比
..