消息不是以幻数字节开头 [英] message does not start with magic byte

查看:144
本文介绍了消息不是以幻数字节开头的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在尝试使用Go中的/linkedIn/goavro包将Avro编码的数据生成Kafka主题。目标是能够使用不同的客户端使用主题。

首先,我按如下方式注册架构:

curl -X POST -H "Content-Type: application/vnd.schemaregistry.v1+json" --data '{"schema": "{"name":"test_topic2","type":"record", "fields":[{"name":"user","type":"string"},{"name":"password","size":10,"type":"string"}]}"}' http://localhost:8081/subjects/test_topic2-value/versions

然后我创建Avro数据,使用Go生成和使用它。

package main

import (

    "github.com/Shopify/sarama"
    "github.com/linkedin/goavro"
    "fmt"

)
const (
    brokers = "localhost:9092"
    topic     = "test_topic2"
)

const loginEventAvroSchema = `{"name":"test_topic2","type":"record", "fields":[{"name":"user","type":"string"},{"name":"password","size":10,"type":"string"}]}`

func main() {

// Create Message

codec, err := goavro.NewCodec(loginEventAvroSchema)
if err != nil {
    panic(err)
}

m := map[string]interface{}{
    "user": "pikachu", "password": 231231,
}

single, err := codec.SingleFromNative(nil, m)
if err != nil {
    panic(err)
}


// Producer
    config := sarama.NewConfig()
    config.Consumer.Return.Errors = true
    config.Producer.Return.Successes = true

    config.Version = sarama.V2_4_0_0
    //get broker
    cluster, err := sarama.NewSyncProducer(brokers, config)
    if err != nil {
        panic(err)
    }

    defer func() {
        if err := cluster.Close(); err != nil {
            panic(err)
        }
    }()

    msg := &sarama.ProducerMessage{
        Topic: topic,
        Value: sarama.StringEncoder(single),
    }

    cluster.SendMessage(msg)

// Consumer 

    clusterConsumer, err := sarama.NewConsumer(brokers, config)
    if err != nil {
        panic(err)
    }

    defer func() {
        if err := clusterConsumer.Close(); err != nil {
            panic(err)
        }
    }()

    msgK, _ := clusterConsumer.ConsumePartition(topic, 0, sarama.OffsetOldest)

    for {

        q := <-msgK.Messages()

        native, _, err := codec.NativeFromSingle([]byte(q.Value))
        if err != nil {
            fmt.Println(err)
        }

        fmt.Println(native)

}

此代码运行良好,我可以成功地在Kafka主题中生成和使用消息。

现在我尝试使用来自python Avro-Consumer的主题:

from confluent_kafka import KafkaError
from confluent_kafka.avro import AvroConsumer
from confluent_kafka.avro.serializer import SerializerError


c = AvroConsumer({
    'bootstrap.servers': 'localhost',
    'group.id': 'groupid',
    'schema.registry.url': 'http://localhost:8081',
    'auto.offset.reset': 'earliest'})


c.subscribe(['test_topic2'])

while True:
    try:
        msg = c.poll(10)

    except SerializerError as e:
        print("Message deserialization failed for {}: {}".format(msg, e))
        break

    if msg is None:
        continue

    if msg.error():
        print("AvroConsumer error: {}".format(msg.error()))
        continue

    print(msg.value(), msg.key())

c.close()

但我收到以下错误:

confluent_kafka.avro.serializer.SerializerError: Message deserialization failed for message at test_topic2 [0] offset 1: message does not start with magic byte

我认为我在Go制作人部分遗漏了一些东西,如果有人能分享他/她如何解决这个问题的经验,我将非常感激。

推荐答案

goavro不使用架构注册表。

另外,您使用的是StringEncoder,我假定它只输出一个字符串片,而不是Avro字节

StringEncode为Go字符串实现了编码器接口,以便可以将它们用作ProducerMessage中的键或值。

FWIW,我建议使用Kafka-Avro-Console-Consumer测试消费者,如果您有

这篇关于消息不是以幻数字节开头的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆