Kafka

2021-01-13admin阅读(1041)评论(0)赞(3)

问题要从一次Kafka的宕机开始说起。 笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的 RabbitMQ ，而是采用了设计之初就为日志处理而生的 Kafka ，所以我一直很好奇Kafka的高可用实现和保障。从Ka...

2020-12-20admin阅读(1716)评论(0)赞(2)

前言 因为迁移了kafka集群，为了确保新环境正常，需要来做一些压力测试。这次压力测试重点会关注一些异常情况下，kafka收发消息的状况。 关于kafka集群的安装可参考上一篇文章。 kafka可能故障及结论 部分broker集群挂掉 若t...

2020-05-09admin阅读(1277)评论(0)赞(1)

在实际业务场景中，为了提高系统的实时性，减轻日志存储压力，需要将日志直接生产至消息中间件，减少flume或flumted收集所导致的延时及性能压力，本文实现了一下功能： 实现了一个静态调用的异步生产者    AsyncProducer 封装...

2020-05-07admin阅读(1666)评论(0)赞(1)

概述 go语言版本的kafakaAPI 准备 golang sarama 简单使用 生产和消费的过程都是通过一个配置开始的. 生产者 //设置配置 config := sarama.NewConfig() //等待服务器所有副本都保存成功后...

2020-05-04admin阅读(1406)评论(0)赞(2)

Kafka Kafka集群的架构 broker topic partition:分区，把同一个topic分成不同的分区，提高负载 leader:分区的主节点（老大） follower：分区的从节点（小弟） Consumer Group 生产...

2020-04-18admin阅读(2236)评论(0)赞(2)

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展等特点。本文介绍了如何使用Go语言发送和接收kafka消息。 sarama Go语言中连接kafka使用...

2020-04-09admin阅读(1446)评论(0)赞(2)

1、下载镜像 1.1 zookeeper -> docker pull wurstmeister/zookeeper Using default tag: latest latest: Pulling from wurstmeiste...

2020-03-23admin阅读(972)评论(0)赞(1)

作为一个有丰富经验的微服务系统架构师，经常有人问我，应该选择 RabbitMQ 还是 Kafka？。 基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别，但是...