数据在Kafka主题中产生/消费。主题是Kafka为记录流提供的核心抽象。主题类似于典型数据库中的表。
如果你想把数据从Kafka转移到数据库中(反之亦然),你可以使用Confluent的捆绑连接器,它可以import and export data from some of the most commonly used data systems.
关于您可以将数据保存在主题中的期限,您需要查找保留策略和期限。
Kafka集群使用可配置的保留期持久保存所有已发布的记录,无论它们是否已被使用。例如,如果保留策略设置为两天,则在记录发布后的两天内,该记录可供使用,超过两天后将被丢弃以释放空间。
保留期是一个可配置的参数,允许您随心所欲地存储数据。例如,配置以下参数;
代码语言:javascript运行复制log.retention.minutes=3
log.cleanup.policy=delete一条消息将在该主题中保留3分钟。有关这些参数的更多详细信息,请查看broker configuration parameters,在那里还可以找到与主题保留相关的更多参数的信息(如log.retention.bytes、log.segment.bytes、log.retention.check.interval、log.roll.ms等)。
我给你的建议是从可以在official documentation中找到的介绍性材料开始,以便能够理解卡夫卡的一般工作原理。