HoneyMoose
  • 首页
  • Java
  • Jersey
  • Jira
  • Confluence
  • U.S.
    • USRealEstate
    • U.S. Travel
    • H1B
  • 项目和网站
    • CWIKI.US
    • OSSEZ 社区
    • WIKI.OSSEZ.COM
    • BUG.OSSEZ.COM
    • RSS.OSSEZ.COM
BLOG.OSSEZ.COM
A responsive blog theme focused om user reading experience
  1. Home
  2. Computer Science
  3. This article

Druid 加载 Kafka 流数据配置可以读取和处理的流中数据格式

2021年09月11日 409Browse 0Like 0Comments

Kafka 索引服务(indexing service)支持 inputFormat 和 parser 来指定特定的数据格式。

inputFormat 是一个较新的参数,针对使用的 Kafka 索引服务,我们建议你对这个数据格式参数字段进行设置。 不幸的是,目前还不能支持所有在老的 parser 中能够支持的数据格式(Druid 将会在后续的版本中提供支持)。

目前 inputFormat 能够支持的数据格式包括有: csv, delimited, json。

如果你使用 parser 的话,你也可以阅读: avro_stream, protobuf, thrift 数据格式。

 

kafka-data-format-01

 

因为 Druid 的数据版本的更新,在老的环境下,如果使用 parser 能够处理更多的数格式。

如果通过配置文件来定义的话,在目前只能处理比较少的数据格式。

在我们的系统中,通常将数据格式定义为 JSON 格式,但是因为 JSON 的数据是不压缩的,通常会导致传输数据量增加很多。

 

protobuf

 

如果你想使用 protobuf 的数据格式的话,能够在 Kafka 中传递更多的内容,protobuf 是压缩的数据传输,占用网络带宽更小。

在小型系统中可能不一定会有太大的问题,但是对于大型系统来说,如果传输量小 80% 的话,那占用网络带宽也会小很多,另外也能降低错误率。

 

https://www.ossez.com/t/druid-kafka/13666

Tags: None
Last updated:2021年09月11日

Kratos

stay absorbed stay excellent

Like
< Previous
Next >

Comments

Cancel reply

Newest Hotspots Random
Newest Hotspots Random
网络编程常用的几种字符编码 Java 中的 String Pool 简介 有关 Java 9 的 String Java String 性能和优化 Java String 手工引用指针 Java String 文字(Literal)和 对象(Object)初始化
Jenkins 通过检查代码提交自动触发编译IntelliJ IDEA 2022 年版本中的作者提示Discourse 新用户可插入媒体的数量Discourse 的信任级别Java 使用 char[] Array 还是 String 存储字符串密码Java 字符串引用(String Interning)
Confluence 6 H2 数据库连接与合并整合 Confluence 6 配置默认语言界面 Windows 11 修改 PIN 的长度为 4 位 Confluence 6 用自带的用户管理 Confluence 7 编辑文件 Gitea 和 Jenkins 集成提交代码触发编译
Categories
  • Akka
  • Algorithm(算法)
  • AMQP
  • Angular
  • CI
  • Compile And CI
  • Computer Science
  • Confluence
  • DataBase
  • Gradle
  • H1B
  • Hibernate
  • IDE
  • Java
  • Jersey
  • Jira
  • MariaDB
  • PrestaShop
  • Spring
  • Spring Batch
  • U.S.
  • U.S. Travel
  • USRealEstate
  • 我的小厨

COPYRIGHT © 2020 HoneyMoose. ALL RIGHTS RESERVED.

THEME CWIKIUS.CN MADE BY VTROIS