apache kafka

Apache Kafka是一个分布式的发布-订阅消息传递系统，旨在实现快速，可伸缩和持久的功能。 它提供了一个统一的，高吞吐量，低延迟的平台来处理实时数据馈送，并具有一个存储层，该存储层本质上是一个可大规模扩展的发布/订阅消息队列，其构造为分布式事务日志。 这种架构使最初由LinkedIn开发，并于2011年初开源，对于企业基础架构处理流数据而言非常有价值。

最初，Kafka旨在用于网站活动跟踪-捕获网站上的所有点击，操作或输入，并使多个“消费者”可以订阅该信息的实时更新。 但是，现在，互联网服务，金融服务，娱乐和其他行业的公司已经改编了Kafka的大规模可扩展架构，并将其应用于有价值的业务数据。

Kafka允许来自这些垂直领域的企业掌握公司中发生的一切，并将其转换为多个业务部门可以订阅和分析的实时数据流。 对于这些公司而言，Kafka可以替代传统的数据存储，而传统的数据存储则被隔离到单个业务部门，并且是一种统一所有不同系统中数据的简便方法。

Kafka已超越了IT运营数据，现在还用于与消费者交易，金融市场和客户数据有关的数据。 以下是不同行业使用Kafka的三种方式。

互联网服务

领先的互联网服务提供商（ISP）正在使用Kafka进行服务激活。 当新客户通过电话或在线注册互联网服务时，必须验证他们收到的硬件，然后才能使用。 验证过程会生成一系列消息，然后日志收集器会收集该日志数据并将其传递给Kafka，后者会将数据发送到多个要处理的应用程序中。

以这种方式使用Kafka的好处是，IT平台可以为消费者执行一项操作（激活服务），并将数据传递到分析应用程序，以便ISP可以按地理区域，激活率等来分析激活。

在使用Kafka之前，将数据捕获并路由到多个部门需要工程，商业智能以及用于复制数据的单独管道。 现在，Kafka成为唯一的事实来源，不仅可以捕获有关应用程序正在发生的事情的数据，而且还可以捕获客户正在发生的事情的数据。

金融服务

全球金融服务公司需要分析数十亿的日常交易，以寻找市场趋势，并紧跟金融市场快速频繁的变化。 过去，一家公司通过在收市后从多个业务部门收集数据，将其发送到广阔的数据湖，然后对捕获的数据进行分析来做到这一点。

为了从被动方法转变为对传入的市场数据进行实时分析，Kafka充当消息传递代理，以容纳运营数据和其他与市场相关的金融数据。 现在，该公司的分析师不必分析事后的运作数据，而是可以实时掌握市场的运行状况并做出相应的决策。

高盛（Goldman Sachs）是一家使用卡夫卡（Kafka）的金融公司的例子，该公司领导了开发，这是一项行业计划，旨在为即时通讯和内容共享建立基于云的平台，从而安全地连接市场参与者。 它基于经济高效，可扩展且可定制以适合最终用户需求的开源业务模型。

娱乐

具有行业领先游戏平台的娱乐公司必须每天实时处理数百万笔交易，并确保消息的丢弃率非常低。 过去，它使用功能强大的开源处理引擎Apache Spark和Hadoop，但最近改用了Kafka。

有趣的是，该公司将Kafka用作此数据的保险单，因为只要公司需要，Kafka就会以可读格式安全地存储数据。 这使公司既可以通过简化的架构路由消息，又可以通过Kafka存储数据。 如果发生灾难或严重错误，它可以恢复数据并进行故障排除。

使用Kafka作为所有应用程序数据收集的网关，每天需要处理数千亿条消息。 例如，它使用Kafka进行统一的事件发布，收集，用于批处理和流处理的路由以及临时消息传递。

在云和本地环境中，Kafka已经超越了其最初的网站活动跟踪功能，已成为一种行业标准，为各种行业的公司提供了可靠，简化的消息传递解决方案。

翻译自:

apache kafka