您可能在关系数据库或传统消息传递系统等现有系统中拥有大量数据，以及已经使用这些系统的许多应用程序。 Kafka Connect允许您不断地将数据从外部系统摄取到 Kafka 中，反之亦然。它是一个运行连接器的可扩展工具 ，它实现与外部系统交互的自定义逻辑。因此，将现有系统与 Kafka 集成非常容易。为了使这个过程更加容易，有数百个这样的连接器可供使用。
在本快速入门中，我们将了解如何使用简单的连接器运行 Kafka Connect，将数据从文件导入到 Kafka 主题，并将数据从 Kafka 主题导出到文件。
首先，确保添加到Connect 工作线程配置中的属性。出于本快速入门的目的，我们将使用相对路径并将连接器的包视为 uber jar，它在从安装目录运行快速入门命令时起作用。但是，值得注意的是，对于生产部署，使用绝对路径始终是更好的选择。有关如何设置此配置的详细说明， 请参阅plugin.path 。
编辑文件，添加或更改与以下内容匹配的配置属性，然后保存文件：
然后，首先创建一些种子数据进行测试：
或者在 Windows 上：
接下来，我们将启动两个以独立模式运行的连接器，这意味着它们在单个本地专用进程中运行。我们提供三个配置文件作为参数。第一个始终是 Kafka Connect 进程的配置，包含常见配置，例如要连接的 Kafka 代理和数据的序列化格式。其余配置文件各自指定要创建的连接器。这些文件包括唯一的连接器名称、要实例化的连接器类以及连接器所需的任何其他配置。
这些示例配置文件包含在 Kafka 中，使用您之前启动的默认本地集群配置并创建两个连接器：第一个是源连接器，用于从输入文件读取行并将每行生成到 Kafka 主题，第二个是接收器连接器从 Kafka 主题读取消息并将每条消息生成为输出文件中的一行。
在启动过程中，您将看到许多日志消息，其中包括一些指示连接器正在实例化的日志消息。一旦 Kafka Connect 进程启动，源连接器应开始从主题读取行并将其生成到主题，接收器连接器应开始从主题读取消息 并将其写入文件。我们可以通过检查输出文件的内容来验证数据是否已通过整个管道传递：
请注意，数据存储在 Kafka topic 中，因此我们还可以运行控制台消费者来查看主题中的数据（或使用自定义消费者代码来处理它）：
连接器继续处理数据，因此我们可以将数据添加到文件并查看它在管道中移动：
您应该看到该行出现在控制台使用者输出和接收器文件中。
版权声明：
本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。
本文网址：https://www.bianchenghao6.com/java-jiao-cheng/17065.html