博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
logstash定时将mysql种数据同步到elasticsearch
阅读量:6478 次
发布时间:2019-06-23

本文共 1318 字,大约阅读时间需要 4 分钟。

以Windows操作系统为例

  1.下载logstash安装包,解压,配置好环境

       2.在config目录中新增一个jdbc.conf

input {    stdin {    }    jdbc {        # mysql 数据库链接,es为数据库名        jdbc_connection_string => "jdbc:mysql://localhost:3306/es?characterEncoding=utf8&useSSL=true&serverTimezone=GMT"        # 用户名和密码        jdbc_user => "root"          jdbc_password => "root"        # 驱动         jdbc_driver_library =>         "C:/Users/Administrator/.m2/repository/mysql/mysql-connector-java/8.0.13/mysql-connector-java-8.0.13.jar"        # 驱动类名         jdbc_driver_class => "com.mysql.jdbc.Driver"        jdbc_paging_enabled => "true"        jdbc_page_size => "50000"        # 执行的sql 文件路径+名称        statement_filepath => "H:/software/java/logstash-6.2.2/config/test.sql"        # 设置监听间隔  各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新         schedule => "* * * * *"        # 设定ES索引类型        type => "content"    }}filter {      json {              source => "message"              remove_field => ["message"]      }  } output {    elasticsearch {         hosts => ["localhost:9200"]        #ES索引名称(自己定义的)        index => "cmscontent"        #自增ID编号        document_id => "%{id}"    }    stdout {        codec => json_lines    }}

  3.在config目录中新增一个test.sql   内容为:select * from test

       4.cmd在bin目录下执行logstash -f ../config/jdbc.conf

转载于:https://www.cnblogs.com/t3306/p/10614069.html

你可能感兴趣的文章
安卓Glide(4.7.1)使用笔记 01 - 引入项目
查看>>
中金易云:为出版社找到下一本《解忧杂货店》
查看>>
Flex布局
查看>>
Material Design之 AppbarLayout 开发实践总结
查看>>
Flutter之MaterialApp使用详解
查看>>
DataBinding最全使用说明
查看>>
原生Js交互之DSBridge
查看>>
Matlab编程之——卷积神经网络CNN代码解析
查看>>
三篇文章了解 TiDB 技术内幕 —— 说计算
查看>>
copy strong weak assign的区别
查看>>
OpenCV 入门
查看>>
css 3D transform变换
查看>>
ele表格合并行之后的selection选中
查看>>
正则表达式分解剖析(一文悟透正则表达式)
查看>>
解决UILable标点符号居中的问题
查看>>
HTML5新特性教程
查看>>
ImageOptim-无损图片压缩Mac版
查看>>
12 Go语言map底层浅析
查看>>
vue-resumer 项目中 element-ui 遇到的 textarea autosize 问题
查看>>
以主干开发作为持续交付的基础
查看>>