Elasticsearch之logstash的下载安装及使用并配置ik分词器-白红宇

Elasticsearch之logstash的下载安装及使用并配置ik分词器

阅读量：798 次

发布时间：2019-03-25

本文共 2530 字，大约阅读时间需要 8 分钟。

1. 选择同步边界

在设置数据库到Elasticsearch（ES）的数据同步任务时，选择合适的同步边界至关重要。以下是两种常见的同步边界选择及其优缺点：

####字段id

当数据库中新增字段时，使用字段id作为同步边界可以确保新字段被同步到ES。这是因为每当数据库有新增字段时，Logstash会自动将其推送到ES。但其缺点在于，当数据库中的数据进行更新时，Logstash无法自动感知这些更新，可能导致数据不完整或延迟。

####updateTime

相比之下，选择updateTime作为同步边界是一个更好的选择。updateTime字段在数据库中无论是新增还是修改都会产生变化。Logstash能够识别这些变化，从而在定期同步过程中自动拉取数据库中更新的数据。这种方式能够有效避免数据延迟问题，确保数据的一致性。

2. Logstash JDBC 插件（新版本自带的）

Logstash 推出了一个内置的JDBC插件，可以用来直接从数据库中读取数据并将其导入Elasticsearch。以下是该插件的使用步骤和配置示例：

####准备步骤

下载Logstash：根据你的Elasticsearch版本选择合适的Logstash版本。建议访问Elastic官方网站：https://www.elastic.co/cn/downloads/elasticsearch。

下载数据库驱动：下载适用于你数据库类型的JDBC驱动。例如，MySQL驱动可以使用 mysql-connector-java-5.1.41.jar。

解压和配置：

使用 tar 命令解压 Logstash：tar -zxzf logstash-x.x.x-linux-x86_64.tar.gz

进入解压后的 Logstash 目录，创建配置文件目录：mkdir -p logstash-x.x.x/sync

使用 Vim 创建同步规则配置文件：vim logstash-x.x.x/sync/logstash-db-sync.conf

将 JDBC 驱动文件复制到配置文件目录：cp ~/mysql-connector-java-5.1.41.jar logstash-x.x.x/sync/

####配置文件示例（logstash-db-sync.conf）

input {
  jdbc {
    # 数据库连接信息
    jdbc_driver_library => "/usr/local/sql/mysql-connector-java-5.1.41.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://你的数据库地址:3306/你的数据库名"
    jdbc_user => "数据库用户名"
    jdbc_password => "数据库密码"
    # 分页配置
    jdbc_paging_enabled => "true"
    jdbc_page_size => "10000"
    # 定时执行 SQL
    schedule => "* * * * *"
    statement => "SELECT * FROM 表名 WHERE update_time >= :sql_last_value"
    
    # 其他配置
    use_column_value => "true"
    last_run_metadata_path => "/usr/local/logstash-x.x.x/sync/syncpoint_table"
    tracking_column_type => "timestamp"
    tracking_column => "update_time"
    clear_run => "false"
    lowercase_column_names => "false"
  }
}
output {
  elasticsearch {
    hosts => ["你的 ES 地址:9200", "你的 ES 地址:9201"]
    index => "你的 ES 索引名"
    document_id => "%{id}"
    document_type => "_doc"
  }
  stdout {
    codec => "json_lines"
  }
}

3. 启动

进入 Logstash 的 bin 目录：cd logstash-x.x.x/bin/

启动 Logstash 并指定配置文件：

./logstash -f ../sync/logstash-db-sync.conf

4. 获取 Logstash 模板（可选：添加分词操作）

如果需要对数据进行分词处理，可以遵循以下步骤：

####添加分词模板

创建模板文件：vim logstash-ik.json

{
  "analyzer": "ik_max_word"
}

获取默认模板：访问你的 ES 地址：http://your_es_ip:9200/_template/logstash

复制默认模板到本地文件。

####修改配置文件在 logstash-db-sync.conf 中添加以下配置：

output {
  elasticsearch {
    # 模板名称
    template_name => "你的模板名称"
    # 模板路径
    template => "../sync/logstash-ik.json"
    template_overwrite => "true"
    manager_template => "false"
  }
}

通过以上配置，你可以实现从数据库到Elasticsearch的实时数据同步。如果有更多问题，可以参考 Logstash 官方文档或查阅社区资料。

转载地址：http://bztyk.baihongyu.com/

你可能感兴趣的文章