es索引管理工具-curator

elasticsearch-curator 是官方收购的开源社区周边产品，用来管理es的索引和快照。 在6.6以后官方推出了ILM（索引生命周期管理策略），更加易于操作和方便使用，可以在kibana界面直接操作。

官方文档：https://www.elastic.co/guide/en/elasticsearch/client/curator/current/index.html

功能包括：从别名添加、删除索引，更改分片路由分配，打开/关闭索引，创建/删除索引，快照管理、合并segment，更改索引分片副本数等。

目前使用的elasticsearch-curator版本是5.4, Python2.6安装会出现问题.建议在安装在python2.7+的环境中.

安装:

# pip install elasticsearch-curator

使用:

命令语法:

命令行参数： curator [--config CONFIG.YML] [--dry-run] ACTION_FILE.YML

$ curator --help

Usage: curator [OPTIONS] ACTION_FILE

  Curator for Elasticsearch indices.

  See http://elastic.co/guide/en/elasticsearch/client/curator/current

Options:

  --config PATH  Path to configuration file. Default: ~/.curator/curator.yml
--dry-run      Do not perform any changes.  #  --dry-run参数在调试action_file时比较重要
--version      Show the version and exit.

  --help         Show this message and exit.

curator运行需两个配置文件：

config.yml：用于连接ES集群配置

action.yml：用于配置要执行的操作，文件名称可以随意命名

config.yml配置:

# cat curator.yml

# Remember, leave a key empty ifthere is no value.  None will be a string,

# not a Python "NoneType"

client:

  hosts:

    - 172.16.10.23

    - 172.16.10.24

    - 172.16.10.25

  port: 9200

  url_prefix:

  use_ssl: False

  certificate:

  client_cert:

  client_key:

  ssl_no_validate: False

  http_auth:

  timeout: 3600

  master_only: False

logging:

  loglevel: INFO

#  logfile: /home/test/curator.log

  logfile:

  logformat: default

  blacklist: ['elasticsearch', 'urllib3']

配置说明:

hosts: 同一个集群内节点IP,如果端口不同,可写成ip:port形式;只能一次使用一个集群。在主机设置中包含来自多个集群的节点将导致错误。
port: 默认值是9200。这个值只适用于没有端口的主机。
timeout: 默认值是30S,根据实际使用情况调整.
logfile: 默认值是空的，会将执行结果输出到STDOUT或控制台。如果指定文件,会把执行日志输出到文件中,而不是控制台.
blacklist: 默认值为'elasticsearch', 'urllib3'。Python模块不被输出。除非需要调试某些问题, 否则请使用默认值.

ACTION_FILE配置

配置说明：关闭前缀为syslog- 并且时间格式为 '%Y.%m.%d'的7天前的所有的文档.

# cat action_close.yml

---

# Remember, leave a key empty ifthere is no value.  None will be a string,

# not a Python "NoneType"

#

# Also remember that all examples have 'disable_action'set to True.  If you

# want to use thisaction as a template, be sure to set thisto False after

# copying it.

actions:

  1:

    action: close

    description: >-

      Close indices older than 30days (based on index name), forlogstash-

      prefixed indices.

    options:

      delete_aliases: False

      disable_action: False

    filters:      # filters下的配置都是隐含的逻辑“AND”操作链接.
- filtertype: pattern

      kind: prefix

      value: syslog-

    - filtertype: age

      source: name

      direction: older

      timestring: '%Y.%m.%d'

      unit: days

      unit_count: 7

curator_cli命令行命令行查看所有索引：

# curator_cli --config config.yml action_close.yml --verbose

执行命令：

# curator --config config.yml action_close.yml

秒客网

es索引管理工具-curator

相关文章