ElasticSearch 集群安全

时间:2024-01-28 16:39:02

公号:码农充电站pro
主页:https://codeshellme.github.io

在安装完 ES 后,ES 默认是没有任何安全防护的。

ES 的安全管理主要包括以下内容:

这里有一些免费的安全方案:

  • 设置 Nginx 方向代理。
  • 安装免费的安全插件,比如:
  • X-Pack 的 Basic 版:可参考这里

1,身份认证

ES 中提供的认证叫做 Realms,有以下几种方式,可分为两类:

  • 内部的:不需要与 ES 外部方通信。
    • file(免费):用户名和密码保存在 ES 索引中。
    • native(免费):用户名和密码保存在 ES 索引中。
  • 外部的:需要与 ES 外部组件通信。

2,用户鉴权

用户鉴权通过定义一个角色,并分配一组权限;然后将角色分配给用户,使得用户拥有这些权限。

ES 中的权限有不同的级别,包括集群级别(30 多种)和索引级别(不到 20 种)。

ES 中提供了很多内置角色(不到 30 种)可供使用。

ES 中提供了很多关于用户与角色的 API:

3,启动 ES 安全功能

下面演示如何使用 ES 的安全功能。

启动 ES 并通过 xpack.security.enabled 参数打开安全功能:

bin\elasticsearch -E node.name=node0 -E cluster.name=mycluster -E path.data=node0_data -E http.port=9200 -E xpack.security.enabled=true

使用 elasticsearch-setup-passwords 命令启用 ES内置用户及初始 6 位密码(需要手动输入,比如是 111111):

bin\elasticsearch-setup-passwords interactive

该命令会启用下面这些用户:

  • elastic:超级用户。
  • kibana:用于 ES 与 Kibana 之间的通信。
  • kibana_system:用于 ES 与 Kibana 之间的通信。
  • apm_system
  • logstash_system
  • beats_system
  • remote_monitoring_user

启用 ES 的安全功能后,访问 ES 就需要输入用户名和密码:

在这里插入图片描述

也可以通过 curl 命令(并指定用户)来访问 ES:

curl -u elastic 'localhost:9200'

更多内容可参考这里

4,启动 Kibana 安全功能

打开 Kibana 的配置文件 kibana.yml,写入下面内容:

elasticsearch.username: "kibana_system"  # 用户名
elasticsearch.password: "111111"         # 密码

然后使用 bin\kibana 命令启动 Kibana。

访问 Kibana 也需要用户和密码(这里使用的是超级用户):

在这里插入图片描述

5,使用 Kibana 创建角色和用户

下面演示如何使用 Kibana 创建角色和用户。登录 Kibana 之后进行如下操作:

在这里插入图片描述

点击 Stack Management 后进入下面页面:

在这里插入图片描述

5.1,创建角色

点击 Create role 创建角色:

在这里插入图片描述

创建角色需要填写如下内容:

  • 角色名称
  • 角色对哪些索引有权限及索引的权限级别
  • 添加一个 Kibana 权限
  • 最后创建角色

在这里插入图片描述

经过上面的操作,创建的角色名为 test_role,该角色对 test_index 索引有只读权限;如果进行超越范围的操作,将发生错误。

5.2,创建用户

进入到创建用户的界面,点击 Create user 创建用户:

在这里插入图片描述

填写用户名和密码,并将角色 test_role 赋予该用户。

在这里插入图片描述

5.3,使用用户

使用新创建的用户登录 Kibana:

在这里插入图片描述

该用户只对 test_index 索引有只读权限;如果进行超越范围的操作,将发生错误。

6,传输加密

传输加密指的是在数据的传输过程中,对数据进行加密(可防止数据被抓包)。

传输加密分为集群内加密和集群间加密:

  • 集群内加密指的是 ES 集群内部各节点之间的数据传输时的加密。
    • 通过 TLS 协议完成。
  • 集群间加密指的是外部客户访问 ES 时,数据传输的加密。
    • 通过 HTTPS 协议完成。

更多的内容可参考这里

6.1,集群内部传输加密

在 ES 中可以使用 TLS 协议对数据进行加密,需要进行以下步骤:

  • 创建 CA
  • 为 ES 节点创建证书和私钥
  • 配置证书
1,创建 CA 证书

使用如下命令创建 CA:

bin\elasticsearch-certutil ca

成功后,可以看到当前文件夹下多了一个文件:

elastic-stack-ca.p12
2,生成证书和私钥

使用如下命令为 ES 中的节点生成证书和私钥

bin\elasticsearch-certutil cert --ca elastic-stack-ca.p12

成功后,可以看到当前文件夹下多了一个文件:

elastic-certificates.p12
3,配置证书

将创建好的证书 elastic-certificates.p12 放在 config/certs 目录下。

4,启动集群
# 启动第一个节点
bin\elasticsearch 
-E node.name=node0 
-E cluster.name=mycluster
-E path.data=node0_data 
-E http.port=9200 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12

# 启动第二个节点
bin\elasticsearch 
-E node.name=node1 
-E cluster.name=mycluster 
-E path.data=node1_data 
-E http.port=9201 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12

不提供证书的节点将无法加入集群:

bin\elasticsearch 
-E node.name=node2 
-E cluster.name=mycluster 
-E path.data=node2_data 
-E http.port=9202 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate
# 加入失败

也可以将配置写在配置文件 elasticsearch.yml 中,如下:

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

6.2,集群外部传输加密

通过配置如下三个参数,使得 ES 支持 HTTPS:

xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.http.ssl.truststore.path: certs/elastic-certificates.p12

在命令行启动:

bin\elasticsearch 
-E node.name=node0 
-E cluster.name=mycluster
-E path.data=node0_data 
-E http.port=9200 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12
-E xpack.security.http.ssl.enabled=true 
-E xpack.security.http.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.http.ssl.truststore.path=certs\elastic-certificates.p12

启动成功后,可以通过 HTTPS 协议访问 ES:

https://localhost:5601/

6.3,配置 Kibana 链接 ES HTTPS

1,为 Kibana 生成 pem 文件

首先用 openssl 为 kibana 生成 pem:

openssl pkcs12 -in elastic-certificates.p12 -cacerts -nokeys -out elastic-ca.pem

成功后会生成如下文件:

elastic-ca.pem

将该文件放在 config\certs 目录下。

2,配置 kibana.yml

在 Kibana 的配置文件 kibana.yml 中配置如下参数:

elasticsearch.hosts: ["https://localhost:9200"]
elasticsearch.ssl.certificateAuthorities: ["C:\\elasticsearch-7.10.1\\config\\certs\\elastic-ca.pem"]
elasticsearch.ssl.verificationMode: certificate
3,运行 Kibana
bin\kibana

6.4,配置 Kibana 支持 HTTPS

1,为 Kibana 生成 pem
bin/elasticsearch-certutil ca --pem

上面命令执行成功后会生成如下 zip 文件:

elastic-stack-ca.zip

将该文件解压,会有两个文件:

ca.crt
ca.key

将这两个文件放到 Kibana 的配置文件目录 config\certs

2,配置 kibana.yml

在 Kibana 的配置文件 kibana.yml 中配置如下参数:

server.ssl.enabled: true
server.ssl.certificate: config\\certs\\ca.crt
server.ssl.key: config\\certs\\ca.key
3,运行 Kibana
bin\kibana

启动成功后,可以通过 HTTPS 协议访问 Kibana:

https://localhost:5601/

(本节完。)


推荐阅读:

ElasticSearch 搜索模板与建议

ElasticSearch 聚合分析

ElasticSearch 中的 Mapping

ElasticSearch 数据建模

ElasticSearch 分布式集群


欢迎关注作者公众号,获取更多技术干货。

码农充电站pro