Hi，大家好，我是编程小6，很荣幸遇见你，我把这些年在开发过程中遇到的问题或想法写出来，今天说一说
aws rds快照_elasticsearch删除数据,希望能够帮助你!!!。

Elasticsearch 提供了非常简单的备份和恢复解决方案。在本教程中，我们将备份存储在 AWS S3。在本教程中，我们将备份快照、恢复快照并创建一个 cron 作业以每天备份快照。

主要分为以下几个方面介绍：

• 快照
• 快照存储库
• 注册快照存储库
• 拍摄快照
• 从快照恢复
• 监控快照和恢复进度
• 每日备份

快照：

快照是从正在运行的 Elasticsearch 集群中获取的备份。我们可以对单个索引或整个集群进行快照。快照是增量的，这意味着索引的每个快照只存储不属于早期快照的数据。

快照存储库：

快照存储库是存储快照的容器。快照可以存储在本地或远程存储库中。远程存储库可以驻留在AWS S3、HDFS、Azure、谷歌云存储以及存储库插件支持的其他平台上。

要检索有关所有已注册快照存储库的信息：

curl -X GET "localhost:9200/_snapshot/_all?pretty"

注册快照存储库：

我们必须注册一个存储库以拍摄快照并从中恢复。要将 AWS S3 注册为快照存储库，我们将遵循以下步骤：

• AWS 设置
• S3 Elasticsearch 插件安装
• 快照存储库注册

AWS 设置 ：

• S3 存储桶：在本指南中，我们将创建一个名为S3-BUCKET-NAME的 S3 存储桶。
• 自定义策略：我们将使用以下策略文档创建自定义策略：

{ "Statement": [ { "Action": [ "s3:ListBucket", "s3:GetBucketLocation", "s3:ListBucketMultipartUploads", "s3:ListBucketVersions" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::S3-BUCKET-NAME" ] }, { "Action": [ "s3:GetObject", "s3:PutObject", "s3:DeleteObject", "s3:AbortMultipartUpload", "s3:ListMultipartUploadParts" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::S3-BUCKET-NAME/*" ] } ], "Version": "2012-10-17" }

• IAM 用户：然后，我们将创建一个附加自定义策略的 IAM 用户。我们需要收集ACCESS_KEY_ID和SECRET_ACCESS_KEY。

S3 Elasticsearch 插件安装 ：

• 安装 S3 插件：

 cd /usr/share/elasticsearch sudo bin/elasticsearch-plugin install --batch repository-s3

• 为了方便设置，设置-Des.allow_insecure_settings=true为/etc/elasticsearch/jvm.options。为了更安全的设置，我们可以使用elasticsearch-keystore。

快照存储库注册 ：
要将备份存储在这个 S3 存储桶中，我们必须需要将此存储桶注册为快照存储库。我们可以从命令行将此存储桶注册为快照注册表：

curl -X PUT "localhost:9200/_snapshot/REPOSITORY_NAME?pretty" -H 'Content-Type: application/json' -d' { "type": "s3", "settings": { "bucket": "S3-BUCKET-NAME", "region": "AWS_REGION", "access_key": "ACCESS_KEY_ID", "secret_key": "SECRET_ACCESS_KEY" } } '

备份快照：

我们可以通过以下命令从运行 elasticsearch cluser 中获取快照，这里，SNAPSHOT_NAME对于每个REPOSITORY_NAME都是唯一的。

curl -X PUT "localhost:9200/_snapshot/REPOSITORY_NAME/SNAPSHOT_NAME?wait_for_completion=true&pretty" -H 'Content-Type:application/json' -d' { "indices": "index_1,index_2", "ignore_unavailable": true, "include_global_state": false }

可以使用以下命令列出当前存储在存储库中的所有快照：

curl -X GET "localhost:9200/_snapshot/my_backup/_all?pretty"

从快照恢复：

要从 S3 恢复索引，我们可以执行以下操作：

curl -X POST "localhost:9200/_snapshot/REPOSITORY_NAME/SNAPSHOT_NAME/_restore?pretty" -H 'Content-Type: application/json' -d' { "indices": "index_1,index_2", "ignore_unavailable": true, "include_global_state": false, "rename_pattern": "index_(.+)", "rename_replacement": "restored_index_$1", "include_aliases": false } '

监控快照和恢复进度：

我们可以通过以下命令监控快照的状态：

curl -X GET "localhost:9200/_snapshot/REPOSITORY_NAME/SNAPSHOT_NAME/_status?pretty"

每日备份：

• 创建一个 bash 脚本：我们将创建一个 bash 脚本，例如daily_elastic_search_backup.sh如下：

#!/bin/bash TODAY=$(date +'%Y.%m.%d') echo Today $TODAY indices will be stored in S3. ELASTIC_SEARCH_HOST="localhost" ELASTIC_SEARCH_PORT="9200" REPOSITORY_NAME="REPOSITORY_NAME" SNAPSHOT_NAME="snapshot-"$TODAY echo Starting Snapshot $SNAPSHOT_NAME curl -X PUT "$ELASTIC_SEARCH_HOST:$ELASTIC_SEARCH_PORT/_snapshot/$REPOSITORY_NAME/$SNAPSHOT_NAME?wait_for_completion=true" -H 'Content-Type:application/json' -d' { "indices": "index-1,index-2", "ignore_unavailable": true, "include_global_state": false } ' echo Successfully completed storing "$SNAPSHOT_NAME" in S3

• 将脚本添加到 Crontab：我们现在可以在 crontab 中添加以下行，以便每天凌晨 12 点 UTC 进行备份：

0 0 * * * /home/ubuntu/daily_elastic_search_backup.sh > /home/ubuntu/daily_elastic_search_backup.log 2>&1

• 另外在实际操作的过程中，一定要注意账号的问题，elaticsearch节点都要设置而且必须一致，不然在备份镜像的时候会提示权限问题。

*多学习、多实践、多沉淀*

喜欢的朋友记得给个关注~

今天的分享到此就结束了，感谢您的阅读，如果确实帮到您，您可以动动手指转发给其他人。