Docker环境实现PostgreSQL自动备份的流程步骤
目录
- 安装
- Ubuntu安装docker环境
- 安装PostgreSQL
- 安装和配置pg_rman
- 容器内安装git
- 容器内安装pg_rman
- 配置PostgreSQL
- 测试
- 创建全量备份
- 创建增量备份
- 恢复备份
- 配置 pg_rman
- 设置定时备份
- 停止定时任务
- 删除备份
- pg_rman如何知道postgres的数据文件位置
安装
Ubuntu安装Docker环境
如果您尚未在 Ubuntu 系统中安装 Docker,可以按照以下步骤进行安装:
更新系统的包列表:
sudo apt-get update
安装 Docker 相关的依赖包:
sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common
添加 Docker 的官方 GPjavascriptG 密钥:
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/docker.gpg
添加 Docker 的官方软件源:
sudo add-apt-repository "deb [arch=$(dpkg --print-architecture signed-by=/etc/apt/trusted.gpg.d/docker.gpg)] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
更新包列表并安装 Docker:
sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io
启动 Docker 服务并设置开机自启:
sudo systemctl start docker sudo systemctl enable docker
安装PostgreSQL
在 Docker 中安装 pg_rman,首先需要拉取 PostgreSQL 的 Docker 镜像。可以使用以下命令从 Docker Hub 上拉取官方的 PostgreSQL 镜像:
docker pull postgres
创建 PostgreSQL 容器 接下来,创建一个名为 "my-postgres" 的 PostgreSQL 容器,并设置一个用户名和密码供连接使用。可以使用以下命令:
docker run -d --name my-postgres -e POSTGRES_USER=myuser -e POSTGRES_PASSWORD=mypassword postgres
其中,myuser
和 mypassword
分别是要设置的用户名和密码,您可以根据需要进行修改。
进入 PostgreSQL 容器 运行以下命令以进入 PostgreSQL 容器的 shell:
docker exec -it my-postgres bash
安装和配置pg_rman
容器内安装git
如果在容器内没有git
命令,您可以通过以下步骤安装它:
1.在容器内执行以下命令更新包管理工具:
apt-get update
2.使用以下命令安装git
:
apt-get ijavascriptnstall -y git
这将安装git
工具,使您能够下载pg_rman源代码并进行后续编译和安装步骤。完成安装后,您可以按照之前的步骤继续进行pg_rman的安装。
容器内安装pg_rman
在 PostgreSQL 容器的 shell 中,可以使用以下命令安装 pg_rman 的依赖项,并编译安装 pg_rman:
1.安装编译工具和依赖项:
apt-get update apt-get install -y git build-essential libpq-dev libssl-dev
2.克隆 pg_rman 仓库:
git clone https://github.com/ossc-db/pg_rman.git
3.进入 pg_rman 目录:
cd pg_rman
4.编译并安装 pg_rman:
make make install
配置PostgreSQL
安装完 pg_rman 后,需要在 PostgreSQL 中配置 pg_rman 进行备份和恢复操作。可以在 PostgreSQL 容器的 shell 中使用以下命令编辑 PostgreSQL 的配置文件:
1.编辑 PostgreSQL 的配置文件 postgresql.conf:
vi /var/lib/postgresql/data/postgresql.conf
2.在容器内创建用于存储备份文件的目录
mkdir -p /var/lib/postgresql/pg_rman_backup
3.在配置文件中添加以下内容,启用 pg_rman:
# 启用 pg_rman 插件 shared_preload_libraries = 'pg_rman' # 指定 pg_rman 的备份目录 pg_rman.backup_path = '/var/lib/postgresql/pg_rman_backup'
4.保存并退出配置文件。
5.在容器内重启 PostgreSQL 服务,使配置生效:
service postgresql restart
使用 pg_rman 进行备份和恢复, 现在,可以在 Docker 容器中使用 pg_rman 进行 PostgreSQL 数据库的备份和恢复操作了。以下是一些常用的 pg_rman 命令示例:
测试
创建全量备份
pg_rman backup -B /var/lib/postgresql/pg_rman_backup -b my_backup
创建增量备份
pg_rman backup -B /var/lib/postgresql/pg_rman_backup -b my_backup --incremental
恢复备份
pg_rman restore -B /var/lib/postgresql/pg_rman_backup -i my_backup
参数的解释:
pg_rman
:这是运行pg_rman
工具的命令。backup
:这是你要执行的操作,本例中是备份操作。-B /var/lib/postgresql/pg_rman_backup
:这是-B
选项后跟一个目录路径。它指定备份将存储在的目录,本例中备份将放在目录/var/lib/postgresql/pg_rman_backup
中。-b my_backup
:这是-b
选项后跟一个标签或标识备份的名称。在这里,备份标签设置为 "my_backup"。这个标签可以帮助你标识和管理不同的备份。- 这些参数用于告诉
pg_rman
在哪里存储备份,并为备份提供一个易于识别的标签。通常,你会包括其他选项和参数,以指定有关 PostgreSQL 数据库和备份配置的详细信息。
配置 pg_rman
1.在PostgreSQL容器内创建配置文件
touch /var/lib/pgsql/data/pg_rman.conf
2.编辑配置文件
使用文本编辑器(例如vi
或nano
)编辑配置文件,添加以下内容,根据您的需求进行配置:
BACKUP_PATH = '/var/lib/postgresql/pg_rman_backup' BACKUP_MODE = FULL LOG_DIR = '/var/log/pg_rman'
在上述配置中,将/var/lib/postgresql/pg_rman_backup
替换为您希望存储备份的实际目录路径,/var/log/pg_rman
是pg_rman备份日志的目录。这些路径指的是PostgreSQL容器内的文件和目录路径,前提需提前创建对应文件夹
1. 映射备份路径到主机路径: 假设您希望将容器内的备份路径 /var/lib/postgresql/pg_rman_backup
映射到主机上的 /host/backup
目录,可以在运行容器时使用 -v
参数:
-v /host/backup:/var/lib/postgresql/pg_rman_backup
这样,备份文件将在容器内的 /var/lib/postgresql/pg_rman_backup
目录创建,但也将在主机上的 /host/backup
目录中可见。
2. 映射日志路径到主机路径: 假设您希望将容器内的日志路径 /var/log/pg_rman
映射到主机上的 /host/log
目录,可以在运行容器时使用 -v
参数:
-v /host/log:/var/log/pg_rman
这样,pg_rman备份日志将在容器内的 /var/log/pg_rman
目录创建,但也将在主机上的 /host/log
目录中可见。
通过这种方式,您可以轻松在容器内和主机之间共享备份文件和备份日志。确保在命令中替换路径为您希望使用的实际路径。
3.重启 PostgreSQL 容器(可根据实际情况添加容器数据卷)
docker restart my_postgres
这将使 pg_rman 配置生效。
配置PostgreSQL步骤可忽略此步骤
对于在 PostgreSQL 容器内启用 pg_rman 扩展的步骤,这取决于您的 PostgreSQL 数据库配置和需求。下面我将进一步解释这个步骤的情况:
1.在 Docker 中启动一个 PostgreSQL 容器。可以使用以下命令创建一个基于 PostgreSQL 的 Docker 容器:
docker run -d --name my_postgres -p 5432:5432 -e POSTGRES_USER=myuser -e POSTGRES_PASSWORD=mypassword postgres
其中,my_postgres
是容器名称,myuser
和 mypassword
是 PostgreSQL 的用户名和密码。
2.进入 PostgreSQL 容器的 Shell:
docker exec -it my_postgres psql -U myuser
其中,myuser
是之前设置的 PostgreSQL 用户名。
3.在 PostgreSQL 容器中安装 pg_rman 扩展:
如果您希望在 PostgreSQL 容器内使用 pg_rman
扩展来执行备份和还原操作,并且您的 PostgreSQL 数据库尚未启用 pg_rman
扩展,那么您需要在 PostgreSQL 容器内执行以下 SQL 命令来启用扩展:
CREATE EXTENSION pg_rman;
这将在 PostgreSQL 中安装 pg_rman 扩展。
- 这通常用于在数据库级别启用
pg_rman
扩展,以便您可以在 PostgreSQL 数据库内直接运行pg_rman
命令。
- 这通常用于在数据库级别启用
在 PostgreSQL 容器内不需要启用 pg_rman 扩展(没有此步骤):
- 如果您的 PostgreSQL 容器已经在创建时包含了
pg_rman
扩展,或者您的 PostgreSQL 数据库中已经启用了pg_rman
扩展,那么您不需要再次在容器内启用它。 - 这可能是因为您使用的 PostgreSQL 容器映像已经包含
pg_rman
扩展,或者您在容器外部的 PostgreSQL 数据库中已经进行了配置。
- 如果您的 PostgreSQL 容器已经在创建时包含了
1.创建 pg_rman 的备份目录
mkdir /pg_rman_backup
这将在容器外创建一个用于存储备份的目录。
2.在 PostgreSQL 容器中配置 p编程客栈g_rman
ALTER SYSTEM SET pg_rman.config_file_diremybYTctory = '/pg_rman_backup';
这将设置 pg_rman 的配置文件目录为之前创建的备份目录。
3.重启 PostgreSQL 容器
docker restart my_postgres
这将使 pg_rman 配置生效。
设置定时备份
1.创建一个名为 pg_rman_backup.sh 的脚本文件,并将其放置在备份目录中,例如 /pg_rman_backup。
2.编辑 pg_rman_backup.sh 脚本,设置备份的参数和选项。例如,以下是一个示例脚本:
#!/bin/bash # 定义备份目录和文件名 BACKUP_DIR="/pg_rman_backup" BACKUP_FILE="backup_%Y%m%d_%H%M%S" # 获取当前日期和时间 CURRENT_DATE=$(date "+%Y-%m-%d") CURRENT_TIME=$(date "+%H:%M:%S") # 判断当前日期是周日还是周一到周六 if [ "$(date +%u)" == "7" ]; then # 如果是周日,则执行全量备份 echo "[$CURRENT_DATE $CURRENT_TIME] Performing full backup..." pg_rman backup --backup-path=$BACKUP_DIR --backup-mode=full --backup-name-format=$BACKUP_FILE else # 如果是周一到周六,则执行增量备份 echo "[$CURRENT_DATE $CURRENT_TIME] Performing incremental backup..." pg_rman backup --backup-path=$BACKUP_DIR --backup-mode=incremental --backup-name-format=$BACKUP_FILE fi
3.设置定时任务,使用 cron 在容器内设置每周日凌晨1点执行全量备份,每周一到周六凌晨1点执行增量备份。例如,以下是一个 cron 配置示例:
# 进入 PostgreSQL 容器 docker exec -it my_postgres bash # 编辑 crontab 配置文件 crontab -e # 在 crontab 配置文件中添加以下定时任务 0 1 * * 7 /pg_rman_backup/pg_rman_backup.sh # 每周日凌晨1点执行全量备份 0 1 * * 1-6 /pg_rman_backup/pg_rman_backup.sh # 每周一到周六凌晨1点执行增量备份
这将在每周日凌晨1点执行全量备份,每周一到周六凌晨1点执行增量备份,根据您的需求进行定时备份。请注意,crontab 的时间设置根据您的系统时区而定,以上示例假设您的系统时区为 UTC。如果您的系统时区不同,需要根据实际情况进行调整。
停止定时任务
1.打开终端或 SSH 连接到你的服务器。
2.运行以下命令来编辑你的 crontab 配置文件:
crontab -e
在编辑模式下,找到你之前添加的定时任务行,将这些行删除或注释掉。你可以在行前面添加 #
符号,这样它们将被视为注释而不再执行:
# 0 1 * * 7 /pg_rman_backup/pg_rman_backup.sh # 0 1 * * 1-6 /pg_rman_backup/pg_rman_backup.sh
保存并退出编辑器。
这将停止之前设置的定时任务。 Crontab 将不再执行这些任务。
请注意,你需要使用具有适当权限的用户运行 crontab -e
来编辑 crontab 配置文件。如果你使用了 root
用户来设置这些任务,你应该以 root
用户身份运行上述命令。
删除备份js
在 Docker 环境下,要删除 pg_rman 创建的备份文件,可以通过以下步骤进行:
进入运行 PostgreSQL 容器的主机。
在主机上定位到 pg_rman 备份文件的存储路径。这通常在容器内的某个挂载目录中,可以通过挂载选项 -v
或 --volume
在启动容器时指定的。例如,如果在启动容器时使用了以下命令:
docker run -v /my/backup/folder:/var/lib/postgresql/pg_rman_backup postgres
那么备份文件将会存储在主机上的 /my/backup/folder
目录中。
在主机上使用命令行或文件管理工具,删除不再需要的备份文件。例如,可以使用 rm
命令删除文件,例如:
rm /my/backup/folder/my_backup
注意,删除备份文件时要谨慎,确保您只删除不再需要的备份文件,并且不会影响到正在使用的数据库的完整性和可用性。
此外,您也可以在运行 PostgreSQL 容器时通过 -e 或 --env 参数设置 pg_rman.backup_path 参数,将备份文件存储到容器内的其他目录,并在容器内使用相应的权限删除备份文件。例如,可以使用以下命令启动容器,并将备份文件存储到 /my/backup/folder 目录:
docker run -e pg_rman.backup_path=/my/backup/folder postgres
然后在容器内使用相应的权限删除备份文件。请注意,这种方法需要在容器内具有足够的权限来删除文件,并且需要小心以避免意外删除重要数据。
pg_rman如何知道postgres的数据文件位置
pg_rman 通过连接到 PostgreSQL 数据库来获取数据文件的位置,因为 PostgreSQL 维护了有关数据文件的元数据信息。您无需手动指定数据文件位置,pg_rman 会自动检测数据库中的数据目录。
通常,pg_rman 会查看 PostgreSQL 数据目录,并从数据库的元数据中了解数据文件的位置。这包括主要数据目录、表空间、以及其他相关信息。然后,pg_rman 使用这些信息来备份和还原数据库。
在 PostgreSQL 中,数据文件通常存储在数据库数据目录下的 base
目录中。pg_rman 会查找这些数据文件,以确保备份包含所有必要的数据。
虽然大多数情况下 pg_rman 可以自动识别数据文件的位置,但在某些特殊情况下,您可能需要手动指定数据文件的位置,特别是在您的数据库配置与标准设置不同的情况下。要手动指定数据文件位置,您可以在 pg_rman 的配置文件中使用 DATABASE_PATH
参数来定义数据库的数据目录路径。例如:
DATABASE_PATH = '/path/to/postgresql/data'
将 /path/to/postgresql/data 替换为您 PostgreSQL 数据目录的实际路径。
总之,pg_rman 通常能够自动检测 PostgreSQL 数据文件的位置,但您也可以在需要时手动指定它们。这样,pg_rman 就能正确备份和还原数据库。
以上就是Docker环境实现PostgreSQL自动备份的流程步骤的详细内容,更多关于Docker PostgreSQL自动备份的资料请关注编程客栈(www.devze.com)其它相关文章!
精彩评论