django+postgresql

PostgreSQL概述

PostgreSQL 是一个功能强大的开源关系数据库管理系统（RDBMS），以其高度的稳定性、扩展性和社区支持而闻名。PostgreSQL 支持 SQL 标准并具有很多先进特性，如 ACID 合规、复杂查询、外键支持、事务处理、表分区、JSON 数据类型、全文搜索、地理空间数据支持等。由于其灵活性，PostgreSQL 在数据密集型和分析密集型的场景中被广泛使用，适用于各类应用开发，包括 Django 应用程序。

日常运维

1. 数据备份与恢复：

   • 物理备份：使用 pg_basebackup 工具，可以进行文件级备份。
   • 逻辑备份：使用 pg_dump 或 pg_dumpall 工具，可以进行数据库级备份，适合小数据量。
   • 定期备份是保障数据安全的基础，建议在业务低谷期执行并测试备份的可用性。

2. 日志管理：

   • 配置 PostgreSQL 日志，例如 log_destination, log_min_duration_statement 等参数，可以设置日志输出位置、查询耗时记录等，方便定位问题。
   • 建议定期轮换日志，以防止日志文件过大影响数据库性能。

3. 数据库监控：

   • 监控数据库的 CPU、内存、磁盘 IO 使用情况，定期检查慢查询（通过开启 pg_stat_activity 和 pg_stat_statements 可以监控查询情况）。
   • 设置告警系统，确保在资源使用超过阈值时及时收到提醒。

4. 性能调优：

   • 缓冲区管理：调整 shared_buffers、work_mem 等参数以适应业务场景。shared_buffers 一般设置为总内存的 25%-40%。
   • 自动化维护：配置 autovacuum 自动清理无用数据和维护索引，以防止表膨胀。
   • 查询优化：定期分析并优化慢查询，建立适当的索引，并进行索引重建以提高查询效率。

5. 安全管理：

   • 定期更新 PostgreSQL 版本，确保安全漏洞得到修复。
   • 限制数据库的访问权限，设置强密码，使用 SSL 加密客户端连接。

Django + PostgreSQL 部署注意事项

在 Django 和 PostgreSQL 配合使用时，主要关注以下几点：

1. 数据库配置：

   • 在 Django 的 settings.py 中，配置 DATABASES，指定 ENGINE 为 django.db.backends.postgresql，并正确填写 NAME, USER, PASSWORD, HOST, PORT 等连接信息。
   • 确保 PostgreSQL 用户具有所需权限（如 CREATE, READ, WRITE），但也要遵循最小权限原则。

2. 使用连接池：

   • Django 默认不提供数据库连接池功能，但可以通过 django-postgrespool2 等第三方库实现连接池管理。连接池有助于提升应用的数据库连接性能，减少建立连接的开销。

3. 性能优化：

   • 开启 Django 缓存功能，减少数据库查询次数。
   • 在模型字段上适当设置索引，如 db_index=True，对于经常查询或排序的字段特别重要。
   • 使用 select_related 和 prefetch_related 优化外键查询，减少数据库的访问次数。

4. 事务管理：

   • 使用 Django 的事务功能（如 transaction.atomic()），确保数据库操作的原子性。
   • 注意避免长时间占用事务锁，防止影响其他操作的执行。

5. 数据迁移：

   • Django 使用 migrations 进行数据库模式的迁移，确保每次部署前运行 python manage.py migrate，以保持数据库表结构的一致性。
   • 在生产环境中进行迁移前，建议先在测试环境中执行迁移，以避免生产环境出现结构不兼容问题。

6. 其他注意事项：

   • 时区设置：确保 Django 和 PostgreSQL 的时区配置一致，以避免时间数据的混淆（通常配置为 UTC）。
   • 字符编码：建议在 PostgreSQL 中将数据库编码设置为 UTF8，以确保对多语言字符的支持。

总结

Django 和 PostgreSQL 配合非常适合构建可扩展的 web 应用，但需要注意数据库配置、性能优化、连接池、数据迁移等方面的细节，以确保系统的可靠性和性能。

下面是一个典型的 Django + PostgreSQL 的配置示例，包括 settings.py 中的数据库配置和一些常见的 PostgreSQL 配置项，帮助你在 Django 项目中实现最佳实践。

1. Django settings.py 数据库配置示例

在 Django 项目的 settings.py 中配置 PostgreSQL 数据库，确保 ENGINE 设置为 PostgreSQL 并填入数据库连接信息：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': 'your_database_name',  # 数据库名称
        'USER': 'your_database_user',  # 数据库用户名
        'PASSWORD': 'your_database_password',  # 数据库用户密码
        'HOST': 'localhost',  # PostgreSQL 服务器地址，通常是 localhost 或数据库服务器 IP
        'PORT': '5432',  # PostgreSQL 默认端口
    }
}

# 启用 `psycopg2` 作为 PostgreSQL 的驱动
import dj_database_url
DATABASES['default'] = dj_database_url.config(conn_max_age=600, ssl_require=True)

确保在项目中安装 psycopg2，可以通过 pip install psycopg2 安装 PostgreSQL 驱动。

2. 配置连接池

Django 默认不支持数据库连接池，可以通过 django-postgrespool2 或类似库来实现连接池。

在项目中安装连接池包：

pip install django-postgrespool2

更新 DATABASES 配置以启用连接池：

DATABASES = {
    'default': {
        'ENGINE': 'django_postgrespool2',  # 使用 django-postgrespool2 作为连接池
        'NAME': 'your_database_name',
        'USER': 'your_database_user',
        'PASSWORD': 'your_database_password',
        'HOST': 'localhost',
        'PORT': '5432',
        'OPTIONS': {
            'MAX_CONNS': 20,  # 设置最大连接数，取决于业务需求
            'MIN_CONNS': 5,   # 设置最小连接数
        }
    }
}

3. Django 性能优化示例

在 settings.py 中还可以进行一些其他优化设置：

# 缓存设置
CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
        'LOCATION': 'unique-snowflake',
    }
}

# 开启数据库调试（开发模式下）
DEBUG = True  # 生产环境请关闭

4. PostgreSQL 数据库配置示例

在 PostgreSQL 中配置一些性能相关的参数，通常在 postgresql.conf 文件中：

# 内存分配
shared_buffers = 1GB           # 设置内存缓冲区，一般设置为系统内存的 25%-40%
work_mem = 16MB                 # 单个查询的内存工作区，适当设置

# 自动清理
autovacuum = on                 # 启用自动清理
autovacuum_vacuum_cost_delay = 20ms  # 自动清理的延迟

# 日志设置
logging_collector = on          # 开启日志记录
log_directory = 'pg_log'        # 日志目录
log_min_duration_statement = 500ms  # 记录执行超过500ms的查询

注意：在修改 PostgreSQL 配置后，需重启服务才能生效。