当前位置：首页 > article >正文

调度系统：Prefect 结合 Couchbase SQL 执行和调度 SQL 查询脚本

article 2025/1/16 13:00:15

使用 Prefect 管理和调度 Couchbase SQL 脚本的实际例子可以帮助你自动化数据提取、转换和加载（ETL）任务，尤其是当你需要执行复杂的 SQL 查询，处理来自 Couchbase 数据库的数据时。以下是一个例子，展示如何使用 Prefect 结合 Couchbase SQL 执行和调度 SQL 查询脚本。

场景：

我们假设你需要从 Couchbase 数据库中提取数据，执行 SQL 查询，然后对结果进行转换或清洗，最后将处理后的数据存储到文件或另一个数据库中。这个过程可以通过 Prefect 管理和调度。

步骤：

安装 Prefect 和 Couchbase 客户端：

pip install prefect couchbase

编写任务和工作流：在下面的示例中，我们将使用 Prefect 定义三个任务：

从 Couchbase 执行 SQL 查询。

对查询结果进行数据清洗。

将清洗后的数据保存到文件（例如 CSV 文件）。

from prefect import task, Flow
from couchbase.cluster import Cluster, ClusterOptions
from couchbase.auth import PasswordAuthenticator
import pandas as pd

连接到 Couchbase 集群

def get_couchbase_connection():
cluster = Cluster(‘couchbase://localhost’, ClusterOptions(PasswordAuthenticator(‘username’, ‘password’)))
bucket = cluster.bucket(‘your_bucket’)
return bucket

1. 从 Couchbase 执行 SQL 查询

@task
def run_couchbase_query(query: str):
“”“执行 Couchbase N1QL 查询并返回结果”“”
bucket = get_couchbase_connection()
result = bucket.query(query)
# 将结果转换为 Pandas DataFrame
rows = [row for row in result]
return pd.DataFrame(rows)

2. 数据清洗任务

@task
def clean_data(df: pd.DataFrame):
“”“简单数据清洗：删除缺失值和去除空格”“”
df = df.dropna() # 删除缺失值
# 假设某些列是字符串，进行空格去除
df[‘some_column’] = df[‘some_column’].str.strip()
return df

3. 保存数据到文件（例如 CSV）

@task
def save_data_to_file(df: pd.DataFrame, file_path: str):
“”“将数据保存到 CSV 文件”“”
df.to_csv(file_path, index=False)
print(f"数据已保存到 {file_path}")

创建 Prefect 工作流

with Flow(“Couchbase_ETL_Workflow”) as flow:
query = “SELECT * FROM your_bucket WHERE condition = true”
data = run_couchbase_query(query)
cleaned_data = clean_data(data)
save_data_to_file(cleaned_data, “output_data.csv”)

运行工作流

flow.run()

解释：

get_couchbase_connection：

这是一个辅助函数，用于连接到 Couchbase 集群。你需要提供 Couchbase 集群的地址和认证信息（用户名、密码）。在此例中，我们假设连接到本地的 Couchbase 集群。

run_couchbase_query：

该任务负责执行 Couchbase N1QL 查询，从指定的 bucket 中获取数据。查询结果被转换为 Pandas DataFrame 以便后续处理。

clean_data：

对查询结果进行简单的数据清洗操作。我们删除缺失值，并假设某些列是字符串类型，因此进行了去除空格的操作。你可以根据需求进行更复杂的数据清洗。

save_data_to_file：

该任务将清洗后的数据保存为 CSV 文件。你也可以根据需求将其保存到其他存储介质（如数据库、HDFS 等）。

工作流和任务依赖：

任务的依赖关系在 Flow 中定义：首先执行 run_couchbase_query，然后执行 clean_data，最后执行 save_data_to_file。

flow.run()：

flow.run() 会触发整个工作流的执行，Prefect 会自动按顺序执行这些任务。

调度任务：

你可以设置 Prefect 工作流的调度功能，让它定期执行，或者通过外部事件触发任务。例如，每天执行一次这个 ETL 流程。

from prefect.schedules import IntervalSchedule

from datetime import timedelta

设置调度，每天运行一次

schedule = IntervalSchedule(interval=timedelta(days=1))

with Flow(“Couchbase_ETL_Workflow”, schedule=schedule) as flow:
query = “SELECT * FROM your_bucket WHERE condition = true”
data = run_couchbase_query(query)
cleaned_data = clean_data(data)
save_data_to_file(cleaned_data, “output_data.csv”)