大数据Flink（一百一十二）：Flink SQL作业快速入门

文章目录

Flink SQL作业快速入门

一、进入Flink开发平台

二、​​​​​​​创建作业

三、​​​​​​​​​​​​​​编写作业代码

四、​​​​​​​​​​​​​​进行更多配置

五、​​​​​​​​​​​​​​进行深度检查

六、​​​​​​​​​​​​​​进行作业调试

1、​​​​​​​创建Session集群

2、​​​​​​​​​​​​​​调试

七、​​​​​​​​​​​​​​作业部署

八、​​​​​​​​​​​​​​启动并查看Flink计算结果

九、​​​​​​​​​​​​​​停止作业

Flink SQL作业快速入门

一、进入Flink开发平台

在阿里云官网首页，点击右上角控制台，进入工作台。

直接点击我的资源下的Flink，或者搜索Flink，进入Flink控制台。

点击实例id，进入Flink项目空间。 

二、​​​​​​​​​​​​​​创建作业

在左侧导航栏，单击SQL开发。

在作业草稿下，新建文件夹：阿里云Flink。

在此文件夹下，创建文件夹：快速入门。

在快速入门文件夹下，单击新建作业草稿。 

单击空白的流作业草稿。

单击下一步。

在新建文件草稿对话框，填写作业信息。 

单击创建。

三、​​​​​​​​​​​​​​编写作业代码

拷贝如下代码到SQL编辑器上。

--创建一个datagen_source临时表。
CREATE TEMPORARY TABLE datagen_source(
  randstr VARCHAR
) WITH (
  'connector' = 'datagen'
);

--创建一个print_table临时表。
CREATE TEMPORARY TABLE print_table(
  randstr  VARCHAR
) WITH (
  'connector' = 'print',
  'logger' = 'true'
);

--将randstr字段的数据打印出来。
INSERT INTO print_table
SELECT SUBSTRING(randstr,0,8) from datagen_source;

说明: 在生产作业中，建议尽量减少临时表的使用，直接使用元数据管理中已经注册的表。 

四、​​​​​​​​​​​​​​进行更多配置

在作业开发页面右侧，单击更多配置后，我们可以填写以下参数信息：

• 引擎版本：建议使用推荐版本或稳定版本，引擎版本标记含义详情如下：
  • 推荐版本（Recommend）：当前最新大版本下的最新小版本。
  • 稳定版本（Stable）：还在产品服务期内的大版本下最新的小版本，已修复历史版本缺陷。
  • 普通版本（Normal）：还在产品服务期内的其他小版本。
  • EOS版本（Eos）：超过产品服务期限的版本。
• 附加依赖文件：作业中需要使用到的附加依赖，例如临时函数等。

五、​​​​​​​​​​​​​​进行深度检查

在作业开发页面顶部，单击深度检查，进行语法检查。

六、​​​​​​​​​​​​​​进行作业调试

1、​​​​​​​创建Session集群

调试之前，首先需要创建Session集群并且启动：

在左侧导航栏，单击Session管理。

点击创建Session集群。

按照下图进行配置：

点击创建Session集群，等待一会，可以看到集群状态变为运行中。 

2、​​​​​​​​​​​​​​调试

在作业开发页面顶部，单击调试。选择刚才创建的集群，点击下一步。

可以看到调试结果。

我们可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。 

七、​​​​​​​​​​​​​​作业部署

在作业开发页面顶部，单击部署，在部署新版本对话框，可根据需要填写或选中相关内容，单击确定。

说明：Session集群适用于非生产环境的开发测试环境，可以使用Session集群模式部署或调试作业，提高作业JM（Job Manager）资源利用率和提高作业启动速度。但不推荐将作业提交至Session集群中，因为会存在业务稳定性问题。 

八、​​​​​​​​​​​​​​启动并查看Flink计算结果

在左侧导航栏，单击作业运维。

单击目标作业名称操作列中的启动。

选择无状态启动后，单击启动。当您看到作业状态变为运行中，则代表作业运行正常。

在作业运维详情页面，查看Flink计算结果。

在作业运维页面，单击目标作业名称。

在作业探查页签，在下拉列表中选择运行日志。

单击运行Task Managers页签下的Path，ID。

 单击日志，单击下方页面，ctrl+f，在页面搜索PrintSinkOutputWriter相关的日志信息。

可以看到randstr字段的数据已经打印出来。

点击Stdout，向下拉取页面，同样也能看到结果

九、​​​​​​​​​​​​​​停止作业

在作业运维页面单击对应作业右侧的停止，即可停止作业。

如果我们对作业进行了修改（例如更改SQL代码、增删改WITH参数、更改作业版本等），且希望修改生效，则需要先上线，然后停止再启动。另外，如果作业无法复用State，希望作业全新启动时，也需要停止后再启动作业。

• 📢博客主页：https://lansonli.blog.csdn.net
• 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
• 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
• 📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨