2. Flink快速上手
文章目录
- 1. 环境准备
-
- 1.1 系统环境
- 1.2 安装配置Java 8和Scala 2.12
- 1.3 使用集成开发环境IntelliJ IDEA
- 1.4 安装插件
- 2. 创建项目
-
- 2.1 创建工程
-
- 2.1.1 创建Maven项目
- 2.1.2 设置项目基本信息
- 2.1.3 生成项目基本框架
- 2.2 添加项目依赖
-
- 2.2.1 添加Flink相关依赖
- 2.2.2 添加slf4j-nop依赖
- 2.2.3 刷新项目依赖
- 3. 编写代码
-
- 3.1 准备工作
-
- 3.1.1更名目录
- 3.1.2 添加scala-sdk到项目
- 3.1.3 查看是否可以创建Scala类
- 3.1.4 设置源目录与测试源目录
- 3.1.5 准备数据文件
- 3.1.6 词频统计思路
- 3.1.7 创建包
- 3.2 批处理
-
- 3.2.1 创建单例对象
- 3.2.2 运行程序，查看结果
- 3.2.3 注意事项
- 3.3 流处理
-
- 3.3.1 流数据概念
- 3.3.2 读取文件
-
- 3.3.2.1 创建单例对象
- 3.3.2.2 运行程序，查看结果
- 3.3.3 读取文本流
-
- 3.3.3.1 创建单例对象
- 3.3.3.2 主机上启动nc
- 3.3.3.3 启动词频统计程序
- 3.3.3.4 主机上利用nc发送数据
- 3.3.3.5 在控制台查看结果
- 4. 总结
1. 环境准备
大家好，今天我们将一起学习如何快速上手Apache Flink。首先，我们需要准备一下环境。
1.1 系统环境
请确保您的系统环境为Windows 10。
1.2 安装配置Java 8和Scala 2.12
在开始之前，请确认您已经安装了Java 8和Scala 2.12。您可以通过命令行查看Java和Scala的版本。
java -version
scala -version
1.3 使用集成开发环境IntelliJ IDEA
我们推荐使用IntelliJ IDEA 2020.1版本作为我们的集成开发环境。
1.4 安装插件
在IDEA中，我们需要安装以下插件：
- Maven插件
- Git插件
- Scala插件
这些插件将帮