Databricks 入门之sql（一）基础查询
Databricks提供以spark sql的方式管理数据，本文记录最近学习到的常用sql。
1.Create table
DROP TABLE IF EXISTS People10M;
CREATE TABLE People10M
USING parquet
OPTIONS (
path "/mnt/training/dataframes/people-10m.parquet",
header "true");从OPTIONS指定的路径下读取数据并创建对应的表，USING parquet指定读取数据的结构为parquet。Apache parquet 是一种列式文件格式，具有加快查询速度的优化功能。 它是比CSV或 JSON更加高效的文件格式。细节参考：Parquet Files 。
当然databricks支持对CSV和JSON格式的数据读取。
2. Create Temporary Views
Databricks 可以方便快速的在内存中创建临时视图来支持数据操作。
CREATE OR REPLACE TEMPORARY VIEW PeopleSavings AS
SELECT
firstName,
lastName,
year(birthDate) as birthYear,
salary,
salary * 0.2 AS savings
FROM
People10M;3. 查询
查询语法和常见的sql语句相同
# 查询数据
SELECT * FROM People10M;# 查询表结构
DESCRIBE People10M;# 关联查询
SELECT firstName
FROM PeopleDistinctNames
JOIN SSADistinctNames ON firstName = ssaFirstName