HIVE 如何增加修改删除字段
非分区表
增加字段
增加字段可以使我们在所有字段之后和分区字段之间增加一个字段
使用格式
ALTER TABLE table_name
ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
[CASCADE|RESTRICT] -- (Note: Hive 1.1.0 and later)
使用示例,在 user_info 中增加 user_addr 字段,现有的表数据如下:
ALTER TABLE user_info ADD COLUMNS (user_addr string COMMENT '用户地址');
当我增加新的字段 user_addr 后,新增字段前的数据该列显示为 NULL ,那么如果我们新增一条数据呢?
INSERT INTO TABLE user_info
SELECT '003' as user_id, 'jack' as user_name, '34' as age, '广东深圳' as user_addr
;
结论:非分区表新增字段后,原有数据的该字段会显示为 NULL,新增的数据会按新增的数据进行展示
还没结束,我们向 user_info 再新增 user_appr 字段的时候再加下这两个 CASCADE、RESTRICT 属性,看看会发生什么
ALTER TABLE user_info ADD COLUMNS (user_appr string COMMENT '用户偏好') CASCADE;
添加 CASCADE 后执行失败,说明非分区表再添加字段时不能加CASCADE
ALTER TABLE user_info ADD COLUMNS (user_appr string COMMENT '用户偏好') RESTRICT;
添加RESTRICT 后执行成功,该语法具体含义后面再述
修改字段(修改字段名称、类型、注释、顺序)
修改前
修改字段 user_addr 的字段名称为 user_address
ALTER TABLE user_info CHANGE user_addr user_address string;
修改 user_address 的顺序,将该段放置在 user_appr 后
# 不支持,执行报错
# 语义:将user_address 更改为 user_address,类型为 string,放置在 user_appr 后面
ALTER TABLE user_info CHANGE is_active is_active string AFTER user_appr;
修改 is_active 字段的类型为 string,修改前为 int
ALTER TABLE user_info CHANGE is_active is_active string;
修改 user_address 字段的中文注释
ALTER TABLE user_info CHANGE user_address user_address STRING COMMENT '修改字段注释';
注意:以上的修改,仅仅是实现了修改元数据,实际的 HDFS 文件并没有修改,这个很关键
删除字段
HIVE 不能直接删除字段,且删除字段的操作有很大的局限性,一般尽量删除后面的字段,但是如果直接从中间删除,可能会出出现错位的情况。而且尽量不要有删除字段的操作
-- 示例:删除 user_age 字段
ALTER TABLE user_info REPLACE COLUMNS (user_id STRING, user_name STRING);
看到结果,我们发现 user_age 字段确实已经被移除了,这时我们如果执行添加 user_age 会发生什么情况
ALTER TABLE user_info ADD COLUMNS (user_age STRING COMMENT '用户年龄');
添加字段后,我们发现,之前该列的数据重新恢复了,并不是我们期望的 NULL 。因此,我们可以得出结论:HIVE 删除字段只是修改了元数据而已,真实的文件数据并没有被删除
分区表
新增字段
首先我们创建一张分区表
CREATE TABLE IF NOT EXISTS cust_info
(
user_id string COMMENT '用户ID'
,user_name string COMMENT '用户姓名'
,user_age string COMMENT '用户年龄'
)
COMMENT '客户信息表'
PARTITIONED BY (ds STRING COMMENT'分区')
;
INSERT OVERWRITE TABLE cust_info partition(ds = '20220223')
SELECT '001' as user_id, 'kyle' as user_name, '23' as user_age
UNION ALL
SELECT '002' as user_id, 'lisa' as user_name, '25' as user_age
;
我们新增一个字段 user_addr 字段试试
ALTER TABLE cust_info ADD COLUMNS (user_addr string COMMENT '用户地址')
;
新增完毕后,我们发现 20220223 分区中的数据 user_addr 列已经出现了,而且该列的值全部为 NULL
不符合我们的期望,我们来重新对该分区覆盖插入数据,并对该分区插入数据,对该列赋值
INSERT OVERWRITE TABLE cust_info partition(ds = '20220223')
SELECT '001' as user_id, 'kyle' as user_name, '23' as user_age, '中国深圳' as user_addr
UNION ALL
SELECT '002' as user_id, 'lisa' as user_name, '25' as user_age, '中国北京' as user_addr
;
插入数据后重新查看
,发现该列的值仍然为 NULL ,这是怎么回事
看下官方的文档
大概的意思为:新增字段时,默认为 RESTRICT ,这样只会修改元数据,并不会对历史分区生效,因此在刷历史数据的时候不生效。为了对历史分区生效,需要增加 CASCADE。只对历史分区有影响,新建分区则没有影响
我们删除表结构,然后重新插入数据并执行新增字段操作试试
ALTER TABLE cust_info ADD COLUMNS (user_addr string COMMENT '用户地址') CASCADE
;
增加字段
增加字段可以使我们在所有字段之后和分区字段之间增加一个字段
使用格式
ALTER TABLE table_name
ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
[CASCADE|RESTRICT] -- (Note: Hive 1.1.0 and later)
使用示例,在 user_info 中增加 user_addr 字段,现有的表数据如下:
ALTER TABLE user_info ADD COLUMNS (user_addr string COMMENT '用户地址');
当我增加新的字段 user_addr 后,新增字段前的数据该列显示为 NULL ,那么如果我们新增一条数据呢?
INSERT INTO TABLE user_info
SELECT '003' as user_id, 'jack' as user_name, '34' as age, '广东深圳' as user_addr
;
结论:非分区表新增字段后,原有数据的该字段会显示为 NULL,新增的数据会按新增的数据进行展示
还没结束,我们向 user_info 再新增 user_appr 字段的时候再加下这两个 CASCADE、RESTRICT 属性,看看会发生什么
ALTER TABLE user_info ADD COLUMNS (user_appr string COMMENT '用户偏好') CASCADE;
添加 CASCADE 后执行失败,说明非分区表再添加字段时不能加CASCADE
ALTER TABLE user_info ADD COLUMNS (user_appr string COMMENT '用户偏好') RESTRICT;
添加RESTRICT 后执行成功,该语法具体含义后面再述
修改字段(修改字段名称、类型、注释、顺序)
修改前
修改字段 user_addr 的字段名称为 user_address
ALTER TABLE user_info CHANGE user_addr user_address string;
修改 user_address 的顺序,将该段放置在 user_appr 后
# 不支持,执行报错
# 语义:将user_address 更改为 user_address,类型为 string,放置在 user_appr 后面
ALTER TABLE user_info CHANGE is_active is_active string AFTER user_appr;
修改 is_active 字段的类型为 string,修改前为 int
ALTER TABLE user_info CHANGE is_active is_active string;
修改 user_address 字段的中文注释
ALTER TABLE user_info CHANGE user_address user_address STRING COMMENT '修改字段注释';
注意:以上的修改,仅仅是实现了修改元数据,实际的 HDFS 文件并没有修改,这个很关键
删除字段
HIVE 不能直接删除字段,且删除字段的操作有很大的局限性,一般尽量删除后面的字段,但是如果直接从中间删除,可能会出出现错位的情况。而且尽量不要有删除字段的操作
-- 示例:删除 user_age 字段
ALTER TABLE user_info REPLACE COLUMNS (user_id STRING, user_name STRING);
看到结果,我们发现 user_age 字段确实已经被移除了,这时我们如果执行添加 user_age 会发生什么情况
ALTER TABLE user_info ADD COLUMNS (user_age STRING COMMENT '用户年龄');
添加字段后,我们发现,之前该列的数据重新恢复了,并不是我们期望的 NULL 。因此,我们可以得出结论:HIVE 删除字段只是修改了元数据而已,真实的文件数据并没有被删除
分区表
新增字段
首先我们创建一张分区表
CREATE TABLE IF NOT EXISTS cust_info
(
user_id string COMMENT '用户ID'
,user_name string COMMENT '用户姓名'
,user_age string COMMENT '用户年龄'
)
COMMENT '客户信息表'
PARTITIONED BY (ds STRING COMMENT'分区')
;
INSERT OVERWRITE TABLE cust_info partition(ds = '20220223')
SELECT '001' as user_id, 'kyle' as user_name, '23' as user_age
UNION ALL
SELECT '002' as user_id, 'lisa' as user_name, '25' as user_age
;
我们新增一个字段 user_addr 字段试试
ALTER TABLE cust_info ADD COLUMNS (user_addr string COMMENT '用户地址')
;
新增完毕后,我们发现 20220223 分区中的数据 user_addr 列已经出现了,而且该列的值全部为 NULL
不符合我们的期望,我们来重新对该分区覆盖插入数据,并对该分区插入数据,对该列赋值
INSERT OVERWRITE TABLE cust_info partition(ds = '20220223')
SELECT '001' as user_id, 'kyle' as user_name, '23' as user_age, '中国深圳' as user_addr
UNION ALL
SELECT '002' as user_id, 'lisa' as user_name, '25' as user_age, '中国北京' as user_addr
;
插入数据后重新查看
,发现该列的值仍然为 NULL ,这是怎么回事
看下官方的文档
大概的意思为:新增字段时,默认为 RESTRICT ,这样只会修改元数据,并不会对历史分区生效,因此在刷历史数据的时候不生效。为了对历史分区生效,需要增加 CASCADE。只对历史分区有影响,新建分区则没有影响
我们删除表结构,然后重新插入数据并执行新增字段操作试试
ALTER TABLE cust_info ADD COLUMNS (user_addr string COMMENT '用户地址') CASCADE
;