网站企业快速备案流程,freenom怎么做网站,wordpress调用自定义菜单,网站建设如何开票当手动删除HDFS 分区数据时,但是并没有清理 Hive 中的分区元数据,删除操作无法自动更新hive分区表元数据。也就是从hdfs中删除大量分区数据,并没有执行如下命令: alter table drop partition commad 从hive 3.0.0开始可以使用MSCK的方法发现新分区或删除丢失的分区; MSCK [REPA… 当手动删除HDFS 分区数据时,但是并没有清理 Hive 中的分区元数据,删除操作无法自动更新hive分区表元数据。也就是从hdfs中删除大量分区数据,并没有执行如下命令: alter table drop partition commad 从hive 3.0.0开始可以使用MSCK的方法发现新分区或删除丢失的分区; MSCK [REPAIR] TABLE table_name [ADD/DROP/SYNC PARTITIONS] 这种方式是在HIVE-17824中实现的。 若手动删除 HDFS 上多个分区文件夹,且快速刷新分区,则需要在存在external表执行如下操作: 删除表(DROP TABLE table_name) 重新创建表(CREATE EXTERNAL TABLE table_name ...) 修复它(MSCK REPAIR TABLE table_name)
如果分区数量较多,需要执行的时间很长。另外一种解决方案是对每个已删除的分区文件夹使用ALTER TABLE DROP PARTITION (...),但如果删除了多个分区,这可能会很乏味。 用户可用修复表option选项运行metastore检查命令:
MSCK [REPAIR] TABLE table_name [ADD/DROP/SYNC PARTITIONS];对于不存在元数据的分区会更新到Hive metastore。
1.MSC命令的默认选项是“ADD PARTITIONS”。通过这个选项它会将所有HDFS上存在但不存在metastore的分区添加到metastore中。
2.DROP PARTITIONS选项将从metastore中删除已经从HDFS中删除的分区信息。
3.SYNC PARTITIONS选项相当于同时调用ADD和DROP PARTITIONS。 详情请参阅HIVE-874和HIVE-17824。当有大量未跟踪的分区时运行MSCK REPAIR TABLE批处理避免OOME(内存不足错误)。通过为属性hive.msck.repair.batch.size提供配置的批大小它可以在内部的批中运行。属性的默认值是0这意味着它将一次执行所有分区。 不带REPAIR选项的MSCK命令可用于查找元数据mismatch metastore的详细信息。
