网站建设 中企动力南昌,网站建设的工资,深圳工程造价建设信息网站,东莞教育网官网一、目的
在HiveSQL的DWD层中#xff0c;需要对原始数据进行去重在内的清洗#xff0c;结果一开始其他数据类型的清洗工作都正常#xff0c;直到碰到转向比数据。
一般的SQL查询有数据#xff0c;但是加上group by以后就没数据#xff1b;
一般的SQL查询有数据#xf…一、目的
在HiveSQL的DWD层中需要对原始数据进行去重在内的清洗结果一开始其他数据类型的清洗工作都正常直到碰到转向比数据。
一般的SQL查询有数据但是加上group by以后就没数据
一般的SQL查询有数据但是insert写入表中表中数据为空
二、报错详情
一一般的SQL查询有数据不加group by 二加上group by以后就没数据 三insert写入表中表中数据为空 三、报错原因
经过两天时间的研究一开始以为是解析json数据的SQL语句有问题后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多导致Hive计算资源有问题
四、解决措施
由于我刚进开发阶段没几张表就直接重装Hive重新建库建表
五、重装Hive后验证 DWD层转向比数据的SQL语句可以写入表中 开发的路上总是会时不时的碰到一些稀奇古怪的问题这些虽然带来了烦恼但更是开发过程中惊喜继续加油
