HIVE udf实例

大数据 waitig 652℃ 百度已收录 0评论

本例中udf来自《hive编程指南》其中13章自定义函数中一个例子。

 

按照步骤,第一步,建立一个项目,创建 GenericUDFNvl 类。

/**
 * 不能接受第一个参数为null的情况
* 测试过,不是很好用
*/ package hive.udf; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.udf.generic.GenericUDF; import org.apache.hadoop.hive.ql.udf.generic.GenericUDFUtils; import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector; @Description( name = "nvl", value = "_FUNC_(value,default_value) - Returns default value if value is nul else returns value", extended = "Example:\n> SELECT _FUNC_(NULL, 'bla') FROM src LIMIT 1;" ) public class GenericUDFNvl extends GenericUDF { private GenericUDFUtils.ReturnObjectInspectorResolver returnOIResolver; private ObjectInspector[] argumentOIs; @Override public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException { argumentOIs = arguments; if (arguments.length != 2) { throw new UDFArgumentLengthException("The operator 'NVL' accepts 2 arguments."); } returnOIResolver = new GenericUDFUtils.ReturnObjectInspectorResolver(true); if (!(returnOIResolver.update(arguments[0]) && returnOIResolver.update(arguments[1]))) { throw new UDFArgumentTypeException(2, "THe 1st and 2nd args of function NVL should have the same type, " + "but they are different: \"" + arguments[0].getTypeName() + "\" and \"" + arguments[1].getTypeName() + "\""); } return returnOIResolver.get(); } @Override public Object evaluate(DeferredObject[] arguments) throws HiveException { Object retVal = returnOIResolver.convertIfNecessary("", argumentOIs[0]); //if (retVal == null) { retVal = returnOIResolver.convertIfNecessary(arguments[1], argumentOIs[1]); //} return retVal; } @Override public String getDisplayString(String[] children) { StringBuilder sb = new StringBuilder(); sb.append("if "); sb.append(children[0]); sb.append(" is null "); sb.append("returns"); sb.append(children[1]); return sb.toString(); } }

 

创建完成之后,在项目中点邮件->Export->JAR file,再下一步中选中刚刚创建的这个文件,将文件导出为.jar文件。

 

接下来,进入hive的 CLI,执行

hive> add jar /home/user/udfnvl.jar;  

hive> create temporary function nvl as “hive.udf.GenericUDFNvl”;

hive> desc function nvl;
OK
nvl(value,default_value) – Returns default value if value is nul else returns value
Time taken: 0.169 seconds
hive> desc function extended nvl;
OK
nvl(value,default_value) – Returns default value if value is nul else returns value
Example:
> SELECT nvl(NULL, ‘bla’) FROM src LIMIT 1;

Time taken: 0.051 seconds

以上的整个过程比较简单,有很多UDF的例子,可以在github中找到,如https://github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDFEncode.java

但也有一些需要注意的地方,就是导出项目jar包时需要关注一下jdk的版本,需要与执行环境一致,否则会报 Unsupported major.minor version 52.0 这样的错误。

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Monaco }


本文由【waitig】发表在等英博客
本文固定链接:HIVE udf实例
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)