Hive处理Json数据

Json 数据格式是我们比较常用的的一种数据格式，例如埋点数据、业务端的数据、前后端调用都采用的是这种数据格式，所以我们很有必要学习一下这种数据格式的处理方法

cat jsondata

创建hive表并且加载数据

json_tuple 不支持json 的嵌套处理，但是支持一次性获取多个顶级的key对应的值

get_json_object 不支持一次获取多个值，但是支持复杂json 的处理

用法：get_json_object(string json_string, string path) 前面我们介绍过如何查看函数的用法 desc function get_json_object

返回值：String

说明：解析json的字符串json_string，返回path指定的内容。如果输入的json字符串无效，那么返回NUll，这个函数每次只能返回一个数据项。

具体示例： get_json_object(value,’$id’)

select get_json_object(text,"$movie") from odsods_json_data;

这个函数的不足之处是，它只能返回一个值，就是我们不能一次性从json 中提取多个值，如果要提取多个值的话，就要多次调用这个函数,但是我们下面介绍的json_tuple 就可以,但是这不是说这个函数不强或者怎么样，记住这个函数的api 可以帮你节约很多时间

用法：json_tuple(jsonStr, p1, p2, , pn) 整理的pn 就是我们要提取的键

返回值：tuple(v1,vn) 这里的返回值v1 vn 和 键p1 pn 是相对应的

select json_tuple(text,'movie','rate','timeStamp','uid') from odsods_json_data;

json_tuple相当于get_json_object的优势就是 一次可以解析多个Json字段 。

前面我们说了json_tuple不支持嵌套JSON 的处理

这个时候时候你发现我提取的都是json 数组中的 website ,有没有什么简单的办法呢，理论上get_json_object 只能有一个返回值，无论如何都需要写多个，那你有没有想过一个问题，我要是这个数组里面有100个元素都是json,我需要每一个json 的website 那我是不是需要写100次了，这个时候你要是仔细阅读这个函数的api 的话，你就会发现了另外一个符号

这下你知道了，get_json_object 是只能返回一个元素，不是只能返回一个字符串，上面本来就是一个json 数组，那要是我们是从json 里面解析出来的数组怎么处理呢？

需要注意下面这样 *** 作之后你拿到的就是一个json 字符串了，这下你就可以按照上面的方式再处理一次了

但是有时候我们希望直接获取，而不是通过这样嵌套的方式，这个时候其实就是将上面的嵌套的get_json_object函数的path 参数进行组合

这个时候如果我们再上 进行加持，那就很简单了

其实到这里我们学习了指定一个数组的某个下标获取一个元素，指定 获取全部元素，那就如我就想获取前三个或者偶数个或者奇数个呢，哈哈，如果你回过头去看api 你就是知道了提供了一个 Union operator ，指定任意你想组合的下标即可,获取

下面我们尝试获取一下偶数个，或者奇数个或者是一定范围内的奇数个或者偶数个,其实就是上面提供的数组切片，你可以参考api 进行使用

但是我尝试了一下，发现这个功能有bug，不能做到切片的效果，每次都是全部返回

对于上面jsondata 的数据，我们能不能在load 数据到hive 的时候就处理，而不是load 完之后再到使用的时候去处理，尤其是针对这种嵌套结构不是很复杂的这种json 格式

这种方法需要注意的是你的数据类型和字段名称都要匹配，否则就会报错或者不能获取到值,那要是复杂一点的嵌套结构呢，其实也可以,在上面的数据基础上添加了一个嵌套的字段也是可以的

看这样一段函数定义的代码就明白了function json_to_format_string(obj,deep){ var html = ""; var blank_string = ""; for (var i = 0; i < deep; i++) { blank_string += " "; }; for(var name in obj){ if (typeof(obj[name])=="object") { html += blank_string + name +": "+ "

"; html += json_to_format_string(obj[name],deep+1); }else{ html += blank_string + name +": "+ obj[name]+"

"; } } return html;}

你是PHP传给前端获取值还是后台PHP获取这个值然后解析？

如果是前端ajax获取的,直接data['参数名']['参数名']就可以了；

如果是后台，需要比如$a = 刚才那个json值，$b = json_decode($a);如果输出echo $b->参数名->参数名;如果解析，$b['参数名']['参数名']

for(int i=0;i<listlength;i++){

var nop = list[i];

if(nopid==3){

alert(你想要的)

}

}

用JsonTextReader，然后，通过while循环读取出来。

string json = @"{

   'CPU': 'Intel',

   'PSU': '500W',

   'Drives': [

     'DVD read/writer'

     /(broken)/,

     '500 gigabyte hard drive',

     '200 gigabype hard drive'

   ]

}";

JsonTextReader reader = new JsonTextReader(new StringReader(json));

while (readerRead())

{

    if (readerValue != null)

        ConsoleWriteLine("Token: {0}, Value: {1}", readerTokenType, readerValue);

    else

        ConsoleWriteLine("Token: {0}", readerTokenType);

}

// Token: StartObject

// Token: PropertyName, Value: CPU

// Token: String, Value: Intel

// Token: PropertyName, Value: PSU

// Token: String, Value: 500W

// Token: PropertyName, Value: Drives

// Token: StartArray

// Token: String, Value: DVD read/writer

// Token: Comment, Value: (broken)

// Token: String, Value: 500 gigabyte hard drive

// Token: String, Value: 200 gigabype hard drive

// Token: EndArray

// Token: EndObject

以上就是关于Hive处理Json数据全部的内容，包括:Hive处理Json数据、如何读取json对象中的数组的值、请问PHP如何解析这样的json值如何获取其中某个值内容呢 代码如下:等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！