博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
oracle mysql5.7 Json函数
阅读量:6159 次
发布时间:2019-06-21

本文共 6380 字,大约阅读时间需要 21 分钟。

hot3.png

oracle mysql 5.7.8 之后增加了对json数据格式的函数处理,可更加灵活的在数据库中操作json数据,如可变属性、自定义表单等等都使用使用该方式解决。

 

在创建表时,可以使用“GENERATED ALWAYS AS” 与json中的某个字段关联,并创建虚拟字段使json字符串也可以添加索引。

 

-- 创建测试json表CREATE TABLE `test_json` (  `$json` json NOT NULL,  `userid` varchar(50) COLLATE utf8mb4_unicode_ci GENERATED ALWAYS AS (json_unquote(json_extract(`$json`,_utf8mb4'$."userid"'))) VIRTUAL,  `id` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,  `$createTime` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,  `$updateTime` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,  `name` varchar(60) GENERATED ALWAYS AS ((json_extract(`$json`,_utf8mb4'$."name"') = TRUE)) VIRTUAL,  PRIMARY KEY (`id`),  KEY `by_userid` (`userid`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;SET FOREIGN_KEY_CHECKS = 1;

创建json

json_array(val1,val2,val3...) 创建json数组
json_object(key1,value1,key2,value2...) 创建json对象
json_quote 将json转成json字符串类型

插入json数据

-- 方式1 :直接插入json字符串insert into test_json (id,`$json`) values(1,'{"userid":"1","name":"test name","sex":"男"}');-- 方式2 :使用json_objectinsert into test_json (id,`$json`) values(2,json_object("userid","2","name","test name2","sex","男"));-- 方式3 :组合使用insert into test_json (id,`$json`) values(3,json_object("userid","3","name","name3","sex","女","item",json_array("item1","item2","item3")));

 

查询json

json_contains(json_doc,val[,path]) 判断是否包含某个json值
json_contains_path(json_doc,one_or_all,path[,path]...) 判断是否有某个路径
json_extract(json_doc,path[,path]) 提取json值
column->path json_extract 简洁写法5.7.9开始支持
column->>path json_unquote(column -> path)

简洁写法5.7.13开始支持相当于

JSON_UNQUOTE(JSON_EXTRACT())

json_keys(json_doc[,path]) 提取json中的键值结果为json数组
json_search(json_doc, one_or_all, search_str[,escape_char[,path]...]) 按给定字符串关键字搜索json,返回匹配的路径

 搜索数组下的多个属性时可使用通配符“*”,如获取数组下对象的某属性$.item[*].name

-- 判断是否包含某个json值 -- 方式1select json_contains(`$json`,'{"name":"test name2"}') from test_json;-- 方式2 (请注意第二个参数,带双引号,官网案例是number类型)select json_contains(`$json`,'"name3"','$.name') from test_json;-- 判断json是否指定路径,one至少存在一条路径,all存在所有路径select json_contains_path($json,'one','$.item') from test_json;-- 获取json值 -- 方式1select json_extract(`$json`,'$.item') from test_json;-- 方式2 简洁写法select `$json` -> '$.item' from test_json;-- 方式3 简洁写法,并取消字符串,可用于select\where\having子句select `$json` ->> '$.name' from test_json;-- 获取json中的key数组select json_keys($json) from test_json;-- 获取json中指定value的json_pathselect json_search($json,'one','item2') from test_json;-- 可使用通配符select json_search($json,'one','item%') from test_json;select json_search($json,'all','2') from test_json;

 

 

修改json

json_append (废弃) 废弃,MySQL 5.7.9开始改名为json_array_append
json_array_append(json_doc,path,val[,path,val]...) 末尾添加数组元素,如果原有值是数值或json对 象,则转成数组后,再添加元素
json_array_insert(json_doc,path,val[,path,val]...) 插入数组元素
json_insert(json_doc,path,val[,path,val]...) 插入值(插入新值,但不替换已经存在的旧值)
json_merge(json_doc,json_doc[,json_doc]...) 合并json数组或对象
json_remove(json_doc,path[,path]...) 删除json数据
json_replace(json_doc,path,val[,path,val]...) 替换值(只替换已经存在的旧值)
json_set(json_doc,path,val[,path,val]) 设置值(替换旧值,并插入不存在的新值)
json_unquote(val) 去除json字符串的引号,将值转成string类型

 

-- 修改json-- 只会给有item属性的json添加select json_array_append(`$json`,'$.item','new item') from test_json ;-- 会将对象转为数组select json_array_append(`$json`,'$.name','new item') from test_json ;-- 向数组指定位置插入,指定的json path必须是数组类型select json_array_insert(`$json`,'$.item[10]','new item') from test_json ;-- 添加新属性,如果没有新属性会增加select json_insert(`$json`,'$.address','北京') from test_json ;-- 修改原属性,如果没有属性会增加,如果有则不处理select json_insert(`$json`,'$.name','新名字') from test_json ;-- 也可向数组中插入select json_insert(`$json`,'$.item[10]','new item') from test_json ;-- 合并,根据属性进行合并,如有相同属性转为数组select json_merge(`$json`,`$json`) from test_json ;-- 添加新属性,合并数组select json_merge(`$json`,'{"company":"companyName","address":"address","item":["newItem"]}') from test_json ;-- 删除指定路径属性或数组值select json_remove(`$json`,'$.item','$.sex') from test_json ;select json_remove(`$json`,'$.item[0]','$.sex') from test_json ;-- 替换属性值select json_replace(`$json`,'$.sex','男') from test_json ;-- 替换没有的属性不做任何操作select json_replace(`$json`,'$.address','替换不存在的地址属性','$.item[20]','4444') from test_json ;-- 有的属性做替换值,没有的做添加select json_set(`$json`,'$.sex','男','$.address','替换不存在的地址属性','$.item[20]','4444') from test_json ;-- 原始获取json会带引号select `$json` -> '$.name' from test_json ;-- 可去除双引号select json_unquote(`$json` -> '$.name') from test_json ;

 

返回json属性

json_depth(json_doc) 返回json文档的最大深度
json_length(json_doc[,path]) 返回json文档的长度
json_type(json_val) 返回json值得类型
json_valid()val 判断是否为合法json文档

 

-- json属性最大深度select json_depth(`$json`) from test_json ;-- json对象则是属性数,数组则是数组长度select json_length(`$json`) from test_json ;-- 判断数据类型select json_type(`$json`) from test_json ;select json_type(`$json` -> '$.name') from test_json ;select json_type(`$json` -> '$.item') from test_json ;

 

json类型
ARRAY JSON数组
BOOLEAN JSON true和false字符串
NULL JSON NULL字符串
数字类型
INTEGER MySQL中 TINYINT, SMALLINT, MEDIUMINT, INT 和 BIGINT 
DOUBLE MySQL中 DOUBLE FLOAT 
DECIMAL DECIMAL 和 NUMERIC 
时间类型
DATETIME MySQL中 DATETIME 和 TIMESTAMP 
DATE MySQL中 DATE 
TIME MySQL中 TIME 
字符串类型
STRING MySQL字符串: CHAR, VARCHAR, TEXT, ENUM, 和 SET
二进制
BLOB MySQL 二进制: BINARY, VARBINARY, BLOB
BIT MySQL中 BIT
其他
OPAQUE (raw bits)

 

 

 

JSON的存储结构及具体实现

引用:https://blog.csdn.net/qian_xiaoqian/article/details/53128170

在处理JSON时,MySQL使用的utf8mb4字符集,utf8mb4是utf8和ascii的超集。由于历史原因,这里utf8并非是我们常说的UTF-8 Unicode变长编码方案,而是MySQL自身定义的utf8编码方案,最长为三个字节。具体区别非本文重点,请大家自行Google了解。

MySQL在内存中是以DOM的形式表示JSON文档,而且在MySQL解析某个具体的路径表达式时,只需要反序列化和解析路径上的对象,而且速度极快。要弄清楚MySQL是如何做到这些的,我们就需要了解JSON在硬盘上的存储结构。有个有趣的点是,JSON对象是BLOB的子类,在其基础上做了特化。

 

使用示意图更清晰的展示它的结构:

JSON文档本身是层次化的结构,因而MySQL对JSON存储也是层次化的。对于每一级对象,存储的最前面为存放当前对象的元素个数,以及整体占的大小。需要注意的是:

  • JSON对象的Key索引(图中橙色部分)都是排序好的,先按长度排序,长度相同的按照code point排序;Value索引(图中黄色部分)根据对应的Key的位置依次排列,最后面真实的数据存储(图中白色部分)也是如此
  • Key和Value的索引对存储了对象内的偏移和大小,单个索引的大小固定,可以通过简单的算术跳转到距离为N的索引
  • 通过MySQL5.7.16源代码可以看到,在序列化JSON文档时,MySQL会动态检测单个对象的大小,如果小于64KB使用两个字节的偏移量,否则使用四个字节的偏移量,以节省空间。同时,动态检查单个对象是否是大对象,会造成对大对象进行两次解析,源代码中也指出这是以后需要优化的点
  • 现在受索引中偏移量和存储大小四个字节大小的限制,单个JSON文档的大小不能超过4G;单个KEY的大小不能超过两个字节,即64K
  • 索引存储对象内的偏移是为了方便移动,如果某个键值被改动,只用修改受影响对象整体的偏移量
  • 索引的大小现在是冗余信息,因为通过相邻偏移可以简单的得到存储大小,主要是为了应对变长JSON对象值更新,如果长度变小,JSON文档整体都不用移动,只需要当前对象修改大小
  • 现在MySQL对于变长大小的值没有预留额外的空间,也就是说如果该值的长度变大,后面的存储都要受到影响
  • 结合JSON的路径表达式可以知道,JSON的搜索操作只用反序列化路径上涉及到的元素,速度非常快,实现了读操作的高性能
  • 不过,MySQL对于大型文档的变长键值的更新操作可能会变慢,可能并不适合写密集的需求

转载于:https://my.oschina.net/u/1019754/blog/2992674

你可能感兴趣的文章
ASP.NET MVC学习之控制器篇
查看>>
MongoDB ServerStatus返回信息
查看>>
分析jQuery源码时记录的一点感悟
查看>>
android中的textview显示汉字不能自动换行的一个解决办法
查看>>
程序局部性原理感悟
查看>>
Golang中WaitGroup、Context、goroutine定时器及超时学习笔记
查看>>
css H5端多行文本实现省略号
查看>>
leetcode15 3Sum 从数组中找到三个整数,它们的和为0
查看>>
UIView 动画进阶
查看>>
如何在Kubernetes上运行Apache Flink
查看>>
GitHub推出Scientist,帮助开发者重构关键路径代码
查看>>
使用C#来面向GPU编程
查看>>
GitHub Draft Pull请求支持新的协作流程
查看>>
微软Office 365正式上架Mac App Store
查看>>
改变的六条规则
查看>>
Mysql 架构及优化之-索引优化
查看>>
ROS机器人程序设计(原书第2版)1.4.7 在BeagleBone Black中安装rosinstall
查看>>
TCPDUMP
查看>>
C的function call與stack frame心得
查看>>
Sql Server 2005如何设置连接加密
查看>>