当前位置： 首页 > news >正文

科技网站建设的调研能自己在家做网站吗

news 2025/9/17 18:06:12
科技网站建设的调研,能自己在家做网站吗,wordpress可以自己做主题,网站设计与程序方向专业本文介绍如何在 Doris 中导入 JSON 格式的数据文件。Doris 支持导入标准 JSON 格式数据，通过配置相关参数，可以灵活地处理不同的 JSON 数据结构，并支持从 JSON 数据中抽取字段、处理嵌套结构等场景。 导入方式​ 以下导入方式支持 JSON 格式…

本文介绍如何在 Doris 中导入 JSON 格式的数据文件。Doris 支持导入标准 JSON 格式数据，通过配置相关参数，可以灵活地处理不同的 JSON 数据结构，并支持从 JSON 数据中抽取字段、处理嵌套结构等场景。

导入方式​

以下导入方式支持 JSON 格式的数据导入：

  • Stream Load
  • Broker Load
  • Routine Load
  • INSERT INTO FROM S3 TVF
  • INSERT INTO FROM HDFS TVF

支持的 JSON 格式​

Doris 支持以下三种 JSON 格式：

以 Array 表示的多行数据​

适用于批量导入多行数据，要求：

  • 根节点必须是数组
  • 数组中每个元素是一个对象，表示一行数据
  • 必须设置 strip_outer_array=true

示例数据：

[{"id": 123, "city": "beijing"},{"id": 456, "city": "shanghai"}
]// 支持嵌套结构
[{"id": 123, "city": {"name": "beijing", "region": "haidian"}},{"id": 456, "city": {"name": "beijing", "region": "chaoyang"}}
]

以 Object 表示的单行数据​

适用于单行数据导入，要求：

  • 根节点必须是对象
  • 整个对象表示一行数据

示例数据：

{"id": 123, "city": "beijing"}// 支持嵌套结构
{"id": 123, "city": {"name": "beijing", "region": "haidian"}}

注意

通常用于 Routine Load 导入方式，如 Kafka 中的单条消息。

以固定分隔符分隔的多行 Object 数据​

适用于批量导入多行数据，要求：

  • 每行是一个完整的 JSON 对象
  • 必须设置 read_json_by_line=true
  • 可通过 line_delimiter 参数指定行分隔符，默认为 \n

示例数据：

{"id": 123, "city": "beijing"}
{"id": 456, "city": "shanghai"}

参数配置​

参数支持情况​

下表列出了各种导入方式支持的 JSON 格式参数：

参数默认值Stream LoadBroker LoadRoutine LoadTVF
json paths无jsonpathsproperties.jsonpathsproperties.jsonpathsjsonpaths
json root无json_rootproperties.json_rootproperties.json_rootjson_root
strip outer arrayfalsestrip_outer_arrayproperties.strip_outer_arrayproperties.strip_outer_arraystrip_outer_array
read json by linefalseread_json_by_line不支持配置，都为true不支持read_json_by_line, 默认为true
fuzzy parsefalsefuzzy_parseproperties.fuzzy_parse不支持fuzzy_parse
num as stringfalsenum_as_stringproperties.num_as_stringproperties.num_as_stringnum_as_string

注意

  1. Stream Load：参数直接通过 HTTP Header 指定，如：-H "jsonpaths: $.data"
  2. Broker Load：参数通过 PROPERTIES 指定，如：PROPERTIES("jsonpaths"="$.data")
  3. Routine Load：参数通过 PROPERTIES 指定，如：PROPERTIES("jsonpaths"="$.data")
  4. TVF：参数通过 TVF 语句指定，如：S3("jsonpaths"="$.data")

参数说明​

JSON Path​
  • 作用：指定如何从 JSON 数据中抽取字段
  • 类型：字符串数组
  • 默认值：无，默认使用列名匹配
  • 使用示例： 
    -- 基本用法
["$.id", "$.city"]-- 嵌套结构
["$.id", "$.info.city", "$.data[0].name"]

JSON Root​
  • 作用：指定 JSON 数据的解析起点
  • 类型：字符串
  • 默认值：无，默认从根节点开始解析
  • 使用示例： 
    -- 原始数据
{"data": {"id": 123,"city": "beijing"}
}-- 设置 json_root
json_root = $.data

Strip Outer Array​
  • 作用：指定是否去除最外层的数组结构
  • 类型：布尔值
  • 默认值：false
  • 使用示例： 
    -- 原始数据
[{"id": 1, "city": "beijing"},{"id": 2, "city": "shanghai"}
]-- 设置 strip_outer_array=true

Read JSON By Line​
  • 作用：指定是否按行读取 JSON 数据
  • 类型：布尔值
  • 默认值：false
  • 使用示例： 
    -- 原始数据（每行一个完整的 JSON 对象）
{"id": 1, "city": "beijing"}
{"id": 2, "city": "shanghai"}-- 设置 read_json_by_line=true

Fuzzy Parse​
  • 作用：加速 JSON 数据的导入效率
  • 类型：布尔值
  • 默认值：false
  • 限制：
    • Array 中每行数据的字段顺序必须完全一致
    • 通常与 strip_outer_array 配合使用
  • 性能：可提升 3-5 倍导入效率
Num As String​
  • 作用：指定是否将 JSON 中的数值类型以字符串形式解析
  • 类型：布尔值
  • 默认值：false
  • 使用场景：
    • 处理超出数值范围的大数
    • 避免数值精度损失
  • 使用示例： 
    -- 原始数据
{"id": "12345678901234567890","price": "99999999.999999"
}
-- 设置 num_as_string=true， price 字段将以字符串形式解析

JSON Path 和 Columns 的关系​

在数据导入过程中，JSON Path 和 Columns 各自承担不同的职责：

JSON Path：定义数据抽取规则

  • 从 JSON 数据中按指定路径抽取字段
  • 抽取的字段按 JSON Path 中定义的顺序进行重排列

Columns：定义数据映射规则

  • 将抽取的字段映射到目标表的列
  • 可以进行列的重排和转换

这两个参数的处理过程是串行的：首先 JSON Path 从源数据中抽取字段并形成有序的数据集，然后 Columns 将这些数据映射到表的列中。如果不指定 Columns，抽取的字段将按照表的列顺序直接映射。

使用示例​
仅使用 JSON Path​

表结构和数据：

-- 表结构
CREATE TABLE example_table (k2 int,k1 int
);-- JSON 数据
{"k1": 1, "k2": 2}

导入命令：

curl -v ... -H "format: json" \-H "jsonpaths: [\"$.k2\", \"$.k1\"]" \-T example.json \http://<fe_host>:<fe_http_port>/api/db_name/table_name/_stream_load

导入结果：

+------+------+
| k1   | k2   |
+------+------+
|    2 |    1 | 
+------+------+

使用 JSON Path + Columns​

使用相同的表结构和数据，添加 columns 参数：

导入命令：

curl -v ... -H "format: json" \-H "jsonpaths: [\"$.k2\", \"$.k1\"]" \-H "columns: k2, k1" \-T example.json \http://<fe_host>:<fe_http_port>/api/db_name/table_name/_stream_load

导入结果：

+------+------+
| k1   | k2   |
+------+------+
|    1 |    2 | 
+------+------+

字段重复使用​

表结构和数据：

-- 表结构
CREATE TABLE example_table (k2 int,k1 int,k1_copy int
);-- JSON 数据
{"k1": 1, "k2": 2}

导入命令：

curl -v ... -H "format: json" \-H "jsonpaths: [\"$.k2\", \"$.k1\", \"$.k1\"]" \-H "columns: k2, k1, k1_copy" \-T example.json \http://<fe_host>:<fe_http_port>/api/db_name/table_name/_stream_load

导入结果：

+------+------+---------+
| k2   | k1   | k1_copy |
+------+------+---------+
|    2 |    1 |       1 |
+------+------+---------+

嵌套字段映射​

表结构和数据：

-- 表结构
CREATE TABLE example_table (k2 int,k1 int,k1_nested1 int,k1_nested2 int
);-- JSON 数据
{"k1": 1,"k2": 2,"k3": {"k1": 31,"k1_nested": {"k1": 32}}
}

导入命令：

curl -v ... -H "format: json" \-H "jsonpaths: [\"$.k2\", \"$.k1\", \"$.k3.k1\", \"$.k3.k1_nested.k1\"]" \-H "columns: k2, k1, k1_nested1, k1_nested2" \-T example.json \http://<fe_host>:<fe_http_port>/api/db_name/table_name/_stream_load

导入结果：

+------+------+------------+------------+
| k2   | k1   | k1_nested1 | k1_nested2 |
+------+------+------------+------------+
|    2 |    1 |         31 |         32 |
+------+------+------------+------------+

使用示例​

本节展示了不同导入方式下的 JSON 格式使用方法。

Stream Load 导入​

# 使用 JSON Path
curl --location-trusted -u <user>:<passwd> \-H "format: json" \-H "jsonpaths: [\"$.id\", \"$.city\"]" \-T example.json \http://<fe_host>:<fe_http_port>/api/example_db/example_table/_stream_load# 指定 JSON root
curl --location-trusted -u <user>:<passwd> \-H "format: json" \-H "json_root: $.events" \-T example.json \http://<fe_host>:<fe_http_port>/api/example_db/example_table/_stream_load# 按行读取 JSON
curl --location-trusted -u <user>:<passwd> \-H "format: json" \-H "read_json_by_line: true" \-T example.json \http://<fe_host>:<fe_http_port>/api/example_db/example_table/_stream_load

Broker Load 导入​

-- 使用 JSON Path
LOAD LABEL example_db.example_label
(DATA INFILE("s3://bucket/path/example.json")INTO TABLE example_tableFORMAT AS "json"PROPERTIES("jsonpaths" = "[\"$.id\", \"$.city\"]")
)
WITH S3 
(...
);-- 指定 JSON root
LOAD LABEL example_db.example_label
(DATA INFILE("s3://bucket/path/example.json")INTO TABLE example_tableFORMAT AS "json"PROPERTIES("json_root" = "$.events")
)
WITH S3 
(...
);

Routine Load 导入​

-- 使用 JSON Path
CREATE ROUTINE LOAD example_db.example_job ON example_table
PROPERTIES
("format" = "json","jsonpaths" = "[\"$.id\", \"$.city\"]"
)
FROM KAFKA
(...
);

TVF 导入​

-- 使用 JSON Path
INSERT INTO example_table
SELECT *
FROM S3
("uri" = "s3://bucket/example.json","format" = "json","jsonpaths" = "[\"$.id\", \"$.city\"]",...
);-- 指定 JSON root 
INSERT INTO example_table
SELECT *
FROM S3
("uri" = "s3://bucket/example.json","format" = "json","json_root" = "$.events",...
);

http://www.yayakq.cn/news/678188/

相关文章：

  • 晋中建设局网站建设工程合同属于
  • 网站建设下单源码四川公众项目咨询管理有限公司
  • 广州网站备案公司开发网站用什么语言
  • 在线平台教育网站开发深圳注册公司流程图
  • thinkphp网站建设课程flash网站制作软件
  • 交通运输企业标准建设网站wordpress发不了博文
  • 沧州省建设厅网站wordpress 整站加密
  • 增城网站公司电话网页设计作业 介绍家乡
  • 池州微信网站建设网站怎么做才能将名声打响
  • 做网站公司职员工资ps做网站首页怎么
  • seo品牌优化整站优化高端营销型网站建设
  • 建行官方网站 - 百度外包
  • 平台网站建设后台源码WordPress批量修改文章
  • 建设银行宁波招聘网站郑州云拓网站建设公司
  • 整站排名优化品牌网站建设实训内容
  • 做盗链电影网站怎么样软件研发过程管理
  • 贞丰网站建设上海公司黄页网站
  • 做网站要学的知识个体户经营异常如何网上解除
  • 大渡口的网站开发公司电话宁波网站建设与推广方案
  • 无锡建设公司网站怎么看网站是用什么程序做的
  • 网站建设招标2017网站备案网站简介
  • 顺的品牌网站设计价位百度快照推广排名
  • 知名商业网站有哪些郑州最好的男科医院是什么医院
  • 品牌网站设计工作室wordpress文章数据库表
  • 宿迁沭阳网站建设怎么创建微信公众号平台
  • 内蒙古工程建设招投标中心网站衡水网站建设
  • 安徽美丽乡村建设网站干部网络培训平台
  • 湖南做网站360o江西省赣州市章贡区邮政编码
  • 襄阳专业网站建设wordpress一句话插件
  • 利用php做直播网站网址大全360