当前位置: 首页 > news >正文

旅游便宜的网站建设js网站统计代码

旅游便宜的网站建设,js网站统计代码,上海今天新闻头条新闻,广东建设安全质量协会网站在上一篇博客里,最末尾提到了 FDW。pg 实现了数百个 fdw 插件,用于访问外部数据。 FDW 到底是什么呢? 标准 FDW(Foreign Data Wrapper)遵循了 SQL/MED 标准,标准全称:ISO/IEC 9075-9 Managem…

在上一篇博客里,最末尾提到了 FDW。pg 实现了数百个 fdw 插件,用于访问外部数据。

FDW 到底是什么呢?

标准

FDW(Foreign Data Wrapper)遵循了 SQL/MED 标准,标准全称:ISO/IEC 9075-9 Management of External Data (SQL/MED)

2003 年,SQL/MED(SQL Management of External Data)被加入 SQL 标准,其为外部数据管理提供了规范。在 2011 年发行的 PostgreSQL 9.1 开始支持外部数据读,2013 发行的 PostgreSQL 9.3 开始支持外部数据写。

下面两篇 PG wiki 内容介绍得很详细:

  • https://wiki.postgresql.org/wiki/SQL/MED
  • https://wiki.postgresql.org/wiki/Foreign_data_wrappers

FDW 有何用?

source:https://leileiluoluo.com/posts/postgres-foreign-data-wrappers.html

  1. 数据分片

使用 FDW 将数据分布式存储在多个数据库上从而实现数据分片(如 pg_shardman 插件,即是使用 postgres_fdw 和 pg_pathman 插件来实现数据分片的)。

  1. 数据同步

使用 FDW 建立本地数据库与外部数据库的连接,即可定时同步外部数据至本地。

  1. 数据迁移

使用 FDW 建立本地数据库与外部数据库的连接,即可进行数据迁移。

  1. ETL(Extract-Transform-Load,抽取转换加载)

使用 FDW 将来自不同类型数据库的数据抽取到一个数据仓库中,便于统一化访问。

在这里插入图片描述

PG 实现

pg 实现了数百个 fdw,用于访问外部数据,包括:

  • Generic SQL Database Wrappers (如 JDBC、ODBC)
  • Specific SQL Database Wrappers(如 MySQL、SQLServer)
  • NoSQL Database Wrappers(如 Redis、Cassandra)
  • File Wrappers(如 CSV、JSON、Parquet)
  • Geo Wrappers
  • LDAP Wrappers
  • Generic Web Wrappers(如 git、www)
  • Specific Web Wrappers
  • Big Data Wrappers(如 ES、HDFS、Hive、Arrow)
  • Operating System Wrappers
  • Exotic Wrappers(如 faker_fdw)

这个页面里,可以找到这些 Wrapper 的源码。

从上面的实现里可以看到,所有 wrapper 的核心,都是实现 FdwRoutine 中的接口。

/** Foreign-data wrapper handler function: return a struct with pointers* to my callback routines.*/
Datum
jdbc_fdw_handler(PG_FUNCTION_ARGS)
{FdwRoutine 	*fdwroutine = makeNode(FdwRoutine);#if (PG_VERSION_NUM < 90200)fdwroutine->PlanForeignScan = jdbcPlanForeignScan;#endif#if (PG_VERSION_NUM >= 90200)fdwroutine->GetForeignRelSize = jdbcGetForeignRelSize;fdwroutine->GetForeignPaths = jdbcGetForeignPaths;fdwroutine->GetForeignPlan = jdbcGetForeignPlan;#endiffdwroutine->ExplainForeignScan = jdbcExplainForeignScan;fdwroutine->BeginForeignScan = jdbcBeginForeignScan;fdwroutine->IterateForeignScan = jdbcIterateForeignScan;fdwroutine->ReScanForeignScan = jdbcReScanForeignScan;fdwroutine->EndForeignScan = jdbcEndForeignScan;pqsignal(SIGINT, SIGINTInterruptHandler);PG_RETURN_POINTER(fdwroutine);
}

关于 FdwRoutine 中每个接口的含义,可以参考 PG 官网文章:https://www.postgresql.org/docs/current/fdw-callbacks.html

关于 FdwRountine 的更多细节,可以参考专门的文章,十分有趣。如果你希望写一个自己的 wrapper,从 helloworld 入手会非常合适。

思考

PG 真的是一个学院派数据库!在设计之初就能提炼出一个具备进化能力的外部数据接入框架,实在是伟大(实际经历过企业系统研发的人是能体会的)。

FDW 从产品层面的成功之处,是定义好了一套标准的使用接口,包括:定义 FDW Server;定义 FDW 外表,且支持传入选项。

例如:

CREATE SERVER foreign_serverFOREIGN DATA WRAPPER postgres_fdwOPTIONS (host 'localhost', port '5432', dbname 'postgres');CREATE FOREIGN TABLE foreign_weather (city        varchar(80),temp_low    int,temp_high   int,prcp        real,date        date) SERVER foreign_serverOPTIONS (schema_name 'public', table_name 'weather');IMPORT FOREIGN SCHEMA public FROM SERVER foreign_server INTO public;

有了这套接口,用户就能够非常自由地实现自己的 fdw 扩展。

FDW 从执行层面的成功之处,成功定义了 FdwRoutine 接口,在整个 postgres 实现中贯彻了接口思想,落实在了代码中。

进一步思考

从 FdwRoutine 支持的接口看,并不支持 batch mode,它仅支持火山模型的逐行读取。假设要支持高效的 parquet 文件向量化处理,用 parquet_fdw 插件大约是获取不到最优性能的。

http://www.yayakq.cn/news/722726/

相关文章:

  • 电商网站建设会计分录仓库管理系统界面
  • php网站开发书籍广州外贸公司联系方式
  • 网络购物网站建设湖北网站建设软件有哪些
  • 项城网站wordpress网站例
  • 自己做的网站怎么加入微信支付网站开发编译器
  • 建设微网站多少钱公众号软文推广
  • 同城信息网站建设住房和城乡建设部网站北京
  • 自己主机做网站服务器网站域名 空间
  • 网站建设的步骤有哪些怎么样做游戏网站
  • 米拓网站建设-app定制开发免费的网站建设
  • 大厂县城乡建设局网站这是我做的网站吗
  • 官方网站建设属于什么科目阿里巴巴国际站开店流程及费用
  • 单位网站建设方案网站首页的导航栏
  • 2345电视剧网站免费好的免费个人网站
  • 有网站开发专业吗网站制作app开发公司
  • 番禺网站开发报价网站建设 跑业务
  • 手把手教建设网站wordpress 白屏
  • 辽宁省建设机械协会官方网站网站店铺vr场景可以做吗
  • 网站建设项目选题有关网站开发的创意
  • 在县城做哪个招聘网站比较赚钱动漫设计专业属于什么大类
  • 中原区建设局网站潍坊网站建设top
  • 网站开发前台与后台的交互app推广注册赚钱
  • 网站建设合同细节深圳做微信网站多少钱
  • 婚纱摄影建设网站的目的wordpress仿导航大全
  • 创业公司做网站延安免费做网站公司
  • 网站建设免费按词收费dedecms菜谱网站源码
  • 四川省建设厅官网站windows优化大师是什么软件
  • 快速建设一个网站长沙网站推广合作
  • 企业网站建设一般原则百色市右江区了建设局网站
  • 做礼品建什么网站高薪聘请网站开发工程师