百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

大数据:StarRocks jdbc 外表:高效实现查询外部数据源

mhr18 2025-01-09 14:46 38 浏览 0 评论

导语

StarRocks 支持多种类型的外部表 (external table) ,极大的方便其他的外部数据源的数据以外表的方式接入到StarRocks 实例内,可以直接向外部表所在数据源发起查询。目前 StarRocks 已支持的第三方数据源包括 MySQL、Elasticsearch、Apache Hive?、StarRocks、Apache Iceberg 和 Apache Hudi。本文介绍的是 jdbc外表,该类型外表功能自 2.3.0 版本开始,通过它无需将 jdbc 资源的数据导入至 StarRocks,即可实现对这类数据库的极速分析。

体验

## 前提条件

在使用 JDBC 外表时, FE、BE 节点会下载或本地先部署 JDBC 驱动程序,因此 FE、BE 节点所在机器必须能够访问用于下载 JDBC 驱动程序 JAR 包的 URL,该 URL 由创建 JDBC 资源中的配置项 driver_url 指定。如果FE、BE 节点不能访问远程驱动程序 JAR 包的 URL 可以选择使用本地访问的模式,我这里就是部署使用本地驱动文件,该驱动文件需要部署到集群中的所有节点上的相同目录下。

## 创建和管理 JDBC 资源

备注:这里以外部 StarRocks 资源举例,实现在 StarRocks A集群中查询 StarRocks B的数据。StarRocks jdbc 数据源的驱动可以使用 MySQL 驱动。这里我是本地部署,先去 MySQL 官方下载 jdbc 驱动,我的驱动包版本是 “mysql-connector-java-5.1.49.jar”。

create external resource jdbc_ming025
properties (
    "type"="jdbc",
    "user"="ming",
    "password"="changeme",
    "jdbc_uri"="jdbc:mysql://ming.local:9230/dw",
    "driver_url"="file:///data/mingsr/jar3/mysql-connector-java-5.1.49.jar",
    "driver_class"="com.mysql.jdbc.Driver"
);

properties 的必填配置项:

  • type:资源类型,固定取值为 jdbc。
  • user:目标数据库用户名。
  • password:目标数据库用户登录密码。
  • jdbc_uri:JDBC 驱动程序连接目标数据库的 URI,需要满足目标数据库 URI 的语法。常见的目标数据库 URI,请参见 MySQL、Oracle、PostgreSQL、SQL Server 官网文档。
  • driver_url:用于下载 JDBC 驱动程序 JAR 包的 URL,支持使用 HTTP 协议 或者 file 协议。
  • driver_class:JDBC 驱动程序的类名称。MySQL:com.mysql.jdbc.Driver(MySQL 5.x 及以下版本)、com.mysql.cj.jdbc.Driver (MySQL 8.x 及以上版本)。

## 查看 jdbc 资源

show resources;

## 删除 jdbc 资源

drop resource "jdbc_ming025";

说明:删除 JDBC 资源会导致使用该 JDBC 资源创建的 JDBC 外部表不可用,但目标数据库的数据并不会丢失。如果仍需要通过 StarRocks 查询目标数据库的数据,可以重新创建 JDBC 资源和 JDBC 外部表。

## 创建 jdbc 外部表

create external table ext0_dw_ord_order (
  `cal_dt` date NULL COMMENT "更新日期",
  `order_id` bigint(20) NULL COMMENT "订单ID",
  `create_dt` varchar(64)  NULL COMMENT "订单创建日期"
) ENGINE=jdbc 
properties (
    "resource"="jdbc_ming025",
    "table"="dw_ord_order"
);

properties 配置项:

  • resource:所使用 JDBC 资源的名称,必填项。
  • table:目标数据库表名,必填项。

建外表定义字段类型时需要注意,StarRocks 自有的数据类型附属定义,例如“SUM、MAX、MIN、REPLACE、HLL_UNION、BITMAP_UNION、REPLACE_IF_NOT_NULL”这些都要先处理去除,仅保留基础数据类型定义。

## 查询 jdbc 外表

查询 jdbc 外部表前,必须启动 Pipeline 引擎。

show global variables like 'enable_pipeline_engine';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| enable_pipeline_engine | true  |
+------------------------+-------+ 

到此,对该外表执行 select 语句,通过 JDBC 外部表查询目标数据库的数据。

结语

StarRocks 的外部表类型很多,各有适用场景和缺陷。

相关推荐

jdk17安装和配置环境变量(jdk安装步骤环境变量配置)

简单介绍JDK17是Java的一个长期支持(LTS)版本,于2021年9月发布。作为LTS版本,它将获得Oracle的长期支持,这意味着会获得安全更新和错误修复,直到2...

jdk8安装和配置环境变量(jdk8配置环境变量win10)

简单介绍JDK8是Java开发工具包的一个重大版本,于2014年3月发布。它引入了许多重要的新特性,极大地改进了Java编程的体验,并提高了代码的效率和可读性。总结JDK8是一...

Java开发环境的准备流程!(java开发环境的准备流程有哪些)

准备开发环境工欲善其事,必先利其器。在学习本书的技术内容之前,应先将开发环境搭建好。本书所涉及的基础环境将在本章准备,包括JDK、IntelliJIDEA和Maven。如果读者对这些环境较为熟悉,可...

skywalking-全链路跟踪(链路追踪sleuth)

一、概述1、skywalking简介SkyWalking是一款广受欢迎的国产APM(ApplicationPerformanceMonitoring,应用性能监控)产品,主要针对微服务、Clou...

Oracle项目管理系统之成本状态跟踪

卷首语成本费用管理模块功能分为公司级、项目级两个层级,其中公司级功能包括概预算管理、概预算定额管理、预算模板管理,以及控制估算管理等功能。费用与成本成本费用管理主要是为了合理利用资金资源,控制企业的成...

从入门到精通,Java最全学习路线(java自学路线)

最近好多小伙伴询问,该如何学习java?那些视频适合零基础学习呢?大多数都是一些刚入门的新手,还不了解这个行业,也不知道从何学起,开始的时候非常迷茫,在这给大家整理出一些学习路线。Java学习路线在这...

SPARC M7最新技术 甲骨文首度在台发表

甲骨文首度在台发表SPARCM7最新技术,宣布推出全新SPARC系统產品系列,採用革命性的32内核、256执行绪SPARCM7微处理器。这套SPARC系统提供:先进的入侵防护和加密的Securit...

轻量化的企业级OLAP方案2(轻量化ar)

上一篇文章讲了一个轻量化的企业级OLAP方案,这一篇文章继续介绍另外一个方案。方案2:Greenplum1Greenplum介绍1.1Greenplum概念Greenplum数据库是一种基于Po...

时序数据库在水电站领域的应用(时序数据库优缺点)

大家好,上期经过了王宏志教授对数据库前沿领域的介绍,不知道小伙伴们是否对数据库领域有了更深的认识呢,本期让我们回归时序数据库,再来聊一聊时序数据库在水电站领域的应用。本文仅代表个人观点,如有偏颇之处,...

数据库SQL引擎比较(数据库引擎有哪些,有什么区别)

数据库SQL引擎的典型工作机制及详细分析如下,涵盖查询处理全流程中的核心机制与实际案例:一、SQL引擎核心处理流程1.解析与校验阶段词法/语法解析:SQL语句被拆解为Token序列,构建...

Ubuntu系统密码(root密码)的修改方法

本文介绍在Linux系统的Ubuntu电脑中,修改账户用户密码(同时也修改了root用户密码)的方法。首先,如果此时处于登录页面(也就是意识到自己忘记密码的那个页面),就先点击右上角的关闭按钮...

TablePlus:一个跨平台的数据库管理工具

TablePlus是一款现代化的跨平台(Window、Linux、macOS、iOS)数据库管理工具,提供直观的界面和强大的功能,可以帮助用户轻松管理和操作数据库。TablePlus免费版可以永久...

云满足用户对通过单一视图了解整体运营和数据的需求

ZD至顶网软件频道消息:云在简化IT和业务的同时也带来了新问题,这很有趣,不是吗?毫无疑问,云大幅降低了企业运行基础设施和应用的复杂性和成本;但您仍然面临一个老生常谈的问题——孤岛,只不过这次是在云...

SQL_TOP(显示数据条数)(sqlserver显示查询的行数)

(8)SELECT(9)DISTINCT(11)<topNum><selectlist>(1)FROM[left_table](3)<join_type>...

php搭建小型部门网站(php构建网站)

熟悉前端html,js,css,后端熟悉php,python,java只能称得上一般,还有很多坑待踩。鉴于所学很杂,决定利用对业务的熟悉来搞一个部门网站来简化大家的工作流程。初步设计方案后端用p...

取消回复欢迎 发表评论: