如何通过ESB平台配置API网关(esb接入)
mhr18 2025-04-30 18:07 16 浏览 0 评论
ESB总线平台是企业信息化建设的基础平台,在信息化系统建设和集成过程中起到非常重要的作用。在数据治理、数据中台等核心方案中,ESB支撑MDM、DAP、IDM等平台的数据采集、同步、分发等操作,同时通过ESB平台的API管理能力,可以对服务接口进行统一管理、配置、编排、监控、报警等,实现跨系统的数据集成、业务集成,打通业务系统壁垒,为企业的信息一体化建设整合、数据治理、数据分析奠定基础。
ESB平台除了在数据中台等方案中支持数据采集、同步等操作,也可以独立进行API的管理,支持服务接口的开发、注册、代理,并对服务接口进行安全管控、监控预警,满足服务接口的集中管理要求。本次主要是从API管理功能出发,重点介绍ESB的API网关功能。
总体说明
ESB总线平台主要服务于数据集成、应用集成等需求,在应用集成、数据采集、业务集成等不同场景中,通过产品本身或与其他产品组合形成灵活的解决方案,以满足具体的使用场景。
1.总体架构
ESB平台作为核心产品,广泛应用于数据治理、数据中台等方案中,以数据中台为例, ESB作为数据总线通过实时、离线等方式进行数据采集与加工汇总,完成DAP的数仓建设过程。
数据中台方案以DAP数据分析平台为核心,包括了数仓搭建、数据分析、数据挖掘、资产建设等内容。数仓建设通过平台构建ODS、DWD、DWS等,实现数仓分层建设,并通过数据集、立方体构建ADS层,实现数据的可视化分析展现。而ESB作为ETL工具,主要满足数据从业务系统到ODS、ODS到DW的抽取、加工、转换、汇总过程。在数据集成整合过程中,通过MDM基础数据平台实现基础数据治理,构建数仓维表,保证数仓中业务数据的中准确性。
2.功能架构
ESB平台功能主要包括:设计器、Runtime运行时、SMC管理控制台三部分,具体功能架构如下图所示。
1.设计器:图形化的开发工具,提供工程、服务、流程向导功能,可以快速拖拽、配置、开发服务接口,设计器提供数据转换、数据库操作、外部调用等各类不同的图形化组件,实现低代码的服务开发与部署发布;
2.Runtime运行时:ESB底层运行引擎,为服务运行、调用、编排等提供底层运行机制,支持API、流程、路由的安全、发布、运行;
3.SMC管理控制台:Web端的管理平台,可以通过浏览器页面进行操作,针对服务工程进行查看、启停、安全配置,支持对API接口进行注册、配置、代理、安全控制;同时可以对工程、服务、流程等进行实时监控和统计分析。
3.API网关
API网关功能是API管理中的一个子功能,主要在是服务注册、配置、代理的基础上,通过配置API网关,实现对服务接口访问地址的统一、规范管理,实现集中化的接口管控。API网关可以基于API服务接口动态生成网关地址,支持按照API分组和API地址两种方式生成网关。
1.API分组:对API接口进行分组管理,按照分组编码和接口编码生成API网关地址;
2.API地址:以注册、配置、代理的服务接口地址为基础,通过组合固定的路径形成API网关地址。
API管理
API管理是ESB的SMC模块中的配置功能,是可以独立在SMC配置使用的功能,API管理的主要作用是将内外部的服务接口进行统一注册、配置与管理,对外部应用提供统一的访问地址的同时,对接口访问进行安全、限流等控制,从而保证接口的访问安全。
1.API服务
通过导入、注册、配置的方式新增API服务接口,并对接口进行参数配置、调用测试等。
1.导入:导入ESB设计器开发的Web或Rest服务:
2.注册:通过接口URL地址注册外部系统服务:
3.配置:手动定义服务编码,再通过处理器的方式调用注册或导入的API接口,从而实现对接口的调用和编排:
2.API代理
主要是对API服务中定义的服务接口进行代理,同时对外提供代理后的访问地址,避免直接暴露源接口地址,支持单代理与多代理模式,单代理即一个API服务对应一个代理服务,而多代理可以实现将多个不同的API服务发布到一个代理服务中,从而实现API服务的组合管理。
1.导入:将API服务中的服务接口直接导入API代理进行代理配置:
2.新增:手动新增代理服务,再手动添加API服务中的服务接口,多代理就是手动新增进行配置:
3.手动添加需要代理的服务接口:
3.API接口
通过API分组对API服务下的接口进行添加与管理:
1.统一管理API分组:
2.在分组下添加API接口,从API服务中选择服务下的具体接口:
通过API接口实现服务接口的分组管理,主要作用:
1.配置服务:配置处理器时,从API接口清单中选择调用的接口:
2.API网关:通过API分组或API地址生成API网关,通过API网关地址进行统一访问调用:
3.应用集成:集成场景配置选择来源或目标接口时,通过API接口清单中进行选择:
4.实时集成:在配置Flink实时集成时,如果目标为接口,则从API接口清单中选择接收接口:
API网关
API网关和配置服务、API代理是ESB实现API管理,并对外提供服务的有效方式,其中:
1.API网关配置最为简单,只需要在API接口中开启配置即可,但API网关地址的调用方式和源接口基本一致,包括参数、认证、请求头等;
2.配置服务最复杂,需要配置处理器和参数等信息,但配置服务更灵活,可以进行参数处理转换,多接口分发等复杂业务场景;
3.代理的配置过程比API网关复杂但比配置服务简单,同时也支持通过处理器的方式对参数进行处理。
1.实现方式
API网关主要是通过SMC配置+OpenResty转发实现的,SMC配置主要是配置API网关的访问路径,并把API网关的访问信息存储到Redis存储中,而OpenResty通过访问信息从Redis中获取原始接口访问地址,从而实现接口调用。所以API网关的适用性最广,它对于注册、配置、代理的接口都可以配置网关接入,形成统一的访问地址。
2.环境要求
对于需要启用API网关的环境,需要满足两个前置条件:
1.需要部署OpenResty,API网关主要是通过Lua动态获取和构建API接口访问信息的,而OpenResty通过Nginx和Lua实现API网关的动态解析与转发;
2.单机部署的Redis数据库,主要用于存储和读取API网关的访问路径信息,OpenResty通过读取Redis获取API网关对应的接口地址。
3.接入配置
因为API网关是通过OpenResty实现的动态转发,所以需要在配置OpenResty的访问信息,如果是k8s容器化部署的环境,通过UMC的接入配置进行访问配置,如果是单机部署,则需要手动添加API网关的代理转发片段。
1.UMC接入配置:
(1)在接入配置中添加API网关的模版片段:
(2)修改Redis连接参数(IP、端口、密码):
2.单机部署:直接在OpenResty的Nginx配置文件(nginx.conf)中引入API网关的Lua片段:
配置说明
在SMC中API网关的配置主要是注册、配置或代理接口,然后基于注册、配置、代理的接口启用API网关功能。同时在配置时需要配置Redis资源,以保证API网关访问地址的存储管理。
1.前置配置
1.在共享资源中配置Redis数据库信息:
注意:Redis推荐采用单机Redis,访问IP、端口、密码根据部署的Redis定义。
2.在SMC的全局变量中配置API网关访问信息:
注意:
(1)addressPrefix为API网关对外提供访问地址的前缀,根据环境修改IP即可,如果修改apis,注意修改OpenResty的转发配置;
(2)redisResCode的值需要和贡献资源中注册的Redis资源编码保持一致。
2.接口注册
1.在API服务中通过注册或导入服务:
2.配置接口及参数:
3.调用测试:
3.接入配置
1.在API接口中添加注册的服务接口:
2.启用API网关,通过API分组生成网关地址:
3.启用API网关,调用测试:
4.改用API地址的方式测试:
总结说明
ESB总线平台是公司的核心产品之一,在集成中台、数据中台、主数据治理、数据治理等方案中都发挥着非常重要的作用。根据不同方案中ESB平台的作用以及数据处理的过程不同,ESB平台又可以分成服务总线和数据总线,而API管理主要应用于服务总线的建设中。
1.功能总结
API管理是ESB平台中非常重要的功能,通过API管理可以实现企业内外部服务接口的统一管理,满足接口集成、接口安全、报警通知等功能,并且基于API管理的集成、配置可以直接在ESB的SMC控制台中完成。而在集成对接过程中,API网关、配置服务、API代理是API管理中对外提供接口信息的有效方式,而其中又以API网关的配置方式最简单,覆盖内容最广。
2.集成方案
ESB作为服务总线时,主要强调对服务接口的统一管理,基于服务接口进行系统集成,如集成中台、业务集成等方案;数据总线主要利用ESB的数据抽取、加工、转换、写入以及实时数据采集能力,实现异构系统的数据采集,主要应用数据中台和数仓建设方案。根据实际项目的需要,ESB是可以同时发挥服务总线和数据总线的能力。
3.个人总结
ESB平台的API管理功能随着产品功能迭代不断完善,针对于多系统调用、同步/异步调用、单处理器重试等场景都实现了良好的支持,在实际项目中也得到了很好的验证,配置使用的方式越来越便捷,大大提升了实际项目中使用效果和交付效率。
对实施人员而言,熟练掌握ESB的使用非常重要,可以快速满足实际业务中各类对接场景的需求,同时ESB设计器提供低代码开发的能力,在实际项目中可以通过ESB进行服务接口的定制化开发需求。在实际业务中,ESB作为贯穿各个系统的总线平台,在实现系统集成时会同步记录日志信息,便于对问题的排查以及报警通知,提升系统集成的安全性和可控性。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~
相关推荐
- redis 7.4.3更新!安全修复+性能优化全解析
-
一、Redis是什么?为什么选择它?Redis(RemoteDictionaryServer)是一款开源的高性能内存键值数据库,支持持久化、多数据结构(如字符串、哈希、列表等),广泛应用于缓存、消...
- C# 读写Redis数据库的简单例子
-
CSRedis是一个基于C#的Redis客户端库,它提供了与Redis服务器进行交互的功能。它是一个轻量级、高性能的库,易于使用和集成到C#应用程序中。您可以使用NuGet包管理器或使用以下命令行命令...
- 十年之重修Redis原理
-
弱小和无知并不是生存的障碍,傲慢才是。--------面试者总结Redis可能都用过,但是从来没有理解过,就像一个熟悉的陌生人,本文主要讲述了Redis基本类型的使用、数据结构、持久化、单线程模型...
- 高频L2行情数据Redis存储架构设计(含C++实现代码)
-
一、Redis核心设计原则内存高效:优化数据结构,减少内存占用低延迟访问:单次操作≤0.1ms响应时间数据完整性:完整存储所有L2字段实时订阅:支持多客户端实时数据推送持久化策略:RDB+AOF保障数...
- Magic-Boot开源引擎:零代码玩转企业级开发,效率暴涨!
-
一、项目介绍基于magic-api搭建的快速开发平台,前端采用Vue3+naive-ui最新版本搭建,依赖较少,运行速度快。对常用组件进行封装。利用Vue3的@vue/compiler-sfc单文...
- 项目不行简历拉胯?3招教你从面试陪跑逆袭大厂offer!
-
项目不行简历拉胯?3招教你从面试陪跑逆袭大厂offer!老铁们!是不是每次面试完都感觉自己像被大厂面试官婉拒的渣男?明明刷了三个月题库,背熟八股文,结果一被问项目就支支吾吾,简历写得像大学生课程设计?...
- 谷歌云平台:开发者部署超120个开源包
-
从国外相关报道了解,Google与Bitnami合作为Google云平台增加了一个新的功能,为了方便开发人员快捷部署程序,提供了120余款开源应用程序云平台的支持。这些应用程序其中包括了WordPre...
- 知名互联网公司和程序员都看好的数据库是什么?
-
2017年数据库领域的最大趋势是什么?什么是最热的数据处理技术?学什么数据库最有前途?程序员们普遍不喜欢的数据库是什么?本文都会一一揭秘。大数据时代,数据库的选择备受关注,此前本号就曾揭秘国内知名互联...
- 腾讯云发布云存储MongoDB服务
-
近日,著名安全专家兼Shodan搜索引擎的创建者JohnMatherly发现,目前至少有35000个受影响的MongoDB数据库暴露在互联网上,它们所包含的数据暴露在网络攻击风险之中。据估计,将近6...
- 已跪,Java全能笔记爆火,分布式/开源框架/微服务/性能调优全有
-
前言程序员,立之根本还是技术,一个程序员的好坏,虽然不能完全用技术强弱来判断,但是技术水平一定是基础,技术差的程序员只能CRUD,技术不深的程序员也成不了架构师。程序员对于技术的掌握,除了从了解-熟悉...
- 面试官:举个你解决冲突的例子?别怂!用这个套路……
-
面试官:举个你解决冲突的例子?别怂!用这个套路……最近收到粉丝私信,说被问到:团队技术方案有分歧怎么办?当场大脑宕机……兄弟!这不是送命题,是展示你情商+技术判断力的王炸题!今天教你们3招,用真实案例...
- 面试碰到MongoDB?莫慌,跟面试官这样吹MongoDB 复制集
-
推荐阅读:吊打MySQL:21性能优化实践+学习导图+55面试+笔记+20高频知识点阿里一线架构师分享的技术图谱,进阶加薪全靠它十面字节跳动,依旧空手而归,我该放弃吗?文末会分享一些MongoDB的学...
- SpringBoot集成扩展-访问NoSQL数据库之Redis和MongoDB!
-
与关系型数据库一样,SpringBoot也提供了对NoSQL数据库的集成扩展,如对Redis和MongoDB等数据库的操作。通过默认配置即可使用RedisTemplate和MongoTemplate...
- Java程序员找工作总卡项目关?
-
Java程序员找工作总卡项目关?3招教你用真实经历写出HR抢着要的简历!各位Java老哥,最近刷招聘软件是不是手都划酸了?简历投出去石沉大海,面试邀请却总在飞别人的简历?上周有个兄弟,13年经验投了5...
- Java多租户SaaS系统实现方案
-
嗯,用户问的是Java通过租户id实现的SaaS方案。首先,我需要理解用户的需求。SaaS,也就是软件即服务,通常是指多租户的架构,每个租户的数据需要隔离。用户可能想知道如何在Java中利用租户ID来...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)