使用Kong作为微服务网关(微服务中的网关)
mhr18 2025-05-08 19:52 11 浏览 0 评论
在团队规模尚小,业务尚较为简单的前提条件下,我们常常将多个功能集中在一个应用中,进行统一化的部署和测试。随着业务的发展,功能模块日益增多。如需更新单一模块,都会需要对整个程序进行更新,如此下来,长期以往系统维护将会变得愈发费时费力。
针对以上问题,我们将单体应用进行拆分,变成多个自成一体的模块,每个模块有各自自成体系的发布和运维等功能,由此解决了单体应用的弊端,将应用微服务化。当我们拆分出多个模块之后,各个模块需要统一的出入口,这里我们需要使用网关解决统一调用和接入问题。
在这样的背景之下,我们通过利用Kong这一开源API网关,将请求转发到上游服务之前,进行一系列的管理。
本文针对其核心应用,首先简要阐明Nginx、Openresty与Kong三者只间的关系,然后实际介绍如何使用Kong的插件机制来添加一个自定义插件。
1. 基本概念
Kong是一个开源的API网关,它是一个针对API的一个管理工具。你可以在那些上游服务之前,额外地实现一些功能。
Kong本身是一款基于OpenResty(Nginx + Lua模块)编写的高可用、易扩展的,由Mashape公司开源的API Gateway项目。Kong是基于NGINX和Apache Cassandra或PostgreSQL构建的,能提供易于使用的RESTful API来操作和配置API管理系统,所以它可以水平扩展多个Kong服务器,通过前置的负载均衡配置把请求均匀地分发到各个Server,来应对大批量的网络请求。
Nginx
Nginx是模块化设计的反向代理软件,由C语言开发,是多进程(单线程) & 多路IO复用模型(高并发)。
多进程
Nginx 在启动后,会有一个 master 进程和多个相互独立的 worker 进程。接收来自外界的信号,向各worker进程发送信号,每个进程都有可能来处理这个连接。master 进程能监控worker 进程的运行状态,当 worker 进程退出后(异常情况下),会自动启动新的 worker 进程。一个请求,完全由 worker 进程来处理,而且只能在一个 worker 进程中处理请求。
多路复用模型
epoll通过在Linux内核中申请一个简易的文件系统,只要有 fd 上事件发生,epoll_wait() 就能检测到并返回给用户,用户就能”非阻塞“地进行 I/O 了。在内核,select中采用轮训的方法来查看是由有fd文件描述符准备好。在内核,epoll根据每个sockfd上面与设备趋同程序建立站起来的回调函数,当某个sockfd上的时间发生,与之对应的回调函数就会被调用。
Openresty
OpenResty是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。Openresty中的 Ngx_Lua_Module 使得开发人员能够使用 Lua 脚本调动 Nginx 支持的各种模块,让 web 服务直接跑在 Nginx 内部。
Ngx_Lua_Module
把 Lua5.1 解释器 或 LuaJIT 2.0/2.1 解释器嵌入到 nginx 中,将 Lua 线程(Lua threads)与 nginx 事务模型(Nginx event model)结合,更改变子请求(subrequests)的处理过程。在 nginx 的一个 worker 里,所有请求共享一个Lua 解释器或 LuaJIT 实例,即一个 nginx worker,一个 Lua 解释器或 LuaJIT 实例。每个请求的上下文(context)是通过轻量级的 Lua 协程(coroutines)相互隔离的。
Kong
Kong 可以认为是一个 OpenResty 应用程序,而OpenResty 运行在 Nginx 之上,使用 Lua 扩展了 Nginx。Kong = OpenResty + Nginx + Lua
我们可以通过 HTTP Restful API 来动态管理 Kong 配置,8001是默认管理端口,8000/8443则分别是 Http 和 Https 的转发端口,我们可以通过 HTTP Restful 来动态管理Kong配置。
# 配置一个上游服务
curl -X POST http://localhost:8001/upstreams --data "name=helloUpstream"
Kong插件机制
Kong具有极高的可扩展性,而它的高扩展性便来源于他的插件机制。
首先,先介绍如何在Kong中添加插件。
插件的作用范围非常灵活,可作用于一个服务或者路由之上,也可作用于整个Kong服务。我们可以为一个服务添加50次/秒的官方限流插件,通过如下所示的Restful API方式:
curl -X POST http://localhost:8001/services/hello/plugins \
--data "name=rate-limiting" \
--data "config.second=50"
2. 开发Kong自定义插件
这里用添加一个名为key-auth-redis的自定义插件为例,详细介绍如何在kong开发一个自定义插件。
├── kong_components
│ └── kong_plugins
│ └── key-auth-redis
│ ├── handler.lua # 请求生命周期
│ ├── access.lua # 逻辑实现部分
│ ├── schema.lua # 插件配置参数定义,或自定义校验函数
│ ├── migrations
│ │ ├── 000_base_qingke-auth.lua # 数据库结构信息
│ │ └── init.lua # 初始化数据结构信息
首先,进入Kong_plugins目录,新建key-auth-redis的文件夹,并创建handler.lua文件和schema.lua文件,handler.lua文件中是插件主要的逻辑,需要继承baseplugin,根据不同阶段完成需要的逻辑。
Handler.lua 文件
local BasePlugin = require 'kong.plugins.base_plugin'
local access = require 'kong.plugins.key-auth-redis.access'
local AuthNotEncryption = BasePlugin:extend()
function AuthNotEncryption:access(conf)
access.execute(conf)
end
AuthNotEncryption.PRIORITY = 1000
AuthNotEncryption.VERSION = '1.0.0'
return AuthNotEncryption
这里注意
AuthNotEncryption.PRIORITY 是插件执行顺序。AuthNotEncryption.VERSION是插件版本。local AuthNotEncryption= BasePlugin:extend(),Kong 的插件使用一个叫 Classic 的 class 机制。所有的插件都从 base_plugin.lua 基类上继承而来。base_plugin.lua 定义了插件在各个阶段被执行的方法名,我们在这里自定义变量AuthNotEncryption并继承baseplugin,定义了这个Kong插件在执行中调用方法顺序,最后return自定义变量。
Access.lua 文件
key-auth-redis这个插件需要访问redis数据库,进行访问用户鉴权,因此,我们只需要在访问上游服务器前执行该插件。为了达到这个操作,我们需要重写BasePlugin在访问上有服务之前的生命周期函数,完成对应的逻辑。
下表这里为Kong各个生命周期函数的具体描述。
通过此表,我们可以定位到想要实现key-auth-redis的功能,我们需要复写access方法。完成插件的大致逻辑如下。
function _M.execute(conf)
local params
local method = kong.request.get_method()
if method == 'POST' then
params = kong.request.get_body()
else
return Response.exit(100010, params.data_id)
end
if (params == nil) then
return Response.exit(201500, "")
end
validate_params(params, conf)
do_authentication(conf, cache, params)
end
return _M
这里通过kong.request.get_body()获取访问带有参数,然后调用access.lua中带有的访问校验函数do_authentication。
Schema.lua 文件
schema.lua是插件在使用自定义配置参数的主要脚本。在schema文件中,我们可以进行对key-auth-redis插件中访问redis数据库的配置。
local typedefs = require 'kong.db.schema.typedefs'
local utils = require "kong.tools.utils"
return {
name = 'key-auth-redis',
fields = {
{consumer = typedefs.no_consumer},
{run_on = typedefs.run_on_first},
{protocols = typedefs.protocols_http},
{
config = {
type = 'record',
fields = {
{redis_host = {type = 'string', default = '0.0.0.0'}},
{redis_port = {type = 'number', default = 6379}},
{redis_password = {type = 'string', default = ''}},
{redis_timeout = {type = 'number', default = 200000}},
{redis_connections = {type = 'number', default = 1000}},
{fault_tolerant = {type = 'boolean', default = true}},
{redis_database = {type = 'number', default = 0}},
{clock_skew = {type = 'number', default = 300, gt = 0}}
}
}
}
}
}
在field中,成员类型可以是string、boolean、array、number、timestamp,我们可以根据插件所需要的参数类型,进行参数配置。
到此为止,key-auth-redis插件代码部分已经介绍完毕。在完成代码修改后需要重启Kong,重启命令。
kong restart -c kong.conf --vv
然后,通过如下命令重启启动kong。
kong start
PS:
我们是行者AI,我们在“AI+游戏”中不断前行。
快来【公众号 | xingzhe_ai】,和我们讨论更多技术问题吧!
相关推荐
- B站收藏视频失效?mybili 收藏夹备份神器完整部署指南
-
本内容来源于@什么值得买APP,观点仅代表作者本人|作者:羊刀仙很多B站用户都有过类似经历:自己精心收藏的视频突然“消失”,点开一看不是“已被删除”,就是“因UP主设置不可见”。而B站并不会主动通知...
- 中间件推荐初始化配置
-
Redis推荐初始化配置bind0.0.0.0protected-modeyesport6379tcp-backlog511timeout300tcp-keepalive300...
- Redis中缓存穿透问题与解决方法
-
缓存穿透问题概述在Redis作为缓存使用时,缓存穿透是常见问题。正常查询流程是先从Redis缓存获取数据,若有则直接使用;若没有则去数据库查询,查到后存入缓存。但当请求的数据在缓存和数据库中都...
- 后端开发必看!Redis 哨兵机制如何保障系统高可用?
-
你是否曾在项目中遇到过Redis主服务器突然宕机,导致整个业务系统出现数据读取异常、响应延迟甚至服务中断的情况?面对这样的突发状况,作为互联网大厂的后端开发人员,如何快速恢复服务、保障系统的高可用...
- Redis合集-大Key处理建议
-
以下是Redis大Key问题的全流程解决方案,涵盖检测、处理、优化及预防策略,结合代码示例和最佳实践:一、大Key的定义与风险1.大Key判定标准数据类型大Key阈值风险场景S...
- 深入解析跳跃表:Redis里的"老六"数据结构,专治各种不服
-
大家好,我是你们的码农段子手,今天要给大家讲一个Redis世界里最会"跳科目三"的数据结构——跳跃表(SkipList)。这货表面上是个青铜,实际上是个王者,连红黑树见了都要喊声大哥。...
- Redis 中 AOF 持久化技术原理全解析,看完你就懂了!
-
你在使用Redis的过程中,有没有担心过数据丢失的问题?尤其是在服务器突然宕机、意外断电等情况发生时,那些还没来得及持久化的数据,是不是让你夜不能寐?别担心,Redis的AOF持久化技术就是...
- Redis合集-必备的几款运维工具
-
Redis在应用Redis时,经常会面临的运维工作,包括Redis的运行状态监控,数据迁移,主从集群、切片集群的部署和运维。接下来,从这三个方面,介绍一些工具。先来学习下监控Redis实时...
- 别再纠结线程池大小 + 线程数量了,没有固定公式的!
-
我们在百度上能很轻易地搜索到以下线程池设置大小的理论:在一台服务器上我们按照以下设置CPU密集型的程序-核心数+1I/O密集型的程序-核心数*2你不会真的按照这个理论来设置线程池的...
- 网络编程—IO多路复用详解
-
假如你想了解IO多路复用,那本文或许可以帮助你本文的最大目的就是想要把select、epoll在执行过程中干了什么叙述出来,所以具体的代码不会涉及,毕竟不同语言的接口有所区别。基础知识IO多路复用涉及...
- 5分钟学会C/C++多线程编程进程和线程
-
前言对线程有基本的理解简单的C++面向过程编程能力创造单个简单的线程。创造单个带参数的线程。如何等待线程结束。创造多个线程,并使用互斥量来防止资源抢占。会使用之后,直接跳到“汇总”,复制模板来用就行...
- 尽情阅读,技术进阶,详解mmap的原理
-
1.一句话概括mmapmmap的作用,在应用这一层,是让你把文件的某一段,当作内存一样来访问。将文件映射到物理内存,将进程虚拟空间映射到那块内存。这样,进程不仅能像访问内存一样读写文件,多个进程...
- C++11多线程知识点总结
-
一、多线程的基本概念1、进程与线程的区别和联系进程:进程是一个动态的过程,是一个活动的实体。简单来说,一个应用程序的运行就可以被看做是一个进程;线程:是运行中的实际的任务执行者。可以说,进程中包含了多...
- 微服务高可用的2个关键技巧,你一定用得上
-
概述上一篇文章讲了一个朋友公司使用SpringCloud架构遇到问题的一个真实案例,虽然不是什么大的技术问题,但如果对一些东西理解的不深刻,还真会犯一些错误。这篇文章我们来聊聊在微服务架构中,到底如...
- Java线程间如何共享与传递数据
-
1、背景在日常SpringBoot应用或者Java应用开发中,使用多线程编程有很多好处,比如可以同时处理多个任务,提高程序的并发性;可以充分利用计算机的多核处理器,使得程序能够更好地利用计算机的资源,...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)