vLLM部署Embedding模型，并在Oracle中直接调用

mhr18 2025-01-07 14:17 180 浏览 0 评论

e5-mistral-7b-instruct 是一个功能强大的 embedding 模型，支持的语言各类很多，支持的上下文很大，max_model_len支持32K。

本文记录一下利用vLLM部署embedding模型：e5-mistral-7b-instruct，并且直接在Oracle SQL中调用部署的模型做embedding.

首先，安装vllm

# 创建Python环境
conda create -n vllm python=3.12

# 进入新创建的环境
conda activate vllm

# 安装vllm依赖包
pip install vllm
pip install vllm-flash-attn

然后，部署 e5-mistral-7b-instruct

nohup python -u -m vllm.entrypoints.openai.api_server --port 8098 --model intfloat/e5-mistral-7b-instruct --served-model-name e5-mistral-7b-instruct --device=cuda --dtype auto > vllm.out 2>&1 &

最后，直接在Oracle SQL中访问部署的模型进行 embedding：

-- 创建访问凭证
BEGIN
    DBMS_VECTOR_CHAIN.CREATE_CREDENTIAL (
        CREDENTIAL_NAME  => 'LAB_OPENAI_CRED',
        PARAMS  => json('{ "access_token": "EMPTY" }')
    );
END;
/

-- SQL中直接调用自部署的模型：
SELECT dbms_vector.utl_to_embedding(
    'Oracle向量数据库动手实验培训',
    json('{
        "provider": "OpenAI",
        "credential_name": "LAB_OPENAI_CRED",
        "url": "http://<ip>:<port>/v1/embeddings",
        "model": "e5-mistral-7b-instruct"
    }')
) embedding;

直接在SQL中访问自部署的模型做向量化操作是非常有意义的，Embedding本来是靠近数据侧的一个操作，在数据侧完成这个操作，能让上层应用程序更简洁，更专注于业务。

oracle 创建包

上一篇：甲骨文为VCA添加外部光纤通道存储
下一篇：python3.13下使用数据库连接池

vLLM部署Embedding模型，并在Oracle中直接调用

相关推荐

取消回复欢迎你发表评论:

生产系统数据库操作规范(2):（数据库生产库是什么意思）

Redis客户端 Jedis 与 Lettuce

高并发架构系列:Redis并发竞争key的解决方案详解

redis如何防止并发（redis如何防止高并发）

开源推荐:如何实现的一个高性能 Redis 服务器

redis安装与调优部署文档(WinServer)

Redis 入门 - 安装最全讲解(Windows、Linux、Docker)

一文带你了解 Redis 的发布与订阅的底层原理

Redis如何应对并发访问（redis控制并发量）

Java SE Development Kit 8u441下载地址【windows版本】

vLLM部署Embedding模型，并在Oracle中直接调用

相关推荐

取消回复欢迎 你 发表评论:

生产系统数据库操作规范(2):（数据库生产库是什么意思）

Redis客户端 Jedis 与 Lettuce

高并发架构系列:Redis并发竞争key的解决方案详解

redis如何防止并发（redis如何防止高并发）

开源推荐:如何实现的一个高性能 Redis 服务器

redis安装与调优部署文档(WinServer)

Redis 入门 - 安装最全讲解(Windows、Linux、Docker)

一文带你了解 Redis 的发布与订阅的底层原理

Redis如何应对并发访问（redis控制并发量）

Java SE Development Kit 8u441下载地址【windows版本】

取消回复欢迎你发表评论: