怎么做网站系统,疫苗最新官方消息,汕尾手机网站设计,wordpress空白文章目录 前言步骤图片数据Embedding入库文本检索 完整代码 前言
本文使用阿里云的向量检索服务#xff08;DashVector#xff09;#xff0c;结合 ONE-PEACE多模态模型#xff0c;构建实时的“文本搜图片”的多模态检索能力。整体流程如下#xff1a;
多模态数据Embedd… 文章目录 前言步骤图片数据Embedding入库文本检索 完整代码 前言
本文使用阿里云的向量检索服务DashVector结合 ONE-PEACE多模态模型构建实时的“文本搜图片”的多模态检索能力。整体流程如下
多模态数据Embedding入库。通过ONE-PEACE模型服务Embedding接口将多种模态的数据集数据转化为高维向量。多模态Query检索。基于ONE-PEACE模型提供的多模态Embedding能力我们可以自由组合不同模态的输入例如单文本、文本音频、音频图片等多模态输入获取Embedding向量后通过DashVector跨模态检索相似结果。
前提条件 开通灵积模型服务并获得API-KEY开通DashScope并创建API-KEY开通向量检索服务请参见开通服务。创建向量检索服务API-KEY请参见API-KEY管理。 环境准备
# 安装 dashscope 和 dashvector sdk
pip3 install dashscope dashvector# 显示图片
pip3 install Pillow数据准备 说明 由于DashScope的ONE-PEACE模型服务当前只支持URL形式的图片、音频输入因此需要将数据集提前上传到公共网络存储例如 oss/s3并获取对应图片、音频的url地址列表。 步骤 图片数据Embedding入库
我使用了阿里云的 OSS 保存了图片通过 OSS Browser 界面获取图片外部可以访问的 URL这个 URL 应该也可以通过接口的方式获取这个还没有研究感兴趣的小伙伴可以尝试用接口批量获取下获取这个 URL 的目的是为了让阿里云的 DashScope 服务能够读取到该图片进行 embedding 保存到 DashVector 向量数据库中。获取到该URL 后就将该URL 写入到我们的 imagenet1k-urls.txt 文件中等会我们的代码会读取该文件进行嵌入执行嵌入的代码如下我在后边会将完整代码和目录结构贴出这里只贴出嵌入的代码 def index_image(self):# 创建集合指定集合名称和向量维度, ONE-PEACE 模型产生的向量统一为 1536 维collection self.vector_client.get(self.vector_collection_name)if not collection:rsp self.vector_client.create(self.vector_collection_name, 1536)collection self.vector_client.get(self.vector_collection_name)if not rsp:raise DashVectorException(rsp.code, reasonrsp.message)# 调用 dashscope ONE-PEACE 模型生成图片 Embedding并插入 dashvectorwith open(self.IMAGENET1K_URLS_FILE_PATH, r) as file:for i, line in enumerate(file):url line.strip(\n)input [{image: url}]result MultiModalEmbedding.call(modelMultiModalEmbedding.Models.multimodal_embedding_one_peace_v1,inputinput,api_keyos.environ[DASHSCOPE_API_KEY],auto_truncationTrue)if result.status_code ! 200:print(fONE-PEACE failed to generate embedding of {url}, result: {result})continueembedding result.output[embedding]collection.insert(Doc(idstr(i),vectorembedding,fields{image_url: url}))if (i 1) % 100 0:print(f---- Succeeded to insert {i 1} image embeddings)
读取 IMAGENET1K_URLS_FILE_PATH中的图片 URL然后执行请求 DashScope 请求将我们的图片向量化存储。在插入向量数据库的时候带上了图片的 URL 作为向量属性。
执行完毕后可以通过向量检索服务控制台查看下向量数据
文本检索
通过文本检索向量数据库中的数据我输入cat检索出三张我们代码中设置的 topk3图片, 可以查看下效果两张是猫的照片但是有一张是狗的照片这是因为这张狗和猫是存在相似性的接下来我们将topk设置为2理论上就检测不出这个狗了我们看下效果果然就没有狗了之所以会出现狗是因为我往向量库中存入了4张动物图片2张猫的2张狗的如果我们的 topk 设置为3就会多检测出一张狗的。
完整代码
multi_model.py文件如下
import osimport dashscope
from dashvector import Client, Doc, DashVectorException
from dashscope import MultiModalEmbedding
from dashvector import Client
from urllib.request import urlopen
from PIL import Imageclass DashVectorMultiModel:def __init__(self):# 我们需要同时开通 DASHSCOPE_API_KEY 和 DASHVECTOR_API_KEYos.environ[DASHSCOPE_API_KEY] os.environ[DASHVECTOR_API_KEY] os.environ[DASHVECTOR_ENDPOINT] dashscope.api_key os.environ[DASHSCOPE_API_KEY]# 由于 ONE-PEACE 模型服务当前只支持 url 形式的图片、音频输入因此用户需要将数据集提前上传到# 公共网络存储例如 oss/s3并获取对应图片、音频的 url 列表。# 该文件每行存储数据集单张图片的公共 url与当前python脚本位于同目录下self.IMAGENET1K_URLS_FILE_PATH imagenet1k-urls.txtself.vector_client self.init_vector_client()self.vector_collection_name imagenet1k_val_embeddingdef init_vector_client(self):return Client(api_keyos.environ[DASHVECTOR_API_KEY],endpointos.environ[DASHVECTOR_ENDPOINT])def index_image(self):# 创建集合指定集合名称和向量维度, ONE-PEACE 模型产生的向量统一为 1536 维collection self.vector_client.get(self.vector_collection_name)if not collection:rsp self.vector_client.create(self.vector_collection_name, 1536)collection self.vector_client.get(self.vector_collection_name)if not rsp:raise DashVectorException(rsp.code, reasonrsp.message)# 调用 dashscope ONE-PEACE 模型生成图片 Embedding并插入 dashvectorwith open(self.IMAGENET1K_URLS_FILE_PATH, r) as file:for i, line in enumerate(file):url line.strip(\n)input [{image: url}]result MultiModalEmbedding.call(modelMultiModalEmbedding.Models.multimodal_embedding_one_peace_v1,inputinput,api_keyos.environ[DASHSCOPE_API_KEY],auto_truncationTrue)if result.status_code ! 200:print(fONE-PEACE failed to generate embedding of {url}, result: {result})continueembedding result.output[embedding]collection.insert(Doc(idstr(i),vectorembedding,fields{image_url: url}))if (i 1) % 100 0:print(f---- Succeeded to insert {i 1} image embeddings)def show_image(self, image_list):for img in image_list:# 注意show() 函数在 Linux 服务器上可能需要安装必要的图像浏览器组件才生效# 建议在支持 jupyter notebook 的服务器上运行该代码img.show()def text_search(self, input_text):# 获取上述入库的集合collection self.vector_client.get(imagenet1k_val_embedding)# 获取文本 query 的 Embedding 向量input [{text: input_text}]result MultiModalEmbedding.call(modelMultiModalEmbedding.Models.multimodal_embedding_one_peace_v1,inputinput,api_keyos.environ[DASHSCOPE_API_KEY],auto_truncationTrue)if result.status_code ! 200:raise Exception(fONE-PEACE failed to generate embedding of {input}, result: {result})text_vector result.output[embedding]# DashVector 向量检索rsp collection.query(text_vector, topk2)image_list list()for doc in rsp:img_url doc.fields[image_url]img Image.open(urlopen(img_url))image_list.append(img)return image_listif __name__ __main__:a DashVectorMultiModel()# 执行 embedding 操作a.index_image()# 文本检索text_query Traffic lighta.show_image(a.text_search(text_query))开通 DashScope 和 DashVector 的 API KEY 后替换上边的DASHSCOPE_API_KEY,DASHVECTOR_API_KEY,DASHVECTOR_ENDPOINT
代码目录结构如下将 txt 文件和py 文件放在同级目录下 补充说明 使用本地图片我是将图片上传至 OSS 的也可以使用本地的图片文件将 txt 中的文件路径替换为本地图片路径如下 如果使用本地图片的话我们就得修改下上边的代码了修改下边的代码 # 将 img Image.open(urlopen(img_url)) 替换为下边的代码
img Image.open(img_url)
