Dev (#80)
* fix(discord): 修复 WebSocket 连接检测并增强跨平台文件处理 修复 Discord WebSocket 连接检测逻辑，使用正确的属性检查连接状态 为跨平台消息处理添加文件类型支持，并增加详细的调试日志 优化附件处理逻辑，确保所有文件类型都能正确识别和转发 * feat(跨平台): 优化消息处理并添加纯文本提取功能 添加 extract_text_only 函数过滤非文本标记 修改翻译逻辑仅处理纯文本内容 完善附件处理和消息内容拼接 修复仅包含表情时的消息处理问题 * refactor(discord-cross): 使用模块专用日志记录器替换全局日志记录器 将各模块中的全局日志记录器替换为模块专用日志记录器，以提供更清晰的日志来源标识 同时在适配器中添加会话状态检查和重连机制，提升消息发送的可靠性 * feat(翻译): 改进翻译功能，同时显示原文和译文 修改翻译功能，不再替换原文而是同时显示原文和翻译内容，方便用户对照 更新 DeepSeek API 配置为官方地址和模型 优化 Discord 适配器的重连逻辑，直接关闭 WebSocket 触发重连 修复 Discord 频道 ID 转换逻辑，简化处理流程 * feat(cross-platform): 添加跨平台功能支持及配置优化 - 新增跨平台配置模型和全局配置支持 - 优化 Discord 适配器的连接管理和错误处理 - 添加 watchdog 和 discord.py 依赖 - 创建 DeepSeek API 配置文档 - 移除重复的同步帮助图片代码 - 改进跨平台插件配置加载逻辑 * fix(jrcd): 修正群组ID检查条件 删除不再使用的示例插件文件 * feat: 改进配置加载逻辑并更新项目配置 当配置文件不存在时自动生成示例配置 添加pyproject.toml作为项目构建配置 更新.gitignore忽略更多文件类型 删除不再使用的反向WebSocket示例文件 * docs: 更新架构文档和项目结构说明 添加反向WebSocket连接模式说明 补充核心管理器文档 更新项目结构文件 在文档首页添加特色功能说明 * fix(discord): 修复WebSocket连接检查并添加错误日志 refactor(config): 更新配置文件的网络和认证信息 feat(cross-platform): 为跨平台消息处理添加异常捕获和日志 * fix(discord-cross): 修复跨平台消息处理和附件下载问题 修复QQ群消息处理中的非群消息过滤问题 优化Discord附件下载逻辑，使用aiohttp替代requests 修复Redis订阅任务重复创建问题 调整消息格式化的embed字段处理逻辑 * feat(vectordb): 添加向量数据库支持及集成功能 新增向量数据库管理器模块，支持文本的存储、检索和相似度查询 添加知识库插件和AI聊天插件，利用向量数据库实现记忆功能 优化跨平台翻译模块，集成向量数据库存储历史翻译记录 改进消息处理逻辑，优先使用用户显示名称
This commit is contained in:
镀铬酸钾
134
core/managers/vectordb_manager.py
Normal file
134
core/managers/vectordb_manager.py
Normal file
@@ -0,0 +1,134 @@
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
向量数据库管理器模块
|
||||
|
||||
该模块提供了一个基于 ChromaDB 的向量数据库管理器，
|
||||
用于存储和检索文本向量，为大语言模型提供记忆能力。
|
||||
"""
|
||||
import os
|
||||
import json
|
||||
from typing import List, Dict, Any, Optional
|
||||
import chromadb
|
||||
from chromadb.config import Settings
|
||||
from core.utils.logger import ModuleLogger
|
||||
from core.utils.singleton import Singleton
|
||||
|
||||
logger = ModuleLogger("VectorDBManager")
|
||||
|
||||
class VectorDBManager(Singleton):
|
||||
"""
|
||||
向量数据库管理器（单例）
|
||||
"""
|
||||
_client = None
|
||||
_collections = {}
|
||||
|
||||
def __init__(self):
|
||||
super().__init__()
|
||||
self.db_path = os.path.join(os.path.dirname(os.path.dirname(os.path.dirname(__file__))), "data", "vectordb")
|
||||
os.makedirs(self.db_path, exist_ok=True)
|
||||
|
||||
def initialize(self):
|
||||
"""初始化 ChromaDB 客户端"""
|
||||
if self._client is None:
|
||||
try:
|
||||
logger.info(f"正在初始化向量数据库，路径: {self.db_path}")
|
||||
self._client = chromadb.PersistentClient(
|
||||
path=self.db_path,
|
||||
settings=Settings(
|
||||
anonymized_telemetry=False,
|
||||
allow_reset=True
|
||||
)
|
||||
)
|
||||
logger.success("向量数据库初始化成功！")
|
||||
except Exception as e:
|
||||
logger.error(f"向量数据库初始化失败: {e}")
|
||||
self._client = None
|
||||
|
||||
def get_collection(self, name: str):
|
||||
"""获取或创建集合"""
|
||||
if self._client is None:
|
||||
self.initialize()
|
||||
|
||||
if self._client is None:
|
||||
return None
|
||||
|
||||
if name not in self._collections:
|
||||
try:
|
||||
# 使用默认的 sentence-transformers 嵌入模型
|
||||
self._collections[name] = self._client.get_or_create_collection(name=name)
|
||||
logger.debug(f"已获取/创建向量集合: {name}")
|
||||
except Exception as e:
|
||||
logger.error(f"获取向量集合 {name} 失败: {e}")
|
||||
return None
|
||||
|
||||
return self._collections[name]
|
||||
|
||||
def add_texts(self, collection_name: str, texts: List[str], metadatas: List[Dict[str, Any]], ids: List[str]) -> bool:
|
||||
"""
|
||||
向集合中添加文本
|
||||
|
||||
Args:
|
||||
collection_name: 集合名称
|
||||
texts: 文本列表
|
||||
metadatas: 元数据列表（用于过滤和存储额外信息）
|
||||
ids: 唯一ID列表
|
||||
"""
|
||||
collection = self.get_collection(collection_name)
|
||||
if collection is None:
|
||||
return False
|
||||
|
||||
try:
|
||||
collection.add(
|
||||
documents=texts,
|
||||
metadatas=metadatas,
|
||||
ids=ids
|
||||
)
|
||||
logger.debug(f"成功向集合 {collection_name} 添加 {len(texts)} 条记录")
|
||||
return True
|
||||
except Exception as e:
|
||||
logger.error(f"向集合 {collection_name} 添加记录失败: {e}")
|
||||
return False
|
||||
|
||||
def query_texts(self, collection_name: str, query_texts: List[str], n_results: int = 5, where: Optional[Dict[str, Any]] = None) -> Dict[str, Any]:
|
||||
"""
|
||||
查询相似文本
|
||||
|
||||
Args:
|
||||
collection_name: 集合名称
|
||||
query_texts: 查询文本列表
|
||||
n_results: 返回结果数量
|
||||
where: 过滤条件
|
||||
"""
|
||||
collection = self.get_collection(collection_name)
|
||||
if collection is None:
|
||||
return {"documents": [], "metadatas": [], "distances": []}
|
||||
|
||||
try:
|
||||
results = collection.query(
|
||||
query_texts=query_texts,
|
||||
n_results=n_results,
|
||||
where=where
|
||||
)
|
||||
return results
|
||||
except Exception as e:
|
||||
logger.error(f"查询集合 {collection_name} 失败: {e}")
|
||||
return {"documents": [], "metadatas": [], "distances": []}
|
||||
|
||||
def delete_texts(self, collection_name: str, ids: Optional[List[str]] = None, where: Optional[Dict[str, Any]] = None) -> bool:
|
||||
"""
|
||||
删除文本
|
||||
"""
|
||||
collection = self.get_collection(collection_name)
|
||||
if collection is None:
|
||||
return False
|
||||
|
||||
try:
|
||||
collection.delete(ids=ids, where=where)
|
||||
logger.debug(f"成功从集合 {collection_name} 删除记录")
|
||||
return True
|
||||
except Exception as e:
|
||||
logger.error(f"从集合 {collection_name} 删除记录失败: {e}")
|
||||
return False
|
||||
|
||||
# 全局向量数据库管理器实例
|
||||
vectordb_manager = VectorDBManager()
|
||||
Reference in New Issue
Block a user