From b8f06a3370d33414c2fdd5a334ec5b0b579df435 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=95=80=E9=93=AC=E9=85=B8=E9=92=BE?= <148796996+K2cr2O1@users.noreply.github.com> Date: Fri, 23 Jan 2026 08:46:13 +0800 Subject: [PATCH] Dev (#47) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * 滚木 * feat: 重构核心架构，增强类型安全与插件管理 本次提交对核心模块进行了深度重构，引入 Pydantic 增强配置管理的类型安全性，并全面优化了插件管理系统。 主要变更详情： 1. 核心架构与配置 - 重构配置加载模块：引入 Pydantic 模型 (`core/config_models.py`)，提供严格的配置项类型检查、验证及默认值管理。 - 统一模块结构：规范化模块导入路径，移除冗余的 `__init__.py` 文件，提升项目结构的清晰度。 - 性能优化：集成 Redis 缓存支持 (`RedisManager`)，有效降低高频 API 调用开销，提升响应速度。 2. 插件系统升级 - 实现热重载机制：新增插件文件变更监听功能，支持开发过程中自动重载插件，提升开发效率。 - 优化生命周期管理：改进插件加载与卸载逻辑，支持精确卸载指定插件及其关联的命令、事件处理器和定时任务。 3. 功能特性增强 - 新增媒体 API：引入 `MediaAPI` 模块，封装图片、语音等富媒体资源的获取与处理接口。 - 完善权限体系：重构权限管理系统，实现管理员与操作员的分级控制，支持更细粒度的命令权限校验。 4. 代码质量与稳定性 - 全面类型修复：解决 `mypy` 静态类型检查发现的大量类型错误（包括 `CommandManager`、`EventFactory` 及 `Bot` API 签名不匹配问题）。 - 增强错误处理：优化消息处理管道的异常捕获机制，完善关键路径的日志记录，提升系统运行稳定性。 * feat: 添加测试用例并优化代码结构 refactor(permission_manager): 调整初始化顺序和逻辑 fix(admin_manager): 修复初始化逻辑和目录创建问题 feat(ws): 优化Bot实例初始化条件 feat(message): 增强MessageSegment功能并添加测试 feat(events): 支持字符串格式的消息解析 test: 添加核心功能测试用例 refactor(plugin_manager): 改进插件路径处理 style: 清理无用导入和代码 chore: 更新依赖项 * refactor(handler): 移除TYPE_CHECKING并直接导入Bot类 简化类型注解，直接导入Bot类而非使用TYPE_CHECKING条件导入，提高代码可读性和维护性 * fix(command_manager): 修复插件卸载时元信息移除不精确的问题 修复 CommandManager 中 unload_plugin 方法移除插件元信息时使用 startswith 导致可能误删其他插件的问题，改为精确匹配 同时调整相关测试用例验证精确匹配行为 * refactor: 清理未使用的导入和更新文档结构 docs: 添加config_models.py到项目结构文档 docs: 调整数据目录位置到core/data下 docs: 更新权限管理器文档描述 * 文档更新 * 更新thpic插件 支持一次返回多张图 * feat: 添加测试覆盖率并修复相关问题 refactor(redis_manager): 移除冗余的ConnectionError处理 refactor(event_handler): 优化Bot类型注解 refactor(factory): 移除未使用的GroupCardNoticeEvent test: 添加全面的单元测试覆盖 - 添加test_import.py测试模块导入 - 添加test_debug.py测试插件加载调试 - 添加test_plugin_error.py测试错误处理 - 添加test_config_loader.py测试配置加载 - 添加test_redis_manager.py测试Redis管理 - 添加test_bot.py测试Bot功能 - 扩展test_models.py测试消息模型 - 添加test_plugin_manager_coverage.py测试插件管理 - 添加test_executor.py测试代码执行器 - 添加test_ws.py测试WebSocket - 添加test_api.py测试API接口 - 添加test_core_managers.py测试核心管理模块 fix(plugin_manager): 修复插件加载日志变量问题 覆盖率已到达86%（忽略插件） * 更新/help指令，现在会发送图片 * feat(help): 重构帮助系统为图片渲染模式 添加浏览器管理器和图片管理器，用于通过 Playwright 渲染帮助菜单为图片 重构命令管理器以支持图片缓存和同步功能 添加 HTML 模板用于帮助菜单渲染 * build: 更新依赖文件 requirements.txt * build: 更新依赖文件 * feat: 添加性能优化和架构文档，更新依赖和核心模块 refactor(browser_manager): 实现页面池机制以提升性能 refactor(image_manager): 添加模板缓存并集成页面池 refactor(bili_parser): 迁移到异步HTTP请求并实现会话复用 docs: 新增性能优化、架构设计和最佳实践文档 chore: 更新requirements.txt添加新依赖 * docs: 更新文档内容并优化语言风格 重构所有文档内容，使用更简洁直接的语言风格 更新架构、插件开发、部署等核心文档 优化代码示例和图表说明 统一术语和格式规范 * docs: 更新文档内容，简化语言并修正格式 - 简化插件开发指南中的描述，移除冗余内容 - 调整部署文档中的Python版本说明 - 优化最佳实践文档的措辞和格式 - 更新性能优化文档，删除不准确的数据 - 重构核心概念文档，使用更简洁的语言 - 修正README中的项目描述和技术栈说明 - 更新快速上手文档，简化安装步骤 - 调整事件流转文档的描述方式 - 简化架构文档内容 - 更新指令处理文档，添加参数注入示例 - 优化单例管理器文档的表述 * refactor(core): 优化权限管理和事件模型 - 重构 AdminManager 和 PermissionManager 以 Redis 为主要数据源 - 为所有事件模型添加 slots=True 提升性能 - 更新文档说明 Mypyc 编译注意事项 - 清理测试和调试文件 - 移动静态资源到 web_static 目录 * feat: 添加模块编译脚本和导出依赖功能 refactor(events): 移除数据类的slots参数以提升兼容性 build: 更新requirements.txt依赖列表 * docs: 更新性能优化文档并修复命令管理器帮助输出 更新性能优化相关文档，详细说明 Python 3.14 JIT 编译器的使用方法和原理，补充与 Mypyc 的互补策略。同时修复命令管理器中帮助信息的输出方式，移除图片发送仅保留文本输出。 调整部署文档结构，明确两种性能优化方案（AOT 和 JIT）的配置方法和适用场景。完善架构文档中关于 JIT 的原理和启用方式说明。 * feat(help): 重构帮助菜单界面并优化样式 refactor(bili_parser): 修复 API 响应 content-type 问题 fix(command_manager): 添加帮助图片获取的错误处理 docs(deployment): 简化部署文档并移除 JIT 相关内容 * feat: 新增自动同意请求插件和API文档 docs: 更新文档结构和内容 * refactor(scripts): 重构并优化脚本文件结构 feat(scripts): 添加Python环境检查脚本 feat(scripts): 增强依赖导出脚本功能 perf(plugins/bili_parser): 优化B站解析器性能和代码结构 style(plugins/bili_parser): 统一代码风格和常量命名 * fix(scripts): 修复编码问题并添加错误追踪 在compile_machine_code.py中添加utf-8编码设置以避免潜在编码问题 添加traceback.print_exc()以在编译失败时打印完整错误堆栈 更新.gitignore以忽略config.toml文件 * feat(性能分析): 实现性能分析工具模块并添加相关测试 添加性能分析工具模块，包括时间测量、内存分析和性能统计功能 添加测试文件和示例配置，完善性能分析工具的使用场景 在工具模块中实现单例装饰器并导出到__init__.py * feat(douyin_parser): 新增抖音视频解析插件 refactor(performance): 移除未使用的asyncio导入并优化性能测试 style(compile_modules): 修正字符串引号格式 chore: 删除废弃的编译脚本和临时文件 fix(bili_parser): 增强B站链接解析的健壮性 refactor(singleton): 重构单例模式实现 docs: 更新配置文件和事件模型注释 * feat: 添加抖音视频解析插件并优化代码结构 添加抖音视频解析插件，支持自动解析抖音分享链接并提取视频信息。优化现有代码结构，包括： - 重构单例模式实现 - 移除未使用的导入和文件 - 修复性能测试脚本中的异步调用 - 优化消息事件模型中的权限常量定义 - 改进编译脚本的错误处理 - 增强B站解析插件的稳定性 同时清理了多个废弃脚本和临时文件，提升代码可维护性。 * 1 * Delete core/data/temp/help_menu.png * fix(权限管理): 增强权限检查的类型安全并修复权限引用 修复权限检查中可能传入非Permission类型导致的错误，将echo插件的权限引用从MessageEvent.ADMIN迁移到Permission.ADMIN * redis取消tls * feat(github_parser): 添加GitHub仓库信息查询功能 - 新增github_parser插件，支持通过命令或自动解析链接查询GitHub仓库信息 - 添加github_repo.html模板用于渲染仓库信息图片 - 优化图片管理器支持高质量截图和CSS缩放 - 重构消息事件类权限常量定义方式 - 更新帮助页面样式为三列布局并优化响应式设计 * feat(web_parser): 新增通用web链接解析插件框架 refactor: 重构B站、抖音、GitHub解析器为模块化结构 fix(executor): 增强docker容器错误处理和回调稳定性 style(templates): 优化帮助页面和代码执行结果的样式 perf(web_parser): 添加API缓存和消息去重机制 docs: 更新插件元信息和注释 chore: 移除旧的独立解析器插件文件 * refactor(managers): 重构单例管理器实现并优化代码结构 feat(ws_pool): 新增 WebSocket 连接池实现 perf(json): 使用 orjson 替代标准 json 库提升性能 style: 清理未使用的导入和冗余代码 docs: 更新架构文档和开发规范 test: 添加 WebSocket 连接池测试用例 fix(plugins): 修复自动审批插件 API 调用参数格式 * docs: 修正架构描述从单线程改为多线程 更新开发标准文档，将架构描述从"单线程异步架构"修正为"多线程异步架构"，以准确反映实际架构设计 * refactor(permission): 重构权限管理系统，合并管理员管理功能 - 将 admin_manager 功能整合到 permission_manager 中，统一管理 - 采用文件为主、Redis 为辅的架构，确保数据一致性 - 实现原子操作机制，防止数据损坏 - 更新文档说明新的权限管理机制 - 调整相关模块引用和编译配置 --------- Co-authored-by: baby20162016 <2185823427@qq.com> Co-authored-by: web vscode --- .gitignore | 2 +- core/data/permissions.json | 7 +- core/managers/__init__.py | 7 +- core/managers/admin_manager.py | 150 -------- core/managers/permission_manager.py | 319 +++++++++++++++--- docs/core-concepts/redis-atomic-operations.md | 135 ++++++++ docs/core-concepts/singleton-managers.md | 11 +- docs/index.md | 1 + main.py | 7 +- scripts/compile_modules.py | 5 +- setup_mypyc.py | 3 +- 11 files changed, 429 insertions(+), 218 deletions(-) delete mode 100644 core/managers/admin_manager.py create mode 100644 docs/core-concepts/redis-atomic-operations.md diff --git a/.gitignore b/.gitignore index 72f36b2..752468c 100644 --- a/.gitignore +++ b/.gitignore @@ -147,4 +147,4 @@ build/ scratch_files/ /config.toml -/core/data/TEMP/* \ No newline at end of file +/core/data/* \ No newline at end of file diff --git a/core/data/permissions.json b/core/data/permissions.json index 864ddb4..3475126 100644 --- a/core/data/permissions.json +++ b/core/data/permissions.json @@ -1,3 +1,8 @@ { - "users": {} + "users": { + "123456789": "op", + "888888": "op", + "2221577113": "admin", + "999999": "user" + } } \ No newline at end of file diff --git a/core/managers/__init__.py b/core/managers/__init__.py index a563ad1..95bb56c 100644 --- a/core/managers/__init__.py +++ b/core/managers/__init__.py @@ -4,7 +4,6 @@ 这个包集中了机器人核心的单例管理器。 通过从这里导入，可以确保在整个应用中访问到的都是同一个实例。 """ -from .admin_manager import AdminManager from .command_manager import matcher as command_manager from .permission_manager import PermissionManager from .plugin_manager import PluginManager @@ -14,10 +13,7 @@ from .image_manager import ImageManager # --- 实例化所有单例管理器 --- -# 管理员管理器 -admin_manager = AdminManager() - -# 权限管理器 +# 权限管理器（包含了管理员管理功能） permission_manager = PermissionManager() # 命令与事件管理器 (别名 matcher) @@ -37,7 +33,6 @@ browser_manager = BrowserManager() image_manager = ImageManager() __all__ = [ - "admin_manager", "permission_manager", "command_manager", "matcher", diff --git a/core/managers/admin_manager.py b/core/managers/admin_manager.py deleted file mode 100644 index 92f9a38..0000000 --- a/core/managers/admin_manager.py +++ /dev/null @@ -1,150 +0,0 @@ -""" -管理员管理器模块 - -该模块负责管理机器人的管理员列表。 -它现在以 Redis 作为主要数据源，文件仅用作备份。 -""" -import orjson -import os -from typing import Set - -from ..utils.logger import logger -from ..utils.singleton import Singleton -from .redis_manager import redis_manager - - -class AdminManager(Singleton): - """ - 管理员管理器类 - - 以 Redis Set 作为管理员列表的唯一真实来源，提供高速的读写能力。 - 文件 (admin.json) 仅用于首次启动时的数据迁移和作为灾备。 - """ - _REDIS_KEY = "neobot:admins" # 用于存储管理员集合的 Redis 键 - - def __init__(self): - """ - 初始化 AdminManager - """ - if hasattr(self, '_initialized') and self._initialized: - return - - # 管理员数据文件路径，主要用于备份和首次迁移 - self.data_file = os.path.join( - os.path.dirname(os.path.abspath(__file__)), - "..", - "data", - "admin.json" - ) - - os.makedirs(os.path.dirname(self.data_file), exist_ok=True) - logger.info("管理员管理器初始化完成") - super().__init__() - - async def initialize(self): - """ - 异步初始化，检查 Redis 数据，如果为空则尝试从文件迁移 - """ - try: - # 检查 Redis 中是否已存在数据 - if await redis_manager.redis.exists(self._REDIS_KEY): - admin_count = await redis_manager.redis.scard(self._REDIS_KEY) - logger.info(f"Redis 中已存在管理员数据，共 {admin_count} 位。") - else: - # Redis 为空，尝试从文件迁移 - logger.info("Redis 中未找到管理员数据，尝试从 admin.json 文件迁移...") - await self._migrate_from_file_to_redis() - except Exception as e: - logger.error(f"初始化管理员数据时发生错误: {e}") - - async def _migrate_from_file_to_redis(self): - """ - 从 admin.json 加载管理员列表并存入 Redis - 这通常只在首次启动或 Redis 数据丢失时执行一次 - """ - admins_to_migrate = set() - try: - if os.path.exists(self.data_file): - with open(self.data_file, "r", encoding="utf-8") as f: - data = orjson.loads(f.read()) - admins = data.get("admins", []) - admins_to_migrate = set(int(admin_id) for admin_id in admins) - - if admins_to_migrate: - await redis_manager.redis.sadd(self._REDIS_KEY, *admins_to_migrate) - logger.success(f"成功从文件迁移 {len(admins_to_migrate)} 位管理员到 Redis。") - else: - logger.info("admin.json 文件为空或不存在，无需迁移。") - - except ValueError as e: - logger.error(f"解析 admin.json 失败，无法迁移: {e}") - except Exception as e: - logger.error(f"迁移管理员数据到 Redis 失败: {e}") - - async def _save_to_file_backup(self): - """ - 将 Redis 中的管理员列表备份到 admin.json - """ - try: - admins = await self.get_all_admins() - admin_list = [str(admin_id) for admin_id in admins] - with open(self.data_file, "w", encoding="utf-8") as f: - f.write(orjson.dumps({"admins": admin_list}, indent=2, ensure_ascii=False).decode('utf-8')) - logger.debug(f"管理员列表已备份到 {self.data_file}") - except Exception as e: - logger.error(f"备份管理员列表到 admin.json 失败: {e}") - - async def is_admin(self, user_id: int) -> bool: - """ - 检查用户是否为管理员（直接从 Redis 读取） - """ - try: - return await redis_manager.redis.sismember(self._REDIS_KEY, user_id) - except Exception as e: - logger.error(f"从 Redis 检查管理员权限失败: {e}") - return False - - async def add_admin(self, user_id: int) -> bool: - """ - 添加管理员到 Redis，并更新文件备份 - """ - try: - # sadd 返回成功添加的成员数量，1 表示成功，0 表示已存在 - if await redis_manager.redis.sadd(self._REDIS_KEY, user_id) == 1: - logger.info(f"已添加新管理员 {user_id} 到 Redis") - await self._save_to_file_backup() # 更新备份 - return True - return False # 用户已经是管理员 - except Exception as e: - logger.error(f"添加管理员 {user_id} 到 Redis 失败: {e}") - return False - - async def remove_admin(self, user_id: int) -> bool: - """ - 从 Redis 移除管理员，并更新文件备份 - """ - try: - # srem 返回成功移除的成员数量，1 表示成功，0 表示不存在 - if await redis_manager.redis.srem(self._REDIS_KEY, user_id) == 1: - logger.info(f"已从 Redis 移除管理员 {user_id}") - await self._save_to_file_backup() # 更新备份 - return True - return False # 用户不是管理员 - except Exception as e: - logger.error(f"从 Redis 移除管理员 {user_id} 失败: {e}") - return False - - async def get_all_admins(self) -> Set[int]: - """ - 从 Redis 获取所有管理员的集合 - """ - try: - admins = await redis_manager.redis.smembers(self._REDIS_KEY) - return {int(admin_id) for admin_id in admins} - except Exception as e: - logger.error(f"从 Redis 获取所有管理员失败: {e}") - return set() - - -# 全局 AdminManager 实例 -admin_manager = AdminManager() diff --git a/core/managers/permission_manager.py b/core/managers/permission_manager.py index 8986b73..94d2681 100644 --- a/core/managers/permission_manager.py +++ b/core/managers/permission_manager.py @@ -2,15 +2,15 @@ 权限管理器模块 该模块负责管理用户权限，支持 admin、op、user 三个权限级别。 -以 Redis Hash 作为主要数据源，文件仅用作备份和首次数据迁移。 +以 permissions.json 文件作为主要数据源，Redis 用于加速访问。 """ import orjson import os -from typing import Dict +import json +from typing import Dict, Set from ..utils.logger import logger from ..utils.singleton import Singleton -from .admin_manager import admin_manager from .redis_manager import redis_manager from ..permission import Permission @@ -25,10 +25,11 @@ class PermissionManager(Singleton): """ 权限管理器类 - 以 Redis Hash 作为权限数据的唯一真实来源，提供高速的读写能力。 - 文件 (permissions.json) 仅用于首次启动时的数据迁移和作为灾备。 + 以 permissions.json 文件作为权限数据的主要来源，Redis 用于高速缓存访问。 + 所有写操作会同时更新文件和Redis缓存，确保数据一致性。 """ _REDIS_KEY = "neobot:permissions" # 用于存储用户权限的 Redis Hash 键 + _REDIS_ADMINS_KEY = "neobot:admins" # 用于存储管理员列表的 Redis 键 def __init__(self): """ @@ -37,7 +38,7 @@ class PermissionManager(Singleton): if hasattr(self, '_initialized') and self._initialized: return - # 权限数据文件路径，主要用于备份和首次迁移 + # 权限数据文件路径，作为主要数据源 self.data_file = os.path.join( os.path.dirname(os.path.abspath(__file__)), "..", @@ -46,23 +47,81 @@ class PermissionManager(Singleton): ) os.makedirs(os.path.dirname(self.data_file), exist_ok=True) + + # 如果文件不存在，创建默认文件 + if not os.path.exists(self.data_file): + default_data = {"users": {}} + with open(self.data_file, "w", encoding="utf-8") as f: + f.write(json.dumps(default_data, indent=2, ensure_ascii=False)) + logger.info(f"已创建默认权限文件: {self.data_file}") + logger.info("权限管理器初始化完成") super().__init__() async def initialize(self): """ - 异步初始化，检查 Redis 数据，如果为空则尝试从文件迁移 + 异步初始化，以 permissions.json 文件内容为主，同步到 Redis 缓存 """ try: - if not await redis_manager.redis.exists(self._REDIS_KEY): - logger.info("Redis 中未找到权限数据，尝试从 permissions.json 文件迁移...") - await self._migrate_from_file_to_redis() - else: - perm_count = await redis_manager.redis.hlen(self._REDIS_KEY) - logger.info(f"Redis 中已存在权限数据，共 {perm_count} 条。") + # 总是以文件内容为主，强制同步到 Redis + logger.info("以 permissions.json 文件内容为准，同步到 Redis 缓存...") + await self._sync_file_to_redis() + + # 检查 Redis 中的数据量 + perm_count = await redis_manager.redis.hlen(self._REDIS_KEY) + admin_count = await redis_manager.redis.scard(self._REDIS_ADMINS_KEY) + logger.info(f"Redis 缓存已同步，权限数据: {perm_count} 条，管理员: {admin_count} 位。") except Exception as e: logger.error(f"初始化权限数据时发生错误: {e}") + async def _sync_file_to_redis(self): + """ + 将 permissions.json 文件内容同步到 Redis 缓存 + """ + try: + # 清空 Redis 中的现有数据 + await redis_manager.redis.delete(self._REDIS_KEY) + await redis_manager.redis.delete(self._REDIS_ADMINS_KEY) + + # 从文件加载数据 + if os.path.exists(self.data_file): + with open(self.data_file, "r", encoding="utf-8") as f: + data = orjson.loads(f.read()) + users = data.get("users", {}) + + if users: + # 分离普通权限和管理员权限 + normal_perms = {} + admin_ids = set() + + for user_id, level_name in users.items(): + if level_name == Permission.ADMIN.value: + admin_ids.add(user_id) + else: + normal_perms[user_id] = level_name + + # 使用 pipeline 批量写入普通权限 + if normal_perms: + async with redis_manager.redis.pipeline(transaction=True) as pipe: + for user_id, level_name in normal_perms.items(): + pipe.hset(self._REDIS_KEY, user_id, level_name) + await pipe.execute() + + # 使用 pipeline 批量写入管理员 + if admin_ids: + await redis_manager.redis.sadd(self._REDIS_ADMINS_KEY, *admin_ids) + + logger.success(f"成功同步 {len(users)} 条权限数据到 Redis (普通权限: {len(normal_perms)}, 管理员: {len(admin_ids)})") + else: + logger.info("permissions.json 文件中没有权限数据，已清空 Redis 缓存。") + else: + logger.warning(f"权限文件 {self.data_file} 不存在，已清空 Redis 缓存。") + + except ValueError as e: + logger.error(f"解析 permissions.json 失败: {e}") + except Exception as e: + logger.error(f"同步文件到 Redis 失败: {e}") + async def _migrate_from_file_to_redis(self): """ 从 permissions.json 加载权限数据并存入 Redis Hash @@ -89,16 +148,53 @@ class PermissionManager(Singleton): except Exception as e: logger.error(f"迁移权限数据到 Redis 失败: {e}") + async def _migrate_admins_from_file_to_redis(self): + """ + 从 permissions.json 加载管理员列表并存入 Redis + """ + admins_to_migrate = set() + try: + if os.path.exists(self.data_file): + with open(self.data_file, "r", encoding="utf-8") as f: + data = orjson.loads(f.read()) + # 从 users 字段中查找权限为 admin 的用户 + users = data.get("users", {}) + for user_id, level_name in users.items(): + if level_name == Permission.ADMIN.value: + admins_to_migrate.add(user_id) + + # 同时兼容旧版的 admins 字段（如果存在的话） + old_admins = data.get("admins", []) + for admin_id in old_admins: + admins_to_migrate.add(str(admin_id)) + + if admins_to_migrate: + await redis_manager.redis.sadd(self._REDIS_ADMINS_KEY, *admins_to_migrate) + logger.success(f"成功从文件迁移 {len(admins_to_migrate)} 位管理员到 Redis。") + else: + logger.info("permissions.json 文件中没有管理员数据，无需迁移。") + + except ValueError as e: + logger.error(f"解析 permissions.json 失败，无法迁移管理员数据: {e}") + except Exception as e: + logger.error(f"迁移管理员数据到 Redis 失败: {e}") + async def _save_to_file_backup(self): """ - 将 Redis 中的权限数据完整备份到 permissions.json + 将 Redis 中的权限数据和管理员列表完整备份到 permissions.json """ try: all_perms = await redis_manager.redis.hgetall(self._REDIS_KEY) - # Redis 返回的是 bytes，需要解码 - users_data = {k.decode('utf-8'): v.decode('utf-8') for k, v in all_perms.items()} + # 由于Redis连接已设置decode_responses=True，所以直接使用字符串 + users_data = {k: v for k, v in all_perms.items()} + + # 获取Redis中的管理员列表并合并到数据中 + all_admins = await redis_manager.redis.smembers(self._REDIS_ADMINS_KEY) + for admin_id in all_admins: + users_data[admin_id] = Permission.ADMIN.value # 管理员拥有最高权限 + with open(self.data_file, "w", encoding="utf-8") as f: - f.write(orjson.dumps({"users": users_data}, indent=2, ensure_ascii=False).decode('utf-8')) + f.write(json.dumps({"users": users_data}, indent=2, ensure_ascii=False)) logger.debug(f"权限数据已备份到 {self.data_file}") except Exception as e: logger.error(f"备份权限数据到 permissions.json 失败: {e}") @@ -109,13 +205,16 @@ class PermissionManager(Singleton): 优先检查是否为机器人管理员，然后从 Redis 查询。 """ - if await admin_manager.is_admin(user_id): - return Permission.ADMIN + # 检查用户是否为管理员（Redis Set 中的存在性检查） + try: + if await redis_manager.redis.sismember(self._REDIS_ADMINS_KEY, str(user_id)): + return Permission.ADMIN + except Exception as e: + logger.error(f"从 Redis 检查管理员权限失败: {e}") try: - level_name_bytes = await redis_manager.redis.hget(self._REDIS_KEY, str(user_id)) - if level_name_bytes: - level_name = level_name_bytes.decode('utf-8') + level_name = await redis_manager.redis.hget(self._REDIS_KEY, str(user_id)) + if level_name: return _PERMISSIONS.get(level_name, Permission.USER) except Exception as e: logger.error(f"从 Redis 获取用户 {user_id} 权限失败: {e}") @@ -124,28 +223,62 @@ class PermissionManager(Singleton): async def set_user_permission(self, user_id: int, permission: Permission) -> None: """ - 在 Redis 中设置指定用户的权限级别，并更新文件备份 + 设置指定用户的权限级别，首先更新文件，然后同步到 Redis 缓存 """ if not isinstance(permission, Permission): raise ValueError(f"无效的权限对象: {permission}") try: - await redis_manager.redis.hset(self._REDIS_KEY, str(user_id), permission.value) - await self._save_to_file_backup() - logger.info(f"已在 Redis 中设置用户 {user_id} 的权限为 {permission.value}") + # 首先从文件加载当前数据 + if os.path.exists(self.data_file): + with open(self.data_file, "r", encoding="utf-8") as f: + data = orjson.loads(f.read()) + else: + data = {"users": {}} + + # 更新权限数据 + data["users"][str(user_id)] = permission.value + + # 原子性写入文件 + temp_file = self.data_file + ".tmp" + with open(temp_file, "w", encoding="utf-8") as f: + f.write(json.dumps(data, indent=2, ensure_ascii=False)) + os.replace(temp_file, self.data_file) # 原子操作 + + # 同步到 Redis + await self._sync_file_to_redis() + logger.info(f"已设置用户 {user_id} 的权限为 {permission.value}，并同步到 Redis") except Exception as e: - logger.error(f"在 Redis 中设置用户 {user_id} 权限失败: {e}") + logger.error(f"设置用户 {user_id} 权限失败: {e}") async def remove_user(self, user_id: int) -> None: """ - 从 Redis 中移除指定用户的权限设置，并更新文件备份 + 从权限设置中移除指定用户，首先更新文件，然后同步到 Redis 缓存 """ try: - if await redis_manager.redis.hdel(self._REDIS_KEY, str(user_id)): - await self._save_to_file_backup() - logger.info(f"已从 Redis 中移除用户 {user_id} 的权限设置") + # 首先从文件加载当前数据 + if os.path.exists(self.data_file): + with open(self.data_file, "r", encoding="utf-8") as f: + data = orjson.loads(f.read()) + else: + data = {"users": {}} + + # 从权限数据中移除用户 + user_id_str = str(user_id) + if user_id_str in data["users"]: + del data["users"][user_id_str] + + # 原子性写入文件 + temp_file = self.data_file + ".tmp" + with open(temp_file, "w", encoding="utf-8") as f: + f.write(json.dumps(data, indent=2, ensure_ascii=False)) + os.replace(temp_file, self.data_file) # 原子操作 + + # 同步到 Redis + await self._sync_file_to_redis() + logger.info(f"已从权限设置中移除用户 {user_id}，并同步到 Redis") except Exception as e: - logger.error(f"从 Redis 移除用户 {user_id} 权限失败: {e}") + logger.error(f"移除用户 {user_id} 权限失败: {e}") async def check_permission(self, user_id: int, required_permission: Permission) -> bool: """ @@ -162,19 +295,20 @@ class PermissionManager(Singleton): async def get_all_user_permissions(self) -> Dict[str, str]: """ - 获取所有已配置的用户权限（合并 Redis 和 AdminManager） + 获取所有已配置的用户权限（合并普通权限和管理员） """ permissions = {} try: # 从 Redis 获取基础权限 all_perms = await redis_manager.redis.hgetall(self._REDIS_KEY) - permissions = {k.decode('utf-8'): v.decode('utf-8') for k, v in all_perms.items()} + # 由于Redis连接已设置decode_responses=True，所以直接使用字符串 + permissions = {k: v for k, v in all_perms.items()} except Exception as e: logger.error(f"从 Redis 获取所有权限失败: {e}") - # 合并 AdminManager 中的管理员，ADMIN 权限覆盖一切 + # 获取 Redis 中的管理员列表并添加到权限字典中 try: - admins = await admin_manager.get_all_admins() + admins = await redis_manager.redis.smembers(self._REDIS_ADMINS_KEY) for admin_id in admins: permissions[str(admin_id)] = Permission.ADMIN.value except Exception as e: @@ -182,16 +316,115 @@ class PermissionManager(Singleton): return permissions - async def clear_all(self) -> None: + async def is_admin(self, user_id: int) -> bool: """ - 清空 Redis 中的所有权限设置，并更新备份文件 + 检查用户是否为管理员 """ try: - await redis_manager.redis.delete(self._REDIS_KEY) - await self._save_to_file_backup() - logger.info("已清空 Redis 中的所有权限设置") + return await redis_manager.redis.sismember(self._REDIS_ADMINS_KEY, str(user_id)) except Exception as e: - logger.error(f"清空 Redis 权限数据失败: {e}") + logger.error(f"从 Redis 检查管理员权限失败: {e}") + return False + + async def add_admin(self, user_id: int) -> bool: + """ + 添加管理员，首先更新文件，然后同步到 Redis 缓存 + """ + try: + # 首先从文件加载当前数据 + if os.path.exists(self.data_file): + with open(self.data_file, "r", encoding="utf-8") as f: + data = orjson.loads(f.read()) + else: + data = {"users": {}} + + user_id_str = str(user_id) + # 检查用户是否已经是管理员 + if data["users"].get(user_id_str) == Permission.ADMIN.value: + return False # 用户已经是管理员 + + # 更新权限数据为管理员 + data["users"][user_id_str] = Permission.ADMIN.value + + # 原子性写入文件 + temp_file = self.data_file + ".tmp" + with open(temp_file, "w", encoding="utf-8") as f: + f.write(json.dumps(data, indent=2, ensure_ascii=False)) + os.replace(temp_file, self.data_file) # 原子操作 + + # 同步到 Redis + await self._sync_file_to_redis() + logger.info(f"已添加新管理员 {user_id}，并同步到 Redis") + return True + except Exception as e: + logger.error(f"添加管理员 {user_id} 失败: {e}") + return False + + async def remove_admin(self, user_id: int) -> bool: + """ + 从管理员列表中移除用户，首先更新文件，然后同步到 Redis 缓存 + """ + try: + # 首先从文件加载当前数据 + if os.path.exists(self.data_file): + with open(self.data_file, "r", encoding="utf-8") as f: + data = orjson.loads(f.read()) + else: + data = {"users": {}} + + user_id_str = str(user_id) + # 检查用户是否是管理员 + if data["users"].get(user_id_str) != Permission.ADMIN.value: + return False # 用户不是管理员 + + # 将管理员降级为普通用户（或者可以选择完全移除权限） + # 这里我们将其设置为USER权限 + data["users"][user_id_str] = Permission.USER.value + + # 原子性写入文件 + temp_file = self.data_file + ".tmp" + with open(temp_file, "w", encoding="utf-8") as f: + f.write(json.dumps(data, indent=2, ensure_ascii=False)) + os.replace(temp_file, self.data_file) # 原子操作 + + # 同步到 Redis + await self._sync_file_to_redis() + logger.info(f"已从管理员列表中移除用户 {user_id}，并同步到 Redis") + return True + except Exception as e: + logger.error(f"移除管理员 {user_id} 失败: {e}") + return False + + async def get_all_admins(self) -> Set[int]: + """ + 从 Redis 获取所有管理员的集合 + """ + try: + admins = await redis_manager.redis.smembers(self._REDIS_ADMINS_KEY) + return {int(admin_id) for admin_id in admins} + except Exception as e: + logger.error(f"从 Redis 获取所有管理员失败: {e}") + return set() + + async def clear_all(self) -> None: + """ + 清空所有权限设置，首先更新文件，然后同步到 Redis 缓存 + """ + try: + # 创建空的权限数据 + empty_data = {"users": {}} + + # 原子性写入文件 + temp_file = self.data_file + ".tmp" + with open(temp_file, "w", encoding="utf-8") as f: + f.write(json.dumps(empty_data, indent=2, ensure_ascii=False)) + os.replace(temp_file, self.data_file) # 原子操作 + + # 同步到 Redis + await self._sync_file_to_redis() + logger.info("已清空所有权限设置，并同步到 Redis") + except Exception as e: + logger.error(f"清空权限数据失败: {e}") def require_admin(func): @@ -205,7 +438,7 @@ def require_admin(func): @wraps(func) async def wrapper(event: MessageEvent, *args, **kwargs): user_id = event.user_id - if await permission_manager.check_permission(user_id, Permission.ADMIN): + if await permission_manager.is_admin(user_id): return await func(event, *args, **kwargs) else: # 假设 event 对象有 reply 方法 diff --git a/docs/core-concepts/redis-atomic-operations.md b/docs/core-concepts/redis-atomic-operations.md new file mode 100644 index 0000000..1563ea1 --- /dev/null +++ b/docs/core-concepts/redis-atomic-operations.md @@ -0,0 +1,135 @@ +# Redis 原子操作与数据一致性 + +## 概述 + +NEO Bot 的权限管理系统采用了文件为主、Redis 为辅的架构设计，确保数据可靠性和高性能访问的平衡。为了保证数据一致性，系统在所有写操作中都实现了原子操作机制。 + +## 设计理念 + +### 以文件为权威数据源 + +- **主数据源**: `core/data/permissions.json` 作为权限数据的权威来源 +- **缓存层**: Redis 作为高速缓存，提供快速访问能力 +- **一致性保障**: 所有写操作都以文件为准，再同步到 Redis + +### 原子操作实现 + +所有权限管理的写操作都遵循以下原子操作模式： + +1. **读取当前状态**: 从 `permissions.json` 读取当前数据 +2. **内存中修改**: 在内存中完成数据修改 +3. **原子写入**: 使用临时文件 + 原子重命名的方式写入磁盘 +4. **缓存同步**: 将修改同步到 Redis 缓存 + +## 核心实现细节 + +### 原子文件写入 + +```python +# 原子写入操作示例 +temp_file = self.data_file + ".tmp" +with open(temp_file, "w", encoding="utf-8") as f: + f.write(json.dumps(data, indent=2, ensure_ascii=False)) +os.replace(temp_file, self.data_file) # 原子操作 +``` + +- 使用临时文件避免写入过程中数据损坏 +- `os.replace()` 确保操作的原子性 +- 即使在写入过程中断电，也不会破坏原文件 + +### Redis 同步机制 + +```python +# 同步文件内容到 Redis +async def _sync_file_to_redis(self): + # 清空 Redis 中的现有数据 + await redis_manager.redis.delete(self._REDIS_KEY) + await redis_manager.redis.delete(self._REDIS_ADMINS_KEY) + + # 从文件加载数据并同步到 Redis + # ... +``` + +- 使用 Redis 管道操作提高批量写入效率 +- 确保 Redis 与文件数据的一致性 + +## 支持的操作 + +### 权限管理操作 + +- `set_user_permission()`: 设置用户权限 +- `remove_user()`: 移除用户权限 +- `add_admin()`: 添加管理员 +- `remove_admin()`: 移除管理员 +- `clear_all()`: 清空所有权限 + +### 数据隔离 + +- 普通权限存储在 Redis Hash (`neobot:permissions`) 中 +- 管理员列表存储在 Redis Set (`neobot:admins`) 中 +- 避免数据冲突，提高查询效率 + +## 性能优化 + +### 读取优化 + +- 读取操作直接从 Redis 缓存获取，毫秒级响应 +- 减少磁盘 I/O，提升系统性能 + +### 批量操作 + +- 使用 Redis 管道进行批量操作 +- 减少网络往返次数，提高吞吐量 + +## 错误处理 + +### 异常恢复 + +- 文件写入失败时，保留原数据不丢失 +- Redis 操作失败时，不影响文件数据 +- 提供详细的错误日志便于排查 + +### 数据校验 + +- 写入前校验数据格式 +- 防止非法数据进入系统 + +## 最佳实践 + +### 插件开发建议 + +```python +# 在插件中使用权限管理器 +from core.managers import permission_manager +from core.permission import Permission + +# 查询权限 +user_perm = await permission_manager.get_user_permission(user_id) + +# 检查权限 +if await permission_manager.check_permission(user_id, Permission.ADMIN): + # 执行管理员操作 + pass +``` + +### 高并发场景 + +- 系统设计支持高并发读取 +- 写操作频率较低，适合权限管理场景 +- Redis 缓存有效缓解数据库压力 + +## 故障恢复 + +### Redis 故障 + +- Redis 不可用时，系统仍可通过文件数据提供服务 +- Redis 恢复后，自动从文件同步最新数据 + +### 文件损坏 + +- 系统定期备份权限数据 +- 可从历史备份中恢复数据 + +## 总结 + +通过以文件为权威数据源、Redis 为缓存层的设计，结合原子操作机制，NEO Bot 的权限管理系统在保证数据可靠性的同时，提供了高性能的访问能力。这种设计既满足了数据一致性的要求，又兼顾了系统性能的需求。 \ No newline at end of file diff --git a/docs/core-concepts/singleton-managers.md b/docs/core-concepts/singleton-managers.md index 4816966..9801c3b 100644 --- a/docs/core-concepts/singleton-managers.md +++ b/docs/core-concepts/singleton-managers.md @@ -30,14 +30,9 @@ * **管啥**: * **划分三六九等**: `ADMIN`, `OP`, `USER` 这些等级都是它定的。 * **管理权限**: 谁有啥权限，都记在 `core/data/permissions.json` 里。 - * **会自动变通**: 查权限的时候，它会把 `AdminManager` 里的超管也当成 `ADMIN`。 - -### 3. `AdminManager` (`admin_manager`) - -* **怎么找**: `from core.managers.admin_manager import admin_manager` -* **管啥**: - * **钦差大臣**: 专门管机器人的超级管理员，增删改查都在这。 - * **三级缓存**: 内存 -> Redis -> 文件 + * **管理员管理**: 超级管理员的增删改查也在这里，统一管理。 + * **双重存储**: 普通权限存储在 Redis Hash 中，管理员列表存储在 Redis Set 中。 + * **原子操作**: 所有写操作都采用原子操作，确保数据一致性。详见 [Redis 原子操作与数据一致性](./redis-atomic-operations.md) ### 4. `PluginManager` diff --git a/docs/index.md b/docs/index.md index db71711..4483aaf 100644 --- a/docs/index.md +++ b/docs/index.md @@ -17,6 +17,7 @@ * [性能优化](./core-concepts/performance.md): 页面池、JIT、Mypyc... * [消息流](./core-concepts/event-flow.md): 看看一条消息从被接收到被回复是如何运行的 * [核心](./core-concepts/singleton-managers.md): `matcher`, `browser_manager`... 认识这些核心模块。 +* [Redis 原子操作与数据一致性](./core-concepts/redis-atomic-operations.md): 权限管理系统的原子操作实现，确保数据一致性 * [错误处理](./core-concepts/error-handling.md): 了解系统的错误处理机制和错误码定义。 ### 3. API 参考 diff --git a/main.py b/main.py index dd539d4..b257f2a 100644 --- a/main.py +++ b/main.py @@ -14,9 +14,8 @@ from watchdog.events import FileSystemEventHandler from core.utils.logger import logger # 核心模块导入 -from core.managers.admin_manager import admin_manager from core.ws import WS -from core.managers import plugin_manager, matcher +from core.managers import plugin_manager, matcher, permission_manager from core.managers.redis_manager import redis_manager from core.managers.browser_manager import browser_manager from core.utils.executor import run_in_thread_pool, initialize_executor @@ -172,8 +171,8 @@ async def main(): # 同步帮助图片 await matcher.sync_help_pic() - # 初始化管理员管理器 - await admin_manager.initialize() + # 初始化权限管理器（包含了管理员管理功能） + await permission_manager.initialize() # 初始化浏览器管理器 (使用页面池) await browser_manager.init_pool(size=3) diff --git a/scripts/compile_modules.py b/scripts/compile_modules.py index a47bc03..bdd2f01 100644 --- a/scripts/compile_modules.py +++ b/scripts/compile_modules.py @@ -46,10 +46,9 @@ def main(): 'core/utils/json_utils.py', # JSON 处理 'core/utils/executor.py', # 代码执行引擎 'core/managers/command_manager.py', # 指令匹配和分发 - 'core/managers/admin_manager.py', # 管理员管理 - 'core/managers/permission_manager.py', # 权限管理 + 'core/managers/permission_manager.py', # 权限管理（包含管理员管理功能） 'core/ws.py', # WebSocket 核心 - 'core/managers/plugin_manager.py', # 插件管理器 + 'core/managers/plugin_manager.py', # 插件管理器 'core/bot.py', # Bot 核心抽象 'core/config_loader.py', # 配置加载 ] diff --git a/setup_mypyc.py b/setup_mypyc.py index aed07be..ba8c403 100644 --- a/setup_mypyc.py +++ b/setup_mypyc.py @@ -26,8 +26,7 @@ modules = [ # 核心管理模块 'core/managers/command_manager.py', # 指令匹配和分发 - 'core/managers/admin_manager.py', # 管理员管理 - 'core/managers/permission_manager.py', # 权限管理 + 'core/managers/permission_manager.py', # 权限管理（包含管理员管理功能） 'core/managers/plugin_manager.py', # 插件管理器 # 核心基础模块