Dev (#47)
* 滚木 * feat: 重构核心架构,增强类型安全与插件管理 本次提交对核心模块进行了深度重构,引入 Pydantic 增强配置管理的类型安全性,并全面优化了插件管理系统。 主要变更详情: 1. 核心架构与配置 - 重构配置加载模块:引入 Pydantic 模型 (`core/config_models.py`),提供严格的配置项类型检查、验证及默认值管理。 - 统一模块结构:规范化模块导入路径,移除冗余的 `__init__.py` 文件,提升项目结构的清晰度。 - 性能优化:集成 Redis 缓存支持 (`RedisManager`),有效降低高频 API 调用开销,提升响应速度。 2. 插件系统升级 - 实现热重载机制:新增插件文件变更监听功能,支持开发过程中自动重载插件,提升开发效率。 - 优化生命周期管理:改进插件加载与卸载逻辑,支持精确卸载指定插件及其关联的命令、事件处理器和定时任务。 3. 功能特性增强 - 新增媒体 API:引入 `MediaAPI` 模块,封装图片、语音等富媒体资源的获取与处理接口。 - 完善权限体系:重构权限管理系统,实现管理员与操作员的分级控制,支持更细粒度的命令权限校验。 4. 代码质量与稳定性 - 全面类型修复:解决 `mypy` 静态类型检查发现的大量类型错误(包括 `CommandManager`、`EventFactory` 及 `Bot` API 签名不匹配问题)。 - 增强错误处理:优化消息处理管道的异常捕获机制,完善关键路径的日志记录,提升系统运行稳定性。 * feat: 添加测试用例并优化代码结构 refactor(permission_manager): 调整初始化顺序和逻辑 fix(admin_manager): 修复初始化逻辑和目录创建问题 feat(ws): 优化Bot实例初始化条件 feat(message): 增强MessageSegment功能并添加测试 feat(events): 支持字符串格式的消息解析 test: 添加核心功能测试用例 refactor(plugin_manager): 改进插件路径处理 style: 清理无用导入和代码 chore: 更新依赖项 * refactor(handler): 移除TYPE_CHECKING并直接导入Bot类 简化类型注解,直接导入Bot类而非使用TYPE_CHECKING条件导入,提高代码可读性和维护性 * fix(command_manager): 修复插件卸载时元信息移除不精确的问题 修复 CommandManager 中 unload_plugin 方法移除插件元信息时使用 startswith 导致可能误删其他插件的问题,改为精确匹配 同时调整相关测试用例验证精确匹配行为 * refactor: 清理未使用的导入和更新文档结构 docs: 添加config_models.py到项目结构文档 docs: 调整数据目录位置到core/data下 docs: 更新权限管理器文档描述 * 文档更新 * 更新thpic插件 支持一次返回多张图 * feat: 添加测试覆盖率并修复相关问题 refactor(redis_manager): 移除冗余的ConnectionError处理 refactor(event_handler): 优化Bot类型注解 refactor(factory): 移除未使用的GroupCardNoticeEvent test: 添加全面的单元测试覆盖 - 添加test_import.py测试模块导入 - 添加test_debug.py测试插件加载调试 - 添加test_plugin_error.py测试错误处理 - 添加test_config_loader.py测试配置加载 - 添加test_redis_manager.py测试Redis管理 - 添加test_bot.py测试Bot功能 - 扩展test_models.py测试消息模型 - 添加test_plugin_manager_coverage.py测试插件管理 - 添加test_executor.py测试代码执行器 - 添加test_ws.py测试WebSocket - 添加test_api.py测试API接口 - 添加test_core_managers.py测试核心管理模块 fix(plugin_manager): 修复插件加载日志变量问题 覆盖率已到达86%(忽略插件) * 更新/help指令,现在会发送图片 * feat(help): 重构帮助系统为图片渲染模式 添加浏览器管理器和图片管理器,用于通过 Playwright 渲染帮助菜单为图片 重构命令管理器以支持图片缓存和同步功能 添加 HTML 模板用于帮助菜单渲染 * build: 更新依赖文件 requirements.txt * build: 更新依赖文件 * feat: 添加性能优化和架构文档,更新依赖和核心模块 refactor(browser_manager): 实现页面池机制以提升性能 refactor(image_manager): 添加模板缓存并集成页面池 refactor(bili_parser): 迁移到异步HTTP请求并实现会话复用 docs: 新增性能优化、架构设计和最佳实践文档 chore: 更新requirements.txt添加新依赖 * docs: 更新文档内容并优化语言风格 重构所有文档内容,使用更简洁直接的语言风格 更新架构、插件开发、部署等核心文档 优化代码示例和图表说明 统一术语和格式规范 * docs: 更新文档内容,简化语言并修正格式 - 简化插件开发指南中的描述,移除冗余内容 - 调整部署文档中的Python版本说明 - 优化最佳实践文档的措辞和格式 - 更新性能优化文档,删除不准确的数据 - 重构核心概念文档,使用更简洁的语言 - 修正README中的项目描述和技术栈说明 - 更新快速上手文档,简化安装步骤 - 调整事件流转文档的描述方式 - 简化架构文档内容 - 更新指令处理文档,添加参数注入示例 - 优化单例管理器文档的表述 * refactor(core): 优化权限管理和事件模型 - 重构 AdminManager 和 PermissionManager 以 Redis 为主要数据源 - 为所有事件模型添加 slots=True 提升性能 - 更新文档说明 Mypyc 编译注意事项 - 清理测试和调试文件 - 移动静态资源到 web_static 目录 * feat: 添加模块编译脚本和导出依赖功能 refactor(events): 移除数据类的slots参数以提升兼容性 build: 更新requirements.txt依赖列表 * docs: 更新性能优化文档并修复命令管理器帮助输出 更新性能优化相关文档,详细说明 Python 3.14 JIT 编译器的使用方法和原理,补充与 Mypyc 的互补策略。同时修复命令管理器中帮助信息的输出方式,移除图片发送仅保留文本输出。 调整部署文档结构,明确两种性能优化方案(AOT 和 JIT)的配置方法和适用场景。完善架构文档中关于 JIT 的原理和启用方式说明。 * feat(help): 重构帮助菜单界面并优化样式 refactor(bili_parser): 修复 API 响应 content-type 问题 fix(command_manager): 添加帮助图片获取的错误处理 docs(deployment): 简化部署文档并移除 JIT 相关内容 * feat: 新增自动同意请求插件和API文档 docs: 更新文档结构和内容 * refactor(scripts): 重构并优化脚本文件结构 feat(scripts): 添加Python环境检查脚本 feat(scripts): 增强依赖导出脚本功能 perf(plugins/bili_parser): 优化B站解析器性能和代码结构 style(plugins/bili_parser): 统一代码风格和常量命名 * fix(scripts): 修复编码问题并添加错误追踪 在compile_machine_code.py中添加utf-8编码设置以避免潜在编码问题 添加traceback.print_exc()以在编译失败时打印完整错误堆栈 更新.gitignore以忽略config.toml文件 * feat(性能分析): 实现性能分析工具模块并添加相关测试 添加性能分析工具模块,包括时间测量、内存分析和性能统计功能 添加测试文件和示例配置,完善性能分析工具的使用场景 在工具模块中实现单例装饰器并导出到__init__.py * feat(douyin_parser): 新增抖音视频解析插件 refactor(performance): 移除未使用的asyncio导入并优化性能测试 style(compile_modules): 修正字符串引号格式 chore: 删除废弃的编译脚本和临时文件 fix(bili_parser): 增强B站链接解析的健壮性 refactor(singleton): 重构单例模式实现 docs: 更新配置文件和事件模型注释 * feat: 添加抖音视频解析插件并优化代码结构 添加抖音视频解析插件,支持自动解析抖音分享链接并提取视频信息。优化现有代码结构,包括: - 重构单例模式实现 - 移除未使用的导入和文件 - 修复性能测试脚本中的异步调用 - 优化消息事件模型中的权限常量定义 - 改进编译脚本的错误处理 - 增强B站解析插件的稳定性 同时清理了多个废弃脚本和临时文件,提升代码可维护性。 * 1 * Delete core/data/temp/help_menu.png * fix(权限管理): 增强权限检查的类型安全并修复权限引用 修复权限检查中可能传入非Permission类型导致的错误,将echo插件的权限引用从MessageEvent.ADMIN迁移到Permission.ADMIN * redis取消tls * feat(github_parser): 添加GitHub仓库信息查询功能 - 新增github_parser插件,支持通过命令或自动解析链接查询GitHub仓库信息 - 添加github_repo.html模板用于渲染仓库信息图片 - 优化图片管理器支持高质量截图和CSS缩放 - 重构消息事件类权限常量定义方式 - 更新帮助页面样式为三列布局并优化响应式设计 * feat(web_parser): 新增通用web链接解析插件框架 refactor: 重构B站、抖音、GitHub解析器为模块化结构 fix(executor): 增强docker容器错误处理和回调稳定性 style(templates): 优化帮助页面和代码执行结果的样式 perf(web_parser): 添加API缓存和消息去重机制 docs: 更新插件元信息和注释 chore: 移除旧的独立解析器插件文件 * refactor(managers): 重构单例管理器实现并优化代码结构 feat(ws_pool): 新增 WebSocket 连接池实现 perf(json): 使用 orjson 替代标准 json 库提升性能 style: 清理未使用的导入和冗余代码 docs: 更新架构文档和开发规范 test: 添加 WebSocket 连接池测试用例 fix(plugins): 修复自动审批插件 API 调用参数格式 * docs: 修正架构描述从单线程改为多线程 更新开发标准文档,将架构描述从"单线程异步架构"修正为"多线程异步架构",以准确反映实际架构设计 * refactor(permission): 重构权限管理系统,合并管理员管理功能 - 将 admin_manager 功能整合到 permission_manager 中,统一管理 - 采用文件为主、Redis 为辅的架构,确保数据一致性 - 实现原子操作机制,防止数据损坏 - 更新文档说明新的权限管理机制 - 调整相关模块引用和编译配置 --------- Co-authored-by: baby20162016 <2185823427@qq.com> Co-authored-by: web vscode <youremail@example.com>
This commit is contained in:
2
.gitignore
vendored
2
.gitignore
vendored
@@ -147,4 +147,4 @@ build/
|
|||||||
scratch_files/
|
scratch_files/
|
||||||
|
|
||||||
/config.toml
|
/config.toml
|
||||||
/core/data/TEMP/*
|
/core/data/*
|
||||||
@@ -1,3 +1,8 @@
|
|||||||
{
|
{
|
||||||
"users": {}
|
"users": {
|
||||||
|
"123456789": "op",
|
||||||
|
"888888": "op",
|
||||||
|
"2221577113": "admin",
|
||||||
|
"999999": "user"
|
||||||
|
}
|
||||||
}
|
}
|
||||||
@@ -4,7 +4,6 @@
|
|||||||
这个包集中了机器人核心的单例管理器。
|
这个包集中了机器人核心的单例管理器。
|
||||||
通过从这里导入,可以确保在整个应用中访问到的都是同一个实例。
|
通过从这里导入,可以确保在整个应用中访问到的都是同一个实例。
|
||||||
"""
|
"""
|
||||||
from .admin_manager import AdminManager
|
|
||||||
from .command_manager import matcher as command_manager
|
from .command_manager import matcher as command_manager
|
||||||
from .permission_manager import PermissionManager
|
from .permission_manager import PermissionManager
|
||||||
from .plugin_manager import PluginManager
|
from .plugin_manager import PluginManager
|
||||||
@@ -14,10 +13,7 @@ from .image_manager import ImageManager
|
|||||||
|
|
||||||
# --- 实例化所有单例管理器 ---
|
# --- 实例化所有单例管理器 ---
|
||||||
|
|
||||||
# 管理员管理器
|
# 权限管理器(包含了管理员管理功能)
|
||||||
admin_manager = AdminManager()
|
|
||||||
|
|
||||||
# 权限管理器
|
|
||||||
permission_manager = PermissionManager()
|
permission_manager = PermissionManager()
|
||||||
|
|
||||||
# 命令与事件管理器 (别名 matcher)
|
# 命令与事件管理器 (别名 matcher)
|
||||||
@@ -37,7 +33,6 @@ browser_manager = BrowserManager()
|
|||||||
image_manager = ImageManager()
|
image_manager = ImageManager()
|
||||||
|
|
||||||
__all__ = [
|
__all__ = [
|
||||||
"admin_manager",
|
|
||||||
"permission_manager",
|
"permission_manager",
|
||||||
"command_manager",
|
"command_manager",
|
||||||
"matcher",
|
"matcher",
|
||||||
|
|||||||
@@ -1,150 +0,0 @@
|
|||||||
"""
|
|
||||||
管理员管理器模块
|
|
||||||
|
|
||||||
该模块负责管理机器人的管理员列表。
|
|
||||||
它现在以 Redis 作为主要数据源,文件仅用作备份。
|
|
||||||
"""
|
|
||||||
import orjson
|
|
||||||
import os
|
|
||||||
from typing import Set
|
|
||||||
|
|
||||||
from ..utils.logger import logger
|
|
||||||
from ..utils.singleton import Singleton
|
|
||||||
from .redis_manager import redis_manager
|
|
||||||
|
|
||||||
|
|
||||||
class AdminManager(Singleton):
|
|
||||||
"""
|
|
||||||
管理员管理器类
|
|
||||||
|
|
||||||
以 Redis Set 作为管理员列表的唯一真实来源,提供高速的读写能力。
|
|
||||||
文件 (admin.json) 仅用于首次启动时的数据迁移和作为灾备。
|
|
||||||
"""
|
|
||||||
_REDIS_KEY = "neobot:admins" # 用于存储管理员集合的 Redis 键
|
|
||||||
|
|
||||||
def __init__(self):
|
|
||||||
"""
|
|
||||||
初始化 AdminManager
|
|
||||||
"""
|
|
||||||
if hasattr(self, '_initialized') and self._initialized:
|
|
||||||
return
|
|
||||||
|
|
||||||
# 管理员数据文件路径,主要用于备份和首次迁移
|
|
||||||
self.data_file = os.path.join(
|
|
||||||
os.path.dirname(os.path.abspath(__file__)),
|
|
||||||
"..",
|
|
||||||
"data",
|
|
||||||
"admin.json"
|
|
||||||
)
|
|
||||||
|
|
||||||
os.makedirs(os.path.dirname(self.data_file), exist_ok=True)
|
|
||||||
logger.info("管理员管理器初始化完成")
|
|
||||||
super().__init__()
|
|
||||||
|
|
||||||
async def initialize(self):
|
|
||||||
"""
|
|
||||||
异步初始化,检查 Redis 数据,如果为空则尝试从文件迁移
|
|
||||||
"""
|
|
||||||
try:
|
|
||||||
# 检查 Redis 中是否已存在数据
|
|
||||||
if await redis_manager.redis.exists(self._REDIS_KEY):
|
|
||||||
admin_count = await redis_manager.redis.scard(self._REDIS_KEY)
|
|
||||||
logger.info(f"Redis 中已存在管理员数据,共 {admin_count} 位。")
|
|
||||||
else:
|
|
||||||
# Redis 为空,尝试从文件迁移
|
|
||||||
logger.info("Redis 中未找到管理员数据,尝试从 admin.json 文件迁移...")
|
|
||||||
await self._migrate_from_file_to_redis()
|
|
||||||
except Exception as e:
|
|
||||||
logger.error(f"初始化管理员数据时发生错误: {e}")
|
|
||||||
|
|
||||||
async def _migrate_from_file_to_redis(self):
|
|
||||||
"""
|
|
||||||
从 admin.json 加载管理员列表并存入 Redis
|
|
||||||
这通常只在首次启动或 Redis 数据丢失时执行一次
|
|
||||||
"""
|
|
||||||
admins_to_migrate = set()
|
|
||||||
try:
|
|
||||||
if os.path.exists(self.data_file):
|
|
||||||
with open(self.data_file, "r", encoding="utf-8") as f:
|
|
||||||
data = orjson.loads(f.read())
|
|
||||||
admins = data.get("admins", [])
|
|
||||||
admins_to_migrate = set(int(admin_id) for admin_id in admins)
|
|
||||||
|
|
||||||
if admins_to_migrate:
|
|
||||||
await redis_manager.redis.sadd(self._REDIS_KEY, *admins_to_migrate)
|
|
||||||
logger.success(f"成功从文件迁移 {len(admins_to_migrate)} 位管理员到 Redis。")
|
|
||||||
else:
|
|
||||||
logger.info("admin.json 文件为空或不存在,无需迁移。")
|
|
||||||
|
|
||||||
except ValueError as e:
|
|
||||||
logger.error(f"解析 admin.json 失败,无法迁移: {e}")
|
|
||||||
except Exception as e:
|
|
||||||
logger.error(f"迁移管理员数据到 Redis 失败: {e}")
|
|
||||||
|
|
||||||
async def _save_to_file_backup(self):
|
|
||||||
"""
|
|
||||||
将 Redis 中的管理员列表备份到 admin.json
|
|
||||||
"""
|
|
||||||
try:
|
|
||||||
admins = await self.get_all_admins()
|
|
||||||
admin_list = [str(admin_id) for admin_id in admins]
|
|
||||||
with open(self.data_file, "w", encoding="utf-8") as f:
|
|
||||||
f.write(orjson.dumps({"admins": admin_list}, indent=2, ensure_ascii=False).decode('utf-8'))
|
|
||||||
logger.debug(f"管理员列表已备份到 {self.data_file}")
|
|
||||||
except Exception as e:
|
|
||||||
logger.error(f"备份管理员列表到 admin.json 失败: {e}")
|
|
||||||
|
|
||||||
async def is_admin(self, user_id: int) -> bool:
|
|
||||||
"""
|
|
||||||
检查用户是否为管理员(直接从 Redis 读取)
|
|
||||||
"""
|
|
||||||
try:
|
|
||||||
return await redis_manager.redis.sismember(self._REDIS_KEY, user_id)
|
|
||||||
except Exception as e:
|
|
||||||
logger.error(f"从 Redis 检查管理员权限失败: {e}")
|
|
||||||
return False
|
|
||||||
|
|
||||||
async def add_admin(self, user_id: int) -> bool:
|
|
||||||
"""
|
|
||||||
添加管理员到 Redis,并更新文件备份
|
|
||||||
"""
|
|
||||||
try:
|
|
||||||
# sadd 返回成功添加的成员数量,1 表示成功,0 表示已存在
|
|
||||||
if await redis_manager.redis.sadd(self._REDIS_KEY, user_id) == 1:
|
|
||||||
logger.info(f"已添加新管理员 {user_id} 到 Redis")
|
|
||||||
await self._save_to_file_backup() # 更新备份
|
|
||||||
return True
|
|
||||||
return False # 用户已经是管理员
|
|
||||||
except Exception as e:
|
|
||||||
logger.error(f"添加管理员 {user_id} 到 Redis 失败: {e}")
|
|
||||||
return False
|
|
||||||
|
|
||||||
async def remove_admin(self, user_id: int) -> bool:
|
|
||||||
"""
|
|
||||||
从 Redis 移除管理员,并更新文件备份
|
|
||||||
"""
|
|
||||||
try:
|
|
||||||
# srem 返回成功移除的成员数量,1 表示成功,0 表示不存在
|
|
||||||
if await redis_manager.redis.srem(self._REDIS_KEY, user_id) == 1:
|
|
||||||
logger.info(f"已从 Redis 移除管理员 {user_id}")
|
|
||||||
await self._save_to_file_backup() # 更新备份
|
|
||||||
return True
|
|
||||||
return False # 用户不是管理员
|
|
||||||
except Exception as e:
|
|
||||||
logger.error(f"从 Redis 移除管理员 {user_id} 失败: {e}")
|
|
||||||
return False
|
|
||||||
|
|
||||||
async def get_all_admins(self) -> Set[int]:
|
|
||||||
"""
|
|
||||||
从 Redis 获取所有管理员的集合
|
|
||||||
"""
|
|
||||||
try:
|
|
||||||
admins = await redis_manager.redis.smembers(self._REDIS_KEY)
|
|
||||||
return {int(admin_id) for admin_id in admins}
|
|
||||||
except Exception as e:
|
|
||||||
logger.error(f"从 Redis 获取所有管理员失败: {e}")
|
|
||||||
return set()
|
|
||||||
|
|
||||||
|
|
||||||
# 全局 AdminManager 实例
|
|
||||||
admin_manager = AdminManager()
|
|
||||||
@@ -2,15 +2,15 @@
|
|||||||
权限管理器模块
|
权限管理器模块
|
||||||
|
|
||||||
该模块负责管理用户权限,支持 admin、op、user 三个权限级别。
|
该模块负责管理用户权限,支持 admin、op、user 三个权限级别。
|
||||||
以 Redis Hash 作为主要数据源,文件仅用作备份和首次数据迁移。
|
以 permissions.json 文件作为主要数据源,Redis 用于加速访问。
|
||||||
"""
|
"""
|
||||||
import orjson
|
import orjson
|
||||||
import os
|
import os
|
||||||
from typing import Dict
|
import json
|
||||||
|
from typing import Dict, Set
|
||||||
|
|
||||||
from ..utils.logger import logger
|
from ..utils.logger import logger
|
||||||
from ..utils.singleton import Singleton
|
from ..utils.singleton import Singleton
|
||||||
from .admin_manager import admin_manager
|
|
||||||
from .redis_manager import redis_manager
|
from .redis_manager import redis_manager
|
||||||
from ..permission import Permission
|
from ..permission import Permission
|
||||||
|
|
||||||
@@ -25,10 +25,11 @@ class PermissionManager(Singleton):
|
|||||||
"""
|
"""
|
||||||
权限管理器类
|
权限管理器类
|
||||||
|
|
||||||
以 Redis Hash 作为权限数据的唯一真实来源,提供高速的读写能力。
|
以 permissions.json 文件作为权限数据的主要来源,Redis 用于高速缓存访问。
|
||||||
文件 (permissions.json) 仅用于首次启动时的数据迁移和作为灾备。
|
所有写操作会同时更新文件和Redis缓存,确保数据一致性。
|
||||||
"""
|
"""
|
||||||
_REDIS_KEY = "neobot:permissions" # 用于存储用户权限的 Redis Hash 键
|
_REDIS_KEY = "neobot:permissions" # 用于存储用户权限的 Redis Hash 键
|
||||||
|
_REDIS_ADMINS_KEY = "neobot:admins" # 用于存储管理员列表的 Redis 键
|
||||||
|
|
||||||
def __init__(self):
|
def __init__(self):
|
||||||
"""
|
"""
|
||||||
@@ -37,7 +38,7 @@ class PermissionManager(Singleton):
|
|||||||
if hasattr(self, '_initialized') and self._initialized:
|
if hasattr(self, '_initialized') and self._initialized:
|
||||||
return
|
return
|
||||||
|
|
||||||
# 权限数据文件路径,主要用于备份和首次迁移
|
# 权限数据文件路径,作为主要数据源
|
||||||
self.data_file = os.path.join(
|
self.data_file = os.path.join(
|
||||||
os.path.dirname(os.path.abspath(__file__)),
|
os.path.dirname(os.path.abspath(__file__)),
|
||||||
"..",
|
"..",
|
||||||
@@ -46,23 +47,81 @@ class PermissionManager(Singleton):
|
|||||||
)
|
)
|
||||||
|
|
||||||
os.makedirs(os.path.dirname(self.data_file), exist_ok=True)
|
os.makedirs(os.path.dirname(self.data_file), exist_ok=True)
|
||||||
|
|
||||||
|
# 如果文件不存在,创建默认文件
|
||||||
|
if not os.path.exists(self.data_file):
|
||||||
|
default_data = {"users": {}}
|
||||||
|
with open(self.data_file, "w", encoding="utf-8") as f:
|
||||||
|
f.write(json.dumps(default_data, indent=2, ensure_ascii=False))
|
||||||
|
logger.info(f"已创建默认权限文件: {self.data_file}")
|
||||||
|
|
||||||
logger.info("权限管理器初始化完成")
|
logger.info("权限管理器初始化完成")
|
||||||
super().__init__()
|
super().__init__()
|
||||||
|
|
||||||
async def initialize(self):
|
async def initialize(self):
|
||||||
"""
|
"""
|
||||||
异步初始化,检查 Redis 数据,如果为空则尝试从文件迁移
|
异步初始化,以 permissions.json 文件内容为主,同步到 Redis 缓存
|
||||||
"""
|
"""
|
||||||
try:
|
try:
|
||||||
if not await redis_manager.redis.exists(self._REDIS_KEY):
|
# 总是以文件内容为主,强制同步到 Redis
|
||||||
logger.info("Redis 中未找到权限数据,尝试从 permissions.json 文件迁移...")
|
logger.info("以 permissions.json 文件内容为准,同步到 Redis 缓存...")
|
||||||
await self._migrate_from_file_to_redis()
|
await self._sync_file_to_redis()
|
||||||
else:
|
|
||||||
perm_count = await redis_manager.redis.hlen(self._REDIS_KEY)
|
# 检查 Redis 中的数据量
|
||||||
logger.info(f"Redis 中已存在权限数据,共 {perm_count} 条。")
|
perm_count = await redis_manager.redis.hlen(self._REDIS_KEY)
|
||||||
|
admin_count = await redis_manager.redis.scard(self._REDIS_ADMINS_KEY)
|
||||||
|
logger.info(f"Redis 缓存已同步,权限数据: {perm_count} 条,管理员: {admin_count} 位。")
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
logger.error(f"初始化权限数据时发生错误: {e}")
|
logger.error(f"初始化权限数据时发生错误: {e}")
|
||||||
|
|
||||||
|
async def _sync_file_to_redis(self):
|
||||||
|
"""
|
||||||
|
将 permissions.json 文件内容同步到 Redis 缓存
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
# 清空 Redis 中的现有数据
|
||||||
|
await redis_manager.redis.delete(self._REDIS_KEY)
|
||||||
|
await redis_manager.redis.delete(self._REDIS_ADMINS_KEY)
|
||||||
|
|
||||||
|
# 从文件加载数据
|
||||||
|
if os.path.exists(self.data_file):
|
||||||
|
with open(self.data_file, "r", encoding="utf-8") as f:
|
||||||
|
data = orjson.loads(f.read())
|
||||||
|
users = data.get("users", {})
|
||||||
|
|
||||||
|
if users:
|
||||||
|
# 分离普通权限和管理员权限
|
||||||
|
normal_perms = {}
|
||||||
|
admin_ids = set()
|
||||||
|
|
||||||
|
for user_id, level_name in users.items():
|
||||||
|
if level_name == Permission.ADMIN.value:
|
||||||
|
admin_ids.add(user_id)
|
||||||
|
else:
|
||||||
|
normal_perms[user_id] = level_name
|
||||||
|
|
||||||
|
# 使用 pipeline 批量写入普通权限
|
||||||
|
if normal_perms:
|
||||||
|
async with redis_manager.redis.pipeline(transaction=True) as pipe:
|
||||||
|
for user_id, level_name in normal_perms.items():
|
||||||
|
pipe.hset(self._REDIS_KEY, user_id, level_name)
|
||||||
|
await pipe.execute()
|
||||||
|
|
||||||
|
# 使用 pipeline 批量写入管理员
|
||||||
|
if admin_ids:
|
||||||
|
await redis_manager.redis.sadd(self._REDIS_ADMINS_KEY, *admin_ids)
|
||||||
|
|
||||||
|
logger.success(f"成功同步 {len(users)} 条权限数据到 Redis (普通权限: {len(normal_perms)}, 管理员: {len(admin_ids)})")
|
||||||
|
else:
|
||||||
|
logger.info("permissions.json 文件中没有权限数据,已清空 Redis 缓存。")
|
||||||
|
else:
|
||||||
|
logger.warning(f"权限文件 {self.data_file} 不存在,已清空 Redis 缓存。")
|
||||||
|
|
||||||
|
except ValueError as e:
|
||||||
|
logger.error(f"解析 permissions.json 失败: {e}")
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"同步文件到 Redis 失败: {e}")
|
||||||
|
|
||||||
async def _migrate_from_file_to_redis(self):
|
async def _migrate_from_file_to_redis(self):
|
||||||
"""
|
"""
|
||||||
从 permissions.json 加载权限数据并存入 Redis Hash
|
从 permissions.json 加载权限数据并存入 Redis Hash
|
||||||
@@ -89,16 +148,53 @@ class PermissionManager(Singleton):
|
|||||||
except Exception as e:
|
except Exception as e:
|
||||||
logger.error(f"迁移权限数据到 Redis 失败: {e}")
|
logger.error(f"迁移权限数据到 Redis 失败: {e}")
|
||||||
|
|
||||||
|
async def _migrate_admins_from_file_to_redis(self):
|
||||||
|
"""
|
||||||
|
从 permissions.json 加载管理员列表并存入 Redis
|
||||||
|
"""
|
||||||
|
admins_to_migrate = set()
|
||||||
|
try:
|
||||||
|
if os.path.exists(self.data_file):
|
||||||
|
with open(self.data_file, "r", encoding="utf-8") as f:
|
||||||
|
data = orjson.loads(f.read())
|
||||||
|
# 从 users 字段中查找权限为 admin 的用户
|
||||||
|
users = data.get("users", {})
|
||||||
|
for user_id, level_name in users.items():
|
||||||
|
if level_name == Permission.ADMIN.value:
|
||||||
|
admins_to_migrate.add(user_id)
|
||||||
|
|
||||||
|
# 同时兼容旧版的 admins 字段(如果存在的话)
|
||||||
|
old_admins = data.get("admins", [])
|
||||||
|
for admin_id in old_admins:
|
||||||
|
admins_to_migrate.add(str(admin_id))
|
||||||
|
|
||||||
|
if admins_to_migrate:
|
||||||
|
await redis_manager.redis.sadd(self._REDIS_ADMINS_KEY, *admins_to_migrate)
|
||||||
|
logger.success(f"成功从文件迁移 {len(admins_to_migrate)} 位管理员到 Redis。")
|
||||||
|
else:
|
||||||
|
logger.info("permissions.json 文件中没有管理员数据,无需迁移。")
|
||||||
|
|
||||||
|
except ValueError as e:
|
||||||
|
logger.error(f"解析 permissions.json 失败,无法迁移管理员数据: {e}")
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"迁移管理员数据到 Redis 失败: {e}")
|
||||||
|
|
||||||
async def _save_to_file_backup(self):
|
async def _save_to_file_backup(self):
|
||||||
"""
|
"""
|
||||||
将 Redis 中的权限数据完整备份到 permissions.json
|
将 Redis 中的权限数据和管理员列表完整备份到 permissions.json
|
||||||
"""
|
"""
|
||||||
try:
|
try:
|
||||||
all_perms = await redis_manager.redis.hgetall(self._REDIS_KEY)
|
all_perms = await redis_manager.redis.hgetall(self._REDIS_KEY)
|
||||||
# Redis 返回的是 bytes,需要解码
|
# 由于Redis连接已设置decode_responses=True,所以直接使用字符串
|
||||||
users_data = {k.decode('utf-8'): v.decode('utf-8') for k, v in all_perms.items()}
|
users_data = {k: v for k, v in all_perms.items()}
|
||||||
|
|
||||||
|
# 获取Redis中的管理员列表并合并到数据中
|
||||||
|
all_admins = await redis_manager.redis.smembers(self._REDIS_ADMINS_KEY)
|
||||||
|
for admin_id in all_admins:
|
||||||
|
users_data[admin_id] = Permission.ADMIN.value # 管理员拥有最高权限
|
||||||
|
|
||||||
with open(self.data_file, "w", encoding="utf-8") as f:
|
with open(self.data_file, "w", encoding="utf-8") as f:
|
||||||
f.write(orjson.dumps({"users": users_data}, indent=2, ensure_ascii=False).decode('utf-8'))
|
f.write(json.dumps({"users": users_data}, indent=2, ensure_ascii=False))
|
||||||
logger.debug(f"权限数据已备份到 {self.data_file}")
|
logger.debug(f"权限数据已备份到 {self.data_file}")
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
logger.error(f"备份权限数据到 permissions.json 失败: {e}")
|
logger.error(f"备份权限数据到 permissions.json 失败: {e}")
|
||||||
@@ -109,13 +205,16 @@ class PermissionManager(Singleton):
|
|||||||
|
|
||||||
优先检查是否为机器人管理员,然后从 Redis 查询。
|
优先检查是否为机器人管理员,然后从 Redis 查询。
|
||||||
"""
|
"""
|
||||||
if await admin_manager.is_admin(user_id):
|
# 检查用户是否为管理员(Redis Set 中的存在性检查)
|
||||||
return Permission.ADMIN
|
try:
|
||||||
|
if await redis_manager.redis.sismember(self._REDIS_ADMINS_KEY, str(user_id)):
|
||||||
|
return Permission.ADMIN
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"从 Redis 检查管理员权限失败: {e}")
|
||||||
|
|
||||||
try:
|
try:
|
||||||
level_name_bytes = await redis_manager.redis.hget(self._REDIS_KEY, str(user_id))
|
level_name = await redis_manager.redis.hget(self._REDIS_KEY, str(user_id))
|
||||||
if level_name_bytes:
|
if level_name:
|
||||||
level_name = level_name_bytes.decode('utf-8')
|
|
||||||
return _PERMISSIONS.get(level_name, Permission.USER)
|
return _PERMISSIONS.get(level_name, Permission.USER)
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
logger.error(f"从 Redis 获取用户 {user_id} 权限失败: {e}")
|
logger.error(f"从 Redis 获取用户 {user_id} 权限失败: {e}")
|
||||||
@@ -124,28 +223,62 @@ class PermissionManager(Singleton):
|
|||||||
|
|
||||||
async def set_user_permission(self, user_id: int, permission: Permission) -> None:
|
async def set_user_permission(self, user_id: int, permission: Permission) -> None:
|
||||||
"""
|
"""
|
||||||
在 Redis 中设置指定用户的权限级别,并更新文件备份
|
设置指定用户的权限级别,首先更新文件,然后同步到 Redis 缓存
|
||||||
"""
|
"""
|
||||||
if not isinstance(permission, Permission):
|
if not isinstance(permission, Permission):
|
||||||
raise ValueError(f"无效的权限对象: {permission}")
|
raise ValueError(f"无效的权限对象: {permission}")
|
||||||
|
|
||||||
try:
|
try:
|
||||||
await redis_manager.redis.hset(self._REDIS_KEY, str(user_id), permission.value)
|
# 首先从文件加载当前数据
|
||||||
await self._save_to_file_backup()
|
if os.path.exists(self.data_file):
|
||||||
logger.info(f"已在 Redis 中设置用户 {user_id} 的权限为 {permission.value}")
|
with open(self.data_file, "r", encoding="utf-8") as f:
|
||||||
|
data = orjson.loads(f.read())
|
||||||
|
else:
|
||||||
|
data = {"users": {}}
|
||||||
|
|
||||||
|
# 更新权限数据
|
||||||
|
data["users"][str(user_id)] = permission.value
|
||||||
|
|
||||||
|
# 原子性写入文件
|
||||||
|
temp_file = self.data_file + ".tmp"
|
||||||
|
with open(temp_file, "w", encoding="utf-8") as f:
|
||||||
|
f.write(json.dumps(data, indent=2, ensure_ascii=False))
|
||||||
|
os.replace(temp_file, self.data_file) # 原子操作
|
||||||
|
|
||||||
|
# 同步到 Redis
|
||||||
|
await self._sync_file_to_redis()
|
||||||
|
logger.info(f"已设置用户 {user_id} 的权限为 {permission.value},并同步到 Redis")
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
logger.error(f"在 Redis 中设置用户 {user_id} 权限失败: {e}")
|
logger.error(f"设置用户 {user_id} 权限失败: {e}")
|
||||||
|
|
||||||
async def remove_user(self, user_id: int) -> None:
|
async def remove_user(self, user_id: int) -> None:
|
||||||
"""
|
"""
|
||||||
从 Redis 中移除指定用户的权限设置,并更新文件备份
|
从权限设置中移除指定用户,首先更新文件,然后同步到 Redis 缓存
|
||||||
"""
|
"""
|
||||||
try:
|
try:
|
||||||
if await redis_manager.redis.hdel(self._REDIS_KEY, str(user_id)):
|
# 首先从文件加载当前数据
|
||||||
await self._save_to_file_backup()
|
if os.path.exists(self.data_file):
|
||||||
logger.info(f"已从 Redis 中移除用户 {user_id} 的权限设置")
|
with open(self.data_file, "r", encoding="utf-8") as f:
|
||||||
|
data = orjson.loads(f.read())
|
||||||
|
else:
|
||||||
|
data = {"users": {}}
|
||||||
|
|
||||||
|
# 从权限数据中移除用户
|
||||||
|
user_id_str = str(user_id)
|
||||||
|
if user_id_str in data["users"]:
|
||||||
|
del data["users"][user_id_str]
|
||||||
|
|
||||||
|
# 原子性写入文件
|
||||||
|
temp_file = self.data_file + ".tmp"
|
||||||
|
with open(temp_file, "w", encoding="utf-8") as f:
|
||||||
|
f.write(json.dumps(data, indent=2, ensure_ascii=False))
|
||||||
|
os.replace(temp_file, self.data_file) # 原子操作
|
||||||
|
|
||||||
|
# 同步到 Redis
|
||||||
|
await self._sync_file_to_redis()
|
||||||
|
logger.info(f"已从权限设置中移除用户 {user_id},并同步到 Redis")
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
logger.error(f"从 Redis 移除用户 {user_id} 权限失败: {e}")
|
logger.error(f"移除用户 {user_id} 权限失败: {e}")
|
||||||
|
|
||||||
async def check_permission(self, user_id: int, required_permission: Permission) -> bool:
|
async def check_permission(self, user_id: int, required_permission: Permission) -> bool:
|
||||||
"""
|
"""
|
||||||
@@ -162,19 +295,20 @@ class PermissionManager(Singleton):
|
|||||||
|
|
||||||
async def get_all_user_permissions(self) -> Dict[str, str]:
|
async def get_all_user_permissions(self) -> Dict[str, str]:
|
||||||
"""
|
"""
|
||||||
获取所有已配置的用户权限(合并 Redis 和 AdminManager)
|
获取所有已配置的用户权限(合并普通权限和管理员)
|
||||||
"""
|
"""
|
||||||
permissions = {}
|
permissions = {}
|
||||||
try:
|
try:
|
||||||
# 从 Redis 获取基础权限
|
# 从 Redis 获取基础权限
|
||||||
all_perms = await redis_manager.redis.hgetall(self._REDIS_KEY)
|
all_perms = await redis_manager.redis.hgetall(self._REDIS_KEY)
|
||||||
permissions = {k.decode('utf-8'): v.decode('utf-8') for k, v in all_perms.items()}
|
# 由于Redis连接已设置decode_responses=True,所以直接使用字符串
|
||||||
|
permissions = {k: v for k, v in all_perms.items()}
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
logger.error(f"从 Redis 获取所有权限失败: {e}")
|
logger.error(f"从 Redis 获取所有权限失败: {e}")
|
||||||
|
|
||||||
# 合并 AdminManager 中的管理员,ADMIN 权限覆盖一切
|
# 获取 Redis 中的管理员列表并添加到权限字典中
|
||||||
try:
|
try:
|
||||||
admins = await admin_manager.get_all_admins()
|
admins = await redis_manager.redis.smembers(self._REDIS_ADMINS_KEY)
|
||||||
for admin_id in admins:
|
for admin_id in admins:
|
||||||
permissions[str(admin_id)] = Permission.ADMIN.value
|
permissions[str(admin_id)] = Permission.ADMIN.value
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
@@ -182,16 +316,115 @@ class PermissionManager(Singleton):
|
|||||||
|
|
||||||
return permissions
|
return permissions
|
||||||
|
|
||||||
async def clear_all(self) -> None:
|
async def is_admin(self, user_id: int) -> bool:
|
||||||
"""
|
"""
|
||||||
清空 Redis 中的所有权限设置,并更新备份文件
|
检查用户是否为管理员
|
||||||
"""
|
"""
|
||||||
try:
|
try:
|
||||||
await redis_manager.redis.delete(self._REDIS_KEY)
|
return await redis_manager.redis.sismember(self._REDIS_ADMINS_KEY, str(user_id))
|
||||||
await self._save_to_file_backup()
|
|
||||||
logger.info("已清空 Redis 中的所有权限设置")
|
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
logger.error(f"清空 Redis 权限数据失败: {e}")
|
logger.error(f"从 Redis 检查管理员权限失败: {e}")
|
||||||
|
return False
|
||||||
|
|
||||||
|
async def add_admin(self, user_id: int) -> bool:
|
||||||
|
"""
|
||||||
|
添加管理员,首先更新文件,然后同步到 Redis 缓存
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
# 首先从文件加载当前数据
|
||||||
|
if os.path.exists(self.data_file):
|
||||||
|
with open(self.data_file, "r", encoding="utf-8") as f:
|
||||||
|
data = orjson.loads(f.read())
|
||||||
|
else:
|
||||||
|
data = {"users": {}}
|
||||||
|
|
||||||
|
user_id_str = str(user_id)
|
||||||
|
# 检查用户是否已经是管理员
|
||||||
|
if data["users"].get(user_id_str) == Permission.ADMIN.value:
|
||||||
|
return False # 用户已经是管理员
|
||||||
|
|
||||||
|
# 更新权限数据为管理员
|
||||||
|
data["users"][user_id_str] = Permission.ADMIN.value
|
||||||
|
|
||||||
|
# 原子性写入文件
|
||||||
|
temp_file = self.data_file + ".tmp"
|
||||||
|
with open(temp_file, "w", encoding="utf-8") as f:
|
||||||
|
f.write(json.dumps(data, indent=2, ensure_ascii=False))
|
||||||
|
os.replace(temp_file, self.data_file) # 原子操作
|
||||||
|
|
||||||
|
# 同步到 Redis
|
||||||
|
await self._sync_file_to_redis()
|
||||||
|
logger.info(f"已添加新管理员 {user_id},并同步到 Redis")
|
||||||
|
return True
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"添加管理员 {user_id} 失败: {e}")
|
||||||
|
return False
|
||||||
|
|
||||||
|
async def remove_admin(self, user_id: int) -> bool:
|
||||||
|
"""
|
||||||
|
从管理员列表中移除用户,首先更新文件,然后同步到 Redis 缓存
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
# 首先从文件加载当前数据
|
||||||
|
if os.path.exists(self.data_file):
|
||||||
|
with open(self.data_file, "r", encoding="utf-8") as f:
|
||||||
|
data = orjson.loads(f.read())
|
||||||
|
else:
|
||||||
|
data = {"users": {}}
|
||||||
|
|
||||||
|
user_id_str = str(user_id)
|
||||||
|
# 检查用户是否是管理员
|
||||||
|
if data["users"].get(user_id_str) != Permission.ADMIN.value:
|
||||||
|
return False # 用户不是管理员
|
||||||
|
|
||||||
|
# 将管理员降级为普通用户(或者可以选择完全移除权限)
|
||||||
|
# 这里我们将其设置为USER权限
|
||||||
|
data["users"][user_id_str] = Permission.USER.value
|
||||||
|
|
||||||
|
# 原子性写入文件
|
||||||
|
temp_file = self.data_file + ".tmp"
|
||||||
|
with open(temp_file, "w", encoding="utf-8") as f:
|
||||||
|
f.write(json.dumps(data, indent=2, ensure_ascii=False))
|
||||||
|
os.replace(temp_file, self.data_file) # 原子操作
|
||||||
|
|
||||||
|
# 同步到 Redis
|
||||||
|
await self._sync_file_to_redis()
|
||||||
|
logger.info(f"已从管理员列表中移除用户 {user_id},并同步到 Redis")
|
||||||
|
return True
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"移除管理员 {user_id} 失败: {e}")
|
||||||
|
return False
|
||||||
|
|
||||||
|
async def get_all_admins(self) -> Set[int]:
|
||||||
|
"""
|
||||||
|
从 Redis 获取所有管理员的集合
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
admins = await redis_manager.redis.smembers(self._REDIS_ADMINS_KEY)
|
||||||
|
return {int(admin_id) for admin_id in admins}
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"从 Redis 获取所有管理员失败: {e}")
|
||||||
|
return set()
|
||||||
|
|
||||||
|
async def clear_all(self) -> None:
|
||||||
|
"""
|
||||||
|
清空所有权限设置,首先更新文件,然后同步到 Redis 缓存
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
# 创建空的权限数据
|
||||||
|
empty_data = {"users": {}}
|
||||||
|
|
||||||
|
# 原子性写入文件
|
||||||
|
temp_file = self.data_file + ".tmp"
|
||||||
|
with open(temp_file, "w", encoding="utf-8") as f:
|
||||||
|
f.write(json.dumps(empty_data, indent=2, ensure_ascii=False))
|
||||||
|
os.replace(temp_file, self.data_file) # 原子操作
|
||||||
|
|
||||||
|
# 同步到 Redis
|
||||||
|
await self._sync_file_to_redis()
|
||||||
|
logger.info("已清空所有权限设置,并同步到 Redis")
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"清空权限数据失败: {e}")
|
||||||
|
|
||||||
|
|
||||||
def require_admin(func):
|
def require_admin(func):
|
||||||
@@ -205,7 +438,7 @@ def require_admin(func):
|
|||||||
@wraps(func)
|
@wraps(func)
|
||||||
async def wrapper(event: MessageEvent, *args, **kwargs):
|
async def wrapper(event: MessageEvent, *args, **kwargs):
|
||||||
user_id = event.user_id
|
user_id = event.user_id
|
||||||
if await permission_manager.check_permission(user_id, Permission.ADMIN):
|
if await permission_manager.is_admin(user_id):
|
||||||
return await func(event, *args, **kwargs)
|
return await func(event, *args, **kwargs)
|
||||||
else:
|
else:
|
||||||
# 假设 event 对象有 reply 方法
|
# 假设 event 对象有 reply 方法
|
||||||
|
|||||||
135
docs/core-concepts/redis-atomic-operations.md
Normal file
135
docs/core-concepts/redis-atomic-operations.md
Normal file
@@ -0,0 +1,135 @@
|
|||||||
|
# Redis 原子操作与数据一致性
|
||||||
|
|
||||||
|
## 概述
|
||||||
|
|
||||||
|
NEO Bot 的权限管理系统采用了文件为主、Redis 为辅的架构设计,确保数据可靠性和高性能访问的平衡。为了保证数据一致性,系统在所有写操作中都实现了原子操作机制。
|
||||||
|
|
||||||
|
## 设计理念
|
||||||
|
|
||||||
|
### 以文件为权威数据源
|
||||||
|
|
||||||
|
- **主数据源**: `core/data/permissions.json` 作为权限数据的权威来源
|
||||||
|
- **缓存层**: Redis 作为高速缓存,提供快速访问能力
|
||||||
|
- **一致性保障**: 所有写操作都以文件为准,再同步到 Redis
|
||||||
|
|
||||||
|
### 原子操作实现
|
||||||
|
|
||||||
|
所有权限管理的写操作都遵循以下原子操作模式:
|
||||||
|
|
||||||
|
1. **读取当前状态**: 从 `permissions.json` 读取当前数据
|
||||||
|
2. **内存中修改**: 在内存中完成数据修改
|
||||||
|
3. **原子写入**: 使用临时文件 + 原子重命名的方式写入磁盘
|
||||||
|
4. **缓存同步**: 将修改同步到 Redis 缓存
|
||||||
|
|
||||||
|
## 核心实现细节
|
||||||
|
|
||||||
|
### 原子文件写入
|
||||||
|
|
||||||
|
```python
|
||||||
|
# 原子写入操作示例
|
||||||
|
temp_file = self.data_file + ".tmp"
|
||||||
|
with open(temp_file, "w", encoding="utf-8") as f:
|
||||||
|
f.write(json.dumps(data, indent=2, ensure_ascii=False))
|
||||||
|
os.replace(temp_file, self.data_file) # 原子操作
|
||||||
|
```
|
||||||
|
|
||||||
|
- 使用临时文件避免写入过程中数据损坏
|
||||||
|
- `os.replace()` 确保操作的原子性
|
||||||
|
- 即使在写入过程中断电,也不会破坏原文件
|
||||||
|
|
||||||
|
### Redis 同步机制
|
||||||
|
|
||||||
|
```python
|
||||||
|
# 同步文件内容到 Redis
|
||||||
|
async def _sync_file_to_redis(self):
|
||||||
|
# 清空 Redis 中的现有数据
|
||||||
|
await redis_manager.redis.delete(self._REDIS_KEY)
|
||||||
|
await redis_manager.redis.delete(self._REDIS_ADMINS_KEY)
|
||||||
|
|
||||||
|
# 从文件加载数据并同步到 Redis
|
||||||
|
# ...
|
||||||
|
```
|
||||||
|
|
||||||
|
- 使用 Redis 管道操作提高批量写入效率
|
||||||
|
- 确保 Redis 与文件数据的一致性
|
||||||
|
|
||||||
|
## 支持的操作
|
||||||
|
|
||||||
|
### 权限管理操作
|
||||||
|
|
||||||
|
- `set_user_permission()`: 设置用户权限
|
||||||
|
- `remove_user()`: 移除用户权限
|
||||||
|
- `add_admin()`: 添加管理员
|
||||||
|
- `remove_admin()`: 移除管理员
|
||||||
|
- `clear_all()`: 清空所有权限
|
||||||
|
|
||||||
|
### 数据隔离
|
||||||
|
|
||||||
|
- 普通权限存储在 Redis Hash (`neobot:permissions`) 中
|
||||||
|
- 管理员列表存储在 Redis Set (`neobot:admins`) 中
|
||||||
|
- 避免数据冲突,提高查询效率
|
||||||
|
|
||||||
|
## 性能优化
|
||||||
|
|
||||||
|
### 读取优化
|
||||||
|
|
||||||
|
- 读取操作直接从 Redis 缓存获取,毫秒级响应
|
||||||
|
- 减少磁盘 I/O,提升系统性能
|
||||||
|
|
||||||
|
### 批量操作
|
||||||
|
|
||||||
|
- 使用 Redis 管道进行批量操作
|
||||||
|
- 减少网络往返次数,提高吞吐量
|
||||||
|
|
||||||
|
## 错误处理
|
||||||
|
|
||||||
|
### 异常恢复
|
||||||
|
|
||||||
|
- 文件写入失败时,保留原数据不丢失
|
||||||
|
- Redis 操作失败时,不影响文件数据
|
||||||
|
- 提供详细的错误日志便于排查
|
||||||
|
|
||||||
|
### 数据校验
|
||||||
|
|
||||||
|
- 写入前校验数据格式
|
||||||
|
- 防止非法数据进入系统
|
||||||
|
|
||||||
|
## 最佳实践
|
||||||
|
|
||||||
|
### 插件开发建议
|
||||||
|
|
||||||
|
```python
|
||||||
|
# 在插件中使用权限管理器
|
||||||
|
from core.managers import permission_manager
|
||||||
|
from core.permission import Permission
|
||||||
|
|
||||||
|
# 查询权限
|
||||||
|
user_perm = await permission_manager.get_user_permission(user_id)
|
||||||
|
|
||||||
|
# 检查权限
|
||||||
|
if await permission_manager.check_permission(user_id, Permission.ADMIN):
|
||||||
|
# 执行管理员操作
|
||||||
|
pass
|
||||||
|
```
|
||||||
|
|
||||||
|
### 高并发场景
|
||||||
|
|
||||||
|
- 系统设计支持高并发读取
|
||||||
|
- 写操作频率较低,适合权限管理场景
|
||||||
|
- Redis 缓存有效缓解数据库压力
|
||||||
|
|
||||||
|
## 故障恢复
|
||||||
|
|
||||||
|
### Redis 故障
|
||||||
|
|
||||||
|
- Redis 不可用时,系统仍可通过文件数据提供服务
|
||||||
|
- Redis 恢复后,自动从文件同步最新数据
|
||||||
|
|
||||||
|
### 文件损坏
|
||||||
|
|
||||||
|
- 系统定期备份权限数据
|
||||||
|
- 可从历史备份中恢复数据
|
||||||
|
|
||||||
|
## 总结
|
||||||
|
|
||||||
|
通过以文件为权威数据源、Redis 为缓存层的设计,结合原子操作机制,NEO Bot 的权限管理系统在保证数据可靠性的同时,提供了高性能的访问能力。这种设计既满足了数据一致性的要求,又兼顾了系统性能的需求。
|
||||||
@@ -30,14 +30,9 @@
|
|||||||
* **管啥**:
|
* **管啥**:
|
||||||
* **划分三六九等**: `ADMIN`, `OP`, `USER` 这些等级都是它定的。
|
* **划分三六九等**: `ADMIN`, `OP`, `USER` 这些等级都是它定的。
|
||||||
* **管理权限**: 谁有啥权限,都记在 `core/data/permissions.json` 里。
|
* **管理权限**: 谁有啥权限,都记在 `core/data/permissions.json` 里。
|
||||||
* **会自动变通**: 查权限的时候,它会把 `AdminManager` 里的超管也当成 `ADMIN`。
|
* **管理员管理**: 超级管理员的增删改查也在这里,统一管理。
|
||||||
|
* **双重存储**: 普通权限存储在 Redis Hash 中,管理员列表存储在 Redis Set 中。
|
||||||
### 3. `AdminManager` (`admin_manager`)
|
* **原子操作**: 所有写操作都采用原子操作,确保数据一致性。详见 [Redis 原子操作与数据一致性](./redis-atomic-operations.md)
|
||||||
|
|
||||||
* **怎么找**: `from core.managers.admin_manager import admin_manager`
|
|
||||||
* **管啥**:
|
|
||||||
* **钦差大臣**: 专门管机器人的超级管理员,增删改查都在这。
|
|
||||||
* **三级缓存**: 内存 -> Redis -> 文件
|
|
||||||
|
|
||||||
### 4. `PluginManager`
|
### 4. `PluginManager`
|
||||||
|
|
||||||
|
|||||||
@@ -17,6 +17,7 @@
|
|||||||
* [性能优化](./core-concepts/performance.md): 页面池、JIT、Mypyc...
|
* [性能优化](./core-concepts/performance.md): 页面池、JIT、Mypyc...
|
||||||
* [消息流](./core-concepts/event-flow.md): 看看一条消息从被接收到被回复是如何运行的
|
* [消息流](./core-concepts/event-flow.md): 看看一条消息从被接收到被回复是如何运行的
|
||||||
* [核心](./core-concepts/singleton-managers.md): `matcher`, `browser_manager`... 认识这些核心模块。
|
* [核心](./core-concepts/singleton-managers.md): `matcher`, `browser_manager`... 认识这些核心模块。
|
||||||
|
* [Redis 原子操作与数据一致性](./core-concepts/redis-atomic-operations.md): 权限管理系统的原子操作实现,确保数据一致性
|
||||||
* [错误处理](./core-concepts/error-handling.md): 了解系统的错误处理机制和错误码定义。
|
* [错误处理](./core-concepts/error-handling.md): 了解系统的错误处理机制和错误码定义。
|
||||||
|
|
||||||
### 3. API 参考
|
### 3. API 参考
|
||||||
|
|||||||
7
main.py
7
main.py
@@ -14,9 +14,8 @@ from watchdog.events import FileSystemEventHandler
|
|||||||
from core.utils.logger import logger
|
from core.utils.logger import logger
|
||||||
|
|
||||||
# 核心模块导入
|
# 核心模块导入
|
||||||
from core.managers.admin_manager import admin_manager
|
|
||||||
from core.ws import WS
|
from core.ws import WS
|
||||||
from core.managers import plugin_manager, matcher
|
from core.managers import plugin_manager, matcher, permission_manager
|
||||||
from core.managers.redis_manager import redis_manager
|
from core.managers.redis_manager import redis_manager
|
||||||
from core.managers.browser_manager import browser_manager
|
from core.managers.browser_manager import browser_manager
|
||||||
from core.utils.executor import run_in_thread_pool, initialize_executor
|
from core.utils.executor import run_in_thread_pool, initialize_executor
|
||||||
@@ -172,8 +171,8 @@ async def main():
|
|||||||
# 同步帮助图片
|
# 同步帮助图片
|
||||||
await matcher.sync_help_pic()
|
await matcher.sync_help_pic()
|
||||||
|
|
||||||
# 初始化管理员管理器
|
# 初始化权限管理器(包含了管理员管理功能)
|
||||||
await admin_manager.initialize()
|
await permission_manager.initialize()
|
||||||
|
|
||||||
# 初始化浏览器管理器 (使用页面池)
|
# 初始化浏览器管理器 (使用页面池)
|
||||||
await browser_manager.init_pool(size=3)
|
await browser_manager.init_pool(size=3)
|
||||||
|
|||||||
@@ -46,10 +46,9 @@ def main():
|
|||||||
'core/utils/json_utils.py', # JSON 处理
|
'core/utils/json_utils.py', # JSON 处理
|
||||||
'core/utils/executor.py', # 代码执行引擎
|
'core/utils/executor.py', # 代码执行引擎
|
||||||
'core/managers/command_manager.py', # 指令匹配和分发
|
'core/managers/command_manager.py', # 指令匹配和分发
|
||||||
'core/managers/admin_manager.py', # 管理员管理
|
'core/managers/permission_manager.py', # 权限管理(包含管理员管理功能)
|
||||||
'core/managers/permission_manager.py', # 权限管理
|
|
||||||
'core/ws.py', # WebSocket 核心
|
'core/ws.py', # WebSocket 核心
|
||||||
'core/managers/plugin_manager.py', # 插件管理器
|
'core/managers/plugin_manager.py', # 插件管理器
|
||||||
'core/bot.py', # Bot 核心抽象
|
'core/bot.py', # Bot 核心抽象
|
||||||
'core/config_loader.py', # 配置加载
|
'core/config_loader.py', # 配置加载
|
||||||
]
|
]
|
||||||
|
|||||||
@@ -26,8 +26,7 @@ modules = [
|
|||||||
|
|
||||||
# 核心管理模块
|
# 核心管理模块
|
||||||
'core/managers/command_manager.py', # 指令匹配和分发
|
'core/managers/command_manager.py', # 指令匹配和分发
|
||||||
'core/managers/admin_manager.py', # 管理员管理
|
'core/managers/permission_manager.py', # 权限管理(包含管理员管理功能)
|
||||||
'core/managers/permission_manager.py', # 权限管理
|
|
||||||
'core/managers/plugin_manager.py', # 插件管理器
|
'core/managers/plugin_manager.py', # 插件管理器
|
||||||
|
|
||||||
# 核心基础模块
|
# 核心基础模块
|
||||||
|
|||||||
Reference in New Issue
Block a user