From 5f136d04f7c4101db704c5f752602989f0477199 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=95=80=E9=93=AC=E9=85=B8=E9=92=BE?= <148796996+K2cr2O1@users.noreply.github.com> Date: Fri, 23 Jan 2026 18:26:19 +0800 Subject: [PATCH 1/6] Dev (#55) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * 滚木 * feat: 重构核心架构，增强类型安全与插件管理 本次提交对核心模块进行了深度重构，引入 Pydantic 增强配置管理的类型安全性，并全面优化了插件管理系统。 主要变更详情： 1. 核心架构与配置 - 重构配置加载模块：引入 Pydantic 模型 (`core/config_models.py`)，提供严格的配置项类型检查、验证及默认值管理。 - 统一模块结构：规范化模块导入路径，移除冗余的 `__init__.py` 文件，提升项目结构的清晰度。 - 性能优化：集成 Redis 缓存支持 (`RedisManager`)，有效降低高频 API 调用开销，提升响应速度。 2. 插件系统升级 - 实现热重载机制：新增插件文件变更监听功能，支持开发过程中自动重载插件，提升开发效率。 - 优化生命周期管理：改进插件加载与卸载逻辑，支持精确卸载指定插件及其关联的命令、事件处理器和定时任务。 3. 功能特性增强 - 新增媒体 API：引入 `MediaAPI` 模块，封装图片、语音等富媒体资源的获取与处理接口。 - 完善权限体系：重构权限管理系统，实现管理员与操作员的分级控制，支持更细粒度的命令权限校验。 4. 代码质量与稳定性 - 全面类型修复：解决 `mypy` 静态类型检查发现的大量类型错误（包括 `CommandManager`、`EventFactory` 及 `Bot` API 签名不匹配问题）。 - 增强错误处理：优化消息处理管道的异常捕获机制，完善关键路径的日志记录，提升系统运行稳定性。 * feat: 添加测试用例并优化代码结构 refactor(permission_manager): 调整初始化顺序和逻辑 fix(admin_manager): 修复初始化逻辑和目录创建问题 feat(ws): 优化Bot实例初始化条件 feat(message): 增强MessageSegment功能并添加测试 feat(events): 支持字符串格式的消息解析 test: 添加核心功能测试用例 refactor(plugin_manager): 改进插件路径处理 style: 清理无用导入和代码 chore: 更新依赖项 * refactor(handler): 移除TYPE_CHECKING并直接导入Bot类 简化类型注解，直接导入Bot类而非使用TYPE_CHECKING条件导入，提高代码可读性和维护性 * fix(command_manager): 修复插件卸载时元信息移除不精确的问题 修复 CommandManager 中 unload_plugin 方法移除插件元信息时使用 startswith 导致可能误删其他插件的问题，改为精确匹配 同时调整相关测试用例验证精确匹配行为 * refactor: 清理未使用的导入和更新文档结构 docs: 添加config_models.py到项目结构文档 docs: 调整数据目录位置到core/data下 docs: 更新权限管理器文档描述 * 文档更新 * 更新thpic插件 支持一次返回多张图 * feat: 添加测试覆盖率并修复相关问题 refactor(redis_manager): 移除冗余的ConnectionError处理 refactor(event_handler): 优化Bot类型注解 refactor(factory): 移除未使用的GroupCardNoticeEvent test: 添加全面的单元测试覆盖 - 添加test_import.py测试模块导入 - 添加test_debug.py测试插件加载调试 - 添加test_plugin_error.py测试错误处理 - 添加test_config_loader.py测试配置加载 - 添加test_redis_manager.py测试Redis管理 - 添加test_bot.py测试Bot功能 - 扩展test_models.py测试消息模型 - 添加test_plugin_manager_coverage.py测试插件管理 - 添加test_executor.py测试代码执行器 - 添加test_ws.py测试WebSocket - 添加test_api.py测试API接口 - 添加test_core_managers.py测试核心管理模块 fix(plugin_manager): 修复插件加载日志变量问题 覆盖率已到达86%（忽略插件） * 更新/help指令，现在会发送图片 * feat(help): 重构帮助系统为图片渲染模式 添加浏览器管理器和图片管理器，用于通过 Playwright 渲染帮助菜单为图片 重构命令管理器以支持图片缓存和同步功能 添加 HTML 模板用于帮助菜单渲染 * build: 更新依赖文件 requirements.txt * build: 更新依赖文件 * feat: 添加性能优化和架构文档，更新依赖和核心模块 refactor(browser_manager): 实现页面池机制以提升性能 refactor(image_manager): 添加模板缓存并集成页面池 refactor(bili_parser): 迁移到异步HTTP请求并实现会话复用 docs: 新增性能优化、架构设计和最佳实践文档 chore: 更新requirements.txt添加新依赖 * docs: 更新文档内容并优化语言风格 重构所有文档内容，使用更简洁直接的语言风格 更新架构、插件开发、部署等核心文档 优化代码示例和图表说明 统一术语和格式规范 * docs: 更新文档内容，简化语言并修正格式 - 简化插件开发指南中的描述，移除冗余内容 - 调整部署文档中的Python版本说明 - 优化最佳实践文档的措辞和格式 - 更新性能优化文档，删除不准确的数据 - 重构核心概念文档，使用更简洁的语言 - 修正README中的项目描述和技术栈说明 - 更新快速上手文档，简化安装步骤 - 调整事件流转文档的描述方式 - 简化架构文档内容 - 更新指令处理文档，添加参数注入示例 - 优化单例管理器文档的表述 * refactor(core): 优化权限管理和事件模型 - 重构 AdminManager 和 PermissionManager 以 Redis 为主要数据源 - 为所有事件模型添加 slots=True 提升性能 - 更新文档说明 Mypyc 编译注意事项 - 清理测试和调试文件 - 移动静态资源到 web_static 目录 * feat: 添加模块编译脚本和导出依赖功能 refactor(events): 移除数据类的slots参数以提升兼容性 build: 更新requirements.txt依赖列表 * docs: 更新性能优化文档并修复命令管理器帮助输出 更新性能优化相关文档，详细说明 Python 3.14 JIT 编译器的使用方法和原理，补充与 Mypyc 的互补策略。同时修复命令管理器中帮助信息的输出方式，移除图片发送仅保留文本输出。 调整部署文档结构，明确两种性能优化方案（AOT 和 JIT）的配置方法和适用场景。完善架构文档中关于 JIT 的原理和启用方式说明。 * feat(help): 重构帮助菜单界面并优化样式 refactor(bili_parser): 修复 API 响应 content-type 问题 fix(command_manager): 添加帮助图片获取的错误处理 docs(deployment): 简化部署文档并移除 JIT 相关内容 * feat: 新增自动同意请求插件和API文档 docs: 更新文档结构和内容 * refactor(scripts): 重构并优化脚本文件结构 feat(scripts): 添加Python环境检查脚本 feat(scripts): 增强依赖导出脚本功能 perf(plugins/bili_parser): 优化B站解析器性能和代码结构 style(plugins/bili_parser): 统一代码风格和常量命名 * fix(scripts): 修复编码问题并添加错误追踪 在compile_machine_code.py中添加utf-8编码设置以避免潜在编码问题 添加traceback.print_exc()以在编译失败时打印完整错误堆栈 更新.gitignore以忽略config.toml文件 * feat(性能分析): 实现性能分析工具模块并添加相关测试 添加性能分析工具模块，包括时间测量、内存分析和性能统计功能 添加测试文件和示例配置，完善性能分析工具的使用场景 在工具模块中实现单例装饰器并导出到__init__.py * feat(douyin_parser): 新增抖音视频解析插件 refactor(performance): 移除未使用的asyncio导入并优化性能测试 style(compile_modules): 修正字符串引号格式 chore: 删除废弃的编译脚本和临时文件 fix(bili_parser): 增强B站链接解析的健壮性 refactor(singleton): 重构单例模式实现 docs: 更新配置文件和事件模型注释 * feat: 添加抖音视频解析插件并优化代码结构 添加抖音视频解析插件，支持自动解析抖音分享链接并提取视频信息。优化现有代码结构，包括： - 重构单例模式实现 - 移除未使用的导入和文件 - 修复性能测试脚本中的异步调用 - 优化消息事件模型中的权限常量定义 - 改进编译脚本的错误处理 - 增强B站解析插件的稳定性 同时清理了多个废弃脚本和临时文件，提升代码可维护性。 * 1 * Delete core/data/temp/help_menu.png * fix(权限管理): 增强权限检查的类型安全并修复权限引用 修复权限检查中可能传入非Permission类型导致的错误，将echo插件的权限引用从MessageEvent.ADMIN迁移到Permission.ADMIN * redis取消tls * feat(github_parser): 添加GitHub仓库信息查询功能 - 新增github_parser插件，支持通过命令或自动解析链接查询GitHub仓库信息 - 添加github_repo.html模板用于渲染仓库信息图片 - 优化图片管理器支持高质量截图和CSS缩放 - 重构消息事件类权限常量定义方式 - 更新帮助页面样式为三列布局并优化响应式设计 * feat(web_parser): 新增通用web链接解析插件框架 refactor: 重构B站、抖音、GitHub解析器为模块化结构 fix(executor): 增强docker容器错误处理和回调稳定性 style(templates): 优化帮助页面和代码执行结果的样式 perf(web_parser): 添加API缓存和消息去重机制 docs: 更新插件元信息和注释 chore: 移除旧的独立解析器插件文件 * refactor(managers): 重构单例管理器实现并优化代码结构 feat(ws_pool): 新增 WebSocket 连接池实现 perf(json): 使用 orjson 替代标准 json 库提升性能 style: 清理未使用的导入和冗余代码 docs: 更新架构文档和开发规范 test: 添加 WebSocket 连接池测试用例 fix(plugins): 修复自动审批插件 API 调用参数格式 * docs: 修正架构描述从单线程改为多线程 更新开发标准文档，将架构描述从"单线程异步架构"修正为"多线程异步架构"，以准确反映实际架构设计 * refactor(permission): 重构权限管理系统，合并管理员管理功能 - 将 admin_manager 功能整合到 permission_manager 中，统一管理 - 采用文件为主、Redis 为辅的架构，确保数据一致性 - 实现原子操作机制，防止数据损坏 - 更新文档说明新的权限管理机制 - 调整相关模块引用和编译配置 * feat: 添加直接发送视频/图片功能并优化临时目录处理 refactor(WS): 使用TYPE_CHECKING优化导入并延迟导入Bot类 refactor(image_manager): 使用系统临时目录替代自定义临时目录 feat(bili/douyin): 添加直接发送视频/图片功能 chore: 删除forward_test插件并添加furry插件 refactor(main): 移除JIT检查代码并优化插件重载逻辑 * refactor(插件管理): 将插件加载逻辑移回main函数 插件加载逻辑从core/managers/__init__.py移回main.py的main函数中执行，使初始化流程更清晰 你妈的循环导入 * refactor(web_parser): 优化URL提取和抖音解析器逻辑 重构URL提取逻辑，合并所有文本段处理分割链接并清理末尾标点 简化抖音解析器实现，移除冗余头部信息并改进URL验证 删除未使用的鸭子示例代码文件 * feat: 添加状态监控插件和Redis原子操作支持 - 新增 `/status` 指令，展示机器人运行状态和系统指标 - 实现Redis Lua脚本支持原子化计数器操作 - 添加消息收发统计功能 - 完善文档，包括插件开发和性能优化指南 - 重构WebSocket连接池，增加健康检查机制 - 移除旧版编译脚本，优化项目结构 * refactor(permission_manager): 移除合并冲突标记和未使用的装饰器 清理代码中的合并冲突标记(HEAD和分支标记)并删除未使用的require_admin装饰器函数，以保持代码整洁 * chore: 清理依赖和文档，优化消息事件类 - 移除不再使用的 psutil 依赖 - 删除文档中多余的进阶阅读部分 - 为消息事件类添加 ClassVar 类型导入并修复文件结尾格式 * fix: 移除重复的代码和文档内容 - 删除main.py中重复的sync_help_pic调用 - 删除plugin_manager.py中重复的__all__声明 - 清理performance.md中已移除的WebSocket连接池文档 * refactor(WS): 使用连接池上下文管理器简化连接管理 重构 WS 类中的连接获取和释放逻辑，使用 connection 上下文管理器确保连接正确释放。 同时改进消息处理循环中的异常处理和连接管理。 refactor(ws_pool): 增强连接池的健壮性和管理能力 1. 添加连接上下文管理器支持 2. 改进连接获取和释放逻辑，增加连接计数和锁保护 3. 优化连接健康检查和清理机制 4. 增强错误处理和日志记录 fix(bot_status): 增加系统信息获取和渲染的错误处理 1. 为系统信息获取添加超时和错误处理 2. 为Redis数据获取添加异常捕获 3. 为图片渲染添加异常处理 4. 改进日志记录和用户反馈 * refactor(compile_machine_code): 优化编译脚本并移除冗余日志 docs(getting-started): 删除中文依赖说明 refactor(image_manager): 简化base64图片生成逻辑 * refactor(api): 简化 dataclass 转换逻辑并添加好友/群列表缓存 移除冗余的 _safe_dataclass_from_dict 工具函数，直接使用 dataclass 的构造方法 添加 get_friend_list 和 get_group_list 方法的缓存支持 修复 get_version_info 的错误 API 调用 * Revert "refactor(WS): 使用连接池上下文管理器简化连接管理" This reverts commit c851b49db9d4575beae5259d7798db8176db9b98. * refactor(websocket): 移除连接池模式并改进资源清理 移除 WebSocket 连接池实现，改为单连接模式以简化代码结构 在 main 函数中添加资源清理逻辑，确保程序退出时正确关闭所有资源 改进 base64 数据处理逻辑，支持递归处理嵌套结构中的敏感数据 呵呵线程池加WS是神人 --------- Co-authored-by: baby20162016 <2185823427@qq.com> Co-authored-by: web vscode --- core/WS.py | 284 +++++++++++++--------------------------- core/api/base.py | 36 ++++-- core/ws_pool.py | 328 ----------------------------------------------- main.py | 21 ++- 4 files changed, 129 insertions(+), 540 deletions(-) delete mode 100644 core/ws_pool.py diff --git a/core/WS.py b/core/WS.py index 12a5413..187db30 100644 --- a/core/WS.py +++ b/core/WS.py @@ -32,7 +32,6 @@ from .utils.exceptions import ( WebSocketError, WebSocketConnectionError ) from .utils.error_codes import ErrorCode, create_error_response -from .ws_pool import WSConnectionPool class WS: @@ -40,14 +39,13 @@ class WS: WebSocket 客户端，负责与 OneBot v11 实现进行底层通信。 """ - def __init__(self, code_executor: Optional[CodeExecutor] = None, use_pool: bool = True) -> None: + def __init__(self, code_executor: Optional[CodeExecutor] = None) -> None: """ 初始化 WebSocket 客户端。 从全局配置中读取 WebSocket URI、访问令牌（Token）和重连间隔。 :param code_executor: 代码执行器实例 - :param use_pool: 是否使用连接池 """ # 读取参数 cfg = global_config.napcat_ws @@ -61,8 +59,6 @@ class WS: self.bot: 'Bot' | None = None self.self_id: int | None = None self.code_executor = code_executor - self.use_pool = use_pool - self.pool: Optional[WSConnectionPool] = None # 创建模块专用日志记录器 self.logger = ModuleLogger("WebSocket") @@ -76,109 +72,39 @@ class WS: """ headers = {"Authorization": f"Bearer {self.token}"} if self.token else {} - if self.use_pool: - # 使用连接池模式 - self.pool = WSConnectionPool(pool_size=3) - await self.pool.initialize() - self.logger.success("WebSocket 连接池初始化完成") - - # 启动连接池监听循环 - await self._pool_listen_loop() - else: - # 单连接模式 - while True: - try: - self.logger.info(f"正在尝试连接至 NapCat: {self.url}") - async with websockets.connect( - self.url, additional_headers=headers - ) as websocket_raw: - websocket = cast(WebSocketClientProtocol, websocket_raw) - self.ws = websocket - self.logger.success("连接成功！") - await self._listen_loop(websocket) - - except ( - websockets.exceptions.ConnectionClosed, - ConnectionRefusedError, - ) as e: - conn_error = WebSocketConnectionError( - message=f"WebSocket连接失败: {str(e)}", - code=ErrorCode.WS_CONNECTION_FAILED, - original_error=e - ) - self.logger.error(f"连接失败: {conn_error.message}") - self.logger.log_custom_exception(conn_error) - except Exception as e: - error = WebSocketError( - message=f"WebSocket运行异常: {str(e)}", - code=ErrorCode.WS_MESSAGE_ERROR, - original_error=e - ) - self.logger.exception(f"运行异常: {error.message}") - self.logger.log_custom_exception(error) - - self.logger.info(f"{self.reconnect_interval}秒后尝试重连...") - await asyncio.sleep(self.reconnect_interval) - - async def _pool_listen_loop(self): - """ - 连接池模式下的监听循环 - """ while True: try: - # 从连接池获取一个连接 - # 使用 connection 上下文管理器确保释放 - async with self.pool.connection() as conn: - try: - # 监听连接上的消息 - async for message in conn.conn: - await self._handle_message(message, conn) - except Exception as e: - self.logger.error(f"连接 {conn.conn_id} 监听异常: {e}") + self.logger.info(f"正在尝试连接至 NapCat: {self.url}") + async with websockets.connect( + self.url, additional_headers=headers + ) as websocket_raw: + websocket = cast(WebSocketClientProtocol, websocket_raw) + self.ws = websocket + self.logger.success("连接成功！") + await self._listen_loop(websocket) + + except ( + websockets.exceptions.ConnectionClosed, + ConnectionRefusedError, + ) as e: + conn_error = WebSocketConnectionError( + message=f"WebSocket连接失败: {str(e)}", + code=ErrorCode.WS_CONNECTION_FAILED, + original_error=e + ) + self.logger.error(f"连接失败: {conn_error.message}") + self.logger.log_custom_exception(conn_error) except Exception as e: - self.logger.error(f"连接池监听循环异常: {e}") - await asyncio.sleep(self.reconnect_interval) - - async def _handle_message(self, message: str, conn): - """ - 处理从连接池获取的消息 - """ - try: - data = orjson.loads(message) + error = WebSocketError( + message=f"WebSocket运行异常: {str(e)}", + code=ErrorCode.WS_MESSAGE_ERROR, + original_error=e + ) + self.logger.exception(f"运行异常: {error.message}") + self.logger.log_custom_exception(error) - # 1. 处理 API 响应 - # 如果消息中包含 echo 字段，说明是 API 调用的响应 - echo_id = data.get("echo") - if echo_id and echo_id in self._pending_requests: - future = self._pending_requests.pop(echo_id) - if not future.done(): - future.set_result(data) - return - - # 2. 处理上报事件 - # 如果消息中包含 post_type 字段，说明是 OneBot 上报的事件 - if "post_type" in data: - # 使用 create_task 异步执行，避免阻塞 WebSocket 接收循环 - asyncio.create_task(self.on_event(data)) - - except orjson.JSONDecodeError as e: - error = WebSocketError( - message=f"JSON解析失败: {str(e)}", - code=ErrorCode.WS_MESSAGE_ERROR, - original_error=e - ) - self.logger.error(f"解析消息异常: {error.message}") - # 如果message是bytes类型，需要先解码 - decoded_message = message.decode('utf-8') if isinstance(message, bytes) else message - self.logger.debug(f"原始消息: {decoded_message}") - except Exception as e: - error = WebSocketError( - message=f"处理消息异常: {str(e)}", - code=ErrorCode.WS_MESSAGE_ERROR, - original_error=e - ) - self.logger.exception(f"解析消息异常: {error.message}") - self.logger.log_custom_exception(error) + self.logger.info(f"{self.reconnect_interval}秒后尝试重连...") + await asyncio.sleep(self.reconnect_interval) async def _listen_loop(self, websocket_connection: WebSocketClientProtocol) -> None: """ @@ -295,6 +221,23 @@ class WS: ) self.logger.log_custom_exception(error) + async def close(self) -> None: + """ + 关闭 WebSocket 客户端，释放资源。 + """ + self.logger.info("正在关闭 WebSocket 客户端...") + + if self.ws: + await self.ws.close() + + # 取消所有挂起的请求 + for future in self._pending_requests.values(): + if not future.done(): + future.cancel() + self._pending_requests.clear() + + self.logger.success("WebSocket 客户端已关闭") + async def call_api(self, action: str, params: Optional[Dict[Any, Any]] = None) -> Dict[Any, Any]: """ 向 OneBot v11 实现端发送一个 API 请求。 @@ -310,102 +253,47 @@ class WS: dict: OneBot API 的响应数据。如果超时或连接断开，则返回一个 表示失败的字典。 """ - if self.use_pool: - # 使用连接池模式 - if not self.pool: - self.logger.error("调用 API 失败: WebSocket 连接池未初始化") - return create_error_response( - code=ErrorCode.WS_DISCONNECTED, - message="WebSocket连接池未初始化", - data={"action": action, "params": params} - ) - - # 从连接池获取一个连接 - try: - async with self.pool.connection() as conn: - echo_id = str(uuid.uuid4()) - payload = {"action": action, "params": params or {}, "echo": echo_id} + if not self.ws: + self.logger.error("调用 API 失败: WebSocket 未初始化") + return create_error_response( + code=ErrorCode.WS_DISCONNECTED, + message="WebSocket未初始化", + data={"action": action, "params": params} + ) - await conn.send(orjson.dumps(payload)) + from websockets.protocol import State - # 在当前连接上等待特定 echo 的响应，并设置超时 - try: - async def wait_for_response(): - async for message in conn.conn: - data = orjson.loads(message) - - # 检查是否是我们要的响应 - if data.get("echo") == echo_id: - return data - - # 如果不是，可能是事件，需要分发 - if "post_type" in data: - asyncio.create_task(self.on_event(data)) - - return await asyncio.wait_for(wait_for_response(), timeout=30.0) + if getattr(self.ws, "state", None) is not State.OPEN: + self.logger.error("调用 API 失败: WebSocket 连接未打开") + return create_error_response( + code=ErrorCode.WS_DISCONNECTED, + message="WebSocket连接未打开", + data={"action": action, "params": params} + ) - except asyncio.TimeoutError: - raise # 重新抛出超时异常 - except Exception as e: - raise WebSocketError(f"在等待API响应时连接出错: {e}") + echo_id = str(uuid.uuid4()) + payload = {"action": action, "params": params or {}, "echo": echo_id} - except asyncio.TimeoutError: - self.logger.warning(f"API 调用超时: action={action}, params={params}") - return create_error_response( - code=ErrorCode.TIMEOUT_ERROR, - message="API调用超时", - data={"action": action, "params": params} - ) - except Exception as e: - self.logger.exception(f"API 调用异常: action={action}, error={str(e)}") - return create_error_response( - code=ErrorCode.WS_MESSAGE_ERROR, - message=f"API调用异常: {str(e)}", - data={"action": action, "params": params} - ) - else: - # 单连接模式 - if not self.ws: - self.logger.error("调用 API 失败: WebSocket 未初始化") - return create_error_response( - code=ErrorCode.WS_DISCONNECTED, - message="WebSocket未初始化", - data={"action": action, "params": params} - ) + loop = asyncio.get_running_loop() + future = loop.create_future() + self._pending_requests[echo_id] = future - from websockets.protocol import State - - if getattr(self.ws, "state", None) is not State.OPEN: - self.logger.error("调用 API 失败: WebSocket 连接未打开") - return create_error_response( - code=ErrorCode.WS_DISCONNECTED, - message="WebSocket连接未打开", - data={"action": action, "params": params} - ) - - echo_id = str(uuid.uuid4()) - payload = {"action": action, "params": params or {}, "echo": echo_id} - - loop = asyncio.get_running_loop() - future = loop.create_future() - self._pending_requests[echo_id] = future - - try: - await self.ws.send(orjson.dumps(payload)) - return await asyncio.wait_for(future, timeout=30.0) - except asyncio.TimeoutError: - self._pending_requests.pop(echo_id, None) - self.logger.warning(f"API 调用超时: action={action}, params={params}") - return create_error_response( - code=ErrorCode.TIMEOUT_ERROR, - message="API调用超时", - data={"action": action, "params": params} - ) - except Exception as e: - self._pending_requests.pop(echo_id, None) - self.logger.exception(f"API 调用异常: action={action}, error={str(e)}") - return create_error_response( - code=ErrorCode.WS_MESSAGE_ERROR, - message=f"API调用异常: {str(e)}", - data={"action": action, "params": params} - ) + try: + await self.ws.send(orjson.dumps(payload)) + return await asyncio.wait_for(future, timeout=30.0) + except asyncio.TimeoutError: + self._pending_requests.pop(echo_id, None) + self.logger.warning(f"API 调用超时: action={action}, params={params}") + return create_error_response( + code=ErrorCode.TIMEOUT_ERROR, + message="API调用超时", + data={"action": action, "params": params} + ) + except Exception as e: + self._pending_requests.pop(echo_id, None) + self.logger.exception(f"API 调用异常: action={action}, error={str(e)}") + return create_error_response( + code=ErrorCode.WS_MESSAGE_ERROR, + message=f"API调用异常: {str(e)}", + data={"action": action, "params": params} + ) diff --git a/core/api/base.py b/core/api/base.py index cebb1b4..b02b8a4 100644 --- a/core/api/base.py +++ b/core/api/base.py @@ -38,15 +38,26 @@ class BaseAPI: try: # 日志记录前，对敏感或过长的参数进行处理 log_params = copy.deepcopy(params) - if 'message' in log_params: - if isinstance(log_params['message'], list): - for segment in log_params['message']: - if segment.get('type') == 'image' and 'file' in segment.get('data', {}): - file_data = segment['data']['file'] - if file_data.startswith('data:image/'): - segment['data']['file'] = f"{file_data[:50]}... (base64 truncated)" - elif isinstance(log_params['message'], str) and log_params['message'].startswith('data:image/'): - log_params['message'] = f"{log_params['message'][:50]}... (base64 truncated)" + + # 处理各种可能包含base64数据的字段 + def truncate_base64_recursive(obj): + """递归处理可能包含base64数据的对象""" + if isinstance(obj, dict): + for key, value in obj.items(): + if isinstance(value, str): + if value.startswith('data:image/') or value.startswith('data:video/') or value.startswith('data:audio/'): + obj[key] = f"{value[:50]}... (base64 truncated)" + elif len(value) > 100 and ('/' in value[:50] and '+' in value[:50] and '=' in value[-10:]): + # 检查是否是base64编码的字符串 + obj[key] = f"{value[:50]}... (base64-like truncated)" + elif isinstance(value, (dict, list)): + truncate_base64_recursive(value) + elif isinstance(obj, list): + for item in obj: + if isinstance(item, (dict, list)): + truncate_base64_recursive(item) + + truncate_base64_recursive(log_params) # 如果是发送消息的动作，则原子化地增加发送消息总数 if action in ["send_private_msg", "send_group_msg", "send_msg"]: @@ -62,8 +73,13 @@ class BaseAPI: logger.error(f"发送消息计数失败: {e}") logger.debug(f"调用API -> action: {action}, params: {log_params}") + response = await self._ws.call_api(action, params) - logger.debug(f"API响应 <- {response}") + + # 对响应也做类似的处理 + log_response = copy.deepcopy(response) + truncate_base64_recursive(log_response) + logger.debug(f"API响应 <- {log_response}") if response.get("status") == "failed": logger.warning(f"API调用失败: {response}") diff --git a/core/ws_pool.py b/core/ws_pool.py deleted file mode 100644 index 80a96f7..0000000 --- a/core/ws_pool.py +++ /dev/null @@ -1,328 +0,0 @@ -""" -WebSocket 连接池模块 - -该模块实现了 WebSocket 连接池功能，用于管理多个 WebSocket 连接， -提高并发处理能力和连接复用效率。 -""" -import asyncio -import websockets -from websockets.legacy.client import WebSocketClientProtocol -from typing import Optional, Dict, Any, cast, Union, AsyncGenerator -import uuid -from loguru import logger -import contextlib - -from .config_loader import global_config -from .utils.exceptions import WebSocketError, WebSocketConnectionError - - -class WSConnection: - """ - WebSocket 连接包装类 - - 封装单个 WebSocket 连接的状态和操作 - """ - def __init__(self, conn: WebSocketClientProtocol, conn_id: str): - self.conn = conn - self.conn_id = conn_id - self.last_used = asyncio.get_event_loop().time() - self.is_active = True - self._pending_requests: Dict[str, asyncio.Future] = {} - - async def send(self, data: Union[Dict[Any, Any], bytes]): - """ - 发送数据到 WebSocket 连接 - """ - if not self.is_active: - raise WebSocketError(f"连接 {self.conn_id} 已关闭") - - try: - await self.conn.send(data) - self.last_used = asyncio.get_event_loop().time() - except Exception as e: - self.is_active = False - raise WebSocketError(f"发送数据失败: {e}") - - async def recv(self): - """ - 从 WebSocket 连接接收数据 - """ - if not self.is_active: - raise WebSocketError(f"连接 {self.conn_id} 已关闭") - - try: - data = await self.conn.recv() - self.last_used = asyncio.get_event_loop().time() - return data - except Exception as e: - self.is_active = False - raise WebSocketError(f"接收数据失败: {e}") - - async def ping(self, timeout: int = 5) -> bool: - """ - 对 WebSocket 连接执行 ping-pong 健康检查 - """ - if not self.is_active: - return False - try: - # 使用 wait_for 包装 ping - pong_waiter = await self.conn.ping() - await asyncio.wait_for(pong_waiter, timeout=timeout) - return True - except (asyncio.TimeoutError, websockets.exceptions.ConnectionClosed, Exception): - self.is_active = False - return False - - async def close(self): - """ - 关闭 WebSocket 连接 - """ - if self.is_active: - self.is_active = False - try: - await self.conn.close() - except Exception: - pass - - -class WSConnectionPool: - """ - WebSocket 连接池 - - 管理多个 WebSocket 连接，提供连接的获取、释放和回收功能 - """ - def __init__(self, pool_size: int = 3, max_idle_time: int = 300): - """ - 初始化连接池 - - :param pool_size: 连接池大小 - :param max_idle_time: 连接最大空闲时间（秒） - """ - self.pool_size = pool_size - self.max_idle_time = max_idle_time - self.pool: asyncio.Queue[WSConnection] = asyncio.Queue(maxsize=pool_size) - self._closed = False - self._cleanup_task: Optional[asyncio.Task] = None - self._current_size = 0 # 当前管理的连接数（包括池中和借出的） - self._lock = asyncio.Lock() # 用于保护 _current_size 的修改 - - # 从全局配置读取参数 - self.url = global_config.napcat_ws.uri - self.token = global_config.napcat_ws.token - self.reconnect_interval = global_config.napcat_ws.reconnect_interval - - logger.info(f"WebSocket 连接池初始化完成，大小: {pool_size}") - - async def initialize(self): - """ - 初始化连接池，创建初始连接 - """ - if self._closed: - raise WebSocketError("连接池已关闭") - - # 启动连接清理任务 - self._cleanup_task = asyncio.create_task(self._cleanup_idle_connections()) - - # 预热连接池 - for _ in range(self.pool_size): - try: - conn = await self._create_connection() - await self.pool.put(conn) - async with self._lock: - self._current_size += 1 - logger.info(f"WebSocket 连接 {conn.conn_id} 已创建并加入连接池") - except Exception as e: - logger.error(f"创建初始连接失败: {e}") - # 初始连接失败不抛出异常，允许后续动态创建 - - async def _create_connection(self) -> WSConnection: - """ - 创建新的 WebSocket 连接 - """ - headers = {"Authorization": f"Bearer {self.token}"} if self.token else {} - - try: - conn_id = str(uuid.uuid4()) - websocket_raw = await websockets.connect( - self.url, additional_headers=headers - ) - websocket = cast(WebSocketClientProtocol, websocket_raw) - - conn = WSConnection(websocket, conn_id) - logger.info(f"WebSocket 连接 {conn_id} 已建立") - return conn - except Exception as e: - raise WebSocketConnectionError(f"创建 WebSocket 连接失败: {e}") - - @contextlib.asynccontextmanager - async def connection(self) -> AsyncGenerator[WSConnection, None]: - """ - 获取连接的上下文管理器 - """ - conn = await self.get_connection() - try: - yield conn - finally: - await self.release_connection(conn) - - async def get_connection(self) -> WSConnection: - """ - 从连接池获取一个健康的连接，包含健康检查。 - """ - if self._closed: - raise WebSocketError("连接池已关闭") - - start_time = asyncio.get_event_loop().time() - timeout = 10 # 获取连接的总超时时间 - - while True: - if asyncio.get_event_loop().time() - start_time > timeout: - raise WebSocketError("获取连接超时") - - try: - # 1. 尝试从池中获取 - conn = self.pool.get_nowait() - - # 健康检查 - if await conn.ping(): - logger.debug(f"连接 {conn.conn_id} 健康检查通过") - return conn - else: - logger.warning(f"连接 {conn.conn_id} 健康检查失败，丢弃") - await conn.close() - async with self._lock: - self._current_size -= 1 - # 继续循环，尝试获取下一个或创建新的 - continue - - except asyncio.QueueEmpty: - # 池为空，检查是否可以创建新连接 - async with self._lock: - if self._current_size < self.pool_size: - # 有配额，创建新连接 - self._current_size += 1 # 先占位 - create_new = True - else: - create_new = False - - if create_new: - try: - conn = await self._create_connection() - return conn - except Exception as e: - async with self._lock: - self._current_size -= 1 # 回滚占位 - logger.error(f"创建新连接失败: {e}") - await asyncio.sleep(1) # 避免快速失败循环 - continue - else: - # 没有配额，等待池中有可用连接 - try: - conn = await asyncio.wait_for(self.pool.get(), timeout=1.0) - # 获取到了，进行健康检查（在下一次循环中处理，或者这里直接处理） - # 为了代码复用，我们把 conn 放回去（或者直接用），这里直接用 - if await conn.ping(): - return conn - else: - await conn.close() - async with self._lock: - self._current_size -= 1 - continue - except asyncio.TimeoutError: - continue - - async def release_connection(self, conn: WSConnection): - """ - 释放连接回连接池 - """ - if self._closed: - await conn.close() - return - - if not conn.is_active: - logger.warning(f"连接 {conn.conn_id} 已失效，不返回连接池") - await conn.close() - async with self._lock: - self._current_size -= 1 - return - - try: - # 尝试放回池中 - self.pool.put_nowait(conn) - logger.debug(f"连接 {conn.conn_id} 已返回连接池") - except asyncio.QueueFull: - # 理论上不应该发生，除非 _current_size 逻辑有误 - logger.warning(f"连接池已满，关闭多余连接 {conn.conn_id}") - await conn.close() - async with self._lock: - self._current_size -= 1 - except Exception as e: - logger.error(f"释放连接失败: {e}") - await conn.close() - async with self._lock: - self._current_size -= 1 - - async def _cleanup_idle_connections(self): - """ - 清理空闲连接任务 - """ - while not self._closed: - await asyncio.sleep(60) # 每分钟检查一次 - - try: - # 我们不替换队列，而是取出检查再放回 - # 这样比较安全，但可能会暂时清空池子 - # 更好的做法是只检查队头的连接 - - # 获取当前队列大小 - qsize = self.pool.qsize() - for _ in range(qsize): - try: - conn = self.pool.get_nowait() - except asyncio.QueueEmpty: - break - - current_time = asyncio.get_event_loop().time() - if current_time - conn.last_used > self.max_idle_time: - logger.info(f"清理空闲连接 {conn.conn_id}") - await conn.close() - async with self._lock: - self._current_size -= 1 - else: - # 还没过期，放回去 - try: - self.pool.put_nowait(conn) - except asyncio.QueueFull: - # 竞争条件下可能满了 - await conn.close() - async with self._lock: - self._current_size -= 1 - except Exception as e: - logger.error(f"清理空闲连接失败: {e}") - - async def close(self): - """ - 关闭连接池 - """ - if self._closed: - return - - self._closed = True - - # 停止清理任务 - if self._cleanup_task: - self._cleanup_task.cancel() - try: - await self._cleanup_task - except asyncio.CancelledError: - pass - - # 关闭所有连接 - while not self.pool.empty(): - try: - conn = self.pool.get_nowait() - await conn.close() - except asyncio.QueueEmpty: - break - - logger.info("WebSocket 连接池已关闭") diff --git a/main.py b/main.py index 0e81884..f553846 100644 --- a/main.py +++ b/main.py @@ -158,12 +158,13 @@ async def main(): else: logger.warning(f"插件目录不存在 {plugin_path}") + websocket_client = None try: # 初始化代码执行器 code_executor = initialize_executor(config) - # 使用连接池模式初始化 WebSocket 客户端 - websocket_client = WS(code_executor=code_executor, use_pool=True) + # 初始化 WebSocket 客户端 + websocket_client = WS(code_executor=code_executor) # 启动代码执行器的后台 worker logger.debug("[Main] 检查是否需要启动代码执行 Worker...") @@ -174,10 +175,21 @@ async def main(): logger.warning("[Main] 未启动代码执行 Worker，因为 Docker 客户端未初始化或连接失败。") await websocket_client.connect() + except asyncio.CancelledError: + logger.info("主任务被取消，正在停止...") finally: + logger.info("正在清理资源...") if observer.is_alive(): observer.stop() observer.join() + + if websocket_client: + await websocket_client.close() + + # 关闭浏览器管理器 + await browser_manager.shutdown() + + logger.success("资源清理完成，程序退出。") if __name__ == "__main__": @@ -193,8 +205,9 @@ if __name__ == "__main__": try: asyncio.run(main()) except KeyboardInterrupt: - main_logger.info("程序已被用户中断") - exit(0) + # 捕获 KeyboardInterrupt，不做任何操作，让 asyncio.run 正常结束 + # 这样 main 函数中的 finally 块会被执行 + pass except Exception as e: main_logger.exception("程序发生未处理的全局异常") From 70fb6b340d61b847ed15978272ed7394e8978143 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=95=80=E9=93=AC=E9=85=B8=E9=92=BE?= <148796996+K2cr2O1@users.noreply.github.com> Date: Fri, 23 Jan 2026 18:27:52 +0800 Subject: [PATCH 2/6] Rename WS.py to ws.py --- core/{WS.py => ws.py} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename core/{WS.py => ws.py} (100%) diff --git a/core/WS.py b/core/ws.py similarity index 100% rename from core/WS.py rename to core/ws.py From c38536379082a2ff8e4c5db1a4213b69a8a0ee44 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=95=80=E9=93=AC=E9=85=B8=E9=92=BE?= <148796996+K2cr2O1@users.noreply.github.com> Date: Fri, 23 Jan 2026 18:42:02 +0800 Subject: [PATCH 3/6] Dev (#56) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * 滚木 * feat: 重构核心架构，增强类型安全与插件管理 本次提交对核心模块进行了深度重构，引入 Pydantic 增强配置管理的类型安全性，并全面优化了插件管理系统。 主要变更详情： 1. 核心架构与配置 - 重构配置加载模块：引入 Pydantic 模型 (`core/config_models.py`)，提供严格的配置项类型检查、验证及默认值管理。 - 统一模块结构：规范化模块导入路径，移除冗余的 `__init__.py` 文件，提升项目结构的清晰度。 - 性能优化：集成 Redis 缓存支持 (`RedisManager`)，有效降低高频 API 调用开销，提升响应速度。 2. 插件系统升级 - 实现热重载机制：新增插件文件变更监听功能，支持开发过程中自动重载插件，提升开发效率。 - 优化生命周期管理：改进插件加载与卸载逻辑，支持精确卸载指定插件及其关联的命令、事件处理器和定时任务。 3. 功能特性增强 - 新增媒体 API：引入 `MediaAPI` 模块，封装图片、语音等富媒体资源的获取与处理接口。 - 完善权限体系：重构权限管理系统，实现管理员与操作员的分级控制，支持更细粒度的命令权限校验。 4. 代码质量与稳定性 - 全面类型修复：解决 `mypy` 静态类型检查发现的大量类型错误（包括 `CommandManager`、`EventFactory` 及 `Bot` API 签名不匹配问题）。 - 增强错误处理：优化消息处理管道的异常捕获机制，完善关键路径的日志记录，提升系统运行稳定性。 * feat: 添加测试用例并优化代码结构 refactor(permission_manager): 调整初始化顺序和逻辑 fix(admin_manager): 修复初始化逻辑和目录创建问题 feat(ws): 优化Bot实例初始化条件 feat(message): 增强MessageSegment功能并添加测试 feat(events): 支持字符串格式的消息解析 test: 添加核心功能测试用例 refactor(plugin_manager): 改进插件路径处理 style: 清理无用导入和代码 chore: 更新依赖项 * refactor(handler): 移除TYPE_CHECKING并直接导入Bot类 简化类型注解，直接导入Bot类而非使用TYPE_CHECKING条件导入，提高代码可读性和维护性 * fix(command_manager): 修复插件卸载时元信息移除不精确的问题 修复 CommandManager 中 unload_plugin 方法移除插件元信息时使用 startswith 导致可能误删其他插件的问题，改为精确匹配 同时调整相关测试用例验证精确匹配行为 * refactor: 清理未使用的导入和更新文档结构 docs: 添加config_models.py到项目结构文档 docs: 调整数据目录位置到core/data下 docs: 更新权限管理器文档描述 * 文档更新 * 更新thpic插件 支持一次返回多张图 * feat: 添加测试覆盖率并修复相关问题 refactor(redis_manager): 移除冗余的ConnectionError处理 refactor(event_handler): 优化Bot类型注解 refactor(factory): 移除未使用的GroupCardNoticeEvent test: 添加全面的单元测试覆盖 - 添加test_import.py测试模块导入 - 添加test_debug.py测试插件加载调试 - 添加test_plugin_error.py测试错误处理 - 添加test_config_loader.py测试配置加载 - 添加test_redis_manager.py测试Redis管理 - 添加test_bot.py测试Bot功能 - 扩展test_models.py测试消息模型 - 添加test_plugin_manager_coverage.py测试插件管理 - 添加test_executor.py测试代码执行器 - 添加test_ws.py测试WebSocket - 添加test_api.py测试API接口 - 添加test_core_managers.py测试核心管理模块 fix(plugin_manager): 修复插件加载日志变量问题 覆盖率已到达86%（忽略插件） * 更新/help指令，现在会发送图片 * feat(help): 重构帮助系统为图片渲染模式 添加浏览器管理器和图片管理器，用于通过 Playwright 渲染帮助菜单为图片 重构命令管理器以支持图片缓存和同步功能 添加 HTML 模板用于帮助菜单渲染 * build: 更新依赖文件 requirements.txt * build: 更新依赖文件 * feat: 添加性能优化和架构文档，更新依赖和核心模块 refactor(browser_manager): 实现页面池机制以提升性能 refactor(image_manager): 添加模板缓存并集成页面池 refactor(bili_parser): 迁移到异步HTTP请求并实现会话复用 docs: 新增性能优化、架构设计和最佳实践文档 chore: 更新requirements.txt添加新依赖 * docs: 更新文档内容并优化语言风格 重构所有文档内容，使用更简洁直接的语言风格 更新架构、插件开发、部署等核心文档 优化代码示例和图表说明 统一术语和格式规范 * docs: 更新文档内容，简化语言并修正格式 - 简化插件开发指南中的描述，移除冗余内容 - 调整部署文档中的Python版本说明 - 优化最佳实践文档的措辞和格式 - 更新性能优化文档，删除不准确的数据 - 重构核心概念文档，使用更简洁的语言 - 修正README中的项目描述和技术栈说明 - 更新快速上手文档，简化安装步骤 - 调整事件流转文档的描述方式 - 简化架构文档内容 - 更新指令处理文档，添加参数注入示例 - 优化单例管理器文档的表述 * refactor(core): 优化权限管理和事件模型 - 重构 AdminManager 和 PermissionManager 以 Redis 为主要数据源 - 为所有事件模型添加 slots=True 提升性能 - 更新文档说明 Mypyc 编译注意事项 - 清理测试和调试文件 - 移动静态资源到 web_static 目录 * feat: 添加模块编译脚本和导出依赖功能 refactor(events): 移除数据类的slots参数以提升兼容性 build: 更新requirements.txt依赖列表 * docs: 更新性能优化文档并修复命令管理器帮助输出 更新性能优化相关文档，详细说明 Python 3.14 JIT 编译器的使用方法和原理，补充与 Mypyc 的互补策略。同时修复命令管理器中帮助信息的输出方式，移除图片发送仅保留文本输出。 调整部署文档结构，明确两种性能优化方案（AOT 和 JIT）的配置方法和适用场景。完善架构文档中关于 JIT 的原理和启用方式说明。 * feat(help): 重构帮助菜单界面并优化样式 refactor(bili_parser): 修复 API 响应 content-type 问题 fix(command_manager): 添加帮助图片获取的错误处理 docs(deployment): 简化部署文档并移除 JIT 相关内容 * feat: 新增自动同意请求插件和API文档 docs: 更新文档结构和内容 * refactor(scripts): 重构并优化脚本文件结构 feat(scripts): 添加Python环境检查脚本 feat(scripts): 增强依赖导出脚本功能 perf(plugins/bili_parser): 优化B站解析器性能和代码结构 style(plugins/bili_parser): 统一代码风格和常量命名 * fix(scripts): 修复编码问题并添加错误追踪 在compile_machine_code.py中添加utf-8编码设置以避免潜在编码问题 添加traceback.print_exc()以在编译失败时打印完整错误堆栈 更新.gitignore以忽略config.toml文件 * feat(性能分析): 实现性能分析工具模块并添加相关测试 添加性能分析工具模块，包括时间测量、内存分析和性能统计功能 添加测试文件和示例配置，完善性能分析工具的使用场景 在工具模块中实现单例装饰器并导出到__init__.py * feat(douyin_parser): 新增抖音视频解析插件 refactor(performance): 移除未使用的asyncio导入并优化性能测试 style(compile_modules): 修正字符串引号格式 chore: 删除废弃的编译脚本和临时文件 fix(bili_parser): 增强B站链接解析的健壮性 refactor(singleton): 重构单例模式实现 docs: 更新配置文件和事件模型注释 * feat: 添加抖音视频解析插件并优化代码结构 添加抖音视频解析插件，支持自动解析抖音分享链接并提取视频信息。优化现有代码结构，包括： - 重构单例模式实现 - 移除未使用的导入和文件 - 修复性能测试脚本中的异步调用 - 优化消息事件模型中的权限常量定义 - 改进编译脚本的错误处理 - 增强B站解析插件的稳定性 同时清理了多个废弃脚本和临时文件，提升代码可维护性。 * 1 * Delete core/data/temp/help_menu.png * fix(权限管理): 增强权限检查的类型安全并修复权限引用 修复权限检查中可能传入非Permission类型导致的错误，将echo插件的权限引用从MessageEvent.ADMIN迁移到Permission.ADMIN * redis取消tls * feat(github_parser): 添加GitHub仓库信息查询功能 - 新增github_parser插件，支持通过命令或自动解析链接查询GitHub仓库信息 - 添加github_repo.html模板用于渲染仓库信息图片 - 优化图片管理器支持高质量截图和CSS缩放 - 重构消息事件类权限常量定义方式 - 更新帮助页面样式为三列布局并优化响应式设计 * feat(web_parser): 新增通用web链接解析插件框架 refactor: 重构B站、抖音、GitHub解析器为模块化结构 fix(executor): 增强docker容器错误处理和回调稳定性 style(templates): 优化帮助页面和代码执行结果的样式 perf(web_parser): 添加API缓存和消息去重机制 docs: 更新插件元信息和注释 chore: 移除旧的独立解析器插件文件 * refactor(managers): 重构单例管理器实现并优化代码结构 feat(ws_pool): 新增 WebSocket 连接池实现 perf(json): 使用 orjson 替代标准 json 库提升性能 style: 清理未使用的导入和冗余代码 docs: 更新架构文档和开发规范 test: 添加 WebSocket 连接池测试用例 fix(plugins): 修复自动审批插件 API 调用参数格式 * docs: 修正架构描述从单线程改为多线程 更新开发标准文档，将架构描述从"单线程异步架构"修正为"多线程异步架构"，以准确反映实际架构设计 * refactor(permission): 重构权限管理系统，合并管理员管理功能 - 将 admin_manager 功能整合到 permission_manager 中，统一管理 - 采用文件为主、Redis 为辅的架构，确保数据一致性 - 实现原子操作机制，防止数据损坏 - 更新文档说明新的权限管理机制 - 调整相关模块引用和编译配置 * feat: 添加直接发送视频/图片功能并优化临时目录处理 refactor(WS): 使用TYPE_CHECKING优化导入并延迟导入Bot类 refactor(image_manager): 使用系统临时目录替代自定义临时目录 feat(bili/douyin): 添加直接发送视频/图片功能 chore: 删除forward_test插件并添加furry插件 refactor(main): 移除JIT检查代码并优化插件重载逻辑 * refactor(插件管理): 将插件加载逻辑移回main函数 插件加载逻辑从core/managers/__init__.py移回main.py的main函数中执行，使初始化流程更清晰 你妈的循环导入 * refactor(web_parser): 优化URL提取和抖音解析器逻辑 重构URL提取逻辑，合并所有文本段处理分割链接并清理末尾标点 简化抖音解析器实现，移除冗余头部信息并改进URL验证 删除未使用的鸭子示例代码文件 * feat: 添加状态监控插件和Redis原子操作支持 - 新增 `/status` 指令，展示机器人运行状态和系统指标 - 实现Redis Lua脚本支持原子化计数器操作 - 添加消息收发统计功能 - 完善文档，包括插件开发和性能优化指南 - 重构WebSocket连接池，增加健康检查机制 - 移除旧版编译脚本，优化项目结构 * refactor(permission_manager): 移除合并冲突标记和未使用的装饰器 清理代码中的合并冲突标记(HEAD和分支标记)并删除未使用的require_admin装饰器函数，以保持代码整洁 * chore: 清理依赖和文档，优化消息事件类 - 移除不再使用的 psutil 依赖 - 删除文档中多余的进阶阅读部分 - 为消息事件类添加 ClassVar 类型导入并修复文件结尾格式 * fix: 移除重复的代码和文档内容 - 删除main.py中重复的sync_help_pic调用 - 删除plugin_manager.py中重复的__all__声明 - 清理performance.md中已移除的WebSocket连接池文档 * refactor(WS): 使用连接池上下文管理器简化连接管理 重构 WS 类中的连接获取和释放逻辑，使用 connection 上下文管理器确保连接正确释放。 同时改进消息处理循环中的异常处理和连接管理。 refactor(ws_pool): 增强连接池的健壮性和管理能力 1. 添加连接上下文管理器支持 2. 改进连接获取和释放逻辑，增加连接计数和锁保护 3. 优化连接健康检查和清理机制 4. 增强错误处理和日志记录 fix(bot_status): 增加系统信息获取和渲染的错误处理 1. 为系统信息获取添加超时和错误处理 2. 为Redis数据获取添加异常捕获 3. 为图片渲染添加异常处理 4. 改进日志记录和用户反馈 * refactor(compile_machine_code): 优化编译脚本并移除冗余日志 docs(getting-started): 删除中文依赖说明 refactor(image_manager): 简化base64图片生成逻辑 * refactor(api): 简化 dataclass 转换逻辑并添加好友/群列表缓存 移除冗余的 _safe_dataclass_from_dict 工具函数，直接使用 dataclass 的构造方法 添加 get_friend_list 和 get_group_list 方法的缓存支持 修复 get_version_info 的错误 API 调用 * Revert "refactor(WS): 使用连接池上下文管理器简化连接管理" This reverts commit c851b49db9d4575beae5259d7798db8176db9b98. * refactor(websocket): 移除连接池模式并改进资源清理 移除 WebSocket 连接池实现，改为单连接模式以简化代码结构 在 main 函数中添加资源清理逻辑，确保程序退出时正确关闭所有资源 改进 base64 数据处理逻辑，支持递归处理嵌套结构中的敏感数据 呵呵线程池加WS是神人 * feat(core): 添加 WebSocket 核心通信模块实现 实现 WebSocket 客户端类 `WS`，负责与 OneBot v11 建立连接、处理消息和自动重连 * ssss --------- Co-authored-by: baby20162016 <2185823427@qq.com> Co-authored-by: web vscode --- core/bot.py | 1 + plugins/bot_status.py | 61 +++++++++++++++++++++++++++++++++++-------- templates/status.html | 10 ++++++- 3 files changed, 60 insertions(+), 12 deletions(-) diff --git a/core/bot.py b/core/bot.py index 0b16400..c727db4 100644 --- a/core/bot.py +++ b/core/bot.py @@ -39,6 +39,7 @@ class Bot(MessageAPI, GroupAPI, FriendAPI, AccountAPI, MediaAPI): """ super().__init__(ws_client, ws_client.self_id or 0) self.code_executor: Optional["CodeExecutor"] = None + self.nickname: str = "" async def get_group_list(self, no_cache: bool = False) -> List[GroupInfo]: # GroupAPI.get_group_list 不支持 no_cache 参数，这里忽略它 diff --git a/plugins/bot_status.py b/plugins/bot_status.py index 8828533..cab92ed 100644 --- a/plugins/bot_status.py +++ b/plugins/bot_status.py @@ -38,17 +38,38 @@ def _get_system_info(): cpu_percent = psutil.cpu_percent(interval=1) mem_info = psutil.virtual_memory() bot_mem_mb = PROCESS.memory_info().rss / (1024 * 1024) + + # 磁盘信息 + disk_usage = psutil.disk_usage('/') + + # 网络信息 + net_io = psutil.net_io_counters() + return { "cpu_percent": f"{cpu_percent:.1f}", "mem_percent": f"{mem_info.percent:.1f}", + "mem_total": f"{mem_info.total / (1024**3):.1f}", + "mem_used": f"{mem_info.used / (1024**3):.1f}", "bot_mem_mb": f"{bot_mem_mb:.2f}", + "disk_percent": f"{disk_usage.percent:.1f}", + "disk_total": f"{disk_usage.total / (1024**3):.1f}", + "disk_used": f"{disk_usage.used / (1024**3):.1f}", + "net_sent": f"{net_io.bytes_sent / (1024**2):.1f}", + "net_recv": f"{net_io.bytes_recv / (1024**2):.1f}", } except Exception as e: logger.error(f"获取系统信息失败: {e}") return { "cpu_percent": "N/A", "mem_percent": "N/A", + "mem_total": "N/A", + "mem_used": "N/A", "bot_mem_mb": "N/A", + "disk_percent": "N/A", + "disk_total": "N/A", + "disk_used": "N/A", + "net_sent": "N/A", + "net_recv": "N/A", } @matcher.command("status", "状态") @@ -60,18 +81,22 @@ async def handle_status(bot: Bot, event: MessageEvent, args: list[str]): try: # 1. 获取API信息 (增加独立错误处理) - try: - # 优先使用 get_stranger_info 获取自身信息，比 get_login_info 更轻量 - stranger_info = await bot.get_stranger_info(user_id=bot.self_id) - nickname = stranger_info.nickname - except Exception as e: - logger.warning(f"获取 stranger_info 失败: {e}, 将回退到 login_info") + # 尝试获取或更新 bot.nickname + if not hasattr(bot, "nickname") or not bot.nickname: try: - login_info = await bot.get_login_info() - nickname = login_info.nickname - except Exception as e2: - logger.warning(f"获取 login_info 也失败了: {e2}") - nickname = "获取失败" + # 优先使用 get_stranger_info 获取自身信息，比 get_login_info 更轻量 + stranger_info = await bot.get_stranger_info(user_id=bot.self_id) + bot.nickname = stranger_info.nickname + except Exception as e: + logger.warning(f"获取 stranger_info 失败: {e}, 将回退到 login_info") + try: + login_info = await bot.get_login_info() + bot.nickname = login_info.nickname + except Exception as e2: + logger.warning(f"获取 login_info 也失败了: {e2}") + bot.nickname = "获取失败" + + nickname = bot.nickname # 状态信息：如果能响应此命令，说明机器人必然在线且状态良好 # 这避免了依赖可能超时或未实现的 get_status API @@ -138,14 +163,28 @@ async def handle_status(bot: Bot, event: MessageEvent, args: list[str]): system_data = { "cpu_percent": "Timeout", "mem_percent": "Timeout", + "mem_total": "Timeout", + "mem_used": "Timeout", "bot_mem_mb": "Timeout", + "disk_percent": "Timeout", + "disk_total": "Timeout", + "disk_used": "Timeout", + "net_sent": "Timeout", + "net_recv": "Timeout", } except Exception as e: logger.error(f"获取系统信息异常: {e}") system_data = { "cpu_percent": "Error", "mem_percent": "Error", + "mem_total": "Error", + "mem_used": "Error", "bot_mem_mb": "Error", + "disk_percent": "Error", + "disk_total": "Error", + "disk_used": "Error", + "net_sent": "Error", + "net_recv": "Error", } # 5. 准备模板所需的所有数据 diff --git a/templates/status.html b/templates/status.html index aef197d..af937c4 100644 --- a/templates/status.html +++ b/templates/status.html @@ -223,12 +223,20 @@
  • 内存占用 - {{ system.mem_percent }}% + {{ system.mem_percent }}% ({{ system.mem_used }}G / {{ system.mem_total }}G)
  • Bot 进程内存 {{ system.bot_mem_mb }} MB
    • +
  • + 磁盘占用 + {{ system.disk_percent }}% ({{ system.disk_used }}G / {{ system.disk_total }}G) +
    • +
  • + 网络流量 (↑/↓) + {{ system.net_sent }}MB / {{ system.net_recv }}MB +
    • From 2397213709bf1bad85d44de27c73e4640354ec50 Mon Sep 17 00:00:00 2001 From: baby20162016 <2185823427@qq.com> Date: Sat, 24 Jan 2026 09:34:57 +0800 Subject: [PATCH 4/6] =?UTF-8?q?=E6=9B=B4=E6=96=B0=E5=A4=A9=E6=B0=94?= =?UTF-8?q?=E6=8F=92=E4=BB=B6v1.0.0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- plugins/weather.py | 240 +++++++++++++++++++++++++++++++ templates/weather.html | 312 +++++++++++++++++++++++++++++++++++++++++ 2 files changed, 552 insertions(+) create mode 100644 plugins/weather.py create mode 100644 templates/weather.html diff --git a/plugins/weather.py b/plugins/weather.py new file mode 100644 index 0000000..ec1ceea --- /dev/null +++ b/plugins/weather.py @@ -0,0 +1,240 @@ +# -*- coding: utf-8 -*- +import re +from datetime import datetime +from typing import Any, Dict, List + +import requests + +from core.managers.command_manager import matcher +from core.managers.image_manager import image_manager +from core.utils.logger import logger +from models import MessageEvent, MessageSegment + +# 插件元数据 +__plugin_meta__ = { + "name": "weather", + "description": "查询天气信息，支持中国天气网数据。", + "usage": "/天气 [城市代码] - 查询指定城市的天气信息\n例如：/天气 101190207 (南京)", +} + +# 城市代码映射（可以扩展） +CITY_CODES = { + "北京": "101010100", + "上海": "101020100", + "广州": "101280101", + "深圳": "101280601", + "南京": "101190101", + "苏州": "101190401", + "杭州": "101210101", + "武汉": "101200101", + "成都": "101270101", + "重庆": "101040100", + "西安": "101110101", + "天津": "101030100", + "沈阳": "101070101", + "大连": "101070201", + "青岛": "101120201", + "济南": "101120101", + "郑州": "101180101", + "长沙": "101250101", + "南昌": "101240101", + "合肥": "101220101", + "福州": "101230101", + "厦门": "101230201", + "南宁": "101300101", + "海口": "101310101", + "昆明": "101290101", + "贵阳": "101260101", + "拉萨": "101140101", + "兰州": "101160101", + "西宁": "101150101", + "银川": "101170101", + "乌鲁木齐": "101130101", + "哈尔滨": "101050101", + "长春": "101060101", + "呼和浩特": "101080101", + "太原": "101100101", + "石家庄": "101090101", +} + +HEADERS = { + "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" +} + + +def get_weather_data(city_code: str) -> Dict[str, Any]: + """ + 获取天气数据 + + Args: + city_code (str): 城市代码 + + Returns: + Dict[str, Any]: 包含城市信息和天气数据的字典 + """ + try: + url = f"https://www.weather.com.cn/weather/{city_code}.shtml" + response = requests.get(url, headers=HEADERS, timeout=10) + response.encoding = "utf-8" + html_content = response.text + + # 提取城市信息 + city_info = ( + html_content.split('")[0] + .strip() + ) + + city_parts = [] + city_parts.append(city_info.split("")[-1].split("")[0]) + + if city_info.count("_blank") == 1: + city_parts.append( + city_info.split(">")[-1] + .replace("", "") + .replace("", "") + .strip() + ) + else: + additional_parts = ( + city_info.split('target="_blank">')[-1] + .replace("> ", "") + .replace("", "") + .split("") + ) + city_parts.extend(additional_parts) + + city_name = " ".join([part for part in city_parts if part.strip()]) + + # 提取天气信息 + weather_data = [] + for i in range(7): + try: + weather_info = ( + html_content.split('
      ')[-1] + .split('on">')[1] + .split("")[i] + ) + + day = weather_info.split("

      ")[-1].split("

      ")[0].strip() + weather = ( + weather_info.split('

      ')[0] + .strip() + ) + + tem = ( + weather_info.split("")[-1] + .split("")[0] + .replace("/", " / ") + .strip() + ) + if len(tem) > 10: + tem = weather_info.split("")[1].split("")[0].strip() + + wind = weather_info.split('')[0] + .replace('" class="', " / ") + ) + else: + wind_direction.append( + wind[1].split('">')[0].replace('" class="', " / ") + ) + wind_power = weather_info.split("")[-1].split("")[0].strip() + + wind_direction_str = ( + " / ".join(wind_direction) if wind_direction else "未知" + ) + + weather_data.append( + { + "day": day, + "weather": weather, + "temperature": tem, + "wind_power": wind_power, + "wind_direction": wind_direction_str, + } + ) + + except (IndexError, ValueError) as e: + logger.warning(f"解析第{i + 1}天天气数据失败: {e}") + continue + + return { + "city_name": city_name, + "weather_data": weather_data, + "query_time": datetime.now().strftime("%Y-%m-%d %H:%M:%S"), + "timestamp": datetime.now().strftime("%Y年%m月%d日 %H:%M"), + } + + except Exception as e: + logger.error(f"获取天气数据失败: {e}") + return None + + +@matcher.command("天气") +async def handle_weather(bot, event: MessageEvent, args: List[str]): + """ + 处理天气查询指令 + + Args: + bot: Bot实例 + event: 消息事件 + args: 指令参数 + """ + if not args: + # 显示支持的城市列表 + city_list = "\n".join( + [f"{name}: {code}" for name, code in list(CITY_CODES.items())[:10]] + ) + reply_msg = f"请指定城市名称或城市代码，例如：\n/天气 北京\n/天气 101010100\n\n支持的城市：\n{city_list}\n..." + await event.reply(reply_msg) + return + + city_input = args[0].strip() + + # 尝试匹配城市名称或直接使用城市代码 + city_code = None + if city_input in CITY_CODES: + city_code = CITY_CODES[city_input] + elif re.match(r"^\d{9}$", city_input): + city_code = city_input + else: + # 尝试模糊匹配城市名称 + for name, code in CITY_CODES.items(): + if city_input in name: + city_code = code + break + + if not city_code: + await event.reply(f"未找到城市 '{city_input}'，请检查城市名称或使用城市代码。") + return + + # 获取天气数据 + await event.reply("正在查询天气信息，请稍候...") + weather_info = get_weather_data(city_code) + + if not weather_info or not weather_info.get("weather_data"): + await event.reply("获取天气信息失败，请稍后重试。") + return + + try: + # 渲染HTML模板为图片 + base64_image = await image_manager.render_template_to_base64( + "weather.html", weather_info, output_name="weather.png" + ) + + if base64_image: + # 发送图片消息 + await event.reply(MessageSegment.image(base64_image)) + else: + await event.reply("生成天气图片失败，请稍后重试。") + + except Exception as e: + logger.error(f"渲染天气图片失败: {e}") + await event.reply("生成天气图片时发生错误，请稍后重试。") diff --git a/templates/weather.html b/templates/weather.html new file mode 100644 index 0000000..6576f55 --- /dev/null +++ b/templates/weather.html @@ -0,0 +1,312 @@ + + + + + + 天气查询结果 + + + +

      +
      +
      +
      +
      +
      +
      +
      天气查询
      +
      + +
      +
      +

      天气查询结果

      +

      {{ timestamp }}

      +
      + +
      +
      {{ city_name }}
      +
      查询时间: {{ query_time }}
      +
      + +
      + {% for day_weather in weather_data %} +
      +
      +
      {{ day_weather.day }}
      +
      {{ day_weather.weather }}
      +
      +
      +
      {{ day_weather.temperature }}
      +
      +
      +
      +
      风力
      +
      {{ day_weather.wind_power }}
      +
      +
      +
      风向
      +
      {{ day_weather.wind_direction }}
      +
      +
      +
      + {% endfor %} +
      + +
      +
      数据来源: 中国天气网
      +
      查询城市: {{ city_name }}
      +
      + CalglauBot | Powered by NeoBot Framework +
      +
      +
      +
      + + From 9ac210b9fb39821fa7f2bcf3571ccfcb45c5cea1 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=95=80=E9=93=AC=E9=85=B8=E9=92=BE?= <148796996+K2cr2O1@users.noreply.github.com> Date: Sat, 24 Jan 2026 17:06:53 +0800 Subject: [PATCH 5/6] Update main.yml --- .github/workflows/main.yml | 278 ++++++------------------------------- 1 file changed, 43 insertions(+), 235 deletions(-) diff --git a/.github/workflows/main.yml b/.github/workflows/main.yml index b4741c7..b343d6d 100644 --- a/.github/workflows/main.yml +++ b/.github/workflows/main.yml @@ -1,249 +1,57 @@ -name: 部署到生产环境 +name: Auto Deploy NeoBot (Full Env Secrets) +# 触发条件：推送到main分支 或 手动触发 on: push: branches: [ main ] - pull_request: - branches: [ main ] workflow_dispatch: - inputs: - reason: - description: '手动触发部署的原因' - required: false - default: '手动部署' jobs: - deploy: + deploy-to-server: + # 关联你的仓库环境（ENV） + environment: ENV runs-on: ubuntu-latest - environment: SSH-KEY - timeout-minutes: 15 steps: - - uses: actions/checkout@v4 + - name: 检查环境密钥配置 + run: | + echo "✅ 已关联环境: ${{ github.environment }}" + echo "✅ API_URL 密钥是否存在: ${{ secrets.API_URL != '' }}" + echo "✅ API_TOKEN 密钥是否存在: ${{ secrets.NEOBOT_DEPLOY_TOKEN != '' }}" - # ========== 新增：检出代码失败时的错误处理 ========== - - name: 处理代码检出失败 - if: failure() - run: | - echo "❌ 代码检出失败！请检查仓库权限或网络问题" - exit 1 - # ========== 原有步骤：安装系统依赖工具（强化错误处理） ========== - - name: 安装依赖工具 - id: install_sys_deps - run: | - set -euo pipefail - echo "=== 开始安装系统依赖工具 ===" - # 配置清华源加速apt更新（可选，提升安装速度） - sudo sed -i 's/archive.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g' /etc/apt/sources.list - sudo apt-get update -y || { echo "❌ apt更新失败"; exit 1; } - - # 安装工具并验证 - TOOLS="sshpass expect openssh-client" - for TOOL in $TOOLS; do - echo "📦 安装 $TOOL..." - if sudo apt-get install -y --no-install-recommends $TOOL; then - echo "✅ $TOOL 安装成功" + - name: 调用部署API + env: + # 从环境密钥中读取API地址和Token（均为密文） + API_URL: ${{ secrets.API_URL }} + API_TOKEN: ${{ secrets.NEOBOT_DEPLOY_TOKEN }} + run: | + # 安装jq用于解析JSON + sudo apt-get update && sudo apt-get install -y jq + + # 打印关键信息（脱敏，仅验证是否读取到值） + echo "📌 调用的API地址（脱敏）: $(echo $API_URL | sed 's/http:\/\///; s/\/deploy//')" + + # 发送POST请求到部署API（所有配置均来自密钥） + RESPONSE=$(curl -s -X POST \ + $API_URL \ + -H "Content-Type: application/json" \ + -H "X-API-Token: $API_TOKEN" \ + -d '{"script_name":"deploy.sh"}') + + # 打印完整响应（便于调试） + echo "📝 API响应详情：" + echo $RESPONSE | jq . + + # 解析status字段判断部署结果 + STATUS=$(echo $RESPONSE | jq -r '.status') + if [ "$STATUS" = "success" ]; then + echo "✅ 部署成功！" + exit 0 else - echo "❌ $TOOL 安装失败" + echo "❌ 部署失败！错误信息：$(echo $RESPONSE | jq -r '.message')" exit 1 fi - done - - # 验证工具可用性 - sshpass -V >/dev/null || { echo "❌ sshpass安装后不可用"; exit 1; } - expect -v >/dev/null || { echo "❌ expect安装后不可用"; exit 1; } - continue-on-error: false - # ========== 原有步骤：配置SSH密钥 ========== - - name: 配置SSH密钥并启动ssh-agent - id: config_ssh - run: | - set -euo pipefail - echo "=== 开始配置SSH密钥 ===" - - # 创建SSH目录并严格控制权限 - mkdir -p ~/.ssh - chmod 700 ~/.ssh - - # 处理私钥换行符问题 - echo "${{ secrets.KEY }}" | tr -d '\r' > ~/.ssh/id_rsa - chmod 600 ~/.ssh/id_rsa - - # 启动ssh-agent并加载私钥 - eval $(ssh-agent -s) - export SSH_AGENT_PID SSH_AUTH_SOCK - - echo "🔑 加载SSH私钥..." - expect -c " - set timeout 15 - spawn ssh-add ~/.ssh/id_rsa - expect { - \"Enter passphrase for /home/runner/.ssh/id_rsa:\" { - send \"${{ secrets.PASSPHRASE }}\r\" - exp_continue - } - \"Identity added: /home/runner/.ssh/id_rsa\" { - puts \"✅ 私钥加载成功\" - exit 0 - } - \"Bad passphrase, try again\" { - puts \"❌ 私钥密码错误（PASSPHRASE）\" - exit 1 - } - timeout { - puts \"❌ 私钥加载超时\" - exit 1 - } - eof { - puts \"❌ 私钥加载失败\" - exit 1 - } - } - " || { echo "❌ 私钥加载失败，终止流程"; exit 1; } - - # 配置SSH免主机检查 - cat > ~/.ssh/config << EOF - StrictHostKeyChecking no - UserKnownHostsFile /dev/null - GlobalKnownHostsFile /dev/null - ConnectTimeout 30 - EOF - chmod 600 ~/.ssh/config - echo "✅ SSH密钥配置完成" - continue-on-error: false - - # ========== 原有步骤：执行部署（强化错误处理） ========== - - name: 执行部署 - id: run_deploy - run: | - set -euo pipefail - echo "=== 开始执行服务器部署 ===" - - # 定义部署命令（抽离便于维护） - DEPLOY_CMD=$(cat << 'EOF' - set -exuo pipefail - echo "=== 服务器部署开始（$(date)）===" - - # 服务器端也配置清华源（可选，如需在服务器安装pip依赖） - pip3.14 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple || true - - # 测试sudo权限 - echo "${SERVER_PASSWORD}" | sudo -S -k -p '' whoami || { echo "❌ sudo权限验证失败"; exit 1; } - - # 停止服务（失败不终止，避免服务未启动导致部署中断） - echo "🛑 停止neobot服务..." - echo "${SERVER_PASSWORD}" | sudo -S -k -p '' systemctl stop neobot.service || true - sleep 2 - - # 切换到项目目录 - cd /home/luoxiaolei/neobot/NeoBot || { echo "❌ 项目目录不存在"; exit 1; } - echo "📁 当前目录：$(pwd)" - - # 修复文件权限 - echo "🔧 修复文件权限..." - echo "${SERVER_PASSWORD}" | sudo -S -k -p '' chown -R "${SERVER_USER}":"${SERVER_USER}" /home/luoxiaolei/neobot/NeoBot || { echo "❌ 文件权限修复失败"; exit 1; } - - # 拉取最新代码 - echo "⬇️ 拉取最新代码..." - git pull origin main || { echo "❌ 代码拉取失败"; exit 1; } - - # 使用pip3.14更新依赖 - echo "📦 使用pip3.14更新项目依赖..." - if [ -f "requirements.txt" ]; then - echo "📄 发现requirements.txt，使用pip3.14安装/升级依赖..." - # 尝试使用pip3.14，如果不存在则使用pip3 - if command -v pip3.14 &> /dev/null; then - pip3.14 install --upgrade -r requirements.txt || { echo "❌ pip3.14依赖安装失败"; exit 1; } - echo "✅ pip3.14依赖安装完成" - else - echo "⚠️ pip3.14未找到，尝试使用pip3..." - pip3 install --upgrade -r requirements.txt || { echo "❌ pip3.14依赖安装失败"; exit 1; } - echo "✅ pip3.14依赖安装完成" - fi - else - echo "⚠️ 未找到requirements.txt文件，跳过依赖安装" - fi - - # 启动服务 - echo "🚀 启动neobot服务..." - echo "${SERVER_PASSWORD}" | sudo -S -k -p '' systemctl start neobot.service || { echo "❌ 服务启动失败"; exit 1; } - sleep 3 - - # 检查服务状态 - echo "📋 检查服务状态..." - if ! echo "${SERVER_PASSWORD}" | sudo -S -k -p '' systemctl status neobot.service --no-pager --full; then - echo "❌ neobot服务启动异常，查看日志：" - echo "${SERVER_PASSWORD}" | sudo -S -k -p '' journalctl -u neobot.service --no-pager -n 50 - exit 1 - fi - - echo "✅ 服务器部署完成（$(date)）===" - EOF - ) - - # 替换变量并执行部署 - export SERVER_PASSWORD="${{ secrets.SERVER_PASSWORD }}" - export SERVER_USER="${{ secrets.SERVER_USER }}" - DEPLOY_CMD=$(echo "$DEPLOY_CMD" | sed "s/\${SERVER_PASSWORD}/${{ secrets.SERVER_PASSWORD }}/g") - DEPLOY_CMD=$(echo "$DEPLOY_CMD" | sed "s/\${SERVER_USER}/${{ secrets.SERVER_USER }}/g") - - # 执行部署（带SSH调试日志） - if ! sshpass -p "${{ secrets.SERVER_PASSWORD }}" ssh -v \ - -o IdentityFile=~/.ssh/id_rsa \ - -o ConnectTimeout=30 \ - -p 42422 ${{ secrets.SERVER_USER }}@${{ secrets.SERVER_ADDRESS }} "$DEPLOY_CMD"; then - echo "❌ 部署命令执行失败" - exit 1 - fi - - echo "✅ 部署流程全部完成" - continue-on-error: false - - # ========== 强化错误处理：步骤失败后的详细提示 ========== - - name: 部署失败详细排查 - if: failure() - run: | - echo "==================================================" - echo "❌ 部署失败！详细排查信息：" - echo "==================================================" - # 输出各步骤状态 - echo "🔍 步骤状态：" - echo " - 代码检出：${{ steps.install_pip_deps.outcome }}" - echo " - pip依赖安装：${{ steps.install_pip_deps.outcome }}" - echo " - 系统依赖安装：${{ steps.install_sys_deps.outcome }}" - echo " - SSH配置：${{ steps.config_ssh.outcome }}" - echo " - 部署执行：${{ steps.run_deploy.outcome }}" - - # 按失败步骤给出排查建议 - if [ "${{ steps.install_pip_deps.outcome }}" = "failure" ]; then - echo "📌 排查重点（pip依赖安装失败）：" - echo " 1. 检查requirements.txt文件格式是否正确" - echo " 2. 检查清华源是否可访问：curl https://pypi.tuna.tsinghua.edu.cn/simple" - echo " 3. 检查依赖包名称/版本是否存在错误" - fi - - if [ "${{ steps.config_ssh.outcome }}" = "failure" ]; then - echo "📌 排查重点（SSH配置失败）：" - echo " 1. 检查KEY私钥是否完整（包含BEGIN/END标记）" - echo " 2. 检查PASSPHRASE私钥密码是否正确" - echo " 3. 检查服务器公钥是否已添加到authorized_keys" - fi - - if [ "${{ steps.run_deploy.outcome }}" = "failure" ]; then - echo "📌 排查重点（部署执行失败）：" - echo " 1. 检查SERVER_PASSWORD服务器密码是否正确" - echo " 2. 检查服务器42422端口是否开放" - echo " 3. 检查服务器项目目录是否存在：/home/luoxiaolei/neobot/NeoBot" - echo " 4. 查看服务器日志：journalctl -u neobot.service -n 50" - fi - exit 1 - - # ========== 部署成功提示 ========== - - name: 部署成功提示 - if: success() - run: | - echo "✅ 部署成功！" - echo "📝 部署信息：" - echo " - 触发方式：${{ github.event_name }}" - echo " - 分支：${{ github.ref_name }}" - echo " - 提交ID：${{ github.sha }}" - echo " - 手动触发原因：${{ github.event.inputs.reason || '自动触发' }}" + - name: 部署失败通知（可选） + if: failure() + run: | + echo "⚠️ 部署失败，可在此添加通知逻辑" From 08a7c1dc392824828c1cb39f57df345a1b23f801 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=95=80=E9=93=AC=E9=85=B8=E9=92=BE?= <148796996+K2cr2O1@users.noreply.github.com> Date: Sat, 24 Jan 2026 20:51:21 +0800 Subject: [PATCH 6/6] Dev (#57) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * 滚木 * feat: 重构核心架构，增强类型安全与插件管理 本次提交对核心模块进行了深度重构，引入 Pydantic 增强配置管理的类型安全性，并全面优化了插件管理系统。 主要变更详情： 1. 核心架构与配置 - 重构配置加载模块：引入 Pydantic 模型 (`core/config_models.py`)，提供严格的配置项类型检查、验证及默认值管理。 - 统一模块结构：规范化模块导入路径，移除冗余的 `__init__.py` 文件，提升项目结构的清晰度。 - 性能优化：集成 Redis 缓存支持 (`RedisManager`)，有效降低高频 API 调用开销，提升响应速度。 2. 插件系统升级 - 实现热重载机制：新增插件文件变更监听功能，支持开发过程中自动重载插件，提升开发效率。 - 优化生命周期管理：改进插件加载与卸载逻辑，支持精确卸载指定插件及其关联的命令、事件处理器和定时任务。 3. 功能特性增强 - 新增媒体 API：引入 `MediaAPI` 模块，封装图片、语音等富媒体资源的获取与处理接口。 - 完善权限体系：重构权限管理系统，实现管理员与操作员的分级控制，支持更细粒度的命令权限校验。 4. 代码质量与稳定性 - 全面类型修复：解决 `mypy` 静态类型检查发现的大量类型错误（包括 `CommandManager`、`EventFactory` 及 `Bot` API 签名不匹配问题）。 - 增强错误处理：优化消息处理管道的异常捕获机制，完善关键路径的日志记录，提升系统运行稳定性。 * feat: 添加测试用例并优化代码结构 refactor(permission_manager): 调整初始化顺序和逻辑 fix(admin_manager): 修复初始化逻辑和目录创建问题 feat(ws): 优化Bot实例初始化条件 feat(message): 增强MessageSegment功能并添加测试 feat(events): 支持字符串格式的消息解析 test: 添加核心功能测试用例 refactor(plugin_manager): 改进插件路径处理 style: 清理无用导入和代码 chore: 更新依赖项 * refactor(handler): 移除TYPE_CHECKING并直接导入Bot类 简化类型注解，直接导入Bot类而非使用TYPE_CHECKING条件导入，提高代码可读性和维护性 * fix(command_manager): 修复插件卸载时元信息移除不精确的问题 修复 CommandManager 中 unload_plugin 方法移除插件元信息时使用 startswith 导致可能误删其他插件的问题，改为精确匹配 同时调整相关测试用例验证精确匹配行为 * refactor: 清理未使用的导入和更新文档结构 docs: 添加config_models.py到项目结构文档 docs: 调整数据目录位置到core/data下 docs: 更新权限管理器文档描述 * 文档更新 * 更新thpic插件 支持一次返回多张图 * feat: 添加测试覆盖率并修复相关问题 refactor(redis_manager): 移除冗余的ConnectionError处理 refactor(event_handler): 优化Bot类型注解 refactor(factory): 移除未使用的GroupCardNoticeEvent test: 添加全面的单元测试覆盖 - 添加test_import.py测试模块导入 - 添加test_debug.py测试插件加载调试 - 添加test_plugin_error.py测试错误处理 - 添加test_config_loader.py测试配置加载 - 添加test_redis_manager.py测试Redis管理 - 添加test_bot.py测试Bot功能 - 扩展test_models.py测试消息模型 - 添加test_plugin_manager_coverage.py测试插件管理 - 添加test_executor.py测试代码执行器 - 添加test_ws.py测试WebSocket - 添加test_api.py测试API接口 - 添加test_core_managers.py测试核心管理模块 fix(plugin_manager): 修复插件加载日志变量问题 覆盖率已到达86%（忽略插件） * 更新/help指令，现在会发送图片 * feat(help): 重构帮助系统为图片渲染模式 添加浏览器管理器和图片管理器，用于通过 Playwright 渲染帮助菜单为图片 重构命令管理器以支持图片缓存和同步功能 添加 HTML 模板用于帮助菜单渲染 * build: 更新依赖文件 requirements.txt * build: 更新依赖文件 * feat: 添加性能优化和架构文档，更新依赖和核心模块 refactor(browser_manager): 实现页面池机制以提升性能 refactor(image_manager): 添加模板缓存并集成页面池 refactor(bili_parser): 迁移到异步HTTP请求并实现会话复用 docs: 新增性能优化、架构设计和最佳实践文档 chore: 更新requirements.txt添加新依赖 * docs: 更新文档内容并优化语言风格 重构所有文档内容，使用更简洁直接的语言风格 更新架构、插件开发、部署等核心文档 优化代码示例和图表说明 统一术语和格式规范 * docs: 更新文档内容，简化语言并修正格式 - 简化插件开发指南中的描述，移除冗余内容 - 调整部署文档中的Python版本说明 - 优化最佳实践文档的措辞和格式 - 更新性能优化文档，删除不准确的数据 - 重构核心概念文档，使用更简洁的语言 - 修正README中的项目描述和技术栈说明 - 更新快速上手文档，简化安装步骤 - 调整事件流转文档的描述方式 - 简化架构文档内容 - 更新指令处理文档，添加参数注入示例 - 优化单例管理器文档的表述 * refactor(core): 优化权限管理和事件模型 - 重构 AdminManager 和 PermissionManager 以 Redis 为主要数据源 - 为所有事件模型添加 slots=True 提升性能 - 更新文档说明 Mypyc 编译注意事项 - 清理测试和调试文件 - 移动静态资源到 web_static 目录 * feat: 添加模块编译脚本和导出依赖功能 refactor(events): 移除数据类的slots参数以提升兼容性 build: 更新requirements.txt依赖列表 * docs: 更新性能优化文档并修复命令管理器帮助输出 更新性能优化相关文档，详细说明 Python 3.14 JIT 编译器的使用方法和原理，补充与 Mypyc 的互补策略。同时修复命令管理器中帮助信息的输出方式，移除图片发送仅保留文本输出。 调整部署文档结构，明确两种性能优化方案（AOT 和 JIT）的配置方法和适用场景。完善架构文档中关于 JIT 的原理和启用方式说明。 * feat(help): 重构帮助菜单界面并优化样式 refactor(bili_parser): 修复 API 响应 content-type 问题 fix(command_manager): 添加帮助图片获取的错误处理 docs(deployment): 简化部署文档并移除 JIT 相关内容 * feat: 新增自动同意请求插件和API文档 docs: 更新文档结构和内容 * refactor(scripts): 重构并优化脚本文件结构 feat(scripts): 添加Python环境检查脚本 feat(scripts): 增强依赖导出脚本功能 perf(plugins/bili_parser): 优化B站解析器性能和代码结构 style(plugins/bili_parser): 统一代码风格和常量命名 * fix(scripts): 修复编码问题并添加错误追踪 在compile_machine_code.py中添加utf-8编码设置以避免潜在编码问题 添加traceback.print_exc()以在编译失败时打印完整错误堆栈 更新.gitignore以忽略config.toml文件 * feat(性能分析): 实现性能分析工具模块并添加相关测试 添加性能分析工具模块，包括时间测量、内存分析和性能统计功能 添加测试文件和示例配置，完善性能分析工具的使用场景 在工具模块中实现单例装饰器并导出到__init__.py * feat(douyin_parser): 新增抖音视频解析插件 refactor(performance): 移除未使用的asyncio导入并优化性能测试 style(compile_modules): 修正字符串引号格式 chore: 删除废弃的编译脚本和临时文件 fix(bili_parser): 增强B站链接解析的健壮性 refactor(singleton): 重构单例模式实现 docs: 更新配置文件和事件模型注释 * feat: 添加抖音视频解析插件并优化代码结构 添加抖音视频解析插件，支持自动解析抖音分享链接并提取视频信息。优化现有代码结构，包括： - 重构单例模式实现 - 移除未使用的导入和文件 - 修复性能测试脚本中的异步调用 - 优化消息事件模型中的权限常量定义 - 改进编译脚本的错误处理 - 增强B站解析插件的稳定性 同时清理了多个废弃脚本和临时文件，提升代码可维护性。 * 1 * Delete core/data/temp/help_menu.png * fix(权限管理): 增强权限检查的类型安全并修复权限引用 修复权限检查中可能传入非Permission类型导致的错误，将echo插件的权限引用从MessageEvent.ADMIN迁移到Permission.ADMIN * redis取消tls * feat(github_parser): 添加GitHub仓库信息查询功能 - 新增github_parser插件，支持通过命令或自动解析链接查询GitHub仓库信息 - 添加github_repo.html模板用于渲染仓库信息图片 - 优化图片管理器支持高质量截图和CSS缩放 - 重构消息事件类权限常量定义方式 - 更新帮助页面样式为三列布局并优化响应式设计 * feat(web_parser): 新增通用web链接解析插件框架 refactor: 重构B站、抖音、GitHub解析器为模块化结构 fix(executor): 增强docker容器错误处理和回调稳定性 style(templates): 优化帮助页面和代码执行结果的样式 perf(web_parser): 添加API缓存和消息去重机制 docs: 更新插件元信息和注释 chore: 移除旧的独立解析器插件文件 * refactor(managers): 重构单例管理器实现并优化代码结构 feat(ws_pool): 新增 WebSocket 连接池实现 perf(json): 使用 orjson 替代标准 json 库提升性能 style: 清理未使用的导入和冗余代码 docs: 更新架构文档和开发规范 test: 添加 WebSocket 连接池测试用例 fix(plugins): 修复自动审批插件 API 调用参数格式 * docs: 修正架构描述从单线程改为多线程 更新开发标准文档，将架构描述从"单线程异步架构"修正为"多线程异步架构"，以准确反映实际架构设计 * refactor(permission): 重构权限管理系统，合并管理员管理功能 - 将 admin_manager 功能整合到 permission_manager 中，统一管理 - 采用文件为主、Redis 为辅的架构，确保数据一致性 - 实现原子操作机制，防止数据损坏 - 更新文档说明新的权限管理机制 - 调整相关模块引用和编译配置 * feat: 添加直接发送视频/图片功能并优化临时目录处理 refactor(WS): 使用TYPE_CHECKING优化导入并延迟导入Bot类 refactor(image_manager): 使用系统临时目录替代自定义临时目录 feat(bili/douyin): 添加直接发送视频/图片功能 chore: 删除forward_test插件并添加furry插件 refactor(main): 移除JIT检查代码并优化插件重载逻辑 * refactor(插件管理): 将插件加载逻辑移回main函数 插件加载逻辑从core/managers/__init__.py移回main.py的main函数中执行，使初始化流程更清晰 你妈的循环导入 * refactor(web_parser): 优化URL提取和抖音解析器逻辑 重构URL提取逻辑，合并所有文本段处理分割链接并清理末尾标点 简化抖音解析器实现，移除冗余头部信息并改进URL验证 删除未使用的鸭子示例代码文件 * feat: 添加状态监控插件和Redis原子操作支持 - 新增 `/status` 指令，展示机器人运行状态和系统指标 - 实现Redis Lua脚本支持原子化计数器操作 - 添加消息收发统计功能 - 完善文档，包括插件开发和性能优化指南 - 重构WebSocket连接池，增加健康检查机制 - 移除旧版编译脚本，优化项目结构 * refactor(permission_manager): 移除合并冲突标记和未使用的装饰器 清理代码中的合并冲突标记(HEAD和分支标记)并删除未使用的require_admin装饰器函数，以保持代码整洁 * chore: 清理依赖和文档，优化消息事件类 - 移除不再使用的 psutil 依赖 - 删除文档中多余的进阶阅读部分 - 为消息事件类添加 ClassVar 类型导入并修复文件结尾格式 * fix: 移除重复的代码和文档内容 - 删除main.py中重复的sync_help_pic调用 - 删除plugin_manager.py中重复的__all__声明 - 清理performance.md中已移除的WebSocket连接池文档 * refactor(WS): 使用连接池上下文管理器简化连接管理 重构 WS 类中的连接获取和释放逻辑，使用 connection 上下文管理器确保连接正确释放。 同时改进消息处理循环中的异常处理和连接管理。 refactor(ws_pool): 增强连接池的健壮性和管理能力 1. 添加连接上下文管理器支持 2. 改进连接获取和释放逻辑，增加连接计数和锁保护 3. 优化连接健康检查和清理机制 4. 增强错误处理和日志记录 fix(bot_status): 增加系统信息获取和渲染的错误处理 1. 为系统信息获取添加超时和错误处理 2. 为Redis数据获取添加异常捕获 3. 为图片渲染添加异常处理 4. 改进日志记录和用户反馈 * refactor(compile_machine_code): 优化编译脚本并移除冗余日志 docs(getting-started): 删除中文依赖说明 refactor(image_manager): 简化base64图片生成逻辑 * refactor(api): 简化 dataclass 转换逻辑并添加好友/群列表缓存 移除冗余的 _safe_dataclass_from_dict 工具函数，直接使用 dataclass 的构造方法 添加 get_friend_list 和 get_group_list 方法的缓存支持 修复 get_version_info 的错误 API 调用 * Revert "refactor(WS): 使用连接池上下文管理器简化连接管理" This reverts commit c851b49db9d4575beae5259d7798db8176db9b98. * refactor(websocket): 移除连接池模式并改进资源清理 移除 WebSocket 连接池实现，改为单连接模式以简化代码结构 在 main 函数中添加资源清理逻辑，确保程序退出时正确关闭所有资源 改进 base64 数据处理逻辑，支持递归处理嵌套结构中的敏感数据 呵呵线程池加WS是神人 * feat(core): 添加 WebSocket 核心通信模块实现 实现 WebSocket 客户端类 `WS`，负责与 OneBot v11 建立连接、处理消息和自动重连 * ssss * fix: 移除py命令的ADMIN权限限制并添加特定事件ID过滤 移除code_py.py中py命令的ADMIN权限限制，使其对所有用户可用 在jrcd.py中为handle_jrcd和handle_bbcd命令添加对特定事件ID(831797331)的过滤 --------- Co-authored-by: baby20162016 <2185823427@qq.com> Co-authored-by: web vscode --- plugins/code_py.py | 2 +- plugins/jrcd.py | 6 ++++++ 2 files changed, 7 insertions(+), 1 deletion(-) diff --git a/plugins/code_py.py b/plugins/code_py.py index 5f241b2..ab8f0ac 100644 --- a/plugins/code_py.py +++ b/plugins/code_py.py @@ -141,7 +141,7 @@ def normalize_code(code: str) -> str: return code.strip() -@matcher.command("py", "python", "code_py", permission=Permission.ADMIN) +@matcher.command("py", "python", "code_py") async def code_py_main(event: MessageEvent, args: list[str]): """ /py 命令的主入口。 diff --git a/plugins/jrcd.py b/plugins/jrcd.py index c671315..d8555f0 100644 --- a/plugins/jrcd.py +++ b/plugins/jrcd.py @@ -12,6 +12,8 @@ from core.managers.command_manager import matcher from core.managers.redis_manager import redis_manager from core.utils.executor import run_in_thread_pool from models.events.message import MessageEvent, MessageSegment +from core.utils.logger import logger + __plugin_meta__ = { "name": "jrcd", @@ -71,6 +73,8 @@ def get_jrcd(user_id: int) -> int: @matcher.command("jrcd") async def handle_jrcd(bot: Bot, event: MessageEvent, args: list[str]): + if event.id == 831797331: + return None """ 处理 jrcd 指令，回复用户的“今日长度”。 @@ -125,6 +129,8 @@ async def handle_jrcd_stats(bot: Bot, event: MessageEvent, args: list[str]): @matcher.command("bbcd") async def handle_bbcd(bot: Bot, event: MessageEvent, args: list[str]): + if event.id == 831797331: + return None """ 处理 bbcd 指令，比较两位用户的“长度”。