* 滚木 * feat: 重构核心架构,增强类型安全与插件管理 本次提交对核心模块进行了深度重构,引入 Pydantic 增强配置管理的类型安全性,并全面优化了插件管理系统。 主要变更详情: 1. 核心架构与配置 - 重构配置加载模块:引入 Pydantic 模型 (`core/config_models.py`),提供严格的配置项类型检查、验证及默认值管理。 - 统一模块结构:规范化模块导入路径,移除冗余的 `__init__.py` 文件,提升项目结构的清晰度。 - 性能优化:集成 Redis 缓存支持 (`RedisManager`),有效降低高频 API 调用开销,提升响应速度。 2. 插件系统升级 - 实现热重载机制:新增插件文件变更监听功能,支持开发过程中自动重载插件,提升开发效率。 - 优化生命周期管理:改进插件加载与卸载逻辑,支持精确卸载指定插件及其关联的命令、事件处理器和定时任务。 3. 功能特性增强 - 新增媒体 API:引入 `MediaAPI` 模块,封装图片、语音等富媒体资源的获取与处理接口。 - 完善权限体系:重构权限管理系统,实现管理员与操作员的分级控制,支持更细粒度的命令权限校验。 4. 代码质量与稳定性 - 全面类型修复:解决 `mypy` 静态类型检查发现的大量类型错误(包括 `CommandManager`、`EventFactory` 及 `Bot` API 签名不匹配问题)。 - 增强错误处理:优化消息处理管道的异常捕获机制,完善关键路径的日志记录,提升系统运行稳定性。 * feat: 添加测试用例并优化代码结构 refactor(permission_manager): 调整初始化顺序和逻辑 fix(admin_manager): 修复初始化逻辑和目录创建问题 feat(ws): 优化Bot实例初始化条件 feat(message): 增强MessageSegment功能并添加测试 feat(events): 支持字符串格式的消息解析 test: 添加核心功能测试用例 refactor(plugin_manager): 改进插件路径处理 style: 清理无用导入和代码 chore: 更新依赖项 * refactor(handler): 移除TYPE_CHECKING并直接导入Bot类 简化类型注解,直接导入Bot类而非使用TYPE_CHECKING条件导入,提高代码可读性和维护性 * fix(command_manager): 修复插件卸载时元信息移除不精确的问题 修复 CommandManager 中 unload_plugin 方法移除插件元信息时使用 startswith 导致可能误删其他插件的问题,改为精确匹配 同时调整相关测试用例验证精确匹配行为 * refactor: 清理未使用的导入和更新文档结构 docs: 添加config_models.py到项目结构文档 docs: 调整数据目录位置到core/data下 docs: 更新权限管理器文档描述 * 文档更新 * 更新thpic插件 支持一次返回多张图 * feat: 添加测试覆盖率并修复相关问题 refactor(redis_manager): 移除冗余的ConnectionError处理 refactor(event_handler): 优化Bot类型注解 refactor(factory): 移除未使用的GroupCardNoticeEvent test: 添加全面的单元测试覆盖 - 添加test_import.py测试模块导入 - 添加test_debug.py测试插件加载调试 - 添加test_plugin_error.py测试错误处理 - 添加test_config_loader.py测试配置加载 - 添加test_redis_manager.py测试Redis管理 - 添加test_bot.py测试Bot功能 - 扩展test_models.py测试消息模型 - 添加test_plugin_manager_coverage.py测试插件管理 - 添加test_executor.py测试代码执行器 - 添加test_ws.py测试WebSocket - 添加test_api.py测试API接口 - 添加test_core_managers.py测试核心管理模块 fix(plugin_manager): 修复插件加载日志变量问题 覆盖率已到达86%(忽略插件) * 更新/help指令,现在会发送图片 * feat(help): 重构帮助系统为图片渲染模式 添加浏览器管理器和图片管理器,用于通过 Playwright 渲染帮助菜单为图片 重构命令管理器以支持图片缓存和同步功能 添加 HTML 模板用于帮助菜单渲染 * build: 更新依赖文件 requirements.txt * build: 更新依赖文件 * feat: 添加性能优化和架构文档,更新依赖和核心模块 refactor(browser_manager): 实现页面池机制以提升性能 refactor(image_manager): 添加模板缓存并集成页面池 refactor(bili_parser): 迁移到异步HTTP请求并实现会话复用 docs: 新增性能优化、架构设计和最佳实践文档 chore: 更新requirements.txt添加新依赖 * docs: 更新文档内容并优化语言风格 重构所有文档内容,使用更简洁直接的语言风格 更新架构、插件开发、部署等核心文档 优化代码示例和图表说明 统一术语和格式规范 * docs: 更新文档内容,简化语言并修正格式 - 简化插件开发指南中的描述,移除冗余内容 - 调整部署文档中的Python版本说明 - 优化最佳实践文档的措辞和格式 - 更新性能优化文档,删除不准确的数据 - 重构核心概念文档,使用更简洁的语言 - 修正README中的项目描述和技术栈说明 - 更新快速上手文档,简化安装步骤 - 调整事件流转文档的描述方式 - 简化架构文档内容 - 更新指令处理文档,添加参数注入示例 - 优化单例管理器文档的表述 --------- Co-authored-by: baby20162016 <2185823427@qq.com>
258 lines
9.9 KiB
Python
258 lines
9.9 KiB
Python
# -*- coding: utf-8 -*-
|
||
import re
|
||
import json
|
||
import aiohttp
|
||
from bs4 import BeautifulSoup
|
||
from typing import Optional, Dict, Any, Union
|
||
from cachetools import TTLCache
|
||
|
||
from core.utils.logger import logger
|
||
from core.managers.command_manager import matcher
|
||
from models import MessageEvent, MessageSegment
|
||
|
||
# 创建一个TTL缓存,最大容量100,缓存时间10秒
|
||
processed_messages: TTLCache[int, bool] = TTLCache(maxsize=100, ttl=10)
|
||
|
||
__plugin_meta__ = {
|
||
"name": "bili_parser",
|
||
"description": "自动解析B站分享卡片,提取视频封面和播放量等信息。",
|
||
"usage": "(自动触发)当检测到B站小程序分享卡片时,自动发送视频信息。",
|
||
}
|
||
|
||
HEADERS = {
|
||
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
|
||
}
|
||
|
||
# 全局共享的 ClientSession
|
||
_session: Optional[aiohttp.ClientSession] = None
|
||
|
||
async def get_session() -> aiohttp.ClientSession:
|
||
global _session
|
||
if _session is None or _session.closed:
|
||
_session = aiohttp.ClientSession()
|
||
return _session
|
||
|
||
|
||
def format_count(num: int) -> str:
|
||
if not isinstance(num, int):
|
||
return str(num)
|
||
if num < 10000:
|
||
return str(num)
|
||
return f"{num / 10000:.1f}万"
|
||
|
||
|
||
def format_duration(seconds: int) -> str:
|
||
"""将秒数格式化为 MM:SS 的形式"""
|
||
if not isinstance(seconds, int) or seconds < 0:
|
||
return "滚木"
|
||
minutes, seconds = divmod(seconds, 60)
|
||
return f"{minutes:02d}:{seconds:02d}"
|
||
|
||
|
||
async def get_real_url(short_url: str) -> Optional[str]:
|
||
try:
|
||
session = await get_session()
|
||
async with session.head(short_url, headers=HEADERS, allow_redirects=False, timeout=5) as response:
|
||
if response.status == 302:
|
||
return response.headers.get('Location')
|
||
except Exception as e:
|
||
logger.error(f"获取真实URL失败: {e}")
|
||
return None
|
||
|
||
async def parse_video_info(video_url: str) -> Optional[Dict[str, Any]]:
|
||
try:
|
||
session = await get_session()
|
||
async with session.get(video_url, headers=HEADERS, timeout=5) as response:
|
||
response.raise_for_status()
|
||
text = await response.text()
|
||
soup = BeautifulSoup(text, 'html.parser')
|
||
|
||
script_tag = soup.find('script', text=re.compile('window.__INITIAL_STATE__'))
|
||
if not script_tag or not script_tag.string:
|
||
return None
|
||
|
||
match = re.search(r'window\.__INITIAL_STATE__\s*=\s*(\{.*?\});', script_tag.string)
|
||
if not match:
|
||
return None
|
||
|
||
json_str = match.group(1)
|
||
data = json.loads(json_str)
|
||
|
||
video_data = data.get('videoData', {})
|
||
up_data = data.get('upData', {})
|
||
stat = video_data.get('stat', {})
|
||
owner = video_data.get('owner', {})
|
||
|
||
cover_url = video_data.get('pic', '')
|
||
if cover_url:
|
||
cover_url = cover_url.split('@')[0]
|
||
if cover_url.startswith('//'):
|
||
cover_url = 'https:' + cover_url
|
||
|
||
owner_avatar = owner.get('face', '')
|
||
if owner_avatar:
|
||
if owner_avatar.startswith('//'):
|
||
owner_avatar = 'https:' + owner_avatar
|
||
owner_avatar = owner_avatar.split('@')[0]
|
||
|
||
return {
|
||
"title": video_data.get('title', '未知标题'),
|
||
"bvid": video_data.get('bvid', '未知BV号'),
|
||
"duration": video_data.get('duration', 0),
|
||
"cover_url": cover_url,
|
||
"play": stat.get('view', 0),
|
||
"like": stat.get('like', 0),
|
||
"coin": stat.get('coin', 0),
|
||
"favorite": stat.get('favorite', 0),
|
||
"share": stat.get('share', 0),
|
||
"owner_name": owner.get('name', '未知UP主'),
|
||
"owner_avatar": owner_avatar,
|
||
"followers": up_data.get('fans', 0),
|
||
}
|
||
|
||
except (aiohttp.ClientError, KeyError, AttributeError, json.JSONDecodeError) as e:
|
||
logger.error(f"解析视频信息失败: {e}")
|
||
|
||
return None
|
||
|
||
async def get_direct_video_url(video_url: str) -> Optional[str]:
|
||
"""
|
||
调用第三方API解析B站视频直链
|
||
:param video_url: B站视频的完整URL
|
||
:return: 视频直链URL,如果失败则返回None
|
||
"""
|
||
api_url = f"https://api.mir6.com/api/bzjiexi?url={video_url}&type=json"
|
||
try:
|
||
async with aiohttp.ClientSession() as session:
|
||
async with session.get(api_url, headers=HEADERS, timeout=10) as response:
|
||
response.raise_for_status()
|
||
data = await response.json()
|
||
if data.get("code") == 200 and data.get("data"):
|
||
return data["data"][0].get("video_url")
|
||
except (aiohttp.ClientError, json.JSONDecodeError, KeyError, IndexError) as e:
|
||
logger.error(f"[bili_parser] 调用第三方API解析视频失败: {e}")
|
||
return None
|
||
|
||
BILI_URL_PATTERN = re.compile(r"https?://(?:www\.)?(bilibili\.com/video/[a-zA-Z0-9_]+|b23\.tv/[a-zA-Z0-9]+)")
|
||
|
||
|
||
@matcher.on_message()
|
||
async def handle_bili_share(event: MessageEvent):
|
||
"""
|
||
处理消息,检测B站分享链接(JSON卡片或文本链接)并进行解析。
|
||
:param event: 消息事件对象
|
||
"""
|
||
# 消息去重
|
||
if event.message_id in processed_messages:
|
||
return
|
||
processed_messages[event.message_id] = True
|
||
|
||
# 忽略机器人自己发送的消息,防止无限循环
|
||
if event.user_id == event.self_id:
|
||
return
|
||
|
||
url_to_process = None
|
||
|
||
# 1. 优先解析JSON卡片中的短链接
|
||
for segment in event.message:
|
||
if segment.type == "json":
|
||
logger.info(f"[bili_parser] 检测到JSON CQ码: {segment.data}")
|
||
try:
|
||
json_data = json.loads(segment.data.get("data", "{}"))
|
||
short_url = json_data.get("meta", {}).get("detail_1", {}).get("qqdocurl")
|
||
|
||
if short_url and "b23.tv" in short_url:
|
||
url_to_process = short_url.split('?')[0]
|
||
logger.success(f"[bili_parser] 成功从JSON卡片中提取到B站短链接: {url_to_process}")
|
||
break # 找到后立即跳出循环
|
||
except (json.JSONDecodeError, KeyError) as e:
|
||
logger.error(f"[bili_parser] 解析JSON失败: {e}")
|
||
continue
|
||
|
||
# 2. 如果未在JSON卡片中找到链接,则在文本消息中查找
|
||
if not url_to_process:
|
||
for segment in event.message:
|
||
if segment.type == "text":
|
||
text_content = segment.data.get("text", "")
|
||
match = BILI_URL_PATTERN.search(text_content)
|
||
if match:
|
||
url_to_process = match.group(0)
|
||
logger.success(f"[bili_parser] 成功从文本中提取到B站链接: {url_to_process}")
|
||
break # 找到后立即跳出循环
|
||
|
||
# 3. 如果找到了任何类型的B站链接,则进行处理
|
||
if url_to_process:
|
||
await process_bili_link(event, url_to_process)
|
||
|
||
async def process_bili_link(event: MessageEvent, url: str):
|
||
"""
|
||
处理B站链接(长链接或短链接),获取信息并回复
|
||
:param event: 消息事件对象
|
||
:param url: 待处理的B站链接
|
||
"""
|
||
if "b23.tv" in url:
|
||
real_url = await get_real_url(url)
|
||
if not real_url:
|
||
logger.error(f"[bili_parser] 无法从 {url} 获取真实URL。")
|
||
await event.reply("无法解析B站短链接。")
|
||
return
|
||
else:
|
||
real_url = url.split('?')[0]
|
||
|
||
video_info = await parse_video_info(real_url)
|
||
if not video_info:
|
||
logger.error(f"[bili_parser] 无法从 {real_url} 解析视频信息。")
|
||
await event.reply("无法获取视频信息,可能是B站接口变动或视频不存在。")
|
||
return
|
||
|
||
# 检查视频时长
|
||
video_message: Union[str, MessageSegment]
|
||
if video_info['duration'] > 300: # 5分钟 = 300秒
|
||
video_message = "视频时长超过5分钟,不进行解析。"
|
||
else:
|
||
direct_url = await get_direct_video_url(real_url)
|
||
if direct_url:
|
||
video_message = MessageSegment.video(direct_url)
|
||
else:
|
||
video_message = "视频解析失败,无法获取直链。"
|
||
|
||
text_message = (
|
||
f"BiliBili 视频解析\n"
|
||
f"--------------------\n"
|
||
f" UP主: {video_info['owner_name']}\n"
|
||
f" 粉丝: {format_count(video_info['followers'])}\n"
|
||
f"--------------------\n"
|
||
f" 标题: {video_info['title']}\n"
|
||
f" BV号: {video_info['bvid']}\n"
|
||
f" 时长: {format_duration(video_info['duration'])}\n"
|
||
f"--------------------\n"
|
||
f" 数据:\n"
|
||
f" 播放: {format_count(video_info['play'])}\n"
|
||
f" 点赞: {format_count(video_info['like'])}\n"
|
||
f" 投币: {format_count(video_info['coin'])}\n"
|
||
f" 收藏: {format_count(video_info['favorite'])}\n"
|
||
f" 转发: {format_count(video_info['share'])}\n"
|
||
f" B站链接: {url}"
|
||
)
|
||
|
||
image_message_segment = [
|
||
MessageSegment.text("B站封面:"),
|
||
MessageSegment.image(video_info['cover_url'])
|
||
]
|
||
|
||
up_info_segment = [
|
||
MessageSegment.text("UP主头像:"),
|
||
MessageSegment.image(video_info['owner_avatar'])
|
||
]
|
||
|
||
nodes = [
|
||
event.bot.build_forward_node(user_id=event.self_id, nickname="B站视频解析", message=text_message),
|
||
event.bot.build_forward_node(user_id=event.self_id, nickname="B站视频解析", message=image_message_segment),
|
||
event.bot.build_forward_node(user_id=event.self_id, nickname="B站视频解析", message=up_info_segment),
|
||
event.bot.build_forward_node(user_id=event.self_id, nickname="B站视频解析", message=video_message)
|
||
]
|
||
|
||
logger.success(f"[bili_parser] 成功解析视频信息并准备以聊天记录形式回复: {video_info['title']}")
|
||
# 使用更通用的 send_forwarded_messages 方法,自动判断私聊或群聊
|
||
await event.bot.send_forwarded_messages(target=event, nodes=nodes)
|