系统采集原理与数据流程
了解系统的数据采集流程，有助于更好地使用和管理资源。
一、数据来源获取
系统通过以下方式获取视频数据：
- 通过资源站点 API 接口直接获取 XML/JSON 数据
- 支持 MACCMS V10、苹果CMS V8、飞飞CMS、海洋CMS 等主流 CMS 标准接口
- 采集内容包括：视频标题、分类、封面、播放地址、简介、演员、导演等
二、数据处理流程
- 数据拉取：系统定时从配置的资源站点拉取最新数据
- 格式解析：将不同 CMS 格式的数据统一为系统标准格式
- 去重处理：通过标题比对，自动识别和合并重复视频
- 播放源合并：将多个资源站的播放地址合并到同一条视频记录
- 数据入库：将处理后的数据写入数据库，建立全文索引
三、多播放源机制
系统支持单条视频关联多个播放源：
- 不同资源站提供的同一视频会合并为一条记录
- 每个播放源独立维护，单个失效不影响其他播放源
- 播放源格式：使用
$$$分隔多个来源，#分隔集数，$分隔标签与地址 - 部分播放地址为直链（m3u8/mp4），部分为资源站自带播放器页面
四、缓存与性能优化
系统内置多层缓存机制保障访问速度：
- 文件缓存：分类、统计、全文索引状态等高频数据使用 JSON 文件缓存
- COUNT 缓存：视频总数查询结果缓存，避免全表扫描
- 搜索缓存：关键词搜索结果缓存 30 秒，减少重复查询
- 游标分页：深分页使用 ID 游标替代 OFFSET，避免全表扫描
- 异步加载：后台管理页面统计数据异步加载，首屏快速渲染
五、数据安全
- 所有 API 请求需携带有效的 API 密钥
- 用户密码使用 bcrypt 加密存储
- 后台管理页面有 CSRF 防护
- 采集接口有频率限制，防止恶意拉取
