聚合搜索平台项目学习笔记

项目介绍

聚合搜索平台是一个统一搜索入口的平台，用户可以通过一个界面搜索多个数据源的内容（如文章、图片、用户等），类似于多平台聚合搜索。平台将不同来源的数据进行抓取、清洗和整合，提供一站式的搜索体验，避免用户在多个网站之间来回切换。

技术栈

分类	技术
前端	React、Ant Design Pro、UmiJS
后端	Spring Boot、MyBatis-Plus、MySQL、Elasticsearch（或数据抓取）
数据抓取	Hutool HTTP 工具、Jsoup 网页抓取

核心功能

• 多数据源聚合搜索：支持文章、图片、用户等多种类型内容的统一搜索
• 搜索结果分页展示：对搜索结果进行分页，提升浏览体验
• 搜索结果分类筛选：按数据源类型对结果进行分类过滤
• 搜索历史记录：记录用户的搜索历史，便于回溯

技术要点

• Elasticsearch 全文检索：使用 Elasticsearch 实现高效的全文搜索与相关性排序
• 线程池并行查询：使用线程池并行查询多个数据源，缩短整体响应时间
• Redis 缓存热门搜索词：利用 Redis 缓存高频搜索词，减轻数据库与搜索引擎压力
• 数据抓取与清洗：使用 Hutool 和 Jsoup 抓取网页数据，并进行格式清洗与结构化存储

项目收获

• 学习 Elasticsearch 的全文检索原理与使用方法
• 掌握 数据抓取（Hutool、Jsoup）的流程与清洗技巧
• 理解 并行查询优化 的思路与线程池实践
• 熟悉 Redis 缓存 在高并发搜索场景中的应用
• 实践 React + Ant Design Pro 的中后台前端开发模式