网络搜索引擎对于索引大量在线信息至关重要，可以在几毫秒内访问这些信息。在这个项目中，我用 Go (Golang) 构建了一个名为 RelaxSearch 的搜索引擎。它通过与强大的搜索和分析引擎 Elasticsearch 集成，将网络抓取、定期数据索引和搜索功能结合在一起。在这篇博客中，我将带您了解 RelaxSearch 的主要组件、架构，以及它如何有效地抓取和索引数据，以实现基于关键字的快速搜索。
RelaxSearch 概述
RelaxSearch 围绕两个主要模块构建：
-
RelaxEngine：由 cron 作业提供支持的网络抓取工具，它定期抓取指定的网站、提取内容并在 Elasticsearch 中为其建立索引。
-
RelaxWeb：一个 RESTful API 服务器，允许用户搜索索引数据，提供分页、过滤和内容突出显示，以实现用户友好的响应。
项目动机
从头开始创建搜索引擎项目是了解网络抓取、数据索引和高效搜索技术的好方法。我想利用 Go 的效率和 Elasticsearch 强大的索引创建一个简单但实用的搜索引擎，具有快速数据检索和易于扩展的特点。
主要特点
-
自动抓取：使用 cron 作业，RelaxEngine 可以定期运行，抓取数据并将其存储在 Elasticsearch 中。
-
全文搜索：RelaxWeb提供全文搜索功能，按关键字索引内容，检索速度快。
-
REST API：可通过带有分页、日期过滤和内容突出显示参数的 RESTful API 进行访问。
-
数据存储：索引内容存储在Elasticsearch中，允许可扩展和高度响应的查询。
RelaxSearch的架构
1.RelaxEngine（网页抓取器和索引器）
RelaxEngine 是一个用 Go 编写的网络抓取工具，用于导航网页、提取和存储内容。它作为 cron 作业运行，因此可以定期（例如每 30 分钟）运行一次，以保持索引更新为最新的 Web 数据。其工作原理如下：
-
种子 URL：RelaxEngine 开始从指定的种子 URL 进行抓取，然后跟踪站点内的链接直至可配置的深度。
-
内容解析：对于每个页面，它提取标题、描述和关键字，构建信息数据集。
-
Elasticsearch 中的索引：抓取的内容在 Elasticsearch 中建立索引，准备进行全文搜索。每个页面的数据都存储有唯一的标识符、标题、描述和其他元数据。
2.RelaxWeb（搜索API）
RelaxWeb 提供 RESTful API 端点，可以轻松查询和检索 Elasticsearch 中存储的数据。 API 接受关键字、分页、日期过滤等多个参数，以 JSON 格式返回相关内容。
-
API 端点：/search
-
查询参数：
-
关键字：主要搜索词。
-
from 和 size：分页控制。
-
dateRangeStart 和 dateRangeEnd：根据数据时间戳过滤结果。
关键组件和代码片段
下面是一些来自 RelaxSearch 的重要组件和代码摘录，以说明其工作原理。
RelaxEngine 的主要 Go 代码
核心功能位于 main.go 文件中，其中 RelaxEngine 使用 gocron 初始化调度程序来管理 cron 作业，设置 Elasticsearch 客户端，并开始从种子 URL 进行爬取。
func main() {
cfg := config.LoadConfig()
esClient := crawler.NewElasticsearchClient(cfg.ElasticsearchURL)
c := crawler.NewCrawler(cfg.DepthLimit, 5)
seedURL := "https://example.com/" // Replace with starting URL
s := gocron.NewScheduler(time.UTC)
s.Every(30).Minutes().Do(func() {
go c.StartCrawling(seedURL, 0, esClient)
})
s.StartBlocking()
}
登录后复制
爬虫和索引逻辑
crawler.go 文件处理网页请求、提取内容并为其建立索引。使用elastic包，每个抓取的页面都存储在Elasticsearch中。
func (c *Crawler) StartCrawling(pageURL string, depth int, esClient *elastic.Client) {
if depth > c.DepthLimit || c.isVisited(pageURL) {
return
}
c.markVisited(pageURL)
links, title, content, description, err := c.fetchAndParsePage(pageURL)
if err == nil {
pageData := PageData{URL: pageURL, Title: title, Content: content, Description: description}
IndexPageData(esClient, pageData)
}
for _, link := range links {
c.StartCrawling(link, depth+1, esClient)
}
}
登录后复制
在RelaxWeb中搜索API代码
在relaxweb服务中，API端点提供全文搜索功能。端点 /search 接收请求并查询 Elasticsearch，根据关键字返回相关内容。
func searchHandler(w http.ResponseWriter, r *http.Request) {
keyword := r.URL.Query().Get("keyword")
results := queryElasticsearch(keyword)
json.NewEncoder(w).Encode(results)
}
登录后复制
设置 RelaxSearch
-
克隆存储库
git clone https://github.com/Ravikisha/RelaxSearch.git
cd RelaxSearch
登录后复制
配置
使用 Elasticsearch 凭证更新 RelaxEngine 和 RelaxWeb 的 .env 文件。
使用 Docker 运行
RelaxSearch 使用 Docker 来轻松设置。只需运行：
docker-compose up --build
登录后复制
挑战与改进
-
可扩展性：Elasticsearch 可以很好地扩展，但是处理大量链接的大量抓取需要针对更大规模的部署进行优化。
-
强大的错误处理：增强错误处理和重试机制将提高弹性。
结论
RelaxSearch 是基本搜索引擎的教育和实践演示。虽然它仍然是一个原型，但该项目对于理解 Web 抓取、全文搜索以及使用 Go 和 Elasticsearch 进行高效数据索引的基础知识很有帮助。它为可扩展环境中的改进和实际应用开辟了途径。
探索 GitHub 存储库，亲自尝试 RelaxSearch！
以上是使用 Elasticsearch 在 Go 中构建 Web 搜索引擎的详细内容。更多信息请关注PHP中文网其他相关文章！
