跳到主要内容

使用 Fiber 构建的简单 Colly 网页抓取应用

Github StackBlitz

这是一个使用 Fiber 框架创建 Colly 抓取任务的基础 Go 应用。

如何运行​

  1. 克隆仓库。
  2. 进入项目目录。
  3. 运行 docker compose up --build。
  4. 在网页浏览器中访问 http://127.0.0.1:3000/api/healthchecker 或使用 curl 等工具进行测试。
  5. 发送 GET 请求到 http://127.0.0.1:3000/scrape/coursera 开始抓取 Coursera 课程。发送到 http://127.0.0.1:3000/scrape/quotes 则抓取 quotes.toscrape.com。

功能说明​

  • 从网站抓取数据并存储到 PostgreSQL 数据库。