Skip to content

NovemberChopin/golang-crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

17 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Golang实现简单爬虫框架

本项目是慕课网视频Google工程师深度讲解go语言课程中的项目实战部分,现整理出,方便以后学习

本项目首先实现一个简单的单机版爬虫,包括基本的引擎模块、网页抓取模块、数据解析模块。

在单机版基础上实现了简单的并发版爬虫,所有任务共用一个channel

然后又用队列实现并发任务调度,

最后实现了数据的存储

欢迎大家查看,随手给个star,在此感激不尽!

About

A simple crawler by golang

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published