Golang实现简单爬虫框架 本项目是慕课网视频Google工程师深度讲解go语言课程中的项目实战部分,现整理出,方便以后学习 本项目首先实现一个简单的单机版爬虫,包括基本的引擎模块、网页抓取模块、数据解析模块。 在单机版基础上实现了简单的并发版爬虫,所有任务共用一个channel 然后又用队列实现并发任务调度, 最后实现了数据的存储 欢迎大家查看,随手给个star,在此感激不尽!