Skip to content

Files

Latest commit

author
卜俊杰
Nov 7, 2019
92f8f7e · Nov 7, 2019

History

History

SohuNewCrawler

readme.md

搜狐及时新闻采集——适合机器学习样本采集使用

爬取方式

结构设计

多线程生产者消费者

使用框架

tk界面编程

演示:

运行方式

运行环境win、python35、mongodb

  1. 开启mongodb数据库
mongod.exe --dbpath=path
  1. 安装依赖
pip install -r requirements.txt
  1. python35
python TK_News.py

先确保数据库ok,然后点击采集,导出数据确保路径正确

更新功能