百度云爬虫 – 爬取百度云 / 百度网盘所有的分享文件

baiduyun-spider

百度云爬虫 – 爬取百度云 / 百度网盘所有的分享文件

运行环境

  • MySQL
  • Python 2.7
  • Mysql-python

操作

创建数据库

创建名为pan的数据库,编码设为utf-8。然后导入sql/pan.sql,完成表的创建。

设置连接数据库的账号密码

打开 bin/spider.py ,修改 DB_HOSTDB_PORTDB_USERDB_PASS

运行爬虫

如果你是第一次部署,需运行下面命令,完成做种

上面其实就是抓取百度云热门分享用户的相关信息,然后从他们开始入手爬取数据

然后运行

此时爬虫已经开始工作了。 数据库中就能看到对应的信息了。

开源地址:https://github.com/x-spiders/baiduyun-spider

2 Responses

  1. Andrew 2017年5月4日 / 下午5:11

    小白一个,请教如何使用数据库中的数据?
    谢谢

    • admin 2017年5月5日 / 上午9:50

      数据库中的数据?python 的话 mysqldb 即可、

发表评论

电子邮件地址不会被公开。 必填项已用*标注