freebuf 所有栏目爬虫 – freebuf-spider

一个抓取freebuf所有栏目的文章的爬虫,以网页形式展现,上传了一些爬取好的结果

开源地址:https://github.com/hongfeiyucode/freebuf-spider

执行命令: python freebuf.py

程序运行方式

  • 输入文件名:输入要生成的html文件的文件名
  • 输入栏目网址:freebuf文章分成了很多栏目,在分类阅读里面可以获取每个栏目的网址 
  • 该栏目总共有多少页:在栏目网址后面加上 /page/页数

如果返回是 说明这个栏目没有这么多页,写程序的二分法不用我教吧,用这个方法可以快速得出总页数,然后填上即可

需要模块

输出结果

暂时爬取了三个栏目放在这里,大家可以看下效果,自己可以动手爬其他的

终端安全

可以看到freebuf终端安全的文章从建站到现在全部在这里了

安全工具合集

发表评论

电子邮件地址不会被公开。 必填项已用*标注