今日头条,网易,腾讯等新闻, 并建立简单的搜索引擎

开源地址 :https://github.com/lzjqsdd/NewsSpider

包含网站:

  • 今日头条
  • 网易新闻
  • 腾讯新闻

主要功能

  • 新闻抓取
  • 索引构建
  • 前端搜索

整体结构

运行

一键启动

直接执行工程目录下的 start.sh,可以启动抓取,索引和检索。可以修改 tools/Global.py 中的 project_root 路径,默认所有处理的数据均在该目录下

同时运行所有爬虫

运行单个爬虫

数据及注意事项

  • 抓取的新闻为 utf-8 格式的,并不是乱码
  • 网易新闻 2015 年的内容格式和 2016 的不一样,可以抓取,需要修改 xpath 解析方式
  • 默认参数可以抓取到 13 万条左右的数据,
    • title.json(不含新闻内容)
    • news.json(含新闻内容),可以在 setting.py 中修改默认写入选项
    • news2db.py 可以将 json 文件写入sqlite3数据库
  • 所有的数据配置均可以在 tool/Global.py 中修改

TODO

  • 相似新闻推荐
  • 排序算法

Demo 展示

Demo

1 Response

发表评论

电子邮件地址不会被公开。 必填项已用*标注