

python网络数据采集

采集数据

• 遍历单个域名
• 采集整个网站

  - 避免重复采集页面可以使用set，检测新链接是否在集合内，如果不在就采集

Comments