• python3.6.2+
• postgres

数据爬取采用scrapy框架，数据存储采用postgres。 数据库账号配置文件.\appspider\configs\postgreconfig.py：

# 数据库名称，与数据库中一致
db_bs = 'appspiders'

postgre_configs = {
    'database': db_bs,
    'user': '$user',
    'password': '$passwd',
    'host': '$ip',
    'port': '$port'
}

备注：本地测试时，可以不使用数据库，而将结果保存到本地txt文件。修改settings.py文件，注释掉appspider.pipelines.PostgreSQLPipeline，并且打开appspider.pipelines.AppspiderPipeline注释。

ITEM_PIPELINES = {
   'appspider.pipelines.AppspiderPipeline': 300,
   # 'appspider.pipelines.PostgreSQLPipeline': 300,
}

爬虫部署后端采用scrapyd，Web前端使用SpiderKeeper。 将项目打包成*.egg文件，推送到scrapyd，在使用SpiderKeeper做控制，实现定时爬取。

例如做统计分析。