先介绍下我自己爬起点小说的思路：

1.爬取所有的类型列表

a.链接存redis中 类型表：novel_list 具体每一种类型：bnovel_all_list（把novel_list和bnovel_list合并为bnovel_list）

b.名字存到mongodb中，构成树链表 表名： bnovel_all_list

2.爬取小说的名字和链接(redis:all_novel_href （只需要novels 的id） mongodb:novels上一个id作为标签)

小说表：每次添加，去重（如果有就更新mongodb的数据(根据redis的id)，没有就添加到mongodb中）（可能没有重复的）

所有链接都放到redis（id(mongodb的id)+url）中，把小说名放到mongodb中

3.爬小说的首页：

1.爬取作者，书的状态（连载or完结） （更新到mongodb中）

4.根据目录去爬取所有的章节（mongodb中章名作为键，内容存的文件位置作为值）（在mongodb中可以把汉字作为键）（mongodb章节表）

vip:章节的处理，爬还是不爬？ 爬 （要的只是书的数量，内容无所谓）

连载和完结的处理 ：将所有未完结书的最后一章链接都存到redis中，格式为书的id+链接

每天根据这个链接去查看有没有下一章，有就去爬取，并更改mongodb的数据库，并把链接更新（

redis的lrange or lpop操作?）

（先执行每天的查看，未完结的每次都去爬书的首页，完结就修改mongodb的数据，未完结就pass）

过几天介绍上代码