请选择 进入手机版 | 继续访问电脑版

搜索
查看: 17245|回复: 199

利用Java爬虫技术做一个小说网站

  [复制链接]

5

主题

680

帖子

963万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
9638874
QQ
发表于 2017-10-4 09:50:41 | 显示全部楼层 |阅读模式
如何利用Java爬虫技术做一个小说网站,主要会涉及到Java语言,Httpclient技术,爬虫原理,网站抓取等技术。

用Java做一个自己的小说网站共10课,教程完结,带完整依赖jar。

【课程内容】

第一课更新:

本教程要求:
有一定Java开发基础
有一点网页开发基础

开发环境:
JDK1.7及以上
Maven
Eclipse
Tomcat7及以上

第二课更新:

1.为原来的抓取解析增加了一个工具方法:该方法可以很方便的用来扩展支持更多的小说网站。
2.增加了一个枚举,用来表示我们目前支持的小说网站。

第三课更新:

1.实现了笔趣阁,顶点小说的内容的抓取

第四课更新:

1.对笔下文学,看书中的完整支持
2.多线程下载任意网站的小说第1节3.对之前教程的一点解释

第73分钟处有个错误
那个重载的substring方法只有两个参数 "".substring(int beginIndex,int endIndex),我在里面误说成三个参数了

第五课更新:

1.实现了多线程下载任意网站的小说的功能

错误预警:
视频中有个给线程分配任务的bug,这个bug会导致每个线程少下载一个章节的内容。undefined
修复起来很简单。我会在今晚录制的视频中修复它

第六课更新:

1.修复了三个不合理的bug,这些bug会导致小说下载的成功率,以及丢失章节的问题

第七课更新:

1.增加了对看书中,笔下文学中的书库列表的抓取功能

超长时间预警:该节课有110分钟
Debug预警:大概有30分钟用来调试bug

第八课更新:

1.引入了一种简单的Java设计模式:迭代器模式
2.利用mybatis完整的实现了将看书中和笔下文学的书库存储到我们的数据库

第九课更新:

1.新建了一个项目,并对我们的项目进行简单的配置:spring的配置文件,mybatis的配置文件
2.并在NovelController中写了两个测试方法,可以返回json形式的章节列表和章节详细内容

第十课更新(最后一课):

1.完整的实现了在浏览器端搜索小说,显示章节列表,显示章节内容的功能

【下载地址】  
游客,如果您要查看本帖隐藏内容请回复

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

1

主题

65

帖子

2076

积分

金牌会员

Rank: 6Rank: 6

积分
2076
发表于 2017-10-5 19:36:27 | 显示全部楼层
看看怎么样

0

主题

108

帖子

734

积分

高级会员

Rank: 4

积分
734
发表于 2017-10-9 09:18:10 | 显示全部楼层
6666666666666666

0

主题

365

帖子

3457

积分

论坛元老

Rank: 8Rank: 8

积分
3457
发表于 2017-10-9 20:40:02 | 显示全部楼层
rtretretretertre

0

主题

5

帖子

20

积分

普通会员

Rank: 1

积分
20
发表于 2017-10-13 09:45:21 | 显示全部楼层
66666666666666666666666666

0

主题

4

帖子

24

积分

普通会员

Rank: 1

积分
24
发表于 2017-10-17 03:08:32 | 显示全部楼层
6666666666666666

0

主题

8

帖子

47

积分

普通会员

Rank: 1

积分
47
发表于 2017-10-20 18:17:12 | 显示全部楼层
顶一个。。
回复

使用道具 举报

0

主题

45

帖子

285

积分

中级会员

Rank: 3Rank: 3

积分
285
发表于 2017-10-21 16:13:00 | 显示全部楼层
66666666656666

42

主题

121

帖子

2713

积分

金牌会员

Rank: 6Rank: 6

积分
2713
发表于 2017-10-26 09:22:53 | 显示全部楼层
6666666666666
愿你迷路到我身旁

0

主题

1

帖子

9

积分

普通会员

Rank: 1

积分
9
发表于 2017-10-31 14:09:44 | 显示全部楼层
6666看看是个什么鬼东西
快速回复 返回顶部 返回列表