请选择 进入手机版 | 继续访问电脑版

搜索
查看: 16148|回复: 187

利用Java爬虫技术做一个小说网站

  [复制链接]
  • TA的每日心情
    擦汗
    4 小时前
  • 签到天数: 122 天

    [LV.7]常住居民III

    1

    主题

    670

    帖子

    963万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    9638574
    QQ
    发表于 2017-10-4 09:50:41 | 显示全部楼层 |阅读模式
    如何利用Java爬虫技术做一个小说网站,主要会涉及到Java语言,Httpclient技术,爬虫原理,网站抓取等技术。

    用Java做一个自己的小说网站共10课,教程完结,带完整依赖jar。

    【课程内容】

    第一课更新:

    本教程要求:
    有一定Java开发基础
    有一点网页开发基础

    开发环境:
    JDK1.7及以上
    Maven
    Eclipse
    Tomcat7及以上

    第二课更新:

    1.为原来的抓取解析增加了一个工具方法:该方法可以很方便的用来扩展支持更多的小说网站。
    2.增加了一个枚举,用来表示我们目前支持的小说网站。

    第三课更新:

    1.实现了笔趣阁,顶点小说的内容的抓取

    第四课更新:

    1.对笔下文学,看书中的完整支持
    2.多线程下载任意网站的小说第1节3.对之前教程的一点解释

    第73分钟处有个错误
    那个重载的substring方法只有两个参数 "".substring(int beginIndex,int endIndex),我在里面误说成三个参数了

    第五课更新:

    1.实现了多线程下载任意网站的小说的功能

    错误预警:
    视频中有个给线程分配任务的bug,这个bug会导致每个线程少下载一个章节的内容。undefined
    修复起来很简单。我会在今晚录制的视频中修复它

    第六课更新:

    1.修复了三个不合理的bug,这些bug会导致小说下载的成功率,以及丢失章节的问题

    第七课更新:

    1.增加了对看书中,笔下文学中的书库列表的抓取功能

    超长时间预警:该节课有110分钟
    Debug预警:大概有30分钟用来调试bug

    第八课更新:

    1.引入了一种简单的Java设计模式:迭代器模式
    2.利用mybatis完整的实现了将看书中和笔下文学的书库存储到我们的数据库

    第九课更新:

    1.新建了一个项目,并对我们的项目进行简单的配置:spring的配置文件,mybatis的配置文件
    2.并在NovelController中写了两个测试方法,可以返回json形式的章节列表和章节详细内容

    第十课更新(最后一课):

    1.完整的实现了在浏览器端搜索小说,显示章节列表,显示章节内容的功能

    【下载地址】  
    游客,如果您要查看本帖隐藏内容请回复

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x

    该用户从未签到

    1

    主题

    65

    帖子

    2076

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    2076
    发表于 2017-10-5 19:36:27 | 显示全部楼层
    看看怎么样

    该用户从未签到

    0

    主题

    108

    帖子

    734

    积分

    高级会员

    Rank: 4

    积分
    734
    发表于 2017-10-9 09:18:10 | 显示全部楼层
    6666666666666666
  • TA的每日心情
    开心
    2019-9-12 22:54
  • 签到天数: 59 天

    [LV.5]常住居民I

    0

    主题

    360

    帖子

    3407

    积分

    论坛元老

    Rank: 8Rank: 8

    积分
    3407
    发表于 2017-10-9 20:40:02 | 显示全部楼层
    rtretretretertre

    该用户从未签到

    0

    主题

    5

    帖子

    20

    积分

    普通会员

    Rank: 1

    积分
    20
    发表于 2017-10-13 09:45:21 | 显示全部楼层
    66666666666666666666666666

    该用户从未签到

    0

    主题

    4

    帖子

    24

    积分

    普通会员

    Rank: 1

    积分
    24
    发表于 2017-10-17 03:08:32 | 显示全部楼层
    6666666666666666

    该用户从未签到

    0

    主题

    8

    帖子

    47

    积分

    普通会员

    Rank: 1

    积分
    47
    发表于 2017-10-20 18:17:12 | 显示全部楼层
    顶一个。。
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    45

    帖子

    285

    积分

    中级会员

    Rank: 3Rank: 3

    积分
    285
    发表于 2017-10-21 16:13:00 | 显示全部楼层
    66666666656666

    该用户从未签到

    42

    主题

    121

    帖子

    2713

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    2713
    发表于 2017-10-26 09:22:53 | 显示全部楼层
    6666666666666
    愿你迷路到我身旁

    该用户从未签到

    0

    主题

    1

    帖子

    9

    积分

    普通会员

    Rank: 1

    积分
    9
    发表于 2017-10-31 14:09:44 | 显示全部楼层
    6666看看是个什么鬼东西
    快速回复 返回顶部 返回列表