Python爬取笔趣阁小说返回的网页内容中没有小说内容?

各位大神,我用python写了一个爬取笔趣阁小说的方法,查看网页源码可以看到小说内容,但是代码返回的html网页内容没有小说内容,除了小说内容其他都有,我看返回的html中应该是小说内容的地方出现了一个 ,请问是怎么回事
最新跟帖
他是谁

他是谁

from urllib import request import re #构造请求信息, header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 \ (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'} i = 2693152 j = 1 #2693854 while i
you『§』祥

you『§』祥

我试了一下,用iter_content方法直接保存到文件可以。 file = open('xiaoshuo.txt','wb') for line in res.iter_content(): file.write(line) file.close() 你用的是pycharm吧,pycharm要配置一下,你直接用cmd试试可不可以
wugn

wugn

因为这里是动态加载的内容,而你用普通的方法爬取的网页只能爬渠道静态的内容。 所以你需要模仿真正的浏览器,而不是仅仅请求这个页面的内容。 详细内容可以在网上搜索以下,毕竟这里我也没法给你详细解说。 加油! python 天下第一
妞妞和笨龟

妞妞和笨龟

把网页下载本地,再从本地打开就能显示了
无法抑制

无法抑制

思路: 一、分析网页,网址架构 二、码代码并测试 三、下载并用手机打开观察结果 一、分析网页,网址架构 先随便点击首页上的一篇小说,土豆的--元尊,发现在首页上面有如下一些信息: 作者,状态,最新章节,最后更新时间,简介,以及下面就是每一章的章节名,点击章节名就可以跳转到具体的章节。 然后我们按F12,进入开发者模式,在作者上面点击右键--“检查”,可以发现这些信息都是比较正常地显示。 再看章节名称,发现所有的章节都在 下面的 dd 里面,整整齐齐地排列好了,看到这种情形,就像点个赞,爬起来舒服。 分析完首页,点击章节名称,跳转到具体内容,发现所有的正文都在
jelson_f

jelson_f

  • 0
    经验
  • 0
    粉丝
  • 0
    关注
微信公众号 微信客服号 APP下载 返回顶部
顾文姬微信公众号

微信扫描关注

顾文姬微信客服号

微信扫描加好友

顾文姬app下载

扫描下载