抓取网页内容生成Kindle电子书

自从买了kindle后,总是想着如何最大效用发挥其效用。虽然多看上有很多书可以购买,网上也有很多免费的电子书,但是仍然有很多感兴趣的内容是以网页的形式存在的。例如O’Reilly Atlas就提供了诸多电子书,但是只提供免费的在线阅读;另外还有很多资料或文档都只有网页形式。于是就希望通过某种方法讲这些在线资料转为epub或mobi格式,以便在kindle上阅读。这篇文章介绍了如何借助calibre并编写少量代码来达到这个目的。

Calibre

Calibre简介

Calibre是一个免费的电子书管理工具,可以兼容Windows, OS X及Linux,令人欣喜的是,除了GUI外,calibre还提供了诸多命令行工具,其中的ebook-convert命令可以根据用户编写的recipes文件(实际是python代码)抓取指定页面内容并生成mobi等格式的电子书。通过编写recipes可以自定制抓取行为,以适应不同的网页结构。

安装Calibre

Calibre的下载地址是http://calibre-ebook.com/download,可以根据自己的操作系统下载相应的安装程序。

如果是Linux操作系统,还可以通过软件仓库安装:

Archlinux:

pacman -S calibre

Debian/Ubuntu:

apt-get install calibre

RedHat/Fedora/CentOS:

yum -y install calibre

注意,如果你使用OSX,需要单独安装Command Line Tool

抓取网页生成电子书

下面以Git Pocket Guide为例,说明如何通过calibre从网页生成电子书。

找到index页

要抓取整本书,第一件事就是找到index页,这个页面一般是Table of Contents,也就是目录页,其中每个目录项链接到相应内容页。index页将会指导抓取哪些页面以及生成电子书时内容组织顺序。在这个例子中,index页面是http://chimera.labs.oreilly.com/books/1230000000561/index.html

编写recipes

Recipes是一个以recipe为扩展名的脚本,内容实际上是一段python代码,用来定义calibre抓取页面的范围和行为,下面是用于抓取Git Pocket Guide的recipes:

from calibre.web.feeds.recipes import BasicNewsRecipe

class Git_Pocket_Guide(BasicNewsRecipe):

    title = 'Git Pocket Guide'
    description = ''
    cover_url = 'http://akamaicovers.oreilly.com/images/0636920024972/lrg.jpg'

    url_prefix = 'http://chimera.labs.oreilly.com/books/1230000000561/'
    no_stylesheets = True
    keep_only_tags = [{ 'class': 'chapter' }]

    def get_title(self, link):
        return link.contents[0].strip()

    def parse_index(self):
        soup = self.index_to_soup(self.url_prefix + 'index.html')

        div = soup.find('div', { 'class': 'toc' })

        articles = []
        for link in div.findAll('a'):
            if '#' in link['href']:
                continue

            if not 'ch' in link['href']:
                continue

            til = self.get_title(link)
            url = self.url_prefix + link['href']
            a = { 'title': til, 'url': url }

            articles.append(a)

        ans = [('Git_Pocket_Guide', articles)]

        return ans

下面分别解释代码中不同部分。

总体结构

总体来看,一个recipes就是一个python class,只不过这个class必须继承calibre.web.feeds.recipes.BasicNewsRecipe。

parse_index

整个recipes的核心方法是parse_index,也是recipes唯一必须实现的方法。这个方法的目标是通过分析index页面的内容,返回一个稍显复杂的数据结构(稍后介绍),这个数据结构定义了整个电子书的内容及内容组织顺序。

总体属性设置

在class的开始,定义了一些全局属性:

title = 'Git Pocket Guide'
description = ''
cover_url = 'http://akamaicovers.oreilly.com/images/0636920024972/lrg.jpg'

url_prefix = 'http://chimera.labs.oreilly.com/books/1230000000561/'
no_stylesheets = True
keep_only_tags = [{ 'class': 'chapter' }]
  • title:电子书标题
  • description:电子书描述
  • cover_url:电子书的封面图片
  • url_prefix:这是我自用的属性,是内容页面的前缀,用于后面拼装内容页的完整url
  • no_stylesheets:不要使用页面CSS样式
  • keep_only_tags:这一行告诉calibre分析index页时仅考虑class属性为“chapter”的DOM元素,如果你看index页的源码会发现这对应一级标题。之所以这样是因为在这个例子中,index页面每个一级标题对应一个独立内容页,而二级标题仅链接到页面中某个锚点(anchor),所以仅需考虑一级标题

parse_index返回值

下面介绍parse_index需要通过分析index页面返回的数据结构。

总体返回数据结构是一个list,其中每个元素是一个tuple,一个tuple表示一卷(volume)。在这个例子中只有一卷,所以list中只有一个tuple。

每个tuple有两个元素,第一个元素是卷名,第二个元素是一个list,list中每个元素是一个map,表示一章(chapter),map中有两个元素:title和url,title是章节标题,url是章节所在内容页的url。

Calibre会根据parse_index的返回结果抓取并组织整个书,并且会自行抓取并处理内容中外链的图片。

整个parse_index使用soup解析index页并生成上述数据结构。

更多

上面是最基本的recipes,想了解更多的使用方法,可以参考API文档

生成mobi

编写好recipes后,在命令行下通过如下命令即可生成电子书:

ebook-convert Git_Pocket_Guide.recipe Git_Pocket_Guide.mobi

即可生成mobi格式的电子书。ebook-convert会根据recipes代码自行抓取相关内容并组织结构。

最终效果

下面是在kindle上看到的效果。

目录

内容一

内容二

含有图片的页

实际效果

我的recipes仓库

我在github上建了一个kindle-open-books,里面放了一些recipes,有我写的,也有其他同学贡献的。欢迎任何人贡献的recipes。

Leave a Reply

Your email address will not be published. Required fields are marked *