peketaminの日記

その辺のプログラマーのチラ裏です。

Pythonによるクローラー&スクレイピングの入門本を書きました

株式会社Gunosy の同僚でアプリ開発エンジニアの加藤 勝也さんからお誘いを受け、共同執筆した 「Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析まで」翔泳社さんから2017年10月23日に発売することになりました。

もともとマーケティング情報や口コミ、競合サイト分析のためにクローラーの開発ニーズというのはあったと思うのですが、近年はデータ分析、自然言語処理機械学習ディープラーニングの注目により、ソースデータの収集技術としても要望が高まってきているのではないかと思います。

データ分析や機械学習にはPandas, scikit-learn, TensorFlow, ChainerといったPythonのライブラリがよく使われているのを目にします。データ収集工程からPythonで開発をすることで、連携がスムーズになり、また、他の言語のエコシステムを習得するための学習コストも低減できるのではないかと思います。

Python関連の本、そして、Pythonによるクローラー開発についての技術書が多く出版されるようになりました。そんな中、本書では、クローラースクレイピングプログラムの開発方法だけではなく、クローラー全体をシステムとして開発するための要素技術を盛り込みました。

対象読者はクローラースクレイピングプログラムの開発経験のあまりないデータ分析エンジニアの方や、基本的なUNIXの知識とWebアプリケーション開発経験のあるプログラマーの方などを想定しています。

ぜひお手にとって頂ければ幸いです。

内容

大きく基本編と応用編に分かれています。

基本編では、クローラー開発におけるUNIXコマンドの利用方法や、クローラーの基本形が学べます。

応用編では、システム運用を前提にした設計要素、クロールデータの利用方法としてのフィードの作り方やWebAPIの作り方、管理画面の作り方、そして、実際のクローラーの例としてのサンプルを記載しています。

翔泳社さんのキャンペーンサイトから予約購入していただくと、Requestsでのリトライ実装についてと、BeautifulSoupで覚えておきたいスクレイピング方法を解説した特典PDFがついてきます。

www.shoeisha.co.jp

あとがきに代えて

次の方々には大変お世話になりました。この場を借りてお礼を述べさせていただきます。ありがとうございました。 本書の執筆は各関係者の方々のご協力なくしてはなし得ませんでした。

  • 共著者の加藤 勝也さんには共著のお誘いを頂き、また、各Chapterの執筆以外にも、執筆方法を教えていただいたり、連絡・スケジュール管理などの面で助けていただきました。
  • 編集・校正では翔泳社の宮腰隆之様、プログラムの検証では村上俊一様に大変お世話になりました。
  • そして、株式会社Gunosyの皆様には実際に業務の面でPythonによるクローラーの開発を経験させていただき、常日頃お世話になっております。

生まれて初めて本を執筆しました。 執筆にあたっては関係者の方々に色々とご迷惑をおかけし、その節はフォローいただき、まことにありがとうございました。 この本が、皆様にとって少しでもお役に立てれば幸いです。

飲むヨーグルト飲んでると少し胸が楽

Wannabe

Wannabe

こんな風にギターが弾けたらなあ。

https://youtu.be/f_u-rHv_lm0

前に、ペトロールズがライブで雨を演奏している動画がYouTubeにあって、すごく感動したのだけど、消えてしまっていて残念。いっきにペトロールズのファンになった。

15年に一度体験できるかどうかの感動だった。 長岡亮介のギターワークは実にユニーク。 (動画は長岡氏ご本人ではありません)

ちなみに、長岡氏にとってギターは、車と自転車の次に好きなものだそうで。一番じゃないんだ。それはそれですごい…。

雨

少し腰の痛みがマシになって来た。咳も少し落ち着いてきつつある。体重は63kg±1kgを行ったり来たりに下げ止まっているけれど、70kg台の腹が出てる時に比べると体は軽い。

寝過ごして柿生まで来てしまった。戻るついでに不二家でロールケーキ買おうと思ったら閉店してた。残念だ…。

咳が2週間続いてる。2週間前の診断では風邪とのことだったが、折を見てへ呼吸器科にかかろうと思う。

https://youtu.be/fvyKrMyeysY

ナンセンストリオ、赤上げないで白下げないの旗揚げゲームの考案のみならず、親亀の上に子亀を乗せて…の考案者でもあったとは…リズムゲームの天才よな…エンタツアチャコとはまた違った演芸史の一角。

追記: ゲームを考案したのは誰か分からないが、コントにしたのはナンセンストリオが最初とのこと。なるほど…?


独学こそ学習の至上であるという呪いを解いてくれたのはゲーテだった。独学はあくまでいち手段なので、同じ呪いにかかっている人がいたら、一刻も早くその呪いが解けますように。


考えてみれば、仏がブッダ(インドの金持ちの王子)なら、私の仏教世界ではインド人を敬ってることになるのか。いや、別にそれ自体はいいけど、実は自分の親が外国人でした、みたいな気分になる。


仏教キリスト教イスラム教も、開祖の教えを離れると人を死なせた歴史がある。正義の義心に燃える者は業深い。赦しとは。

先月受けた健康診断(人間ドック)の結果が届いた。結果はCで要経過観察。

胸部CT、右上葉にすりガラス陰影、喀痰細胞検査がclass Ⅱ とあった。

胸部は3ヶ月後に再検査をどこかの病院で、喀痰細胞検査については一年後とのこと。

そしてやっぱり今年も右の視神経に乳頭陥凹の疑いがあった。

胸部は、肺がんの遺伝かな?ただの炎症ならいいんだけど。そして今、喉が痛い。耳鼻咽喉科では所見的にはそれほど異常はないらしい。

この日記の翌日から咳が止まらず、熱はないがしんどい。1ヶ月続くようなら呼吸器科で見てもらおう。