Golangでクローリングをしてみる

118 view

こんにちは。

モバイルエンジニアのアベユウタです。

今回、とあるサイトの情報を一括取得してほしいとの話がありましたので、せっかくなのでGolangに入門してみました。

What is Golang ?

Golang

Go is an open source programming language that makes it easy to build simple, reliable, and efficient software.

つまり、
「Goは、オープンソースのプログラミング言語で、シンプルで信頼性の高い効率的なソフトウェアを簡単に作れるよ!」
とのことです。

なぜGolang??

なぜモバイルエンジニアがGolangを触ってみようと思ったかというと大まかな理由(原因)は下記の通りです。

サーバーサイドエンジニアがヘイシャにイ!ナ!イ!!!
– ある程度Golangの言語仕様を理解しておくことで、将来サーバーサイドエンジニアさんとお仕事した時に便利そう
– Golangの特徴である並列処理を理解するぐらいまではたどり着きたい

(ほぼ1つ目が原因です。いないなら自分でやってしまおうとやけになった結果です)

早速クローリングしてみた

環境設定に関してははこちらをご覧ください↓
【Golang】MacでGoの開発環境[備忘録]

今回はわかりやすいようにサンプルケースで、指定したサイトのtitleタグを取得するソースコードを試しに記載しました。

サンプルコードはGithubで公開しています。
golang-scraping-shots

クローリングを行う際には必ずgoqueryが必要となりますので入れるのを忘れないでください。

PuerkitoBio/goquery

以上のコードを書けたら、ターミナルでルートディレクトリまで移動したのちに、sudo go run Sample.go を叩けばターミナル上にtitleタグ内の文字列が表示されていることが確認できるかと思います。

最後に…

弊社のGithubリポジトリのTop languagesです。

・・・これだけみるといい感じの強そうなエンジニアチームに見えてきませんか?

\ SNSでシェア /

WRITER

アベユウタ

モバイルエンジニア アベユウタ

2017年11月入社 制作部 所属

新潟市出身です。
iOS/Androidのモバイルアプリ開発が好きです。
好きな言語仕様はSwiftのProperty ObserversとKotlinのエルビス演算子です。

休日もパソコンカチカチしているタイプの人です。

Twitterによく出没します→@yutaabe200

TAGS