UiPathで検索して情報収集を自動化(データスクレイピング)。「〇〇×△△」で検索して違いをつくろう。

ネットの活用方法の1つとして、情報収集があり、RPAツール、UiPathを使えばこれを自動化することもできます。

2018-07-11_10h34_45

※スクリーンショットで作成

ネットを使えば無料で情報収集できる。「〇〇×△△」も。

ネットで検索すれば、あふれるほどの情報が出てきます。

よしあしはあるとはいえ、無料で情報収集できる時代なわけです。
以前なら、本を買い、足を使って情報を集めなければいけませんでした。
今でもそうすることはありますが、ある程度の情報なら、涼しいクーラーの中、ネットで検索すればいいわけです。

単に、情報収集するだけではなく、自分と同業との違いをつくることもできます。
「〇〇×△△」での検索です。
〇〇と△△には、キーワードが入ります。
・職業
・肩書
・地名
・性別
・最寄り駅
・得意分野
・やりたい仕事
・趣味
・特技
・年齢、年代
などです。

・Excel×税理士
・IT×税理士
・トライアスロン×税理士
・RPA×セミナー
・IT×経理
・Excel×経理
・節税×Excel

などで、私は検索することが多く、これらのキーワードで表示されるようにしています。
新たなキーワードを思いついたり、記事を書こうとしたときに、検索してみると、
・ほかにやっている(書いている)人がいない
・あったとしても、それほど強敵でない
場合はチャンスです。

もし、強敵だった場合、違った角度で勝てないか考えて、微調整します。

この情報収集もRPAを使えば、自動化できるのです。


■スポンサードリンク

UiPathで情報収集を自動化する流れ

RPAツールUiPathの基本については、こちらを参考にしていただければ。
UiPath×Excel。Excelデータを読み取り、ブラウザで交通費検索。無料で使えるRPAツール。 | EX-IT

UiPathのプログラムを動かすと、このようにExcelへ、「〇〇×△△」の検索結果を出力できます。
気になるものがあれば、リンクをクリックしてチェックできるわけです。
出力する件数は自由に選べます。
今回は100件にしてみました。

2018-07-11_10h56_36

動画はこちらです。


Googleで検索して、

2018-07-11_12h07_03

出てきた結果のタイトルとURL、概要を集めます。

2018-07-11_12h06_50

ページを切り替えて、指定の100件まで集めたら、

2018-07-11_12h07_22

Excelへ書き込むというしくみです。
2018-07-11_10h56_36

UiPathでデータスクレイピング

UiPathでのプログラミングの流れを解説していきます。

[Open Brower]アクティビティで、”https://www.google.co.jp/”と指定します。
さらに、右側のプロパティで、Optionの[Private]にチェックを入れましょう。
Google検索は、自分の履歴を反映してしまうので、こういったときは、シークレットウィンドウ(プライベートウィンドウ)で、履歴を反映しないようにします。
その設定が、この[Private]です。

ex102

次に[Type Into]で検索キーワードを入れます。
ここは、Googleの検索窓を指定したいので、Webレコーディングでやるのがおすすめです。
その後、Enterキーを[Send Hotkey]で押します。

2018-07-11_10h57_32

データ抽出

次に、表示された検索結果を抽出します。

2018-07-11_10h58_01

ここは、レコーディングを使います。
UiPathnのメニューの[DataScraping]で、

2018-07-11_12h09_59

[Next]をクリックし、

2018-07-11_12h10_11

検索結果の1つ目を選びます。

さらに、2つ目の要素(Second Element)を指定しますので、[Next]をクリックし、

2018-07-11_12h10_20

2つ目の検索結果をクリックします。

この画面で、[Next]に進むと

2018-07-11_12h10_55

抽出結果が示されます。
さらに要素を追加するときは、[Extract Contained Data]で追加しましょう。
[Finish]をクリックすると、

2018-07-11_12h11_01

このような質問が出てきます。
検索結果は複数のページにまたがるか?という質問です。
100件を抽出しようとしているので、10ページにまたがります。
(通常10件が表示される)
ここは、Yesをクリックしましょう。

2018-07-11_12h11_16

Yesを押すと、[次へ]を選択するモードになるので、選択しましょう。

ex101

これで、抽出の設定は完了です。
抽出した結果は、ExtractDataTableという変数に入ります。

Excelへ書き込み

抽出した結果をExcelに貼り付けます。
[Excel Application Scope]で、書き込むファイルを選択し、[Write Range]で、
・書き込むシート ”Sheet1″
・書き込むセル  ”A1″
・書き込むもの  ExtractDataTable
と設定します。

2018-07-11_10h58_10

これで貼り付けられるのですが、大きな問題があります。
このままだと、B列のURLをクリックしてサイトにアクセスすることができません。
単なる文字列なのです。
ダブルクリックすればリンクをクリックできるようになりますが、それをヒトがやっていては意味がありません。

2018-07-11_10h56_54

そこで、セルD2に”=hyperlink(b2)”という数式を入れ、それをコピーするプログラムにしてみましょう。
この数式だと、URLの文字列をリンクにできます。

[Write Cell]で、
・書き込むシート ”Sheet1″
・書き込むセル  ”D2″
・書き込むもの  ”=hyperlink(b2)”
とし、
あとは、
[Select Range]でセルD2を選択し、
[Send Hotkey]で、Ctrl+Cを使ってコピーし
[Select Range]でセルD3からD100を選択し、
[Send Hotkey]で、Ctrl+Vを使って貼り付けましょう。

2018-07-11_11h40_53

そうすると、このようにD列にリンクができるわけです。
2018-07-11_10h56_36

数式のコピー・貼り付けの部分で、上記の方法だと、うまくいかないときもあります。
こっちのほうが安定しました。
数式を読み取って、書き込むというものです。
[Read Cell Formula]は、プロパティで、Outputに変数(Ctrl+K)「ExcelFormula」を設定し、[Write Cell」で指定します。

このしくみで、複数のキーワードを次々に検索することもできますし、100個ではなく、1000個の検索結果を表示することもできます(プログラムの改良は必要です)。

つくってみていただいて、いろんな検索キーワードを試してみていただければ。


【編集後記】

昨日は、静岡方面へ新幹線ひかり+在来線で。
個別コンサルティング2コマでした。

【昨日の1日1新】
※詳細は→「1日1新」

東京駅 BURDIGALA EXPRESSのパン
静岡までスマートEXで

【昨日の娘日記】

保育園へ行くときにベビーカーに乗らなくなったので、最近は行き帰りともに抱っこ紐です。
歩きたがることもたまに。
歩くと、時間がかかるので、難しいところです。


■スポンサードリンク ■井ノ上陽一のプロフィール
■スポンサードリンク



井ノ上陽一のVALU
■著書
【監修】十人十色の「ひとり税理士」という生き方
ひとり税理士のIT仕事術―ITに強くなれば、ひとり税理士の真価を発揮できる!!
フリーランスとひとり社長のための 経理をエクセルでトコトン楽にする本
新版 ひとり社長の経理の基本
毎日定時で帰っても給料が上がる時間のつかい方をお金のプロに聞いてみた!
『ひとり税理士の仕事術』
『フリーランスのための一生仕事に困らない本』
『社長!「経理」がわからないと、あなたの会社潰れますよ』
『そのまま使える経理&会計のためのExcel入門』