UiPathで検索して情報収集を自動化（データスクレイピング）。「〇〇×△△」で検索して違いをつくろう。

ネットの活用方法の1つとして、情報収集があり、RPAツール、UiPathを使えばこれを自動化することもできます。

※スクリーンショットで作成

ネットを使えば無料で情報収集できる。「〇〇×△△」も。

ネットで検索すれば、あふれるほどの情報が出てきます。

よしあしはあるとはいえ、無料で情報収集できる時代なわけです。
以前なら、本を買い、足を使って情報を集めなければいけませんでした。
今でもそうすることはありますが、ある程度の情報なら、涼しいクーラーの中、ネットで検索すればいいわけです。

単に、情報収集するだけではなく、自分と同業との違いをつくることもできます。
「〇〇×△△」での検索です。
〇〇と△△には、キーワードが入ります。
・職業
・肩書
・地名
・性別
・最寄り駅
・得意分野
・やりたい仕事
・趣味
・特技
・年齢、年代
などです。

・Excel×税理士
・IT×税理士
・トライアスロン×税理士
・RPA×セミナー
・IT×経理
・Excel×経理
・節税×Excel

などで、私は検索することが多く、これらのキーワードで表示されるようにしています。
新たなキーワードを思いついたり、記事を書こうとしたときに、検索してみると、
・ほかにやっている（書いている）人がいない
・あったとしても、それほど強敵でない
場合はチャンスです。

もし、強敵だった場合、違った角度で勝てないか考えて、微調整します。

この情報収集もRPAを使えば、自動化できるのです。

UiPathで情報収集を自動化する流れ

RPAツールUiPathの基本については、こちらを参考にしていただければ。
UiPath×Excel。Excelデータを読み取り、ブラウザで交通費検索。無料で使えるRPAツール。 | EX-IT

UiPathのプログラムを動かすと、このようにExcelへ、「〇〇×△△」の検索結果を出力できます。
気になるものがあれば、リンクをクリックしてチェックできるわけです。
出力する件数は自由に選べます。
今回は100件にしてみました。

 

動画はこちらです。

Googleで検索して、

出てきた結果のタイトルとURL、概要を集めます。

ページを切り替えて、指定の100件まで集めたら、

Excelへ書き込むというしくみです。

UiPathでデータスクレイピング

UiPathでのプログラミングの流れを解説していきます。

［Open Brower］アクティビティで、”https://www.google.co.jp/”と指定します。
さらに、右側のプロパティで、Optionの［Private］にチェックを入れましょう。
Google検索は、自分の履歴を反映してしまうので、こういったときは、シークレットウィンドウ（プライベートウィンドウ）で、履歴を反映しないようにします。
その設定が、この［Private］です。

 

次に［Type　Into］で検索キーワードを入れます。
ここは、Googleの検索窓を指定したいので、Webレコーディングでやるのがおすすめです。
その後、Enterキーを［Send Hotkey］で押します。

 

データ抽出

 

次に、表示された検索結果を抽出します。

 

ここは、レコーディングを使います。
UiPathnのメニューの［DataScraping］で、

［Next］をクリックし、

検索結果の1つ目を選びます。

さらに、2つ目の要素（Second Element）を指定しますので、［Next］をクリックし、

2つ目の検索結果をクリックします。

この画面で、［Next］に進むと

抽出結果が示されます。
さらに要素を追加するときは、［Extract Contained Data］で追加しましょう。
［Finish］をクリックすると、

このような質問が出てきます。
検索結果は複数のページにまたがるか？という質問です。
100件を抽出しようとしているので、10ページにまたがります。
（通常10件が表示される）
ここは、Yesをクリックしましょう。

Yesを押すと、［次へ］を選択するモードになるので、選択しましょう。

これで、抽出の設定は完了です。
抽出した結果は、ExtractDataTableという変数に入ります。

 

Excelへ書き込み

抽出した結果をExcelに貼り付けます。
［Excel Application Scope］で、書き込むファイルを選択し、［Write Range］で、
・書き込むシート　”Sheet1″
・書き込むセル　　”A1″
・書き込むもの　　ExtractDataTable
と設定します。

これで貼り付けられるのですが、大きな問題があります。
このままだと、B列のURLをクリックしてサイトにアクセスすることができません。
単なる文字列なのです。
ダブルクリックすればリンクをクリックできるようになりますが、それをヒトがやっていては意味がありません。

そこで、セルD2に”＝hyperlink（b2）”という数式を入れ、それをコピーするプログラムにしてみましょう。
この数式だと、URLの文字列をリンクにできます。

［Write Cell］で、
・書き込むシート　”Sheet1″
・書き込むセル　　”D2″
・書き込むもの　　”＝hyperlink（b2）”
とし、
あとは、
［Select Range］でセルD2を選択し、
［Send Hotkey］で、Ctrl＋Cを使ってコピーし
［Select Range］でセルD3からD100を選択し、
［Send Hotkey］で、Ctrl＋Vを使って貼り付けましょう。

そうすると、このようにD列にリンクができるわけです。

数式のコピー・貼り付けの部分で、上記の方法だと、うまくいかないときもあります。
こっちのほうが安定しました。
数式を読み取って、書き込むというものです。
［Read Cell Formula］は、プロパティで、Outputに変数（Ctrl+K）「ExcelFormula」を設定し、［Write Cell」で「ExcelFormula」を指定します。

このしくみで、複数のキーワードを次々に検索することもできますし、100個ではなく、1000個の検索結果を表示することもできます（プログラムの改良は必要です）。

つくってみていただいて、いろんな検索キーワードを試してみていただければ。

---

【編集後記】

昨日は、静岡方面へ新幹線ひかり＋在来線で。
個別コンサルティング2コマでした。

【昨日の1日1新】
※詳細は→「1日1新」

東京駅 BURDIGALA EXPRESSのパン
静岡までスマートEXで

【昨日の娘日記】

保育園へ行くときにベビーカーに乗らなくなったので、最近は行き帰りともに抱っこ紐です。
歩きたがることもたまに。
歩くと、時間がかかるので、難しいところです。