非エンジニアが、GASでスクレイピングをやってみた!

目次

Dify / n8n / Zapier / make / GAS / ChatGPT / Gemini等

あなたの周りにも「なぜか社員数は同じくらいなのに、あそこの会社の方が生産性高い気がする」と思う会社ありませんか?
まさか「うちの社員が手を抜いてるに違いない…!」とか思ってないですよね?

そんな会社になれる方法、そこには「ある条件」がありました。

再現性高く生産性の高い組織を創るためには共通化した「ある条件」、それは
キャッチアップ(情報処理)のスピードが速い
ということです。

今「社員の能力が違うじゃないか!」って思いましたか?
能力は正直問題ではありません

問題なのは、「キャッチアップ時に、どんだけ頭を空っぽの状態にできるか?」という環境づくりです。

例えば、面倒な作業があり、それを自動化するために新しいツールの使い方をキャッチアップする必要があるとします。

自動化ツールは、誰でも「時間をかければ」できるようになります。
そう「時間をかければ」。

時間をかければ自分たちだってキャッチアップできるはず」って思っていませんか?

よく考えてみてください。
あなたは、そんな時間を捻出させられますか?
そんな環境を用意できますか?

今ギクッとなった方、安心してください。
それはあなたのせいではありません。
現代が情報過多すぎる」せいです。

無造作に手に取ってしまうスマホ。
・鳴り止まない通知。
・脳内で「やらなきゃ」と思っている残タスク。

気づかぬ間に、あなたの脳内マインドシェア他人の創作物に搾取されています。
脳内のマインドシェアが常に10%しかない状態でキャッチアップしようとしているのです。

これは、エベレストで90分間サッカーをしているのと同じです。
パフォーマンスが高いはずがありません。

十分なマインドシェアを用意さえできれば、あなたもあなたの社員も
自動化ツールを使いこなし、生産性は上がっていくはずです。

自動化ツールに限らず、大きな経営の意思決定も納得できるものになるはずです。

人間の脳が本気集中状態を持続できる時間はたったの「1.5分」。
単調な仕事だと「25分」でパフォーマンスが下がると言われています。

そもそも、こんな情報過多な時代に自分のチカラだけで何か新しいことをキャッチアップしようとするのは、戦場に竹槍で戦いに挑もうとするくらい無謀です。

だから、今あなたに必要なのは、「情報のキャッチアップのスピードを効率化する仕組み」です。
本当に使える、質の高い情報を、時間をかけて咀嚼し、理解する、仕組みです。

だから私たちは、頭を空っぽにして生産的な業務や整理された情報による意思決定ができるように、自動化ツールやノウハウを使って業務を簡易化できる支援を事業として行なっています。

でも、いきなり予算をかけるのは心配ですよね?

だから、そんなあなたのために、まずは有料級のノウハウを発信する公式ラインを開設しました🎉
網羅的に自動化ツールを扱い、実際に弊社で自動化した内容で、ツールの使い方をどこよりも細かく、スクリーンショット満載で載せています!

大事なことなのでもう一度いいます。
「自動化できるんだろうけど、キャッチアップしている時間がないから今は人力で対応、、、!」
と思っているあなた、残念ながらあなたは一生、誰かの創作物の奴隷です。

これを機に「思考の余白」を創りませんか?

非エンジニアでも挑戦できる、GASによるスクレイピング

ウェブスクレイピングは、ウェブサイトから情報を自動で収集する技術です。通常、この作業にはプログラミングスキルが必要とされますが、Google Apps Script(GAS)を使用することで、非エンジニアでも比較的簡単にスクレイピングを行うことが可能です。この記事では、Schema.orgのデータをGASを用いてスクレイピングするプロセスを、実例を交えて紹介します。

Schema.orgとは

Schema.orgは、インターネット上の情報を構造化するための共同プロジェクトです。ウェブページや電子メールなどにマークアップを追加することで、検索エンジンが内容をより正確に理解し、リッチな検索結果を提供できるようになります。例えば、FAQページの質問と回答を構造化データとしてマークアップすることができます。

Google Apps Script(GAS)の基本

GASは、Googleが提供するスクリプトプラットフォームで、Googleサービス(Googleスプレッドシート、Googleドキュメントなど)と連携して、さまざまな自動化や拡張機能を実装できます。プログラミング初心者でも扱いやすいJavaScriptベースで、ウェブスクレイピングなどの軽量なデータ処理にも適しています。

GASでスクレイピングを始める前の準備

スクレイピングを行う前に、GASの環境設定と必要なライブラリの読み込みが必要です。この記事では、スクレイピングに適したParserライブラリを使用します。ライブラリをプロジェクトに追加することで、HTMLやXMLのパースが容易になります。

実際のスクレイピングプロセス

ウェブページのデータを取得するには、まずUrlFetchApp.fetchメソッドを使ってHTMLを取得します。次に、Parserライブラリを使用してDOMを解析し、必要なデータを抽出します。このプロセスは非常にシンプルで、数行のコードで実行できます。

コード例:GASを使ったスクレイピング

function myFunction() {
  const response = UrlFetchApp.fetch('https://example.com');
  const parsedData = Parser.data(response.getContentText()).from('type="application/ld+json">').to('').iterate();
  console.log(JSON.stringify(parsedData.map(e => JSON.parse(e))));
}

このコードは、特定のウェブページからapplication/ld+jsonタイプのスクリプトタグ内のデータを抽出し、コンソールに出力します。

応用:スプレッドシートとの組み合わせ

スクレイピングしたデータは、Googleスプレッドシートに記録して管理することも可能です。これにより、データの収集と分析を効率的に行うことができます。

まとめと今後の展望

GASを用いたスクレイピングは、プログラミングスキルが初級レベルの方でも取り組める有効な手段です。本記事で紹介した方法を基に、様々なウェブサイトから情報を収集し、ビジネスや研究に役立てることができます。非エンジニアでもデータ収集の自動化に挑戦してみましょう。

目次