Webサイトの情報収集(Webスクレイピング)を、自分でできるようになりたい方へ--- 毎日、複数のサイトを開いて数字を書き写している。 競合の価格や新着情報を、定期的に調べたい。 Pythonに興味はあるが、何から始めればよいか分からない。 そもそもプログラミングがよくわからない、苦手意識がある 本講座は、そのような方向けに作られています。 ※本講座は、ご自身でプログラムを書けるようになるための講座です。 プログラムの作成代行・システム開発のご依頼は承っておりません。 【お約束します】 ・馬鹿にする発言、否定する発言はいたしません ・同じことを何度聞いていただいても構いません ・急かすことはありません。お客様のスピードに合わせます 【こんなことでお困りではないでしょうか】 ・毎日、同じサイトを見て回って転記している ・入門書を買ったが、環境構築の段階でつまずいた ・ネットのコードを真似したら動いたが、なぜ動くのか分からない ・以前作ったものがあるが、サイトの仕様変更で動かなくなったまま放置している ・やってみたことはあるが、ロボット判定されてしまいアクセス制限措置を取られた 【独学・一般的なスクールとの違い】 ・90分まるごと1対1です。実際に集めたいサイトを題材に進めます ・入会金・月会費はいただきません。受講料のみです ・そのサイトでのスクレイピング「やってよい収集か」の判断方法からお伝えします ・「動くもの」は当たり前。サイトが変わっても直せる作り方をお伝えします 【講師】 みちる/東郷町付近 ・現職:業務改善、業務自動化・効率化を担当するエンジニア (Python、Excel/Access VBA、RPAなどを用いて実際の業務を自動化) ・前職:商業高校講師(簿記・情報処理などを6年間指導) 自分用に作った収集の仕組みを、実際に動かし続けています。 「本に書いてあること」ではなく、動かし続けるために必要なことをお伝えできます。 【お教えする内容】 決まった順番はありません。お困りのところから進めます。 ◎ やってよい収集/いけない収集の見極め 最初にお伝えする、最も大切な内容です。 サイトの利用規約、robots.txt、アクセスの間隔の考え方など、 スクレイピングをするためのルール・作法について説明します ◎ Pythonの準備(環境構築、Jupyter Notebookの起動) 初回で一緒に行います。ここでつまずく方が非常に多いためです ◎ Pythonの基本的な書き方 ◎ ページの中身の読み方 欲しい情報が、どこに書かれているかを見つけられるようにします ◎ ページを取得して、必要な部分を取り出す(Requests、BeautifulSoup) 入門書やネットの記事で最もよく使われている方法から始めます ◎ CSV・Excelに書き出す そのまま開ける形で保存するところまでやります ◎ 設定を外に出す作り方 対象や条件をプログラムの外に置くと、後から自分で変えられます ◎ 動かなくなったときの直し方 サイトは必ず変わります。直せることが前提です ◎ 自動で定期実行する ◎(ご希望に応じて)ブラウザ操作の自動化 ログインが必要なサイトや、動きのあるページへの対応 スクレイピング技術だけを教える講座はそれなりにありますが、 「安全なデータ取得方法」「サイト仕様変更への対応」に力点を置いており、 本講座はこれらを重点的に取り扱います。 【お教えできない範囲】 以下は講座の対象外です。あらかじめご了承ください。 ・オブジェクト指向のPythonプログラミング(クラス) ・利用規約でデータ取得が禁止されているサイトを対象とした指導 ・会員限定ページやアクセス制限の回避 ・プログラムの作成代行、システム開発のご依頼 【指導時間・料金】(1回ごとの前払い、現金払いor振込) 最短60分から30分単位で追加、最大300分まで対応可能です。 (料金は5,000円/60分、30分ごとに2,000円の追加。複数人受講の場合は要問合せ) <料金例> ・ 7,000円 / 90分 ・11,000円 / 150分 原則オンラインでの対応。訪問での指導も可能です (出張手数料1,000円〜+交通費実費。詳細要問合せ) 【講座開始までの流れ】 ・ジモティーメッセージ機能で、お客様と日時調整をさせていただきます。 ※予約は1週間後以降のみの受付となります。突発依頼は原則お断りとさせていただきます。 ・当日、ジモティーメッセージ機能で受講確認を入れさせていただきますので、こちらにご回答ください。 ・オンラインの場合、前日までに代金をお振込ください。 ・訪問の場合は、当日現金でお支払いいただけます。 ※キャンセルについて、前日までにご連絡いただければ、日程の振り替えを承ります。 当日のキャンセルは、受講料を申し受けます。 【初回について】 ※初回は90分限定。初回のみカウンセリングを含みます。 初回は、どのような情報を集めたいのかを伺うところから始めます。 そのうえで、そのサイトが対象として問題ないかを一緒に確認します。 あわせて、Pythonが動く状態までご一緒に準備します。 初回の最後に、「どこから手を付けるのが早いか」と「だいたい何回くらいで形になりそうか」をお伝えします。 なお、ご希望の収集が規約上できない場合もあります。 その際は正直にお伝えし、別の方法をご提案します。 集めたいサイトが決まっている場合は、お申し込み前の無料相談で確認できます。 気になる場合は、先にご相談ください。 【社内のExcel作業を自動化したい方へ】 「Webからではなく、手元のExcel作業を自動化したい」という場合は、 別途マクロ(VBA)の講座をご用意しています。 そちらの方が近いかもしれません。 【まずは20分、お話だけでも】 オンラインで20分ほど、無料でご相談をお受けします。 ・そもそも集めてよいサイトなのか ・どれくらいの難しさなのか ・どれくらいの回数で形になりそうか このあたりを、その場でお答えします。 売り込みはいたしません。 お話を伺って、当講座では解決にならないと思えば、正直にそのようにお伝えします。 まずは下部のお問い合わせから、メッセージをお送りください。 ※私は男性です。男性恐怖症の方はご遠慮ください。 ※猫を飼っております。猫アレルギーの方は原則オンラインでのご受講を推奨いたします。
Webの情報収集を、自分で自動化できるようになる... 愛知 教室・スクール情報を見ている人は、こちらの記事も見ています。