- トップ
- コースカテゴリ一覧
- コースカテゴリ-IT
- PythonによるWebスクレイピング入門
PythonによるWebスクレイピング入門
概要 | 概要 目的 テキスト |
---|---|
対象者 | - Pythonの基礎知識がある方 - Webスクレイピングに興味がある方 - データ収集や自動化に関心がある方 |
日数 | 1日 |
費用 | |
時間 | 10:00~17:00 |
講座内容 | 第1章 スクレイピング概要 1-1. スクレイピングとクローリング 1-2. スクレイピングの注意点 第2章 Requestsを使った基本的なクローリング 2-1. Requestsとは 2-2. HTMLを取得する基本 2-3. HTML以外の情報を取得する方法 2-4. パラメータの付与 2-5. User-Agentの偽装 2-6. タイムアウトの設定 2-7. リダイレクトの制御 第3章 BeautifulSoupを使ったスクレイピング 3-1. BeautifulSoupの基本的な使い方 3-2. HTMLタグベースでのスクレイピング 3-3. CSSセレクタベースでのスクレイピング 3-4. テキストの抽出と情報の取得方法 3-5. 部分一致でテキストを持つ要素の取得 第4章 Seleniumを使ったクローリングとスクレイピング 4-1. Seleniumの基本概念 4-2. Seleniumを使ったスクレイピングのベストプラクティス 4-3. 動的なWebサイトのスクレイピング 第5章 Scrapyを使ったスクレイピング 5-1. Scrapyの基本概念 5-2. Scrapyプロジェクトのセットアップ 5-3. Scrapyを使ったデータの抽出と保存 第6章 Pandasとデータの加工 6-1. Pandasの基本概念 6-2. スクレイピングしたデータのDataFrameへの変換 6-3. データのCSV・Excelへの出力 付録 演習環境 演習課題 実案件を使ったスクレイピング演習 エラーハンドリングとデバッグ技術 |