Pythonでスクレイピングした画像をCSVファイルに保存する方法

1. スクレイピングで画像を取得

■BeautifulSoupを使用:
 スクレイピングにはBeautifulSoupやRequestsなどのライブラリを使用し、対象のWebページから画像のURLを取得します。

import requests
from bs4 import BeautifulSoup

# 例: 画像URLの取得
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
image_urls = [img['src'] for img in soup.find_all('img')]

2. 画像をCSVに保存

■Pandasライブラリの利用:
 取得した画像URLをPandas DataFrameに組み込み、CSVファイルに保存します。

import pandas as pd

# 例: 画像URLをDataFrameに組み込む
image_data = pd.DataFrame({'ImageURL': image_urls})

# CSVファイルに保存
image_data.to_csv('image_urls.csv', index=False)

3. 完成したスクリプトの例

import requests
from bs4 import BeautifulSoup
import pandas as pd

def scrape_and_save_images(url, csv_filename):
# 画像URLの取得
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
image_urls = [img['src'] for img in soup.find_all('img')]

# 画像URLをDataFrameに組み込む
image_data = pd.DataFrame({'ImageURL': image_urls})

# CSVファイルに保存
image_data.to_csv(csv_filename, index=False)

# 使用例
scrape_and_save_images('https://example.com', 'image_urls.csv')

4. スクリプトの実行と確認

スクリプトの実行:
 スクリプトを実行し、CSVファイルが正しく作成されることを確認します。

CSVファイルの確認:
 生成されたCSVファイルを開き、画像URLが正しく格納されているか確認します。

以上の手順により、スクレイピングした画像のURLをCSVファイルに保存できます。

 

moun45.hatenablog.com