IPブロックとCAPTCHAを回避する 最高のWebスクレイピングAPI
IPブロックやCAPTCHAとの戦いはもう終わりです。1回のAPI呼び出しで必要なページの内容を取得でき、ブラウザの設定もプロキシプールの管理も不要。どの言語やHTTPクライアントでも使えます。
- Cloudflare、CAPTCHA、ボット検知を回避
- JSレンダリング、スクリーンショット、PDF、Markdown
- 無料クレジット1,000、カード不要
安定したスクレイピングに必要な機能をすべて搭載
スクレイピングの失敗の大半は、JavaScriptを多用するページとIPブロックが原因です。このAPIは、お客様側のインフラなしで両方に対応します。
JavaScriptが必要なページも含め、あらゆるページをスクレイピング。
render_js=trueを付けるだけで、リクエストは本物のヘッドレスChromeで実行されます。特定の要素の表示を待つ、クリックやフォーム入力を行う、カスタムヘッダーを設定する、スクリーンショットを撮る。すべて同じAPI呼び出しで行えます。
- 本物のヘッドレスChromeによるJSレンダリング
- ページを返す前にCSSセレクターの表示を待機
- 取得前に要素のクリック、スクロール、フォーム入力
- ビューポートサイズやカスタムヘッダーの指定、スクリーンショットの撮影
import requests
resp = requests.get(
"https://scrape.sparkproxy.io/api/v1",
params={
"url": "https://spa-site.com",
"render_js": True,
"wait_for": "#content"
},
headers={"Authorization": "Bearer KEY"}
)
html = resp.json()["html"]プロキシはリクエストごとに自動で処理。
各リクエストは、プールから選ばれた別々のIPから送信されます。対策の厳しいサイト向けには、通常のブラウザ通信に溶け込むステルスプロキシも利用できます。country_codeを指定すれば、お好きな国からのリクエストに見せられます。
- 手強いサイト向けのステルスデータセンタープロキシ
- 80か国以上を経由してリクエストを送信
- リクエストごとに自動で新しいIP
- 自前のプロキシリストなしでブロックを削減
ほとんどのデータ活用に対応
価格の追跡、競合の監視、公開資料の収集。どれも同じAPIで対応できます。
ブロックされずに競合の価格を追跡
自前のプロキシ基盤を運用することなく、Amazon、eBay、Walmartをはじめ多くのECサイトから価格を取得できます。country_codeを指定すれば、その地域の購入者が実際に目にする現地価格を取得できます。
- あらゆるECサイトやマーケットプレイスで価格を追跡
- 複数のプラットフォームからレビューと評価を取得
- 複数の商品ページで在庫状況を確認
- どの国の現地価格も取得
import requests
urls = [
"https://amazon.com/dp/B09X67",
"https://walmart.com/ip/456",
"https://bestbuy.com/p/789",
]
resp = requests.get(
"https://scrape.sparkproxy.io/api/v1",
params={
"url": ",".join(urls),
"country_code": "us"
},
headers={"Authorization": "Bearer YOUR_KEY"}
)
results = resp.json()["results"]
for r in results:
if r["success"]:
print(r["html"][:200])ひとつのエンドポイントで、あらゆる出力形式
同じリクエストで、HTML、Markdown、JSON、スクリーンショット、PDFを取得できます。APIキーはひとつだけ。
HTML API
メインのエンドポイントです。URLを渡して出力形式を選ぶだけで、必要なものがそのまま返ってきます。以下の機能はすべてこのリクエストを基盤にしています。
resp = requests.get(
"https://scrape.sparkproxy.io/api/v1",
params={
"url": "https://example.com",
"render_js": True
},
headers={"Authorization": "Bearer KEY"}
)
html = resp.json()["html"]あらゆるページをきれいなMarkdownに変換します。LLMやドキュメントのパイプラインなど、プレーンテキストが必要な場面に便利です。
任意のURLのページ全体または表示領域を撮影します。撮影前にJavaScriptが実行されるため、ユーザーが実際に見るとおりのページを取得できます。
ヘッドレスChromeでページをPDFに変換します。レポートのアーカイブや領収書の作成、ブラウザでの見た目どおりのページ保存に最適です。
ページを取得する前に、クリック、スクロール、フォーム入力を順に実行します。操作しないと内容が表示されないページに便利です。
extract_rulesでCSSセレクターを渡すと、該当する内容がJSONで返ります。お客様側でHTMLパーサーは不要です。
callback_urlを付けると、接続を開いたままにせずスクレイピングのジョブを実行できます。すぐにjob_idが返り、完了すると結果がお客様のエンドポイントに送られます。
複数のURLをカンマ区切りで渡すと、URLごとの結果が配列で返ります。自前でループを書かずにHTMLを一括取得するのに最適です。
専用Scraping API
近日公開
あらゆる地域・デバイス種別のSERPをリアルタイムで取得。レート制限もCAPTCHAもありません。

動画のメタデータ、再生回数、コメント、チャンネル全体のデータを大規模に抽出。

商品リスト、価格、評価、レビューを構造化された形ですぐに利用可能。

Walmartの価格、在庫、商品カタログのデータを、IPブロックなしで取得。

Flipkartの巨大なECカタログから、商品リスト、価格、出品者データを取得。

Bingのインデックスから、地域や言語をまたいで検索結果、ニュース、SERPデータを取得。

あらゆる地域・デバイス種別のSERPをリアルタイムで取得。レート制限もCAPTCHAもありません。

動画のメタデータ、再生回数、コメント、チャンネル全体のデータを大規模に抽出。

商品リスト、価格、評価、レビューを構造化された形ですぐに利用可能。

Walmartの価格、在庫、商品カタログのデータを、IPブロックなしで取得。

Flipkartの巨大なECカタログから、商品リスト、価格、出品者データを取得。

Bingのインデックスから、地域や言語をまたいで検索結果、ニュース、SERPデータを取得。
スクレイピングした分だけのお支払い
月額$49から
表示価格はすべて税(VAT/GST)抜きです。
いつでも解約可能。理由は問いません。
より大規模なご利用をご検討の場合は、当社チームにお問い合わせください。カスタムプランや大口料金をご案内します。
