Přidat produkt Přihlásit se

Crawlee

Open-source knihovna na scraping a automatizaci prohlížeče

Web scrapingKnihovnaOpen source
Oficiální web ↗
Crawlee: Open-source knihovna na scraping a automatizaci prohlížeče

Co dělá

Crawlee je knihovna pro JavaScript a Python, která řeší fronty URL, opakování při chybách, proxy a relace. JavaScriptová verze podporuje HTTP, Playwright a Puppeteer; Pythonová verze HTTP a Playwright.

Pro koho

Vývojáři, kteří píšou vlastní crawlery.

Launche

Česká stopa

Crawlee je open-source knihovna pro web scraping a browser automation, kterou vyvíjí pražské Apify. Vznikla v roce 2022 jako nástupce scrapovací části Apify SDK a dnes pokrývá JavaScript i Python: unified HTTP i Playwright crawling, anti-blocking, proxy a sessions. Komunita ji používá kdekoli – lokálně, ve vlastní infrastruktuře i na platformě Apify.

Zdroje

Historie

  • V srpnu 2022 Apify oddělilo scraping z Apify SDK do open-source knihovny Crawlee pro Node.js a TypeScript. zdroj
  • V červenci 2024 vyšla beta Crawlee for Python; v září 2025 stabilní v1.0 se sémantickým verzováním. zdroj

Zakladatelé a tým

  • Vyvíjí ji pražské Apify (Jan Čurn, Jakub Balada a tým). Crawlee je samostatná open-source knihovna, ne vázaná jen na Apify cloud. zdroj

Ceník

  • Samotná knihovna je zdarma a open source. zdroj

Klíčové funkce

  • HTTP crawling i headless prohlížeče ve společném rozhraní zdroj
  • Správa proxy a relací, fronta URL a opakování při chybách zdroj
  • JavaScriptová verze s Playwrightem i Puppeteerem zdroj
  • Pythonová verze s HTTP crawlingem a Playwrightem zdroj
  • V Python v1: Adaptive Playwright crawler, Impit HTTP klient s impersonací prohlížeče, fingerprinting a OpenTelemetry. zdroj
  • Odlišení: Knihovna má vlastní provozní rozhraní a lze ji propojit s úložišti Apify pro cloudové nasazení. zdroj

Čísla

  • Crawlee pro JavaScript/TypeScript má přes 26 000 hvězd na GitHubu; Crawlee for Python přes 9 500. zdroj
  • Při spuštění Python bety (červenec 2024) měla JS verze téměř 13 000 hvězd a přes 90 přispěvatelů. zdroj

Užitečné odkazy

Integrace a platformy

  • JavaScript/TypeScript a Python mají samostatnou dokumentaci. Pro cloudové nasazení na Apify se přidává Apify SDK a CLI; JavaScriptový průvodce ukazuje propojení fronty požadavků a datasetů s cloudovými úložišti. zdroj

Integruje se s Crawlee

Alternativy

Zahraniční alternativy

Související, ale ne alternativa

Otázky a odpovědi

Co je Crawlee?

Crawlee – Open-source knihovna na scraping a automatizaci prohlížeče. Crawlee je knihovna pro JavaScript a Python, která řeší fronty URL, opakování při chybách, proxy a relace. JavaScriptová verze podporuje HTTP, Playwright a Puppeteer; Pythonová verze HTTP a Playwright.

Pro koho je Crawlee?

Vývojáři, kteří píšou vlastní crawlery.

Je Crawlee český produkt?

Ano. Crawlee je open-source knihovna pro web scraping a browser automation, kterou vyvíjí pražské Apify. Vznikla v roce 2022 jako nástupce scrapovací části Apify SDK a dnes pokrývá JavaScript i Python: unified HTTP i Playwright crawling, anti-blocking, proxy a sessions. Komunita ji používá kdekoli – lokálně, ve vlastní infrastruktuře i na platformě Apify.

Jak Crawlee vyzkoušet?

Stažením aplikace nebo instalací programu. Samotná knihovna je zdarma a open source.

Jaké alternativy má Crawlee?

Crawlee řeší úlohu: open-source knihovna pro web scraping a automatizaci prohlížeče. Zahraniční možnosti pro porovnání: Scrapy. Playwright: Knihovna pro automatizaci prohlížeče a testování webových aplikací. Puppeteer: Knihovna pro ovládání prohlížeče ve vlastní automatizaci a scrapingu. Apify není běžná alternativa. Crawlee vyvíjí Apify; knihovnu lze spustit samostatně nebo propojit s úložišti a cloudovým nasazením Apify.

Srovnání a průvodci

V kolekcích

Diskuze

Launchbox Weekly

Nejlepší české launche týdne, Funding a nové produkty. Jednou týdně, bez spamu.

Přihlášením souhlasíte se zasíláním newsletteru, odhlásit se můžete kdykoli. Více v Ochraně osobních údajů.