Gensim

Co dělá

Gensim hledá v textech témata a podobné dokumenty a trénuje modely jako word2vec, doc2vec nebo LDA. Data zpracovává proudově, takže zvládne i korpusy větší než paměť.

Pro koho

Pro datové vědce a vývojáře, kteří zpracovávají velké objemy textu.

Launche

GensimGensim 4.4

Nové vydání knihovny pro práci s textem.

16. října 2025

Česká stopa

Gensim vychází z Python skriptů, které Radim Řehůřek připravoval v roce 2008 pro Českou digitální matematickou knihovnu DML-CZ. Sloužily k doporučování podobných článků. Projekt rozvinul do open-source knihovny pro sémantické modelování textů.

Historie

• Vznikl v roce 2008 jako sada Python skriptů pro Českou digitální matematickou knihovnu DML-CZ.
• V rozhovoru pro ResearchJobs Radim Řehůřek popisuje vedení RaRe Technologies a její klientské projekty ve strojovém učení.

Zakladatelé a tým

• Autor Radim Řehůřek.

Ceník

• Svobodná knihovna pod GNU LGPLv2.1 pro osobní i komerční použití; distribuce upravené verze má licenční povinnosti.

Klíčové funkce

• Sémantické vektory pro texty pomocí Word2Vec, FastText a dalších modelů
• Modelování témat algoritmy LDA a LSI
• Dotazy na tematickou podobnost textových dokumentů
• Streamování tréninkového korpusu bez jeho celého načtení do RAM
• Odlišení: Sémantické modely a dotazy na podobnost kombinuje s průběžným zpracováním velkých korpusů.

Jazyky

• Knihovna pro Python s anglickou dokumentací a API; podporované jazyky vstupních textů závisí na zvolených datech a modelech.

Alternativy

Zahraniční alternativy

scikit-learn ↗scikit-learn.org

spaCy ↗spacy.io

Knihovna pro NLP s vektory a jazykovými modely; zaměřuje se také na lingvistické pipeline, nikoli pouze tematické modelování.

BERTopic ↗maartengr.github.io

Modelování témat nad embeddingy a seskupováním dokumentů; má jiné modelové a výpočetní závislosti.

V médiích

• RNDr. Radim Řehůřek, Ph.D. (rozhovor)ResearchJobs.cz · 23. září 2016