Dotazovací jazyk pro relační databáze
Koňařík, David; Petříček, Tomáš; Bednárek, David
2024 - English Relační databáze jsou široce rozšířené v softwarovém inženýrství, ale jazyk, kterým se k nim přistupuje, SQL, byl vytvořen v 70. letech minulého století a má řadu pro- blémů, které komplikují složitější dotazy. V této práci poukážeme na některé vady SQL, projdeme vybrané existující alternativy a definujeme nový dotazovací jazyk, PPPQL, na základě konceptu posloupnosti transformací. PPPQL má oproti SQL konzistentní syntax a sémantiku, díky čemuž umožňuje jednodušeji vyjádřit komplexní dotazy. Nejprve uvedeme PPPQL skrz řadu příkladů, pak definujeme syntax a sémantiku jazyka, včetně formálního popisu pro část jazyka. Abychom validovali jeho design, jazyk PPPQL byl implementován jako rozšíření do Postgres. Projdeme nejzajímamější části jeho implementace a ukážeme, jak může být alternativní dotazovací jazyk implementován v systému Postgres. Relational databases are widely used in software engineering, but the language used to access them, SQL, was created in the 1970s and has numerous problems that make writing complex queries unnecessarily difficult. In this thesis we will present some flaws of SQL, go through select existing alternatives, and define a new query language, PPPQL, based on the concept of a query pipeline. PPPQL improves on SQL by having a consistent syntax and semantics, allowing complex queries to be expressed more simply. We will first introduce PPPQL through a series of examples, then define the syntax and semantics of the language, using a formal description for part of the language. To validate PPPQL's design, the language was implemented as an extension to Post- gres. We will discuss the most interesting parts of its implementation and see how an alternative query language can be implemented in Postgres. Keywords: dotazovací jazyk|relační databáze|návrh jazyků|SQL|Postgres|PostgreSQL; query language|relational database|language design|SQL|Postgres|PostgreSQL Available in a digital repository NRGL Dotazovací jazyk pro relační databáze

Relační databáze jsou široce rozšířené v softwarovém inženýrství, ale jazyk, kterým se k nim přistupuje, SQL, byl vytvořen v 70. letech minulého století a má řadu pro- blémů, které komplikují ...

Koňařík, David; Petříček, Tomáš; Bednárek, David
Univerzita Karlova, 2024

Analýza dat z dvou-vrstvého Timepix3 detektoru
Smajljaj, Penda; Mráz, František; Koupil, Pavel
2024 - English Keywords: Neutron detector|particle tracking|solid state detector; neutron detector|particle tracking|solid state detector Available in a digital repository NRGL Analýza dat z dvou-vrstvého Timepix3 detektoru

Smajljaj, Penda; Mráz, František; Koupil, Pavel
Univerzita Karlova, 2024

Optimalizace energie v rodinném domě
David, Jakub; Fink, Jiří; Švancara, Jiří
2024 - English Cílem této práce je porovnat různé optimalizační algoritmy pro optimalizaci spotřeby energie v domácnostech. Uvažujeme model domácnosti s kogenerací tepla a elektřiny, fixní spotřebou elektřiny a horké vody a se zařízenímy s ovladatelným začátkem provozu. K řešení tohoto problému používáme řešič smíšeně celočíselných lineárních úloh a imple- mentovali jsme lokální prohledávání, evoluční algoritmus a optimalizaci hejnem částic. Tyto algoritmy provnáváme na datech naměřených v různých domácnostech. The goal of this thesis is to compare various optimization algorithms for optimizing energy usage in residential households. We consider a model of a household with heat and power cogeneration, fixed electricity and domestic hot water consumption and devices with controllable start of their operation. For this problem, we use a mixed-integer linear programming solver, and we implemented local search, evolutionary algorithm and particle swarm optimization. We compare these algorithms on data measured from multiple different households. Keywords: optimalizace energie|MILP|lokální prohledávání|přírodou inspirované algoritmy; energy optimization|MILP|local search|nature inspired algorithms Available in a digital repository NRGL Optimalizace energie v rodinném domě

Cílem této práce je porovnat různé optimalizační algoritmy pro optimalizaci spotřeby energie v domácnostech. Uvažujeme model domácnosti s kogenerací tepla a elektřiny, fixní spotřebou elektřiny a ...

David, Jakub; Fink, Jiří; Švancara, Jiří
Univerzita Karlova, 2024

Nástroj lsql-csv na zpracování CSV souborů z příkazového řádku
Šťastný, Přemysl; Hubička, Jan; Pangrác, Ondřej
2024 - English lsql-csv je nástroj pro provádění krátkých dotazů nad daty malých CSV souborů z shellu. Díky němu je možné pracovat s malými CSV soubory jako s read-only relační databází. Nástroj implementuje nový jazyk LSQL podobný SQL, speciálně navržený pro práci se CSV soubory v shellu. Designovým cílem LSQL je být lapidárnějším jazykem než SQL. Účelem jeho návrhu je umožnit uživateli rychle psát jednoduché dotazy přímo do terminálu. 1 lsql-csv is a tool for small CSV file data querying from a shell with short queries. It makes it possible to work with small CSV files like with a read-only relational databases. The tool implements a new language LSQL similar to SQL, specifically designed for working with CSV files in a shell. LSQL aims to be a more lapidary language than SQL. Its design purpose is to enable its user to quickly write simple queries directly to the terminal. 1 Keywords: relační databáze|CSV|SQL|Haskell|dotazovací jazyk|unixová filozofie|lsql-csv|LSQL; relational database|CSV|SQL|Haskell|query language|Unix philosophy|lsql-csv|LSQL Available in a digital repository NRGL Nástroj lsql-csv na zpracování CSV souborů z příkazového řádku

lsql-csv je nástroj pro provádění krátkých dotazů nad daty malých CSV souborů z shellu. Díky němu je možné pracovat s malými CSV soubory jako s read-only relační databází. Nástroj implementuje nový ...

Šťastný, Přemysl; Hubička, Jan; Pangrác, Ondřej
Univerzita Karlova, 2024

Zpracování jízdních řádů
Mrkus, František; Fink, Jiří; Pilát, Martin
2024 - English Cílem této práce je vytvořit open-source aplikaci, která by mohla slou- žit jako základ pro analýzu a organizaci veřejné autobusové dopravy, přičemž přímo pracuje s jízdními řády ve formátu JDF, pro zajištění pohodlného pra- covního postupu. Aplikace je zaměřena na plánování autobusových spojů pro organizátory a dopravce veřejné dopravy, včetně souvisejících funkcí, jako je zobrazení jízdních řádů a seznamů odjezdů/příjezdů, vizualizace plánovaných tras na mapě a vytváření vlastních jízdních řádů. Všechny tyto funkce byly úspěšně implementovány a otestovány na reálných datech. A goal of this thesis is to create an open-source application which could serve as foundation for public bus transport analysis and organizing, while di- rectly operating with timetables in a JDF format for a comfortable workflow. The application is centered aroud bus scheduling for public transport orga- nizers and agencies,including related functions such as displaying timetable sheets and departure/arrival lists, map visualization of the planned routes, and creation of custom timetables. All of these features were sucesfully im- plemented and tested on real-world data. Keywords: rozvrhování autobusů|veřejná doprava|optimalizace|vývěsný jízdní řád; bus scheduling|public transport|optimization|spreadsheet timetable Available in a digital repository NRGL Zpracování jízdních řádů

Cílem této práce je vytvořit open-source aplikaci, která by mohla slou- žit jako základ pro analýzu a organizaci veřejné autobusové dopravy, přičemž přímo pracuje s jízdními řády ve formátu JDF, pro ...

Mrkus, František; Fink, Jiří; Pilát, Martin
Univerzita Karlova, 2024

Segmentace skenovanych PDF dokumentů
Saydametov, Nikita; Šikudová, Elena; Tódová, Lucia
2024 - English Keywords: PDF|OCR|segmentace; PDF|OCR|segmentation Available in a digital repository NRGL Segmentace skenovanych PDF dokumentů

Saydametov, Nikita; Šikudová, Elena; Tódová, Lucia
Univerzita Karlova, 2024

Textové šifry jako nástroj pro lepší pochopení modelů Transformer
Provazník, Jan; Libovický, Jindřich; Kasner, Zdeněk
2024 - English Architektura Transformer je velmi populární, takže může být potenciálně významné interpretovat, co ovlivňuje její výkon. Testujeme hypotézu, že mo- del se při práci s textem spoléhá na jeho lingvistické vlastnosti. Abychom eli- minovali vliv kultury na význam, používáme úlohu pracující na úrovni znaků s Transformer modelem ByT5. Dotrénujeme ByT5-small na dešifrování vět zašifrovaných pomocí textových šifer (Vigenère, Enigma). Anotujeme eva- luační dataset vět pomocí publikovaných nástrojů pro NLP. Na evaluačním datasetu zkoumáme vztahy mezi lingvistickými vlastnostmi a četností chyb dotrénovaného ByT5 při dešifrování vět. Analyzujeme korelace, trénujeme ML modely na predikci četnosti chyb věty z jijích lingvistických vlastností a interpretujeme důležitost vlastností pomocí SHAP. Nacházíme malé signifi- kantní korelace, ale predikce četnosti chyb z vlastností selhává. Dospíváme k závěru, že identifikované vlastnosti neposkytují vhled do výkonu Transfor- merů. The Transformer architecture is very popular, so it is potentially im- pactful to interpret what influences its performance. We test the hypothesis that the model relies on the linguistic properties of a text when working with it. We remove interference with cultural aspects of meaning by using a character-level task with the ByT5 Transformer model. We train ByT5 to decipher sentences encrypted with text ciphers (Vigenère, Enigma). We annotate a sentence dataset with linguistic properties with published NLP tools. On this dataset, we study the relationships between the linguistic properties and the fine-tuned ByT5 decipherment error rate. We analyze correlations, train ML models to predict error rates from the properties and interpret them with SHAP. We find small significant correlations but can- not predict error rates from the properties. We conclude the properties we identified do not give much insight into the performance of the Transformer. Keywords: Transformer|interpretovatelnost|NLP|deep learning|šifry; Transformer|interpretability|NLP|deep learning|ciphers Available in a digital repository NRGL Textové šifry jako nástroj pro lepší pochopení modelů Transformer

Architektura Transformer je velmi populární, takže může být potenciálně významné interpretovat, co ovlivňuje její výkon. Testujeme hypotézu, že mo- del se při práci s textem spoléhá na jeho ...

Provazník, Jan; Libovický, Jindřich; Kasner, Zdeněk
Univerzita Karlova, 2024

Maskované nadřetězce pro efektivní reprezentaci a indexování množin k-merů
Sladký, Ondřej; Veselý, Pavel; Medvedev, Paul
2024 - English Současný exponenciální nárůst genomických dat vyžaduje nové prostorově úsporné algoritmy pro jejich kompresi a vyhledávání. Moderní přístupy často místo původních dat využívají příslušných množin k-merů, což jsou podřetězce pevné délky k. Popu- larita metod založených na k-merech vedla k vzniku kompaktních textových reprezen- tací množin k-merů, jež však stojí na strukturálních předpokladech, které pro data v praxi nemusí platit. V této bakalářské práci ukážeme, že na všechny tyto reprezentace lze nahlížet jako na nadřetězce množin k-merů a jako takové je zobecníme pomocí uceleného konceptu, kterému říkáme maskované nadřetězce k-merů. Navrhneme dva různé hladové algoritmy na jejich výpočet a implementujeme je v nástroji KmerCamel. Dále demonstru- jeme, že maskované nadřetězce fungují jako stavební kámen pro nový a jednoduchý index pro množiny k-merů, který nazýváme FMS-index. Pokud k maskovaným nadřetězcům přiřadíme navíc odmaskovávací funkci f, výsledný koncept f-maskovaných nadřetězců umožňuje jednoduché provádění množinových operací s k-mery. Experimentálně ověříme prostorovou úspornost maskovaných nadřetězců, stejně tak i naší implementace FMS- indexu. Ukážeme, že maskované nadřetězce jsou lépe komprimovatelné v situacích, kde předchozí přístupy byly daleko od optima a že FMS-index je prostorově... The exponential growth of genomic data calls for novel space-efficient algorithms for compression and search. State-of-the-art approaches often rely on tokenization of the data into k-mers, which are substrings of a fixed length. The popularity of k-mer based methods has led to the development of compact textual k-mer set representations, however, these rely on structural assumptions about the data which may not hold in practice. In this thesis, we demonstrate that all these representations can be viewed as superstrings of the k-mers, and as such can be generalized into a unified framework that we call the masked superstrings of k-mers. We provide two different greedy heuristics for their computation and implement them in a tool called KmerCamel. We further demonstrate that masked superstrings can serve as a building block of a novel, simple k-mer set index which we call FMS-index. Additionally, if masked superstrings further integrate a demasking function f, the resulting f-masked superstrings framework allows for seamless set operations with k-mers. We experimentally evaluate the performance of masked superstrings, as well as of our FMS-index implementation, FMSI, and show that masked superstrings achieve better compression in situations where the previous methods were far from optima. Furthermore, we... Keywords: množiny k-merů|bioinformatika|výpočetní genomika|datové struktury|algoritmy|problém nejkratšího nadřetězce; k-mer sets|bioinformatics|computational genomics|data structures|algorithms|shortest superstring problem Available in a digital repository NRGL Maskované nadřetězce pro efektivní reprezentaci a indexování množin k-merů

Současný exponenciální nárůst genomických dat vyžaduje nové prostorově úsporné algoritmy pro jejich kompresi a vyhledávání. Moderní přístupy často místo původních dat využívají příslušných množin ...

Sladký, Ondřej; Veselý, Pavel; Medvedev, Paul
Univerzita Karlova, 2024

Vícejazyčné propojování entit pomocí vektorového vyhledávání
Farhan, Dominik; Straka, Milan; Bojar, Ondřej
2024 - English Propojování entit je úloha, ve které jsou zmínky z textu propojovány s příslušnými entitami. Stejně jako v mnoha jiných oblastech zpracovaní přirozeného jazyka se i v pro- pojování entit výrazně projevil vliv hlubokého učení, což vedlo k významnému zlepšení výkonu. V současnosti se ale stávající modely trénují pomalu a spoléhají na nejednotné zdroje dat, což ve výsledku komplikuje reprodukovatelnost. V této práci vyvíjíme něko- lik systémů, které se učí rychle, čímž ukazujeme, že konkurenceschopných výsledků lze dosáhnout i bez velkého GPU clusteru. Zároveň trénujeme na konkrétním veřejně dostup- ném datasetu. Naše výsledky jsou tak snadno reprodukovatelné. Modely vyhodnocujeme na devíti jazycích, což nám poskytuje kvalitní přehled o jejich silných stránkách. Mimo to také podrobně analyzujeme nastavení značného množství hyperparametrů bi-enkóderů - populárního přístupu pro propojování entit - čímž zjednodušujeme rozhodování na- vazujícím pracem. Náš výzkum ukazuje, že lze vytvářet silné mnohojazyčné systémy na propojování entit i za použití pouze omezených výpočetních zdrojů. Tím činíme celou úlohu přístupnější. Entity linking (EL) is the computational process of connecting textual mentions to corresponding entities. Like many areas of natural language processing, the EL field has greatly benefited from deep learning, leading to significant performance improvements. However, present-day approaches are expensive to train and rely on diverse data sources, complicating their reproducibility. In this thesis, we develop multiple systems that are fast to train, demonstrating that competitive entity linking can be achieved without a large GPU cluster. Moreover, we train on a publicly available dataset, ensuring reproducibility and accessibility. Our models are evaluated for 9 languages giving an accurate overview of their strengths. Furthermore, we offer a detailed analysis of bi-encoder training hy- perparameters, a popular approach in EL, to guide their informed selection. Overall, our work shows that building competitive neural network based EL systems that oper- ate in multiple languages is possible even with limited resources, thus making EL more approachable. Keywords: propojování entit|vektorové vyhledávání|vícejazyčné propojování entit|bi-enkóder; entity linking|dense retrieval|entity disambiguation|multilingual entity linking|bi-encoder Available in a digital repository NRGL Vícejazyčné propojování entit pomocí vektorového vyhledávání

Propojování entit je úloha, ve které jsou zmínky z textu propojovány s příslušnými entitami. Stejně jako v mnoha jiných oblastech zpracovaní přirozeného jazyka se i v pro- pojování entit výrazně ...

Farhan, Dominik; Straka, Milan; Bojar, Ondřej
Univerzita Karlova, 2024

Vizuální editace doménové řídící informace pro plánování
Gráf, Martin; Barták, Roman; Chrpa, Lukáš
2024 - English Schopnost definovat pouze možnosti prostředí v úkolu klasického plá- nování je dlouhodobou překážkou pro praktické aplikace tohoto přístupu. Moderní obecné plánovače jsou typicky schopné nalézt řešení daného pro- blému, ale jejich neschopnost využít informací specifických pro doménu se často projeví ve výrazném rozdílu výkonu oproti algoritmům přizpůsobeným dané doméně. Pro použitelnost obecných plánovačů v produkčních prostře- dích je tudíž klíčové tento výkonostní rozdíl dohnat. V této práci nejprve představíme téma klasického plánování a krátce shr- neme běžné přístupy k řešení plánovacích problémů. Poté popíšeme princip Attributed Transition-Based Domain Control Knowledge, což je technika pro zakódování kontextuálních informací do domény a problému. Nakonec odpre- zentujeme naší implementaci spolu s experimentálními výsledky. The ability to only define the physics of an environment in classical plan- ning tasks has been a long-standing obstacle in practical applications of such an approach. Current generic planners are typically capable of finding a solution to a given problem, but their inability to consider domain-specific constraints is often mirrored in a significant performance gap when compared to domain-specific algorithms. Remedying this gap would prove invaluable in making classical domain-independent planners viable in production envi- ronments. In this paper, we will first introduce the area of classical planning and briefly touch on popular approaches to solving planning tasks. We will then show the principle of Attributed Transition-Based Domain Control Knowledge, which encodes additional problem-specific information into a domain. Finally, we will present our implementation along with experimental results. Keywords: znalostní inženýrství|doménové řídící informace|klasické plánování; domain control knowledge|classical planning|knowledge engineering Available in a digital repository NRGL Vizuální editace doménové řídící informace pro plánování

Schopnost definovat pouze možnosti prostředí v úkolu klasického plá- nování je dlouhodobou překážkou pro praktické aplikace tohoto přístupu. Moderní obecné plánovače jsou typicky schopné nalézt řešení ...

Gráf, Martin; Barták, Roman; Chrpa, Lukáš
Univerzita Karlova, 2024