PerfEval: Marrying unit testing with performance evaluation
Hrdý, Dominik; Tůma, Petr; Hnětynka, Petr
2024 - Czech
Při vývoji softwaru se běžně používají unit testy. Tato práce navrhuje nástroj PerfEval, který podobným způsobem provádí testování výkonu. Nástroj PerfEval má za úkol porovnat výsledky měření výkonu dvou verzí softwaru a vyhodnotit jestli je výkon novější verze jiný. Nástroj využívá výsledky měření běžných benchmarkovacích frameworků. Porovnáním výsledků měření těchto frameworků pomocí statistických metod zjišťuje změny výkonu mezi verzemi. Stejně tak jako unit testy upozorní uživatele, pokud jeho kód není korektní, tak i Perf- Eval upozorňuje uživatele na změnu výkonu. PerfEval je konzolová aplikace, a tudíž je možné jej ovládat jednoduše ze skriptů stejně jako unit testy. When developing software, unit tests are commonly used. This thesis proposes Perf- Eval, a tool that performs performance testing in a similar way. The PerfEval tool is designed to compare the performance measurement results of two software versions and evaluate whether the performance of the newer version differs. The tool uses the results of measurements from common benchmarking frameworks. By comparing the results of measurements from these frameworks using statistical methods, it detects changes in performance between versions. Just as unit tests alert the user if their code is incorrect, PerfEval also alerts the user to changes in performance. PerfEval is a console application, so it can be easily controlled from scripts just like unit tests.
Keywords:
testování|výkonnost; testing|performance
Available in a digital repository NRGL
PerfEval: Marrying unit testing with performance evaluation
Při vývoji softwaru se běžně používají unit testy. Tato práce navrhuje nástroj PerfEval, který podobným způsobem provádí testování výkonu. Nástroj PerfEval má za úkol porovnat výsledky měření výkonu ...
Textové šifry jako nástroj pro lepší pochopení modelů Transformer
Provazník, Jan; Libovický, Jindřich; Kasner, Zdeněk
2024 - English
Architektura Transformer je velmi populární, takže může být potenciálně významné interpretovat, co ovlivňuje její výkon. Testujeme hypotézu, že mo- del se při práci s textem spoléhá na jeho lingvistické vlastnosti. Abychom eli- minovali vliv kultury na význam, používáme úlohu pracující na úrovni znaků s Transformer modelem ByT5. Dotrénujeme ByT5-small na dešifrování vět zašifrovaných pomocí textových šifer (Vigenère, Enigma). Anotujeme eva- luační dataset vět pomocí publikovaných nástrojů pro NLP. Na evaluačním datasetu zkoumáme vztahy mezi lingvistickými vlastnostmi a četností chyb dotrénovaného ByT5 při dešifrování vět. Analyzujeme korelace, trénujeme ML modely na predikci četnosti chyb věty z jijích lingvistických vlastností a interpretujeme důležitost vlastností pomocí SHAP. Nacházíme malé signifi- kantní korelace, ale predikce četnosti chyb z vlastností selhává. Dospíváme k závěru, že identifikované vlastnosti neposkytují vhled do výkonu Transfor- merů. The Transformer architecture is very popular, so it is potentially im- pactful to interpret what influences its performance. We test the hypothesis that the model relies on the linguistic properties of a text when working with it. We remove interference with cultural aspects of meaning by using a character-level task with the ByT5 Transformer model. We train ByT5 to decipher sentences encrypted with text ciphers (Vigenère, Enigma). We annotate a sentence dataset with linguistic properties with published NLP tools. On this dataset, we study the relationships between the linguistic properties and the fine-tuned ByT5 decipherment error rate. We analyze correlations, train ML models to predict error rates from the properties and interpret them with SHAP. We find small significant correlations but can- not predict error rates from the properties. We conclude the properties we identified do not give much insight into the performance of the Transformer.
Keywords:
Transformer|interpretovatelnost|NLP|deep learning|šifry; Transformer|interpretability|NLP|deep learning|ciphers
Available in a digital repository NRGL
Textové šifry jako nástroj pro lepší pochopení modelů Transformer
Architektura Transformer je velmi populární, takže může být potenciálně významné interpretovat, co ovlivňuje její výkon. Testujeme hypotézu, že mo- del se při práci s textem spoléhá na jeho ...
Application for creating guitar songbooks from songs available on the web
Mezera, Matěj; Kliber, Filip; Kofroň, Jan
2024 - Czech
Kytarový zpěvník je seznam textů písní s akordy. Většina kytaristů si vytváří vlastní zpěvníky, přičemž existující programy pro tvorbu kytarového zpěvníku nemusí pokrývat většinu funkcí, které od nich uživatel očekává. V této práci se zabýváme návrhem a implementací nové aplikace, která slouží k tvorbě kytarového zpěvníku. Aplikace se od ostatních liší tím, že umožňuje přidávat do zpěvníku písně dostupné na internetu. Písně se z webových stránek přidávají do zpěvníku pomocí techniky web scraping. Dalšími funkcemi aplikace jsou například úprava existujících písní, uložení zpěvníku pro pozdější úpravu či přidávání vlastních písní do zpěvníku. Výsledný zpěvník lze uložit v několika formátech, především ve formátu PDF. The guitar songbook is a list of song lyrics with chords. Most guitarists create their own songbooks, and the existing programs for guitar songbook creation may not cover most of the features that the user expects from them. In this work we are focusing on design and implementation of a new application for guitar songbook creation. The application differs from others in that it allows you to add songs available on the Internet to the songbook. Songs from websites are added to the songbook using the web scraping technique. Other functions of the application are for example editing existing songs, saving the songbook for later editing or adding your own songs to the songbook. The resulting songbook can be saved in several formats, especially in PDF format.
Keywords:
zpěvník|application|web|scraping; songbook|application|web|scraping
Available in a digital repository NRGL
Application for creating guitar songbooks from songs available on the web
Kytarový zpěvník je seznam textů písní s akordy. Většina kytaristů si vytváří vlastní zpěvníky, přičemž existující programy pro tvorbu kytarového zpěvníku nemusí pokrývat většinu funkcí, které od nich ...
Maskované nadřetězce pro efektivní reprezentaci a indexování množin k-merů
Sladký, Ondřej; Veselý, Pavel; Medvedev, Paul
2024 - English
Současný exponenciální nárůst genomických dat vyžaduje nové prostorově úsporné algoritmy pro jejich kompresi a vyhledávání. Moderní přístupy často místo původních dat využívají příslušných množin k-merů, což jsou podřetězce pevné délky k. Popu- larita metod založených na k-merech vedla k vzniku kompaktních textových reprezen- tací množin k-merů, jež však stojí na strukturálních předpokladech, které pro data v praxi nemusí platit. V této bakalářské práci ukážeme, že na všechny tyto reprezentace lze nahlížet jako na nadřetězce množin k-merů a jako takové je zobecníme pomocí uceleného konceptu, kterému říkáme maskované nadřetězce k-merů. Navrhneme dva různé hladové algoritmy na jejich výpočet a implementujeme je v nástroji KmerCamel. Dále demonstru- jeme, že maskované nadřetězce fungují jako stavební kámen pro nový a jednoduchý index pro množiny k-merů, který nazýváme FMS-index. Pokud k maskovaným nadřetězcům přiřadíme navíc odmaskovávací funkci f, výsledný koncept f-maskovaných nadřetězců umožňuje jednoduché provádění množinových operací s k-mery. Experimentálně ověříme prostorovou úspornost maskovaných nadřetězců, stejně tak i naší implementace FMS- indexu. Ukážeme, že maskované nadřetězce jsou lépe komprimovatelné v situacích, kde předchozí přístupy byly daleko od optima a že FMS-index je prostorově... The exponential growth of genomic data calls for novel space-efficient algorithms for compression and search. State-of-the-art approaches often rely on tokenization of the data into k-mers, which are substrings of a fixed length. The popularity of k-mer based methods has led to the development of compact textual k-mer set representations, however, these rely on structural assumptions about the data which may not hold in practice. In this thesis, we demonstrate that all these representations can be viewed as superstrings of the k-mers, and as such can be generalized into a unified framework that we call the masked superstrings of k-mers. We provide two different greedy heuristics for their computation and implement them in a tool called KmerCamel. We further demonstrate that masked superstrings can serve as a building block of a novel, simple k-mer set index which we call FMS-index. Additionally, if masked superstrings further integrate a demasking function f, the resulting f-masked superstrings framework allows for seamless set operations with k-mers. We experimentally evaluate the performance of masked superstrings, as well as of our FMS-index implementation, FMSI, and show that masked superstrings achieve better compression in situations where the previous methods were far from optima. Furthermore, we...
Keywords:
množiny k-merů|bioinformatika|výpočetní genomika|datové struktury|algoritmy|problém nejkratšího nadřetězce; k-mer sets|bioinformatics|computational genomics|data structures|algorithms|shortest superstring problem
Available in a digital repository NRGL
Maskované nadřetězce pro efektivní reprezentaci a indexování množin k-merů
Současný exponenciální nárůst genomických dat vyžaduje nové prostorově úsporné algoritmy pro jejich kompresi a vyhledávání. Moderní přístupy často místo původních dat využívají příslušných množin ...
Vícejazyčné propojování entit pomocí vektorového vyhledávání
Farhan, Dominik; Straka, Milan; Bojar, Ondřej
2024 - English
Propojování entit je úloha, ve které jsou zmínky z textu propojovány s příslušnými entitami. Stejně jako v mnoha jiných oblastech zpracovaní přirozeného jazyka se i v pro- pojování entit výrazně projevil vliv hlubokého učení, což vedlo k významnému zlepšení výkonu. V současnosti se ale stávající modely trénují pomalu a spoléhají na nejednotné zdroje dat, což ve výsledku komplikuje reprodukovatelnost. V této práci vyvíjíme něko- lik systémů, které se učí rychle, čímž ukazujeme, že konkurenceschopných výsledků lze dosáhnout i bez velkého GPU clusteru. Zároveň trénujeme na konkrétním veřejně dostup- ném datasetu. Naše výsledky jsou tak snadno reprodukovatelné. Modely vyhodnocujeme na devíti jazycích, což nám poskytuje kvalitní přehled o jejich silných stránkách. Mimo to také podrobně analyzujeme nastavení značného množství hyperparametrů bi-enkóderů - populárního přístupu pro propojování entit - čímž zjednodušujeme rozhodování na- vazujícím pracem. Náš výzkum ukazuje, že lze vytvářet silné mnohojazyčné systémy na propojování entit i za použití pouze omezených výpočetních zdrojů. Tím činíme celou úlohu přístupnější. Entity linking (EL) is the computational process of connecting textual mentions to corresponding entities. Like many areas of natural language processing, the EL field has greatly benefited from deep learning, leading to significant performance improvements. However, present-day approaches are expensive to train and rely on diverse data sources, complicating their reproducibility. In this thesis, we develop multiple systems that are fast to train, demonstrating that competitive entity linking can be achieved without a large GPU cluster. Moreover, we train on a publicly available dataset, ensuring reproducibility and accessibility. Our models are evaluated for 9 languages giving an accurate overview of their strengths. Furthermore, we offer a detailed analysis of bi-encoder training hy- perparameters, a popular approach in EL, to guide their informed selection. Overall, our work shows that building competitive neural network based EL systems that oper- ate in multiple languages is possible even with limited resources, thus making EL more approachable.
Keywords:
propojování entit|vektorové vyhledávání|vícejazyčné propojování entit|bi-enkóder; entity linking|dense retrieval|entity disambiguation|multilingual entity linking|bi-encoder
Available in a digital repository NRGL
Vícejazyčné propojování entit pomocí vektorového vyhledávání
Propojování entit je úloha, ve které jsou zmínky z textu propojovány s příslušnými entitami. Stejně jako v mnoha jiných oblastech zpracovaní přirozeného jazyka se i v pro- pojování entit výrazně ...
2D Game Editor
Kotva, Milan; Pergel, Martin; Holan, Tomáš
2024 - Czech
V této práci představujeme editor 2D her poskytující prostředí pro tvorbu jednoduchých her, jako jsou například FlappyBird nebo JumpKing. Předkládáme tak alternativu k jiným editorům, které jsou buďto placené (např. Construct 3), nebo vyžadují vyšší úroveň znalostí a zkušeností s programováním (např. GameMaker nebo Godot). Náš editor nabízí možnost použití vlastní grafiky, hudby či úpravu fyzikálních pravidel změnou hodnot vlastností objektů. Pro pokročilejší uživatele je navíc k dispozici jednoduchý skriptovací jazyk, pomocí něhož lze tyto vlastnosti také měnit. Použití editoru demonstrujeme na příkladu tradiční hry Mario a již zmiňované hry FlappyBird. In this thesis, we introduce 2D game editor providing environment for creation of simple computer games, such as FlappyBird or JumpKing. We present an alternative to other existing game editors, which are either paid (such as Construct 3), or require higher proficiency level and programming skills (such as GameMaker or Godot). Our editor offers interesting features such as usage of custom graphics, music, or customization of laws of physics. For advanced users, it provides simple scripting language, which can be used to modify those properties as well. The usage of the editor is demonstrated on the examples of the traditional game Mario and already mentioned game FlappyBird.
Keywords:
Herní editor|2D hra|Vývoj her|Skriptování; Game editor|2D game|Game development|Scripting
Available in a digital repository NRGL
2D Game Editor
V této práci představujeme editor 2D her poskytující prostředí pro tvorbu jednoduchých her, jako jsou například FlappyBird nebo JumpKing. Předkládáme tak alternativu k jiným editorům, které jsou buďto ...
Analysis and validation of webcam images in real time
Vlk, Karel; Macková, Kateřina; Šikudová, Elena
2024 - Czech
V dnešní době digitální transformace nabývá na důležitosti využití webových kamer jako zdrojů informací o venkovních podmínkách a to především díky jejich široké dostup- nosti a potenciálu v oblasti meteorologie. Práce se zaměřuje na analýzu a validaci snímků z webových kamer v reálném čase, která je zásadní pro automatizované poskytování in- formací o aktuálních meteorologických jevech uživatelům po celém světě. Hlavním cílem práce je dosáhnout efektivní analýzy a validace snímků poskytující informace s maximální přesností a minimálním zpožděním. V rámci práce je představen úvod do dané problema- tiky a přehled stávajících metod a technologií. Hlavní části práce se soustředí na výběr metod a přístupů pro zpracování dat, které jsou zásadní pro návrh efektivního systému. Implementovaný systém, založený na vybraných sofistikovaných technikách strojového učení, je navržen tak, aby vynikal ve zpracování dat v reálném čase a klade důraz na dosažení nejvyšší účinnosti a efektivity. Nowadays, digital transformation emphasizes the use of webcams as sources of infor- mation about outdoor conditions, primarily due to their wide availability and potential in meteorology. The work focuses on the analysis and validation of real-time webcam images, which is crucial for the automated provision of information about current meteorological events to users worldwide. The main goal of the work is to achieve efficient analysis and validation of images, providing information with maximum accuracy and minimal delay. Within the scope of the work, an introduction to the issue and an overview of existing methods and technologies are presented. The main parts of the work concentrate on selecting methods and approaches for data processing, which are essential for designing an efficient system. The implemented system, based on selected sophisticated machine learning techniques, is designed to excel in real-time data processing and emphasizes achieving maximum efficiency and effectiveness.
Keywords:
analýza obrázků|detekce objektů|klasifikace obrazu|klasifikace počasí|počítačové vidění|hluboké učení|konvoluční sítě; image processing|object detection|image classification|weather classification|computer vision|deep learning|convolutional neural network
Available in a digital repository NRGL
Analysis and validation of webcam images in real time
V dnešní době digitální transformace nabývá na důležitosti využití webových kamer jako zdrojů informací o venkovních podmínkách a to především díky jejich široké dostup- nosti a potenciálu v oblasti ...
Vizuální editace doménové řídící informace pro plánování
Gráf, Martin; Barták, Roman; Chrpa, Lukáš
2024 - English
Schopnost definovat pouze možnosti prostředí v úkolu klasického plá- nování je dlouhodobou překážkou pro praktické aplikace tohoto přístupu. Moderní obecné plánovače jsou typicky schopné nalézt řešení daného pro- blému, ale jejich neschopnost využít informací specifických pro doménu se často projeví ve výrazném rozdílu výkonu oproti algoritmům přizpůsobeným dané doméně. Pro použitelnost obecných plánovačů v produkčních prostře- dích je tudíž klíčové tento výkonostní rozdíl dohnat. V této práci nejprve představíme téma klasického plánování a krátce shr- neme běžné přístupy k řešení plánovacích problémů. Poté popíšeme princip Attributed Transition-Based Domain Control Knowledge, což je technika pro zakódování kontextuálních informací do domény a problému. Nakonec odpre- zentujeme naší implementaci spolu s experimentálními výsledky. The ability to only define the physics of an environment in classical plan- ning tasks has been a long-standing obstacle in practical applications of such an approach. Current generic planners are typically capable of finding a solution to a given problem, but their inability to consider domain-specific constraints is often mirrored in a significant performance gap when compared to domain-specific algorithms. Remedying this gap would prove invaluable in making classical domain-independent planners viable in production envi- ronments. In this paper, we will first introduce the area of classical planning and briefly touch on popular approaches to solving planning tasks. We will then show the principle of Attributed Transition-Based Domain Control Knowledge, which encodes additional problem-specific information into a domain. Finally, we will present our implementation along with experimental results.
Keywords:
znalostní inženýrství|doménové řídící informace|klasické plánování; domain control knowledge|classical planning|knowledge engineering
Available in a digital repository NRGL
Vizuální editace doménové řídící informace pro plánování
Schopnost definovat pouze možnosti prostředí v úkolu klasického plá- nování je dlouhodobou překážkou pro praktické aplikace tohoto přístupu. Moderní obecné plánovače jsou typicky schopné nalézt řešení ...
Webová aplikace na procvičování databázových dotazů
Ságová, Sabína; Pešková, Klára; Klímek, Jakub
2024 - Slovak
V rámci tejto práce vznikla vzdelávacia webová aplikácia na precvičovanie databázových dopytov pomocou jazyka SQL. Stránka sa skladá zo štyroch hlavných častí - SQL hřiště, Úkoly, Diskusní fórum a Test. Študenti majú možnosť voľného experimentovania s databázou v časti SQL hřiště. V časti Úkoly majú k dispozícii rôzne úlohy na precvičovanie SQL dopytov. Každá úloha má svoje zadanie a študenti môžu napísať riešenie. Po odoslaní riešenia zistia, či ich riešenie bolo správne alebo nie. V časti Diskusní fórum môžu vidieť praktický príklad použitia SQL dopytov. V časti Test si študenti môžu precvičovať úlohy podľa výberu učiteľa. Časť Test umožňuje učiteľom pridá- vať vlastné úlohy, vytvárať sady úloh a jednoducho ich zdieľať so študentmi. Vďaka použitiu lokálnej databázy nie je potrebné, aby sa študenti niekde registrovali a aplikácia je teda ľahko použiteľná v školách. Prebehlo pilotné testovanie, ktoré ukázalo, že je aplikácia funkčná, ale stále by bolo vhodné aplikáciu otestovať vo výučbe so stredoškolskými študentmi. Within this work, an educational web application was created for prac- ticing database queries using SQL language. The website consists of of four main parts - SQL hřiště, Úkoly, Diskusní fórum and Test. Students are free to experiment with the database in the SQL hřiště. In the Úkoly section, they have a variety of tasks to practice SQL queries. Each task has its own as- signment and students can write the solution. After submitting the solution, they will find out whether their solution was correct or not. In the Diskusní fórum section, they can see a practical example of using SQL queries. In the Test section, students can practice tasks of the teacher's choice. The Test section allows teachers to add their own tasks, create task sets and easily share them with students. Thanks to the use of a local database there is no need for students to register anywhere, making the application easy to use in schools. Pilot testing has been carried out, which has shown that the ap- plication is functional, but it would still be advisable to test the application in the classroom with secondary school students.
Keywords:
SQL precvičovanie|vzdelávacia webová aplikácia|stredné školy; SQL practice|educational web application|secondary schools
Available in a digital repository NRGL
Webová aplikace na procvičování databázových dotazů
V rámci tejto práce vznikla vzdelávacia webová aplikácia na precvičovanie databázových dopytov pomocou jazyka SQL. Stránka sa skladá zo štyroch hlavných častí - SQL hřiště, Úkoly, Diskusní fórum a ...
Visualization of algorithms for database design
Duong, Xuan Anh; Kopecký, Michal; Koupil, Pavel
2024 - Czech
Tato bakalářská práce se zaměřuje na vývoj webové aplikace, určené pro vizualizaci a interaktivní zkoušení algoritmů, potřebných pro návrh relačních databázových schémat. Primárním cílem aplikace je poskytnout studujícím možnost hlubšího porozumění a praktického procvičení návrhu schématu relační databáze, založenému na funkčních závislostech a normálních formách. Aplikace umožňuje uživatelům zadávat vlastní definici univerzálního schématu a sledovat krok za krokem, jak jednotlivé algoritmy, počínaje algoritmem pro výpočet atributového uzávěru, na zadaných datech pracují. To může uživatelům pomoci lépe porozumět teoretickým konceptům a získat zpětnou vazbu o správnosti svých řešení. Práce obsahuje rovněž teoretický základ, potřebný pro porozumění implementovaným algoritmům, což může být cenným podkladem pro studium a přípravu na zkoušky z databázových systémů. This bachelor's thesis focuses on the development of a web application designed for the visualization and interactive testing of algorithms needed for the design of relational database schemas. The primary goal of the application is to provide students with a deeper understanding and practice of relational database schema design, based on functional dependencies and normal forms. The application allows users to enter their own definition of a universal scheme and watch step-by-step how individual algorithms, starting with the algorithm for calculating the attribute closure, work on the entered data. This can help users better understand theoretical concepts and get feedback on the correctness of their solutions. The thesis also contains the theoretical basis needed for understanding the implemented algorithms, which can be a valuable basis for studying and preparing for exams on database systems.
Keywords:
Visualizace algoritmů|Návrh datového modelu|Relační datový model|Normalizace|Webová aplikace; Visualization of algorithms|Data model design|Relational data model|Normalization|Web Application
Available in a digital repository NRGL
Visualization of algorithms for database design
Tato bakalářská práce se zaměřuje na vývoj webové aplikace, určené pro vizualizaci a interaktivní zkoušení algoritmů, potřebných pro návrh relačních databázových schémat. Primárním cílem aplikace je ...
NRGL provides central access to information on grey literature produced in the Czech Republic in the fields of science, research and education. You can find more information about grey literature and NRGL at service web
Send your suggestions and comments to nusl@techlib.cz
Provider
Other bases