Soutež Algonauts 2023: predikce lidské fMRI aktivity při stimulaci vizuálními stimuli
Petliak, Nataliia; Antolík, Ján; Bojar, Ondřej
2024 - English In this thesis, we investigate the application of pretrained Deep Neural Networks, par- ticularly Vision Transformers (ViT), for predicting human fMRI activity in response to visual stimulation. The Algonauts Challenge 2023 dataset, serving as a large-scale bench- mark of human fMRI data, allows us to assess the performance of ViT in comparison with established CNN architectures like VGG and ResNet. Our study highlights the complex- ity of this task, especially in accurately modeling the diverse regions of the full visual cortex. We identify specific ViT layers that align with the brain's hierarchical processing and prove to be the most predictive. However, one of the limitations we encounter with pretrained ViT is its reduced adaptability due to inherent subject variability. This limi- tation underscores the challenge in developing a single model that is universally effective across different individuals. To address this, we implement an iterative training strategy, starting with the layers that perform best across all subjects, followed by fine-tuning for specific visual areas in individual subjects. Despite these efforts, the effectiveness of ViT varies; it performs satisfactorily in some subjects but struggles in others, particu- larly in word-selective regions. The incorporation of textual data... V této diplomové práci zkoumáme využití předtrénovaných hlubokých neuronových sítí, zejména Vision Transformers (ViT), pro predikce lidské fMRI aktivity při stimu- laci vizuálními stimuli. Dataset z Algonauts Challenge 2023, která slouží jako rozsáhlý standard pro data fMRI lidského mozku, nám umožňuje hodnotit výkon ViT ve srovnání s etablovanými architekturami CNN, jako jsou VGG a ResNet. Naše studie zdůrazňuje složitost tohoto úkolu, zejména při přesném modelování různorodých oblastí celé vizuální kůry. Identifikujeme konkrétní vrstvy ViT, které jsou v souladu s hierarchickým zpra- cováním mozku a ukazují se jako nejpředpovědnější. Jedním z omezení, na které jsme narazili u předtrénovaného ViT, je jeho snížená adaptabilita kvůli vrozené variabilitě subjektů. Toto omezení zdůrazňuje výzvu ve vývoji jediného modelu, který je univer- zálně účinný pro různé jedince. Abychom toto řešili, implementujeme iterativní strategii trénování, začínající vrstvami, které fungují nejlépe napříč všemi subjekty, následované jemným laděním pro specifické vizuální oblasti jednotlivých subjektů. Navzdory těmto snahám se účinnost ViT liší; u některých subjektů dosahuje uspokojivých výsledků, ale u jiných se potýká, zejména ve word-selectivnich oblastech. Přidání textových dat ke vstupu vede ke zlepšení výkonu modelu v... Keywords: hluboké učení|predikce fMRI|vizualní stimuly|vision transformers; deep learning|fMRI prediction|visual stimuli|vision transformers Available in a digital repository NRGL Soutež Algonauts 2023: predikce lidské fMRI aktivity při stimulaci vizuálními stimuli

In this thesis, we investigate the application of pretrained Deep Neural Networks, par- ticularly Vision Transformers (ViT), for predicting human fMRI activity in response to visual stimulation. The ...

Petliak, Nataliia; Antolík, Ján; Bojar, Ondřej
Univerzita Karlova, 2024

Evoluční strategie pro optimalizaci policy v transformerech
Lorenc, Matyáš; Neruda, Roman; Pilát, Martin
2024 - English We explore the capability of evolution strategies to train a transformer architecture in the reinforcement learning setting. We perform experiments using OpenAI's highly parallelizable evolution strategy and its derivatives utilizing novelty and quality-diversity searches to train Decision Transformer in Humanoid locomotion environment, testing the ability of these black-box optimization techniques to train even such relatively large (com- pared to the previously tested in the literature) and complicated (using a self-attention in addition to fully connected layers) models. The tested algorithms proved to be, in gen- eral, capable of achieving strong results and managed to obtain high-performing agents both from scratch (randomly initialized model) and from a pretrained model. 1 Cílem práce je prozkoumat schopnost evolučních strategií trénovat architektury trans- formerů v prostředí zpětnovazebního učení. Provedeme experimenty s využitím vysoce paralelizovatelného algoritmu OpenAI-ES a dvou jeho variant využívajících konceptů no- velty a quality-diversity prohledávání k trénování architektury Decision Transformeru v prostředí MuJoCo Humanoida a otestujeme tak schopnost těchto black-box optimalizač- ních technik trénovat i takto relativně velké (ve srovnání s dříve testovanými) a kom- plikované modely (využívajících self-attention vedle klasických plně propojených vrstev). Testované algoritmy se v našich experimentech ukázaly obecně jako schopné dosahovat silných výsledků a dokázaly vyvinout vysoce výkonné agenty - a to jak z náhodně ini- cializovaného modelu, tak z předtrénovaného modelu. 1 Keywords: Evoluční strategie|Transformery|Optimalizace policy|Novelty; Evolution strategies|Tranformers|Policy optimization|Novelty Available in a digital repository NRGL Evoluční strategie pro optimalizaci policy v transformerech

We explore the capability of evolution strategies to train a transformer architecture in the reinforcement learning setting. We perform experiments using OpenAI's highly parallelizable evolution ...

Lorenc, Matyáš; Neruda, Roman; Pilát, Martin
Univerzita Karlova, 2024

Multi-agentní burzovní prostředí pro hledání robustních strategií pomocí zpětnovazebního učení
Mikuláš, Pavel; Pilát, Martin; Neruda, Roman
2024 - English This thesis presents a comprehensive study of the application of reinforcement learning to algorithmic trading. The main focus of this thesis is on the generalization properties of various reinforcement learning algorithms, both from the data perspective and the applicability of the trained agents to real algorithmic trading. To that end, we develop a training environment taking into account various real-world factors influencing the performance of algorithmic trading strategies. We also experiment with the recurrent replay buffer extension of the DQN algorithm, known as R2D2, being, to the best of our knowledge, the first to employ this algorithm for the task of algorithmic trading. Each algorithm is evaluated against traditional algorithmic trading strategies, including the buy-and-hold strategy, to demonstrate the superior performance of the reinforcement learning strategies. On top of that we also provide a study on how the amount of training data and transaction costs influence the generalization of the algorithms to unseen market conditions. We show how transaction costs significantly increase the task complexity and that the R2D2 algorithm overperforms the commonly used baselines, as well as other state-of-the-art reinforcement learning algorithms in this task. 1 Tato práce přináší rozsáhlou studii aplikace zpětnovazebního učení v oblasti algo- ritmického obchodování. Práce se zaměřuje zejména na to, jak modely zpětnovazebního učení generalizují, jak z pohledu velikosti trénovací množiny, tak z pohledu jejich ná- sledného přenesení na reálné finanční trhy. Za tímto cílem vytváříme simulační prostředí zohledňující důležité faktory, které ovlivňují výsledky obchodní strategie při reálném ob- chodování. V našich experimentech používáme také rozšíření algoritmu DQN, známé jako R2D2, které dosahuje velice slibných výsledků. Pokud je nám známo, je tato práce první, která algoritmus R2D2 aplikuje na oblast algorimického obchodování. Algoritmy natré- nované ve vytvořeném simulačním prostředí následně vyhodnocujeme oproti obvykle uží- vaným postupům algoritmického obchodování, abychom demonstrovali sílu modelů zpět- novazebního učení. Dále ukazujeme, jak zvyšování transakčních nákladů zvyšuje nároč- nost trénování vybraných modelů a že algoritmus R2D2 svými výsledky překonává běžné postupy algoritmického obchodování i ostatní modely zpětnovazebního učení v úloze al- goritmického obchodování. 1 Keywords: zpětnovazební učení|algoritmické obchodování|generalizace|R2D2|hluboké učení; reinforcement learning|algorithmic trading|generalization|R2D2|deep learning Available in a digital repository NRGL Multi-agentní burzovní prostředí pro hledání robustních strategií pomocí zpětnovazebního učení

This thesis presents a comprehensive study of the application of reinforcement learning to algorithmic trading. The main focus of this thesis is on the generalization properties of various ...

Mikuláš, Pavel; Pilát, Martin; Neruda, Roman
Univerzita Karlova, 2024

Zkušenosti s kreslením živých modelů a duševní pohoda: Fenomenologická studie
Newkirkova, Anna; Urban, Marek; Sebalo Vňuková, Martina
2024 - English Keywords: Autoethnography; Reflexive Diary; In-depth interviews; Thematic Analysis; Creativity Based Community Available in a digital repository NRGL Zkušenosti s kreslením živých modelů a duševní pohoda: Fenomenologická studie

Newkirkova, Anna; Urban, Marek; Sebalo Vňuková, Martina
Univerzita Karlova, 2024

Duševní zdraví a pohoda ve srovnání východního a západního Německa: Přehledová studie literatury a sekundárních dat
Berneking, Emelie; Wladyniak, Ludmila Maria; Vondráček, Jan
2024 - English Keywords: East and West Germany; Mental Health; Mental Well-being; Reunification; Health Disparity; Medical Sociology Available in a digital repository NRGL Duševní zdraví a pohoda ve srovnání východního a západního Německa: Přehledová studie literatury a sekundárních dat

Berneking, Emelie; Wladyniak, Ludmila Maria; Vondráček, Jan
Univerzita Karlova, 2024

Reciprocita přátelství se mění s věkem
Shiyanova, Ekaterina; Zakreski, Ellen; Csajbók, Zsófia
2024 - English Available in a digital repository NRGL Reciprocita přátelství se mění s věkem

Shiyanova, Ekaterina; Zakreski, Ellen; Csajbók, Zsófia
Univerzita Karlova, 2024

Strojový překlad na základě jednojazyčných textů
Kvapilíková, Ivana; Bojar, Ondřej; Espana-Bonet, Cristina; Čmejrek, Martin
2024 - English Title: Towards Machine Translation Based on Monolingual Texts Author: Ivana Kvapilíková Institute: Institute of Formal and Applied Linguistics Supervisor: doc. RNDr. Ondřej Bojar, Ph.D., Institute of Formal and Applied Linguistics Abstract: The current state of the art in machine translation (MT) heavily relies on parallel data, i.e. texts that have been previously translated by humans. This type of resource is expen- sive and only available for several language pairs in limited domains. A new line of research has emerged to design models capable of learning to translate from monolingual texts which are signicantly easier to obtain, e.g. by web-crawling. While it is impressive that such models achieve translation capabilities, the translation quality of the output they produce is still low for practical applications. This dissertation thesis strives to improve their performance. We explore the existing approaches of using monolingual resources to train translation models and propose a new technique to generate pseudo-parallel training data articially without expensive human input. We automatically select similar sentences from monolingual corpora in different languages and we show that using them in the initial stages of MT training leads to a signicant enhancement in translation quality. We also... Název: Strojový překlad na základě jednojazyčných textů Autor: Ivana Kvapilíková Ústav: Ústav aplikované a formální lingvistiky Vedoucí: doc. RNDr. Ondřej Bojar, Ph.D., Ústav aplikované a formální lingvistiky Abstrakt: Současné systémy strojového překladu (SP) jsou závislé na existenci paralelních dat, tedy textů, které byly dříve přeloženy lidmi. Tento typ dat je drahý a je dostupný pouze pro několik jazykových párů v omezených doménách. Vznikl tedy nový výzkumný směr zaměřený na navrhování modelů schopných naučit se překládat z jednojazyčných textů, které jsou výrazně dostupnější než texty paralelní, např. z internetu. I když je působivé, že takové modely překládat skutečně dokáží, kvalita jimi vyprodukovaných výstupů je pro praktické aplikace stále nedostatečná. Tato disertační práce se snaží vylepšit jejich výkonnost. Zkoumáme stávající přístupy používání jednojazyčných zdrojů k trénování překladových modelů a navrhujeme novou techniku generování pseudo-paralelních trénovacích dat uměle, bez drahého lidského vstupu. Automaticky hledáme podobné věty v jednojazyčný korpusech v různých jazycích a ukazujeme, že jejich použití v počátečních fázích trénování SP vede k... Keywords: strojový překlad|neřízené učení|hluboké neuronové sítě|nízkozdrojové jazyky|zpracování přirozeného jazyka; machine translation|unsupervised learning|deep neural networks|low-resource languages|natural language processing Available in a digital repository NRGL Strojový překlad na základě jednojazyčných textů

Title: Towards Machine Translation Based on Monolingual Texts Author: Ivana Kvapilíková Institute: Institute of Formal and Applied Linguistics Supervisor: doc. RNDr. Ondřej Bojar, Ph.D., Institute of ...

Kvapilíková, Ivana; Bojar, Ondřej; Espana-Bonet, Cristina; Čmejrek, Martin
Univerzita Karlova, 2024

Metody pracující s omezeným množstvím zdrojů pro využití v dialogových systémech
Hudeček, Vojtěch; Dušek, Ondřej; Skantze, Gabriel; Schwarz, Petr
2024 - English This thesis focuses on developing and improving task-oriented dialogue systems design in the rapidly growing landscape of artificial intelligence and natural language processing. We propose techniques that can substantially decrease development and deployment costs, motivated by the desire to make these systems more adaptable and scalable. We introduce multiple novel approaches to achieving these goals. Firstly, we present a weakly supervised automatic data annotation pipeline that can transform raw dialogue transcript into a refined set of semantically coherent concepts, bypassing the need for exhaustive manual annotations in natural language understanding for a given domain and significantly streamlining the development process. We also explore the largely uninvestigated field of latent variable models in task-oriented dialogue system modeling. These models offer excellent capabilities with the potential to uncover the structure of behavioral patterns seen in the dialogue through inspection of the latent space and comparison with actions taken by the model. Furthermore, we explore the potential of these models to form hierarchical representations using our proposed architecture. Following recent progress in the field, we harness the power of pre-trained large language models using in-context learning. We... Tato práce se zaměřuje na vývoj a zdokonalování návrhu tzv. task-oriented dialogových systémů v rychle se rozvíjejícím prostředí výzkumu umělé inteligence a zpracování přirozeného jazyka. Navrhujeme techniky, které mohou podstatně snížit náklady na vývoj a nasazení těchto systémů, což je motivováno snahou o jejich větší přizpůsobivost a škálovatelnost. V práci představujeme několik nových přístupů k dosažení těchto cílů. Nejdříve představujeme automatickou metodu anotace dat, která dokáže extrahovat sadu sémanticky koherentních konceptů (dialogových slotů) z prostého přepisu zaznamenaných konverzací. Tímto přístupem snižujeme množství manuální anotace potřebné pro porozumění přirozenému jazyku v dané doméně a výrazně tak zefektivňujeme proces vývoje. Zkoumáme také modely využívající latentní proměnné v modelování task-oriented dialogových systémů. Tato oblast je do značné míry neprobádána. Modely využívající latentní proměnné nabízejí možnost využití neanotovaných dat s potenciálem odhalit strukturu vzorců chování pozorovaných v dialogu. Toho lze dosáhnout prostřednictvím analýzy latentního prostoru a porovnání s akcemi provedenými modelem. Dále zkoumáme potenciál těchto modelů pro vytváření hierarchických reprezentací pomocí námi navržené architektury. V návaznosti na nedávný pokrok v této oblasti také... Keywords: zpracování přirozeného jazyka; neuronové sítě; stromové struktury; natural language processing; neural networks; tree structures Available in a digital repository NRGL Metody pracující s omezeným množstvím zdrojů pro využití v dialogových systémech

This thesis focuses on developing and improving task-oriented dialogue systems design in the rapidly growing landscape of artificial intelligence and natural language processing. We propose techniques ...

Hudeček, Vojtěch; Dušek, Ondřej; Skantze, Gabriel; Schwarz, Petr
Univerzita Karlova, 2024

Směrem k novému modelu sociálních médií: přerozdělení moci v ekonomice tvůrců založené na předplatném
Markova, Snezhanna; Roraback, Erik Sherman; Vichnar, David
2024 - English This thesis evaluates the potential viability of the subscription-based creator economy by analysing three subscription creator platforms, Substack, Nebula and Patreon. Drawing on Bernard Stiegler's work in the sphere of digital technologies, this study argues that the alternative mode of information dissemination demonstrated by these platforms presents a more equal distribution of power between the players in the creator economy and a healthier, more thoughtful content creation and consumption, in contrast to the algorithmic distribution of information of the traditional advertiser-driven social media networks. The research focuses on delineating the circumstances which led to the political and spiritual malaise of modern online generations described by Stiegler and examines how subscription-based platforms attempt to combat the harmful effects of major social networks. The creator economy is an integral part of almost every online interaction, therefore evaluating alternative economic models can be the key to improving the declining quality of the online user experience. The use-case analysis will involve assessing the business model, as well as the impact on the relationship between the creator, consumer and the IT platform, employing the digital labour theory proposed by Christian Fuchs.... Tato práce se pokouší zhodnotit potenciální životaschopnost ekonomiky tvůrců založené na předplatném analýzou tří platforem které jsou založené na modelu předplatného, Substack, Nebula a Patreon. Tato studie vychází z práce Bernarda Stieglera v oblasti digitálních technologií a tvrdí, že alternativní způsob šíření informací, který tyto platformy umožnují, představuje rovnoměrnější rozdělení moci mezi aktéry v ekonomice tvůrců a zdravější, promyšlenější tvorbu a spotřebu obsahu, na rozdíl od algoritmické distribuce informací tradičních sociálních sítí, které jsou řízené inzerenty. Výzkum se zaměřuje na vymezení okolností, které vedly k politickému a duchovnímu neklidu moderní online generace popsané Stieglerem, a zkoumá, jak se platformy založené na předplatném pokoušejí bojovat proti škodlivým účinkům dominantních sociálních sítí. Ekonomika tvůrců je nedílnou součástí téměř každé online interakce, proto hodnocení alternativních ekonomických modelů může být klíčem ke zlepšení klesající kvality online uživatelské zkušenosti. Analýza případu užití bude zahrnovat posouzení obchodních modelů, a také dopadu na vztah mezi tvůrcem, spotřebitelem a IT platformou s využitím teorie digitální práce navržené Christianem Fuchsem. Zjištění naznačují, že platformy pro vytváření předplatného mají potenciál obnovit... Keywords: digitální kapitalismus|ekonomika tvůrců|uživateli vytvářený obsah|kapitalismus dohledu|společnost spektáklu|egalitářství; Keywords: digital capitalism|creator economy|user-generated content|surveillance capitalism|spectacle society|egalitarianism Available in a digital repository NRGL Směrem k novému modelu sociálních médií: přerozdělení moci v ekonomice tvůrců založené na předplatném

This thesis evaluates the potential viability of the subscription-based creator economy by analysing three subscription creator platforms, Substack, Nebula and Patreon. Drawing on Bernard Stiegler's ...

Markova, Snezhanna; Roraback, Erik Sherman; Vichnar, David
Univerzita Karlova, 2024

Translingvální báseň: Ilya Kaminsky, May Wongová, Li-Young Lee
Romanenko, Anton; Quinn, Justin; Delbos, Stephan
2024 - English This thesis discusses the work of three contemporary Anglophone translingual poets: Ilya Kaminsky, Wong May, and Li-Young Lee. A translingual poem is a poetic text written in a language that is not the author's mother tongue. Translingual literary practice was common in the Middle Ages, but during Romanticism the monolingual literary model became dominant. This started to change in modernism, where new forms of translingual writing subjectivity began to appear, exemplified by writers like Vladimir Nabokov, Eugene Jolas, and later Ivan Blatný. The thesis discusses these writers' works, establishing the connections between the modernist translingual subject and the contemporary one. It then proceeds to analyze the poems of Ilya Kaminsky, Wong May, and Li-Young Lee, looking for the ways in which these authors relate to the literary traditions of their first and second languages through the use of form and poetic content. The thesis also discusses the intermedial quality of their work, as well as how the three poets approach the notion of the lyric. Key words: translingualism, multilingualism, modernism, poetry, poem, poetics, transmediality, literature, lyric Tato diplomová práce se zabývá analýzou tvorby tří současných anglofonních translingválních básníků: Ilji Kaminského, Wong Mayové a Li-Young Leeho. Translingvální básní se rozumí poetický text napsaný v jazyce, který není autorovou mateřštinou. Translingvální literární praxe byla běžná ve středověku. Během romantismu se dominantním způsobem literární produkce stal monolingvální model. V modernismu však došlo k obnovení literárního traslingvismu, což lze vidět například ve tvorbě autorů jako Vladimir Nabokov, Eugene Jolas nebo později u Ivana Blatného. Diplomová práce analyzuje vybraná díla těchto autorů a popisuje jejich návaznosti na současnou formu literárního translingvismu. Dále se diplomová práce zabývá detailním rozborem vybraných básní od Ilji Kaminského, Wong Mayové a Li-Young Leeho. Cílem analýzy je ukázat, jak tito autoři pracují s pojmy básnické formy a obsahu a jak svojí tvorbou navazují na literární tradice svých jazyků. Diplomová práce se také věnuje transmedialním aspektům tvorby těchto autorů a tomu, jak přistupují k pojmu lyrična. Klíčová slova: translingvismus, multilingvismus, modernismus, poezie, báseň, poetika, transmedialita, literatura, lyrika Keywords: Translingvální báseň: Ilya Kaminsky|Wong Mayová|Li-Young Lee; translingualism|multilingualism|transnationalism|poetics|poetry|poem|lyric|literature|transmediality Available in a digital repository NRGL Translingvální báseň: Ilya Kaminsky, May Wongová, Li-Young Lee

This thesis discusses the work of three contemporary Anglophone translingual poets: Ilya Kaminsky, Wong May, and Li-Young Lee. A translingual poem is a poetic text written in a language that is not ...

Romanenko, Anton; Quinn, Justin; Delbos, Stephan
Univerzita Karlova, 2024