Ne (2984)
Použitá omezení
(3)
Počet nalezených dokumentů:
2984
Publikováno od
do
Aligning pre-trained models for spoken language translation
Sedláček, Šimon; Beneš, Karel; Kesiraju, Santosh
2024 - anglický
Tato práce zkoumá nový end-to-end přístup k překladu mluveného jazyka (ST) využívající předtrénovaných modelů pro přepis řeči (ASR) a strojový překlad (MT), propojené malým spojovacím modulem (Q-Former, STE). Ten má za úkol překlenout mezeru mezi modalitami řeči a textu mapováním embedding reprezentací ASR enkodéru do latentního prostoru reprezentací MT modelu. Během trénování jsou zvolené ASR a MT model zmrazeny, laděny jsou pouze parametry spojovacího modulu. Trénování a evaluace jsou prováděny na datasetu How2, obsahujícím ST data z Angličtiny do Portugalštiny. V našich experimentech zjišťujeme, že většina sladěných systémů překonává referenční kaskádový ST systém, přičemž využívají stejné základní modely. Navíc, při zachování konstantní a ve srovnání malé (10M parametrů) velikosti spojovacího modulu, větší a silnější ASR a MT modely univerzálně zlepšují výsledky překladu. Zjišťujeme, že spojovací moduly mohou také sloužit jako doménové adaptéry pro zvolené základní systémy, kdy významně zlepšují výsledky překladu ve sladěném ST prostředí, a to i oproti holému MT výkonu daného MT modelu. Nakonec navrhujeme proceduru pro předtrénování spojovacího modulu s potenciálem snížit množství ST dat potřebných pro trénink obdobných sladěných systémů. In this work, we investigate a novel approach to end-to-end speech translation (ST) by leveraging pre-trained models for automatic speech recognition (ASR) and machine translation (MT) and connecting them with a small connector module (Q-Former, STE). The connector bridges the gap between the speech and text modalities, transforming the ASR encoder embeddings into the latent representation space of the MT encoder. During training, the foundation ASR and MT models are frozen, and only the connector parameters are tuned, optimizing for the ST objective. We train and evaluate our models on the How2 English to Portuguese ST dataset. In our experiments, aligned systems outperform our cascade ST baseline while utilizing the same foundation models. Additionally, while keeping the size of the connector module constant and small in comparison (10M parameters), increasing the size and capability of the ASR encoder and MT decoder universally improves translation results. We find that the connectors can also serve as domain adapters for the foundation models, significantly improving translation performance in the aligned ST setting, compared even to the base MT scenario. Lastly, we propose a pre-training procedure for the connector, with the potential for reducing the amount of ST data required for training similar aligned systems.
Klíčová slova:
spoken language translation; speech translation; model alignment; automatic speech recognition; machine translation; transfer learning; transformers; Q-Former; domain adaptation; překlad mluveného jazyka; překlad řeči; sladění modelů; automatické rozpoznávání řeči; strojový překlad; transfer learning; transformery; Q-Former; doménová adaptace
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Aligning pre-trained models for spoken language translation
Tato práce zkoumá nový end-to-end přístup k překladu mluveného jazyka (ST) využívající předtrénovaných modelů pro přepis řeči (ASR) a strojový překlad (MT), propojené malým spojovacím modulem ...
Návrh a implementace nástroje pro analýzu obrazových dat vestavěných systémů
Lipták, Samuel; Šnajder, Jan; Krejsa, Jiří
2024 - anglický
Táto diplomová práca sa zaoberá overením funkcionality grafického rozhrania v integrovaných systémoch. Súčasné prístupy využívajúce kamerové systémy pre optickú kontrolu sú charakterizované nedostatočnou spoľahlivosťou, vysokými nákladmi, náročnou údržbou a náročnosťou na priestorové umiestnenie. Cieľom tejto práce je analyzovať a navrhnúť nový prístup k získavaniu grafických dát, ktorý bude založený na spoľahlivej technológii. Konkrétne riešenie využíva technológiu FPGA (Field-Programmable Gate Array) a celý systém je implementovaný na vývojovej platforme PYNQ. Táto platforma zároveň obsahuje server s API, čo umožňuje jednoduchší prístup k získaným dátam. Výsledkom tejto práce je nová metóda overenia funkcionality grafického rozhrania vstavaných systémov, ktorá bude spĺňať požadované kritériá spoľahlivosti a účinnosti. Takýto prístup by mohol nájsť uplatnenie v priemysle a prispieť k zlepšeniu kvality a efektívnosti kontroly kvality integrovaných systémov. This thesis deals with the verification of the functionality of the graphical interface in embedded systems. Current approaches using camera systems for optical inspection are characterised by a lack of reliability, high cost, maintenance difficulties and spatial challenges. The aim of this work is to analyse and propose a new approach to graphical data acquisition, based on a reliable technology. The specific solution uses FPGA (Field-Programmable Gate Array) technology and the whole system is implemented on the PYNQ development platform. This platform also includes a server with an API, which allows easier access to the acquired data. The result of this work is a new verification method of the graphical interface of embedded systems, which will meet the required reliability and efficiency criteria. Such an approach may find application in industry and contribute to improving the quality and efficiency of quality control of embedded systems.
Klíčová slova:
graphical interface; embedded systems; FPGA; PYNQ; quality control; grafické rozhranie; vstavané systémy; FPGA; PYNQ; kontrola kvality
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Návrh a implementace nástroje pro analýzu obrazových dat vestavěných systémů
Táto diplomová práca sa zaoberá overením funkcionality grafického rozhrania v integrovaných systémoch. Súčasné prístupy využívajúce kamerové systémy pre optickú kontrolu sú charakterizované ...
Benchmarking výpočetních nástrojů pro predikci vlivu mutací na stabilitu proteinů
Berezný, Matej; Martínek, Tomáš; Musil, Miloš
2024 - anglický
Návrh proteínov vyžaduje informáciu o tom ako mutácie ovplyvňujú celkovú stabilitu proteinu. Pre tento prípad existuje mnoho verejne dostupných nástrojov avšak ich kolektívne používanie či porovnávanie je veľmi pracné. Presne pre tento prípad som vyvinul BenchStab; konzolovú aplikáciu/Python knižnicu navrhnutú pre rýchlu a priamočiaru manipuláciu s 18 prediktormi, umožňujúc hromadné získavanie mutačných výsledkov. Zároveň som vytvoril novú unikátnu dátovú sadu, získanú z FireProtDB. Tento dataset som použil na porovnanie 24 rôznych predikčných metód pomocou rôznych metrík. Protein design necessitates understanding how mutations influence their stability. Numerous online predictors exist for this aim, but it is challenging to compare them or to use them collectively. For that purpose I developed BenchStab, a console application/Python package designed for the swift and straightforward operation of 18 predictors, gathering results from a series of mutants. Benchstab is freely available on GitHub and can be expanded to include more predictors. To avoid potential dataset bias towards some predictors, I have constructed a new unique dataset, sourced from FireProtDB. I utilized this dataset to assess 24 distinct prediction methods from the three different perspectives.
Klíčová slova:
protein stability; prediction; benchmark; predictor; protein stability predictor; stability; protein stability benchmark; software tool; stability querying; structure; sequence; protein; dataset; DDG; FoldX4; Foldx5; DDMut; PoPMuSiC; Maestro; mutations; web-tool client; stabilita proteínov; predikcia; stabilita; benchmark; prediktor; softvérový nástroj; benchmark stability proteínov; získavanie stability; štruktúra; sekvencia; proteín; dataset; DDG; FoldX4; Foldx5; DDMut; PoPMuSiC; Maestro; mutácie; webový klient
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Benchmarking výpočetních nástrojů pro predikci vlivu mutací na stabilitu proteinů
Návrh proteínov vyžaduje informáciu o tom ako mutácie ovplyvňujú celkovú stabilitu proteinu. Pre tento prípad existuje mnoho verejne dostupných nástrojov avšak ich kolektívne používanie či ...
Implementace strojového vidění ve výrobním systému UVSSR PORTABLE CELL
Gómez Rojas, José Luis; Kroupa, Jiří; Bražina, Jakub
2024 - anglický
This thesis investigates the integration of computer vision into Industry 4.0, utilizing the UVSSR CELL at Brno University of Technology. Focused on enhancing virtual commissioning, it introduces three innovative vision techniques linked via an OPC server to an IoT gateway. Object recognition, hand gesture control, and facial recognition are employed, improving robotic arm operations and security protocols. This integration resulted in high accuracy trained model for object detection with mAP50-90 close to 0.9, and control precision of the technologies and the virtual environment, contributing significantly to smart industry automation and setting a call for future work on top of it. The thesis covers methodology, technological implementation, and prospects for advanced, efficient machine vision systems within industry 4.0. This thesis investigates the integration of computer vision into Industry 4.0, utilizing the UVSSR CELL at Brno University of Technology. Focused on enhancing virtual commissioning, it introduces three innovative vision techniques linked via an OPC server to an IoT gateway. Object recognition, hand gesture control, and facial recognition are employed, improving robotic arm operations and security protocols. This integration resulted in high accuracy trained model for object detection with mAP50-90 close to 0.9, and control precision of the technologies and the virtual environment, contributing significantly to smart industry automation and setting a call for future work on top of it. The thesis covers methodology, technological implementation, and prospects for advanced, efficient machine vision systems within industry 4.0.
Klíčová slova:
Industry 4.0; Computer Vision; Virtual Commissioning; Cyber-Physical Systems; Object Detection; Face recognition; Hand gesture recognition; Smart Industry; Industry 4.0; Computer Vision; Virtual Commissioning; Cyber-Physical Systems; Object Detection; Face recognition; Hand gesture recognition; Smart Industry
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Implementace strojového vidění ve výrobním systému UVSSR PORTABLE CELL
This thesis investigates the integration of computer vision into Industry 4.0, utilizing the UVSSR CELL at Brno University of Technology. Focused on enhancing virtual commissioning, it introduces ...
Expanze českého e-shopu s profesionálním a zahradním vybavením na německý e-commerce trh
Hlavenková, Andrea; Schüller, David; Šimberová, Iveta
2024 - anglický
Cílem této diplomové práce je zjistit, zda je německý trh vhodnou volbou pro expanzi českého internetového obchodu, který prodává profesionální, hobby, zahradní nářadí a související produkty. V této práci budou blíže zkoumána specifika německého trhu, stav elektronického obchodování a zda je společnost finančně a provozně připravena na tak složitý proces. Po zodpovězení výzkumné otázky bude vypracován příslušný návrh v podobě plánu expanze, který bude zahrnovat všechny nezbytné aspekty včetně vstupu na trh, právních aspektů, marketingu, odhadu nákladů a časového harmonogramu realizace. The aim of this diploma thesis is to determine whether the German market is a viable option for the expansion activities of a Czech online store that sells professional, hobby, and garden tools, along with related products. This thesis will closely examine the specifics of the German market, the state of e-commerce, and whether the company is financially and operationally prepared to undertake such a complex process. After addressing the research question, a relevant proposal in the form of an expansion plan will be laid out, covering all necessary aspects including market entry, legal considerations, marketing, cost estimation, and timeline implementation.
Klíčová slova:
International expansion; e-commerce; expansion plan; Germany; online store; Mezinárodní expanze; e-commerce; plan expanze; Německo; internetový obchod
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Expanze českého e-shopu s profesionálním a zahradním vybavením na německý e-commerce trh
Cílem této diplomové práce je zjistit, zda je německý trh vhodnou volbou pro expanzi českého internetového obchodu, který prodává profesionální, hobby, zahradní nářadí a související produkty. V této ...
Bezpečnostní analýza vybraného Android TV Boxu
Švenk, Adam; Veigend, Petr; Tamaškovič, Marek
2024 - anglický
Popularita TV boxov so systémom Android v poslednom čase výrazne vzrástla. Okrem toho, že ponúkajú širokú škálu funkcií, je čoraz aktuálnejšia otázka, či sú dostatočne zabezpečené a chránené. Táto práca popisuje komplexnú bezpečnostnú analýzu vybraného Android TV boxu, ktorá zahŕňa hardvérové aj softvérové komponenty. Skúmaním zraniteľností prítomných v zariadení sa táto práca zameriava na identifikáciu potenciálnych rizík pre súkromie a bezpečnosť používateľov. Okrem toho navrhuje odporúčania na zmiernenie týchto zraniteľností. The popularity of Android TV boxes has increased significantly in recent times. In addition to offering a wide range of functionality, the question of whether they are adequately secured is becoming increasingly pertinent. This thesis performs a comprehensive security analysis of selected Android TV boxes, covering both the hardware and software components. By examining the vulnerabilities present in the device, this thesis aims to identify potential risks to user privacy and security. Additionally, it proposes recommendations to mitigate these vulnerabilities.
Klíčová slova:
security analysis; Android; Android TV; OWASP; vulnerability; firmware; reverse engineering; bezpečnostná analýza; Android; Android TV; OWASP; zraniteľnosť; firmvér; reverzné inžinierstvo
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Bezpečnostní analýza vybraného Android TV Boxu
Popularita TV boxov so systémom Android v poslednom čase výrazne vzrástla. Okrem toho, že ponúkajú širokú škálu funkcií, je čoraz aktuálnejšia otázka, či sú dostatočne zabezpečené a chránené. Táto ...
Studium emise sekundárních částic při rozptylu iontů a jejich projevů v LEIS spektrech
Malatinová, Michaela; Johánek, Viktor; Průša, Stanislav
2024 - anglický
V tejto práci skúmame emisiu sekundárnych častíc pomocou spektroskopie rozptylu iónov s nízkou energiou (LEIS) a rozptylu iónov so strednou energiou (MEIS). LEIS využíva primárny zväzok iónov vzácnych plynov s počiatočnými energiami niekoľkých keV a je obzvlášť citlivý na najvzdialenejšiu povrchovú vrstvu. Skúmané sú zmeny povrchovej kontaminácie medi, platiny a kremíka, pričom hodnotíme vplyv čistenia rozprašovaním a žíhania na prirodzene sa vyskytujúcu aj indukovanú kontamináciu plynom CO. Tiež sledujeme vplyv pasivácie vodíkom na povrch kremíku. Okrem toho na štúdium desorpcie povrchovej kontaminácie z monokryštalickej Si(100) samonosnej membrány s hrúbkou 50 nm použijeme metódu ToF MEIS S energetickým rozsahom do niekoľkých stoviek keV. Primárne iónové zväzky He, Ne a B sú použité na skúmanie membrány v štandardnej geometrii spätného rozptylu, ale aj v novej priechodnej geometrii experimentu. To nám umožňuje analyzovať emisiu sekundárnych častíc s oboch povrchov. Desorpcia povrchového znečistenia sa predtým pripisovala výhradne energii predanej elektrónovému systému. Ťažšie ióny s vyššou hodnotou straty energie predanej medzi jadrami, však zvyšujú elektronickú depozíciu energie, čo odhaľuje ich synergický efekt. Kombinované účinky zvýšeného prenosu energie do jadrového podsystému a smerový charakter kaskády zrážok zvyšujú výťažok sekundárnych iónov. Tieto poznatky môžu výrazne posunúť výskum čistenia a štruktúrovania 2D materiálov pomocou iónových zväzkov, ktoré ďalej umožní modifikáciu povrchu a kontrolu kontaminácie. In this thesis, we investigate the emission of secondary particles using both Low Energy Ion Scattering (LEIS) and Medium Energy Ion Scattering (MEIS) spectroscopy. LEIS utilizes a primary beam of noble gas ions with initial energies of a few keV and is particularly sensitive to the outermost surface layer. We examine the surface contamination changes on copper, platinum, and silicon, assessing the effects of sputter cleaning and annealing on both naturally occurring and induced CO gas contamination. Additionally, we employ Time-of-Flight MEIS with energy ranges up to a few hundred keV to study the desorption of surface contamination from a single-crystalline Si(100) self-supporting 50 nm thick membrane. Primary beams of He, Ne, and B were used to probe the membrane in both standard backscattering and novel transmission measurement geometries, allowing us to analyze emission from both surfaces. The desorption of surface contamination was previously attributed to electronic sputtering. However, heavier ions with higher nuclear stopping enhance the electronic energy deposition, revealing a synergy effect between them. The combined effects of increased energy deposition to the nuclear subsystem and the directional nature of the collision cascade increased the yield of secondary ions. This knowledge can significantly advance the precision cleaning and structuring of 2D materials using ion beams, enabling surface modification and control of contamination.
Klíčová slova:
Low Energy Ion Scattering Spectroscopy; Medium Energy Ion Scattering Spectroscopy; secondary particles emission; surface contamination; silicon membrane; spektroskopia rozptylu iónov s nízkou energiou; spektroskopia rozptylu iónov so strednou energiou; emisia sekundárnych častíc; povrchová kontaminácia; kremíková membrána
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Studium emise sekundárních částic při rozptylu iontů a jejich projevů v LEIS spektrech
V tejto práci skúmame emisiu sekundárnych častíc pomocou spektroskopie rozptylu iónov s nízkou energiou (LEIS) a rozptylu iónov so strednou energiou (MEIS). LEIS využíva primárny zväzok iónov vzácnych ...
Interpretation of emotions from text on social media
Tlustoš, Vít; Košař, Vlastimil; Malik, Aamir Saeed
2024 - anglický
Většina lidských interakcí probíhá buď prostřednictvím textu, nebo může být na text převedena pomocí speech-to-text technologií. Tato práce je věnována rozpoznávání emocí z takovýchto textů. Navzdory rozsáhlému výzkumu v této oblasti tři významné problémy přetrvávaly: neprozkoumaná nebo omezená účinnost metod napříč doménami, povrchní analýza výsledků a omezená použitelnost výstupů. Tyto výzvy řešíme navržením dvou modelů založených na modelu RoBERTa, které nazýváme EmoMosaic-base a EmoMosaic-large. Tyto modely byly trénovány na následujicích datasetech: SemEval-2018 Task 1:Affect in Tweets, GoEmotions, XED a DailyDialog. Na rozdíl od ostatních studií jsme naše modely trénovali na všech uvedených datasetech současně, přičemž jsme zachovali jejich původní kategorie. Výsledkem jsou modely, které dobře fungují napříč různými doménami a jsou přímo porovnatelné s ostatními metodami. Model EmoMosaic-large dokonce překonává nedávné jedno-doménové state-of-the-art modely na datasetech SemEval-2018 Task 1: Affect in Tweets a GoEmotions, což dokazuje jeho vynikající schopnosti napříč různými oblastmi. Pro zvýšení využitelnosti a reprodukovatelnosti našeho výzkumu poskytujeme veškerý kód a modely veřejně na: https://huggingface.co/vtlustos. Most human interactions are either text-based or can be converted to text using speech-to-text technologies. This thesis is dedicated to recognizing emotions from these texts. Despite extensive research in this domain, three significant challenges persisted: unexplored or limited cross-domain efficacy of the methods, superficial analysis of the result, and limited usability of the outcomes. We address these challenges by proposing two models based on the RoBERTa model, which we call EmoMosaic-base and EmoMosaic-large. These models were trained on the following datasets: SemEval-2018 Task 1: Affect in Tweets, GoEmotions, XED, and DailyDialog datasets. In contrast to prior studies, we trained our models on all the datasets simultaneously while preserving their original categories. This resulted in models that exhibit strong performance across diverse domains and are directly comparable to other methods. In fact, EmoMosaic-large outperforms recent single-domain state-of-the-art models on SemEval-2018 Task 1: Affect in Tweets and GoEmotions datasets, demonstrating outstanding cross-domain performance. To promote the usability and reproducibility of our research, we make all our code and models public, available at: https://huggingface.co/vtlustos.
Klíčová slova:
emotion classification from text; emotion recognition from text; cross-domain emotion recognition; GoEmotions; DailyDialog; XED; SemEval-2018 Task 1; klasifikace emocí z textu; rozpoznávání emocí z textu; rozpoznávání emocí napříč doménami; GoEmotions; DailyDialog; XED; SemEval-2018 Task 1
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Interpretation of emotions from text on social media
Většina lidských interakcí probíhá buď prostřednictvím textu, nebo může být na text převedena pomocí speech-to-text technologií. Tato práce je věnována rozpoznávání emocí z takovýchto textů. Navzdory ...
Emotion Recognition from Analysis of a Person’s Speech using Deep Learning
Galba, Šimon; Kekely, Lukáš; Malik, Aamir Saeed
2024 - anglický
Táto práca sa zaoberá analýzou a implementáciou neurónovej siete za účelom rozpoznávania emócií z reči človeka pomocou hlbokého učenia. Práca sa taktiež zaoberá ladením tejto siete za účelom dosiahnutia väčšej citlivosti voči konkrétnej emócii a skúma časové a nepriamo aj finančné nároky tohto ladenia. Inšpiráciou na vytvorenie tejto práce je stúpajúca integrácia umelej inteligencie v oblasti biológie, zdravotníctva ako aj psychológie a jedným z cieľov je aj skúmanie náročnosti vytvárať konkrétne modely neurónových sietí na účely v týchto vedách, čo by malo prispieť k lepšej dostupnosti modelov umenelej inteligencie. Práca stavia na základe implementácie modelu "AST: Audio Spectrogram Transformer" ktorá je verejne dostupná pod licenciou BSD 3-Clause License a využíva metódy ktoré boli doposiaľ využívané na klasifikáciu a rozpoznávanie obrazov vďaka premene zvukovej stopy na spektrogram. Výsledné hodnoty váženej presnosti sú následovné: 93.5% pre EMODB dataset, 92.8% pre EMOVO a 92,9% pre dataset RAVDESS. This thesis deals with the analysis and implementation of a neural network for the purpose of recognizing emotions from human speech using deep learning. The thesis also focuses on tuning this network to achieve greater sensitivity to a specific emotion and explores the time and indirectly the financial requirements of this tuning. The inspiration for creating this work is the increasing integration of artificial intelligence in the fields of biology, healthcare, as well as psychology, and one of the goals is also to study the complexity of creating specific models of neural networks for purposes in these sciences, which should contribute to better accessibility of artificial intelligence models. The work is based on the implementation of the "AST: Audio Spectrogram Transformer" model, which is publicly available under the BSD 3-Clause License and utilizes methods that have been used so far for classification and recognition of images by converting an audio track into a spectrogram. The resulting values of weighted accuracy are as follows: 93.5% for the EMODB dataset, 92.8% for EMOVO, and 92.9% for the RAVDESS dataset.
Klíčová slova:
deep learning; Audio Spectrogram Transformer; speech emotion recognition; speech signal processing; emotion classification; hluboké učení; Audio Spectrogram Transformer; rozpoznávání emocí z řeči; zpracování řečového signálu; klasifikace emocí
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Emotion Recognition from Analysis of a Person’s Speech using Deep Learning
Táto práca sa zaoberá analýzou a implementáciou neurónovej siete za účelom rozpoznávania emócií z reči človeka pomocou hlbokého učenia. Práca sa taktiež zaoberá ladením tejto siete za účelom ...
Automatická komprese vah neuronových sítí
Lorinc, Marián; Sekanina, Lukáš; Mrázek, Vojtěch
2024 - anglický
Konvolučné neurónové siete (CNN) od svojho vynájdenia zrevolucionizovali spôsob, akým sa realizujú úlohy z odvetvia počítačového videnia. Vynález CNN viedol k zníženiu pamäťovej náročnosti, keďže váhy boli nahradené konvolučnými filtrami obsahujúcimi menej trénovateľných váh. Avšak, toto zníženie bolo dosiahnuté na úkor zvýšenia požiadaviek na výpočtový výkon, ktorý je naviazaný na výpočet konvolúcie. Táto práca skúma hypotézu, či je možné sa vyhnúť načítavaniu váh a miesto toho ich vypočítať, čím sa ušetrí energia. Na otestovanie tejto hypotézy bol vyvinutý nový algoritmus kompresie váh využívajúci Kartézske genetické programovanie. Tento algoritmus hľadá najoptimálnejšiu funkciu kompresie váh s cieľom zvýšiť energetickú účinnosť. Experimenty vykonané na architektúrach LeNet-5 a MobileNetV2 ukázali, že algoritmus dokáže efektívne znížiť spotrebu energie pri zachovaní vysokej presnosti modelu. Výsledky ukázali, že určité vrstvy je možné doplniť vypočítanými váhami, čo potvrdzuje potenciál pre energeticky efektívne neurónové siete. Convolutional Neural Networks (CNNs) have revolutionised computer vision field since their introduction. By replacing weights with convolution filters containing trainable weights, CNNs significantly reduced memory usage. However, this reduction came at the cost of increased computational resource requirements, as convolution operations are more computation intensive. Despite this, memory usage remains more energy-intensive than computation. This thesis explores whether it is possible to avoid loading weights from memory and instead functionally calculate them, thereby saving energy. To test this hypothesis, a novel weight compression algorithm was developed using Cartesian Genetic Programming. This algorithm searches for the most optimal weight compression function, aiming to enhance energy efficiency without compromising the functionality of the neural network. Experiments conducted on the LeNet-5 and MobileNetV2 architectures demonstrated that the algorithm could effectively reduce energy consumption while maintaining high model accuracy. The results showed that certain layers could benefit from weight computation, validating the potential for energy-efficient neural network implementations.
Klíčová slova:
Convolutional Neural Networks; CNN; Evolutionary Algorithms; EA; Genetic Algorithms; GA; Cartesian Genetic Programming; CGP; Optimization; Compression; MobileNetV2; LeNet-5; Energy Efficiency; Weight Compression Algorithm; Deep Learning; Konvolučné neurónové siete; CNN; Evolučné algoritmy; EA; Genetické algoritmy; GA; Kartézske genetické programovanie; CGP; Optimalizácia; Kompresia; MobileNetV2; LeNet-5; Energetická účinnosť; Kompresia váh; Hlboké učenie
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Automatická komprese vah neuronových sítí
Konvolučné neurónové siete (CNN) od svojho vynájdenia zrevolucionizovali spôsob, akým sa realizujú úlohy z odvetvia počítačového videnia. Vynález CNN viedol k zníženiu pamäťovej náročnosti, keďže váhy ...
NUŠL poskytuje centrální přístup k informacím o šedé literatuře vznikající v ČR v oblastech vědy, výzkumu a vzdělávání. Více informací o šedé literatuře a NUŠL najdete na webu služby.
Vaše náměty a připomínky posílejte na email nusl@techlib.cz
Provozovatel
Zahraniční báze