Ne (7321)
Počet nalezených dokumentů:
7321
Publikováno od
do
Metody tvorby hlasových deepfakes v reálném čase
Alakaev, Kambulat; Pleško, Filip; Malinka, Kamil
2024 - anglický
Tato práce zkoumá možnosti generování hlasových deepfake v reálném čase pomocí nástrojů s otevřeným zdrojovým kódem. Experimenty bylo zjištěno, že rychlost generování hlasových deepfakes je ovlivněna výpočetním výkonem zařízení, na kterých jsou nástroje pro tvorbu řeči spuštěny. Byl identifikován model hlubokého učení, který je schopen generovat řeč téměř v reálném čase. Omezení nástroje obsahujícího tento model však bránila kontinuálnímu zadávání vstupních dat pro generování v reálném čase. K řešení tohoto problému byl vyvinut program, který tato omezení překonává. Kvalita generovaných deepfakes byla hodnocena jak pomocí modelů pro detekci hlasových deepfake, tak pomocí online průzkumů na lidech. Výsledky ukázaly, že zatímco model dokázal oklamat detekční modely, nebyl úspěšný při oklamání lidí. Tento výzkum upozorňuje na dostupnost nástrojů pro syntézu hlasu s otevřeným zdrojovým kódem a na možnost jejich zneužití jednotlivci k podvodným účelům. This thesis explores the possibility of achieving real-time voice deepfake generation using open-source tools. Through experiments, it was discovered that the generation rate of voice deepfakes is affected by the computing power of the devices running the speech creation tools. A deep learning model was identified to be capable of generating speech in near real time. However, limitations in the tool containing this model prevented continuous input data for real-time generation. To address this, a program was developed to overcome these limitations. The quality of the generated deepfakes was evaluated using both voice deepfake detection models and human online surveys. The results revealed that while the model could deceive detection models, it was not successful in fooling humans. This research highlights the accessibility of open-source voice synthesis tools and the potential for their misuse by individuals for fraudulent purposes.
Klíčová slova:
deepfakes; voice deepfakes; biometric systems; realtime voice synthesis; synthetic speech; deep learning; cybersecurity; text-to-speech; voice conversion; open-source deepfake tools; voice deepfake detection; deepfakes; hlasové deepfakes; biometrické systémy; syntéza hlasu v reálném čase; syntetická řeč; hluboké učení; kybernetická bezpečnost; převod textu na řeč; konverze hlasu; open-source deepfake nástroje; detekce hlasového deepfake
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Metody tvorby hlasových deepfakes v reálném čase
Tato práce zkoumá možnosti generování hlasových deepfake v reálném čase pomocí nástrojů s otevřeným zdrojovým kódem. Experimenty bylo zjištěno, že rychlost generování hlasových deepfakes je ovlivněna ...
Best Value Approach ve veřejných zakázkách
Vostrikov, Ruslan; Hanák, Tomáš; Matějková, Jitka
2024 - anglický
Tato bakalářská práce se zaměřuje na analýzu a hodnocení metody "Best Value Approach" (BVA) ve veřejných zakázkách. Cílem práce je posoudit současnou účinnost a výhody této metody ve srovnání s tradičními metodami výběru dodavatelů. Práce analyzuje relevantní teoretické koncepty a modely. Dále je provedena případová studie vybraných veřejných zakázek, které byly realizovány s využitím metody BVA. Výsledkem práce je porovnání výsledků a identifikace současných klíčových faktorů úspěchu a omezení této metody ve veřejných zakázkách. This bachelor's thesis focuses on analyzing and evaluating the "Best Value Approach" (BVA) method within public procurement. The aim of the thesis is to assess the present effectiveness and benefits of this approach compared to traditional supplier selection methods. The work analyses relevant theoretical concepts and models. Furthermore, a case study is conducted on selected public procurements implemented using the BVA. The outcome of the thesis is a comparison of results and identification of present key success factors and limitations of this method in public procurement.
Klíčová slova:
public procurement; evaluation; supplier selection; veřejné zakázky; hodnocení; výběr dodavatele
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Best Value Approach ve veřejných zakázkách
Tato bakalářská práce se zaměřuje na analýzu a hodnocení metody "Best Value Approach" (BVA) ve veřejných zakázkách. Cílem práce je posoudit současnou účinnost a výhody této metody ve srovnání s ...
Využití zpětnovazebné učení a induktivní syntézy pro konstukci robustních kontroléru v POMDPs
Hudák, David; Holík, Lukáš; Češka, Milan
2024 - anglický
Jednou ze současných výzev při sekvenční rozhodováním je práce s neurčitostí, která je způsobena nepřesnými senzory či neúplnou informací o prostředích, ve kterých bychom chtěli dělat rozhodnutí. Tato neurčitost je formálně popsána takzvanými částečně pozorovatelnými Markovskými rozhodovacími procesy (POMDP), které oproti Markovským rozhodovacím procesům (MDP) nahrazují informaci o konkrétním stavu nepřesným pozorováním. Pro rozhodování v takových prostředích je nutno nějakým způsobem odhadovat současný stav a obecně tvorba optimálních politik v takových prostředích není rozhodnutelná. K vyrovnání se s touto výzvou existují dva zcela odlišné přístupy, kdy lze k problému přistupovat úplnými formálními metodami, a to buď s pomocí výpočtu beliefů či syntézou konečně stavových kontrolérů, nebo metodami založenými na nepřesné aproximaci současného stavu, reprezentované především hlubokým zpětnovazebným učením. Zatímco formální přístupy jsou schopné dělat verifikovatelná a robustní rozhodnutí pro malá prostředí, tak zpětnovazebné učení je schopné škálovat na reálné problémy. Tato práce se pak soustředí na spojení těchto dvou odlišných přístupů, kdy navrhuje různé metody jak pro interpretaci výsledku, tak pro vzájemné předávání nápověd. Experimenty v této práci ukazují, že z této symbiózy mohou těžit oba přístupy, ale také že zvolený přístup ke trénování agentů už sám o sobě řádově překonává současné systémy pro trénování agentů na podobných úlohách. A significant challenge in sequential decision-making involves dealing with uncertainty, which arises from inaccurate sensors or only a partial knowledge of the agent's environment. This uncertainty is formally described through the framework of partially observable Markov decision processes (POMDPs). Unlike Markov decision processes (MDP), POMDPs only provide limited information about the exact state through imprecise observations. Decision-making in such settings requires estimating the current state, and generally, achieving optimal decisions is not tractable. There are two primary strategies to address this issue. The first strategy involves formal methods that concentrate on computing belief MDPs or synthesizing finite state controllers, known for their robustness and verifiability. However, these methods often struggle with scalability and require to know the underlying model. Conversely, informal methods like reinforcement learning offer scalability but lack verifiability. This thesis aims to merge these approaches by developing and implementing various techniques for interpreting and integrating the results and communication strategies between both methods. In this thesis, our experiments show that this symbiosis can improve both approaches, and we also show that our implementation overcomes other RL implementations for similar tasks.
Klíčová slova:
Reinforcement learning; PAYNT; POMDP; interpretability; synthesis; PPO; sequential decision problems; finite state controllers; FSC; DQN; DDQN; Posilované učení; PAYNT; POMDP; interpretovatelnost; syntéza; PPO; sekvenční rozhodovací problémy; konečně stavové kontroléry; FSC; DQN; DDQN
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Využití zpětnovazebné učení a induktivní syntézy pro konstukci robustních kontroléru v POMDPs
Jednou ze současných výzev při sekvenční rozhodováním je práce s neurčitostí, která je způsobena nepřesnými senzory či neúplnou informací o prostředích, ve kterých bychom chtěli dělat rozhodnutí. Tato ...
Driver krokového motoru se zpětnou vazbou pro polohovací platformu
Doležel, Michael; Král, Vojtěch; Barcík, Peter
2024 - anglický
Tato bakalářská práce se zabývá návrhem a stavbou uzavřené regulační soustavy pro výšku a azimut optomechanické platformy. Cílem je porovnat rotační senzory a následně navrhnout kontroler pro krokový motor. Prototyp regulačního systému byl postaven s využitím platformy Arduino, řadiče krokového motoru DRV8825, krokového motoru NEMA-17 a hallového senzoru AEAT-9922 pro měření rotace. Prototyp dokáže otáčet krokovým motorem s rozlišením 0.056°, což je maximální přesnost řadiče DRV8825 při použití mikrokrokování 1/32. Deska finálního řadiče byla přepracována tak, aby zahrnovala rozhraní SPI-4 pro hallový senzor AEAT-9922. Deska obsahuje řadič krokového motoru L6470H s mikrokrokováním 1/128 a má rozlišení 0.014°. This bachelor's thesis deals with designing and building a closed-loop control system for the altitude and azimuth axis of an opto-mechanical platform. The goal is to compare rotation sensors, and then design a driver for the stepper motor. The control system prototype was built using the Arduino platform, DRV8825 motor driver, NEMA-17 stepper motor, and AEAT-9922 hall effect rotational sensor. The prototype can rotate the stepper motor with a resolution of 0.056° which is the maximal accuracy of the DRV8825 driver with 1/32 microstepping mode. The board of the final driver was redesigned to include the SPI-4 interface for the AEAT-9922 hall sensor. This driver includes an L6470H stepper motor driver with 1/128 microstepping mode. This final board has a resolution of 0.014°.
Klíčová slova:
AEAT-9922; Arduino; capacitive encoder; DRV8825; Hall-effect sensor; L6470H; magnetic encoder; microstepping; NEMA 17; optical encoder; Opto-mechanical platform; potentiometer; resolver; rotatory sensor; rotation; RS-485; SPI-4; stepper motor; STM32F303K6; AEAT-9922; Arduino; kapacitní enkodér; DRV8825; Hallův senzor; L6470H; magnetický enkodér; mikrokrokování; NEMA 17; optický enkodér; optomechanická platforma; potenciometr; resolver; rotační senzor; rotace; RS-485; SPI-4; krokový motor; STM32F303K6
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Driver krokového motoru se zpětnou vazbou pro polohovací platformu
Tato bakalářská práce se zabývá návrhem a stavbou uzavřené regulační soustavy pro výšku a azimut optomechanické platformy. Cílem je porovnat rotační senzory a následně navrhnout kontroler pro krokový ...
Vliv AI nástrojů na kvalitu a bezpečnost kódu
Vinarčík, Peter; Holop, Patrik; Malinka, Kamil
2024 - anglický
Táto práca predstavuje novovytvorenú aplikáciu, ktorá je schopná vykonávať large scale výskum pre hodnotenie bezpečnosti a kvality kódu generovaného AI. Tiež bol predstavený nový spôsob vyhodnocovania bezpečnosti kódu generovaného AI, za využitia MITRE's metodológie v kombinácii so SAST toolmi vykonávajúcimi statickú analýzu nad kódom. Aplikácia je navyše rozšírená o vylepšeného AI chatbota, ktorého výstup je obohatený o výsledky statickej analýzy v čase generovania. Užívateľ vloží dataset promptov do aplikácie, a v prípade, že bol pre určitý prompt vygenerovaný kód so zraniteľnosťou, je táto zraniteľnosť ohodnotená zavedenou metodológiou a užívateľ dostáva informáciu nie len o tom, že kód je zraniteľný, ale ako veľmi. Súčasťou riešenia je aj oproti existujúcim výskumom veľké, pilotné testovanie popularných AI ako ChatGPT-4 či Gemini, nad datasetom promptov s využitím novej aplikácie. Výsledky ukázali dominanciu ChatGPT-4 bežiacom na modeli GPT-4, oproti ostatným testovaným AI. This work presents a newly developed application that is able to perform fully automated large-scale research for evaluating the safety and quality of AI-generated code. Also, a new way of evaluating the safety of AI-generated code has been presented, utilizing MITRE's methodology in combination with SAST tools performing static analysis on the code. In addition, the application is enhanced with an improved AI chatbot whose output is enhanced with the results of static analysis at generation time. The user inputs a dataset of prompts into the application, and if code with a vulnerability has been generated for a particular prompt, that vulnerability is scored by the established methodology, and the user is informed not only that the code is vulnerable, but how vulnerable it is. As part of the solution, large-scale, pilot testing of popular AIs, such as ChatGPT-4 or Gemini, is performed over a dataset of prompts using the new application, in contrast to existing studies. The results showed the dominance of ChatGPT-4 running on the GPT-4 model, over the other AIs tested.
Klíčová slova:
generative AI; llm; security; cybersecurity; static analysis; sast; bandit; semgrep; codeql; chatgpt; gpt; gemini; copilot; generatívna umelá inteligencia; llm; bezpečnosť; kyberbezpečnosť; statická analýza; sast; bandit; semgrep; codeql; chatgpt; gpt; gemini; copilot
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Vliv AI nástrojů na kvalitu a bezpečnost kódu
Táto práca predstavuje novovytvorenú aplikáciu, ktorá je schopná vykonávať large scale výskum pre hodnotenie bezpečnosti a kvality kódu generovaného AI. Tiež bol predstavený nový spôsob vyhodnocovania ...
Nasazení a licencování aplikace na GitHub Packages
Misskii, Anton; Ilgner, Petr; Kohout, David
2024 - anglický
Práce se zaměřuje na platformu pro verzování GitHub, konkrétně na její službu GitHub Packages. Cílem je automatizovat proces sestavení ukázkové Java aplikace pomocí grafického rozhraní JavaFX a nástroje Maven na platformě GitHub. To zahrnuje nasazení na GitHub Packages a zajištění, aby bylo možné aplikaci efektivně aktualizovat. Kromě toho musí aplikace obsahovat systém pro verzování a licencování k ochraně softwaru. Dalším klíčovým cílem je popsání a implementace modulárního systému, který byl zaveden v Java 9, který nabízí rozšířené možnosti pro vývoj a distribuci aplikací. Implementací těchto systémů a nasazením aplikace na GitHub Packages projekt sleduje vytvoření komplexní metodologie pro vývoj moderních aplikací, integraci bezpečnostních systémů, udržování spolehlivého systému verzování aplikací a kontinuální doručování a distribuci aplikací prostřednictvím populárních služeb. The work focuses on the versioning platform GitHub, specifically its GitHub Packages service. The goal is to automate the build process of a demo JavaFX application using the JavaFX graphical interface and the Maven tool on the GitHub platform. This includes deployment on GitHub Packages and ensuring the application can be updated efficiently. Additionally, the application must incorporate a system for versioning and licensing to protect the software. Another key objective is to describe and implement the modular Java system introduced in Java 9, which offers enhanced possibilities for application development and distribution. By implementing these systems and deploying the application on GitHub Packages, the project aims to create a comprehensive methodology for developing modern applications, integrating security systems, maintaining a reliable application versioning system, and continuously delivering and distributing applications through popular services.
Klíčová slova:
Application delivering and distribution practices; Application versioning resolution; GitHub Actions; GitHub Packages; GitHub Services; Java Platform Module System; Licensing models; Praxe dodávání a distribuce aplikací; Řešení verzování aplikací; GitHub Actions; GitHub Packages; GitHub služby; Java Platform Module System; Licenční modely
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Nasazení a licencování aplikace na GitHub Packages
Práce se zaměřuje na platformu pro verzování GitHub, konkrétně na její službu GitHub Packages. Cílem je automatizovat proces sestavení ukázkové Java aplikace pomocí grafického rozhraní JavaFX a ...
Automaty ve verifikaci
Šmahlíková, Barbora; Holík, Lukáš; Lengál, Ondřej
2024 - anglický
Regulární model checking je technika pro verifikaci nekonečněstavových systémů založená na automatech. Konfigurace systému jsou dány konečným automatem a přechody mezi nimi konečným převodníkem. Algoritmus pro verifikaci libovolných vlastností parametrických systémů specifikovaných v temporální logice LTL(MSO) již existuje. V této práci představíme rozšíření tohoto algoritmu, které umožňuje verifikaci hypervlastností parametrických systémů, tedy vlastností, ve kterých lze explicitně kvantifikovat nad několika cestami v systému. Specifikujeme podmínky, které musí platit pro dvojici tzv. advice bitů (složené z konečného automatu a konečného převodníku), která slouží jako svěděk toho, že je daná vlastnost v systému splněna. Algoritmus představený v této práci je implementovaný v nástroji ParaHyper - jediném existujícím nástroji pro verifikaci hypervlastností parametrických systémů. Tento nástroj využívá SAT solveru pro generování automatů a převodníků. Pokud je nalezen takový pár, který vyhovuje podmínkám pro advice bity, vlastnost je v systému splněna. Bylo provedeno experimentální vyhodnocení představeného algoritmu a bylo zjištěno, že ParaHyper je schopen generovat advice bity pro formule s abecedou až o 4 symbolech, pokud mají automat i převodník nejvýše 2 stavy. Pokud jsou však automat i převodník zadány uživatelem, ParaHyper umí efektivně zkontrolovat, zda vyhovují podmínkám i v případě větších abeced a většího počtu stavů. Regular model checking is an automata-based technique used for verification of infinite-state systems. The configurations of a system are encoded as a finite automaton and transitions between these configurations as a finite transducer. A technique for verifying arbitrary properties of parameterized systems specified in a temporal logic LTL(MSO) has already been introduced. We present an extension of this algorithm allowing verification of hyperproperties of parameterized systems where an explicit quantification over multiple execution traces is allowed. We specify conditions that need to hold for a pair of advice bits (a finite automaton and a finite transducer) that serves as a witness of the fact that the property holds in the system. The technique presented in this work is implemented in our tool ParaHyper - the only existing tool for the verification of hyperproperties of parameterized systems. The tool uses a SAT solver to generate automata and transducers. If a pair satisfying the conditions for advice bits is found, the property holds in the system. We performed an experimental evaluation of our approach and found that ParaHyper is able to generate advice bits for formulae with an alphabet up to 4 symbols if both the automaton and the transducer have at most 2 states. When a candidate pair is given by the user, ParaHyper can, however, efficiently check if it satisfies the conditions for advice bits even for larger alphabets and greater number of states.
Klíčová slova:
regular model checking; hyperproperties; automata; verification; parameterized systems; regulární model checking; hypervlastnosti; automaty; verifikace; parametrizované systémy
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Automaty ve verifikaci
Regulární model checking je technika pro verifikaci nekonečněstavových systémů založená na automatech. Konfigurace systému jsou dány konečným automatem a přechody mezi nimi konečným převodníkem. ...
Studium emise sekundárních částic při rozptylu iontů a jejich projevů v LEIS spektrech
Malatinová, Michaela; Johánek, Viktor; Průša, Stanislav
2024 - anglický
V tejto práci skúmame emisiu sekundárnych častíc pomocou spektroskopie rozptylu iónov s nízkou energiou (LEIS) a rozptylu iónov so strednou energiou (MEIS). LEIS využíva primárny zväzok iónov vzácnych plynov s počiatočnými energiami niekoľkých keV a je obzvlášť citlivý na najvzdialenejšiu povrchovú vrstvu. Skúmané sú zmeny povrchovej kontaminácie medi, platiny a kremíka, pričom hodnotíme vplyv čistenia rozprašovaním a žíhania na prirodzene sa vyskytujúcu aj indukovanú kontamináciu plynom CO. Tiež sledujeme vplyv pasivácie vodíkom na povrch kremíku. Okrem toho na štúdium desorpcie povrchovej kontaminácie z monokryštalickej Si(100) samonosnej membrány s hrúbkou 50 nm použijeme metódu ToF MEIS S energetickým rozsahom do niekoľkých stoviek keV. Primárne iónové zväzky He, Ne a B sú použité na skúmanie membrány v štandardnej geometrii spätného rozptylu, ale aj v novej priechodnej geometrii experimentu. To nám umožňuje analyzovať emisiu sekundárnych častíc s oboch povrchov. Desorpcia povrchového znečistenia sa predtým pripisovala výhradne energii predanej elektrónovému systému. Ťažšie ióny s vyššou hodnotou straty energie predanej medzi jadrami, však zvyšujú elektronickú depozíciu energie, čo odhaľuje ich synergický efekt. Kombinované účinky zvýšeného prenosu energie do jadrového podsystému a smerový charakter kaskády zrážok zvyšujú výťažok sekundárnych iónov. Tieto poznatky môžu výrazne posunúť výskum čistenia a štruktúrovania 2D materiálov pomocou iónových zväzkov, ktoré ďalej umožní modifikáciu povrchu a kontrolu kontaminácie. In this thesis, we investigate the emission of secondary particles using both Low Energy Ion Scattering (LEIS) and Medium Energy Ion Scattering (MEIS) spectroscopy. LEIS utilizes a primary beam of noble gas ions with initial energies of a few keV and is particularly sensitive to the outermost surface layer. We examine the surface contamination changes on copper, platinum, and silicon, assessing the effects of sputter cleaning and annealing on both naturally occurring and induced CO gas contamination. Additionally, we employ Time-of-Flight MEIS with energy ranges up to a few hundred keV to study the desorption of surface contamination from a single-crystalline Si(100) self-supporting 50 nm thick membrane. Primary beams of He, Ne, and B were used to probe the membrane in both standard backscattering and novel transmission measurement geometries, allowing us to analyze emission from both surfaces. The desorption of surface contamination was previously attributed to electronic sputtering. However, heavier ions with higher nuclear stopping enhance the electronic energy deposition, revealing a synergy effect between them. The combined effects of increased energy deposition to the nuclear subsystem and the directional nature of the collision cascade increased the yield of secondary ions. This knowledge can significantly advance the precision cleaning and structuring of 2D materials using ion beams, enabling surface modification and control of contamination.
Klíčová slova:
Low Energy Ion Scattering Spectroscopy; Medium Energy Ion Scattering Spectroscopy; secondary particles emission; surface contamination; silicon membrane; spektroskopia rozptylu iónov s nízkou energiou; spektroskopia rozptylu iónov so strednou energiou; emisia sekundárnych častíc; povrchová kontaminácia; kremíková membrána
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Studium emise sekundárních částic při rozptylu iontů a jejich projevů v LEIS spektrech
V tejto práci skúmame emisiu sekundárnych častíc pomocou spektroskopie rozptylu iónov s nízkou energiou (LEIS) a rozptylu iónov so strednou energiou (MEIS). LEIS využíva primárny zväzok iónov vzácnych ...
Creating a Python-based Automated System for Recognizing Emotions from Facial Expressions.
Zima, Samuel; Malik, Aamir Saeed; Hussain, Yasir
2024 - anglický
Táto práca skúma rozpoznávanie výrazu tváre (angl. facial expression recognition - FER) pomocou hlbokého učenia so zameraním na použitie v zariadeniach s obmedzenou pamäťou a výpočtovými zdrojmi. Začína výskumom emócií a výrazov tváre z psychologického, biologického a sociologického hľadiska. Jadro výskumu tvorí návrh a implementácia automatizovaného systému pre FER s použitím súboru dát FER-2013. Tento systém využíva prispôsobenú architektúru SqueezeNet rozšírenú o jednoduchý obchvat, vrstvy náhodného odpadu neurónov a vrstvy dávkovej normalizácie. Tento systém dosahuje na súbore dát FER-2013 presnosť 66,37 %. Pre porovnávaciu analýzu sa tento model porovnal s upravenou architektúrou VGG16, ktorá dosiahla presnosť 65,09 %. Táto práca poskytuje cenné poznatky o vývoji menších, efektívnejších modelov strojového učenia pre FER, ktoré sú použiteľné pre široké spektrum zariadení vrátane nízkovýkonných procesorov a vstavaných zariadení. This thesis examines facial expression recognition (FER) using deep learning by focusing on its application in devices with limited memory and computational resources. It begins by researching emotions and facial expressions from psychological, biological, and sociological perspectives. The core of this thesis involves the design and implementation of an automated FER system using the FER-2013 dataset. This system uses a customized SqueezeNet architecture enhanced with a simple bypass, dropout layers and batch normalization layers. This system achieves an accuracy of 66.37 % on the FER-2013 dataset. For comparative analysis, this model was compared with a customized VGG16 architecture which achieved an accuracy of 65.09 %. This thesis provides valuable insights into the development of smaller, more efficient machine learning models for FER which are usable in a wide range of devices, including low-performance CPUs and embedded devices.
Klíčová slova:
facial expression recognition; emotions; facial expressions; anatomy of the face; convolutional neural networks; machine learning; deep learning; SqueezeNet; VGG16; embedded devices; FER-2013; rozpoznávanie výrazov tváre; emócie; výrazy tváre; anatómia tváre; konvolučné neurónové siete; strojové učenie; hlboké učenie; SqueezeNet; VGG16; vstavané zariadenia; FER-2013
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Creating a Python-based Automated System for Recognizing Emotions from Facial Expressions.
Táto práca skúma rozpoznávanie výrazu tváre (angl. facial expression recognition - FER) pomocou hlbokého učenia so zameraním na použitie v zariadeniach s obmedzenou pamäťou a výpočtovými zdrojmi. ...
Aligning pre-trained models for spoken language translation
Sedláček, Šimon; Beneš, Karel; Kesiraju, Santosh
2024 - anglický
Tato práce zkoumá nový end-to-end přístup k překladu mluveného jazyka (ST) využívající předtrénovaných modelů pro přepis řeči (ASR) a strojový překlad (MT), propojené malým spojovacím modulem (Q-Former, STE). Ten má za úkol překlenout mezeru mezi modalitami řeči a textu mapováním embedding reprezentací ASR enkodéru do latentního prostoru reprezentací MT modelu. Během trénování jsou zvolené ASR a MT model zmrazeny, laděny jsou pouze parametry spojovacího modulu. Trénování a evaluace jsou prováděny na datasetu How2, obsahujícím ST data z Angličtiny do Portugalštiny. V našich experimentech zjišťujeme, že většina sladěných systémů překonává referenční kaskádový ST systém, přičemž využívají stejné základní modely. Navíc, při zachování konstantní a ve srovnání malé (10M parametrů) velikosti spojovacího modulu, větší a silnější ASR a MT modely univerzálně zlepšují výsledky překladu. Zjišťujeme, že spojovací moduly mohou také sloužit jako doménové adaptéry pro zvolené základní systémy, kdy významně zlepšují výsledky překladu ve sladěném ST prostředí, a to i oproti holému MT výkonu daného MT modelu. Nakonec navrhujeme proceduru pro předtrénování spojovacího modulu s potenciálem snížit množství ST dat potřebných pro trénink obdobných sladěných systémů. In this work, we investigate a novel approach to end-to-end speech translation (ST) by leveraging pre-trained models for automatic speech recognition (ASR) and machine translation (MT) and connecting them with a small connector module (Q-Former, STE). The connector bridges the gap between the speech and text modalities, transforming the ASR encoder embeddings into the latent representation space of the MT encoder. During training, the foundation ASR and MT models are frozen, and only the connector parameters are tuned, optimizing for the ST objective. We train and evaluate our models on the How2 English to Portuguese ST dataset. In our experiments, aligned systems outperform our cascade ST baseline while utilizing the same foundation models. Additionally, while keeping the size of the connector module constant and small in comparison (10M parameters), increasing the size and capability of the ASR encoder and MT decoder universally improves translation results. We find that the connectors can also serve as domain adapters for the foundation models, significantly improving translation performance in the aligned ST setting, compared even to the base MT scenario. Lastly, we propose a pre-training procedure for the connector, with the potential for reducing the amount of ST data required for training similar aligned systems.
Klíčová slova:
spoken language translation; speech translation; model alignment; automatic speech recognition; machine translation; transfer learning; transformers; Q-Former; domain adaptation; překlad mluveného jazyka; překlad řeči; sladění modelů; automatické rozpoznávání řeči; strojový překlad; transfer learning; transformery; Q-Former; doménová adaptace
Plné texty jsou dostupné v digitálním repozitáři NUŠL
Aligning pre-trained models for spoken language translation
Tato práce zkoumá nový end-to-end přístup k překladu mluveného jazyka (ST) využívající předtrénovaných modelů pro přepis řeči (ASR) a strojový překlad (MT), propojené malým spojovacím modulem ...
NUŠL poskytuje centrální přístup k informacím o šedé literatuře vznikající v ČR v oblastech vědy, výzkumu a vzdělávání. Více informací o šedé literatuře a NUŠL najdete na webu služby.
Vaše náměty a připomínky posílejte na email nusl@techlib.cz
Provozovatel
Zahraniční báze