Rok IV s 7, 20 g. Seminarium mgr 2024 USOS - 22 godziny z udzia�em nauczyciela (20 godzin udzia�u w seminarium i 2 godziny konsultacji indywidualnych),Szanowni, mamy w naszej grupie na seminarium mgr 8 os�b. 1 Maciej Koniecko 296762@stud.umk.pl 2 Daniel Lesi�ski 303162@stud.umk.pl 3 Konrad Lipka 303165@stud.umk.pl 4 Mateusz Skarupski 296790@stud.umk.pl 5 Julia Szczuczko 303191@stud.umk.pl 6 Patryk Tajs 303193@stud.umk.pl 7 Jacek Wierzejewski 303199@stud.umk.pl 8. Organiak Klaudia 303172@stud.umk.pl W USOS mamy: - 22 godziny z udzia�em nauczyciela (20 godzin udzia�u w seminarium i 2 godziny konsultacji indywidualnych), + 38 godzin pracy w�asnej nad przygotowaniem referat�w, prezentacji, pracy pisemnej. 20 godzin to jest 10 zaj��, zrobimy 4 z referatami, godzina dyskusji o tym co przedstawili�cie, potem znowu 4+1. Podobnie jak na sem in�ynierskim ka�dy powinien dwa razy zrobi� prezentacj� po godzinie lekcyjnej, czyli 45 min, wi�c dwie osoby na ka�de zaj�cia. Mo�emy to robi� w trybie mieszanym tj. czasami spotyka� si� zdalnie na moim Webex. Pierwsza prezentacja nie musi by� �ci�le powi�zana z prac� mgr, ale powinna mie� informatyczny charakter. Jest wiele dobrych temat�w, ostatnio warto si� przyjrze� narz�dziom sztucznej inteligencji, kt�rych jest wiele na stronach https://www.futurepedia.io https://theresanaiforthat.com https://huggingface.co Proponuj�, �eby ka�dy wybra� sobie jakie� narz�dzie i je potestowa�, spr�bowa� zrozumie� jak to dzia�a i nam to przedstawi�. Zwykle na pierwszym spotkaniu rozdzielamy tylko tematy, wi�c uznajemy to za konsultacje i ustalamy sobie tematy zdalnie. Spotkamy si� wi�c 27.02. Przy�lijcie mi prosz� propozycj� temat�w. Na razie za��my, �e kolejka jest taka, jak na li�cie, ale je�li Wam to nie pasuje mo�ecie ustali� mi�dzy sob� jak si� pozamienia�. Je�li kto� nie chce za tydzie� niech znajdzie ch�tnego -:)

Kolejka 1,

1. 1 Maciej Koniecko sterowanie aplikacji komendami g�osowymi (ChatGPT, Whisper). Stworzy�em bibliotek� C# i aplikacj� demo. Prof. Jacek Matulewski (CC).
   Stable Diffusion.
   Liaon-5B, q mld w innych j�zykach opsanych.
2. 2 Daniel Lesi�ski 303162@stud.umk.pl, "�ledzenie obiekt�w w przestrzeni 2D i 3D na podstawie danych z czujnik�w IOT" Opiekunami pracy s�: mgr in�. Piotr Ablewski oraz dr hab. Jacek Matulewski.
   Microsoft XNA oraz jego kontynuacji MonoGame.
   MS XNA do gier. Historia wprowadzania.
3. 3 Konrad Lipka 303165@stud.umk.pl Temat pracy magisterskiej : "Analiza ruchu cz�owieka w przestrzeni 3D wspomagana metodami uczenia maszynowego" Opiekunowie: Mgr. In�. Piotr Ablewski oraz dr Hab Jacek Matulewski, prof. UMK
   "Motion capture oraz czujniki detekcji ruchu", 66 min
   MOCAP, czujniki motion capture. Modele generyczne, u�ywane w grach. Markery, wi�ksze i mniejsze. Przechwytywanie. Kostium Golluma. 100-240 Hz, kamery obserwuj�ce trzeba skalibrowa�. 16 kamer ale niewidocznych dla siebie. Marker(x,y,x,t), potrzeba 50-60 punkt�w. R�d�ka kalibracyjna. Interpolacja brakuj�cych danych w modelu. Unscented Kalman Filter model. Bez marker�w ML do estymacji postawy. Kalibracja trudna. S� kamery z kalibracj� automatyczn�. Zwyk�e maj� kalibracj� ci�g��. Problem odbiciami od stroju. Model 11 ko�ci. Zgi�cie, pochylenie boczne, obroty. OPtiTrack stosowany przez wiele firm. Rubust i precision solver. Pluginy: unity, unreal, motion builder ... Ruchy d�oni z r�kawiczk�. Sensory ruchu: pasywna podczerwie�, mikrofale, Hybrid, dual Tech. Lidar do teledetekcji. Droga technologia. Telefony Apple maj� lidar i potrafi przechwytywa�.
4. 4 Mateusz Skarupski 296790@stud.umk.pl "Shor algorithm for non-abelian hidden subgroup problem". Opiekunem pracy jest prof. Gniewomir Sarbicki.
   "Testowanie typu fuzz (fuzzing)". Testy jednostkowe/intregracyjne. Proces analizy losowych danych, co daje b��d? Wyciek pami�ci badaj� fuzzery. J�zyki niepewne memory-nonsafe, C, C++. W C# czy JS nie ma bezpo�redniego alokowania pami�ci. Generuj pliki max pokry�, r�norodne transformacje. Pokrycie do test�w, nie wystarczy uruchomi� wszystkie linie kodu, wa�ne s� �cie�ki. Analiza przejs�, g��boko�ci programu. Heurystyczne regu�y by wej�� g��boko. American Fuzzy Lop (AFL), d�ugi czas testowania. Przyjmuje s�owniki. AI generuje takie s�owniki i pliki testowe. OpenSSL, Putty, LibreOffice, FLAC, 5 Julia Szczuczko 303191@stud.umk.pl, dr Katarzyna Marak, Katedra Kulturoznawstwa, Temat: Gry
   Foveated rendering. G��wnie w kontek�cie VRu, co to jest, po co to jest, jakie s� mo�liwe rozwi�zania teoretyczne, a tak�e istniej�ce ju� realizacje komercyjne.
   RT rendering, VRchat? VR - ograniczenia. REndering na ��t� plamk�, 2 stopnie. Kr�g ostry, otoczenie, peryferia. Ruch oczami czy g�ow�? Je�li okiem potrzebny eye tracking.
   KFR, kernel foviated rendering. Sigma =piksel center/all, alfa = n piksels center. Log-polar kernels pozwoli przyspieszy� 2-3 razy l. klatek, ale tego nie ma komercyjnie. Nvidia => software => standards. Warping. lens-map trading, VRS. 4x4 raster shading. Supersampling. PICO solution. META - Vulkan extension, unity, unreal. Foveation map. OpenXR Toolkit standard ale na Nvidia, predictive eye tracking. dynamic foveated rendering. Q: minimalizacja b��d�w w ET. WD: Ile oblicze� na klatk� VR? Ostro�� wzroku? Szybko�c sakad u staruszk�w. ruch. 6 Patryk Tajs 303193@stud.umk.pl, "Stochastyczna redukcja wymiarowo�ci z�o�onych uk�ad�w", dr in�. Jakub Rydzewski.
   Whisper on OpenAI. TRenowany na 680k godzin mowy, 438k ang, 117 inne j�zyki, reszta to t�umaczenia na ang, usuwa zak�ocenia, techniczne s�ownictwo. Wave2Vec 2, nienadzorowane, ale dostrajanie konieczne na ko�cowych warstwach. Generalizacja mo�e by� s�aba. Lepiej nadzorowane ale drogo. S�aby nadz�r - niekompletny, nieprecyzyjny (w klastrach), niedok�adny (z b��dami). Mel spectrogram. Predykcja s��w, detekcja g�osu, diaryzacja - odr�znianie rozm�wc�w, odwrotna normalizacja. Model na wej�ciu log-mels spectrogram, encoder dzia�a r�wnolegle, positional encoding, self-attention do przewidywania, cross-attention relacja s��w w tek�cie, transformer. Modele od 39M do 1550 M, VRAM 10GB. Miara WER. 5% b��d�w dla polskiego, 25% dla perskiego, ludzie 3%. Obni�y� o po�ow� WER trzeba 16x wi�cej danych. Whisper+Pytorch+ffmpeg. Transkrypcja/translacja. Python i karta graficzna. Dostajemy kilka plik�w, json dodatkowe dane. Transkrypcaj muzyki WhisperHallu. Parametry programu. Amara.org 7 Jacek Wierzejewski 303199@stud.umk.pl, 60 min. "Analiza skuteczno�ci algorytm�w wykrywania warto�ci odstaj�cych w okre�lonych zbiorach danych", a promotorem dr in�. Sebastian Meszy�ski.
   Leonardo.ai. Wyros�o ze stable diffusion. Tworzenie i modyfikacja obraz�w. Mo�liwo�ci. img2img, txt2img, realtime canvas, img2motion, tekstury, upscaler. ControNet image guidance. W�asny styl - Lora. Alchemy dla wysokiej jako�ci, i prompty dla fragment�w. Wiele ciekawych mo�liwo�ci. W�asne modele, 8. Organiak Klaudia 303172@stud.umk.pl
   Wytwarzanie grafiki 2d i 3d dla gier. Og�lnie grafika 2D/3D w grach. Narz�dzia: crisa, blender, unity, toon boom, wiele r�nych. Rigging, sk�adanie postaci z pojedynczych ruchomych cz�ci. �wiat�o w 2D - normal mapping, generowanie map za pomoc� Laigter, mapy cieniowania i kontur�w. Emission mapping.
   3D: Maya, Blender, EazyBrush. Optymalizacja modeli konieczna by rozmiary gier s� wielkie. 3-5 ska� i ca�y �wiat z tych modeli. Rze�bienie. Animowanie szkieletu.

Druga Kolejka - praca mgr. Od 9.04

1. 30.04. --Patryk Tajs
Maciej Koniecko (Matulewski). Biblioteka .NET sterowania g�osem. OpenAI, Whisper i GPT. Motoryzacja, edukacja, rozrywka, mobilne
Whisper od OpenAI, T2S, etc. ChatGPT => Jason. Aplikacja .NET GPT <=>Biblioteka<=>Whisper. JSON commands, parms. ChatGPT podsuwa� rozwi�zanie w trakcie dzia�ania. Analogicznie doda� poporzednie zdj�cie. API, j�zyk, parametry, wyb�r g�osu i model GPT. Maui.NET na Android. Zalety i wady, przewiduje sama dodatkowe mo�liwo�ci. Kontekstowa interpretacja. Op�ata OpenAI, po��czenie z internetem, samodzielne dostosowanie parametr�w przez GPT, b��dy w transkrypcji. B��dy w testowaniu transkrypcji. Demo. Wolno dzia�a, po angielsku. Q: Skarupski, zakotwiczenie. Jak na Blade Runner, move, zoom photo ...

2. 30.04, Mateusz Skarupski (Gniewko Skarbicki). Shor algorithm for non-abelian hidden subgroup problems
Shor - krypto, log. dyskretny, faktoryzacja zagro�enia komputerm kwantowym. p^a=q, dla niekt�rych grup (np. modulo) to trudne. Bramki logiczne odwracalne, Fredkin, Toffoli, min 3 wejscia/wyj�cia. Ka�dy uk�ad logiczny daje si� symulowa� kwantowo. Sfera Blocha. Bramka Hadamarda.
Problem Simona, klasycznie 2^N operacji by okre�li�, �e f jest 1-1. Kwantowo liniowo. DLP - krata, wida� periodyczno��. grupa D40, czyli 40-k�t foremny z odbiciami i obrotami, reprezentacja tej grupy. Algorym shora szczeg�ny przypadek HSP. Ale transf Fouriera zle w grupach nieabelowych dzia�a. W�asne: oszacowanie prawdopodobie�stw. Shor - 2000 bit�w w kluczu, wiele wersji tego algorytmu, to wymaga tysi�cy kubit�w. Nie wiadomo kiedy ... Konkursy CTF jeszcze w szkole krytptografi� si� zaintersowa�, od kilku lat si� tym intersuje. Doktorat na Pol Eindhoffen, Tania Lange. Kandydaci? Dalsze: 28.05, 4.06, 11.06

28.05 Patryk Tajs, Stochastyczna redukcja wymiarow�ci, J Rydzewski. 65 min!
Klasyfikacja metod, tSNE vs PCA. W�asna implementacja na podstawie klasycznej, Python, PyTorch. NJ? Lighting.ai for ML methods, optymalizacja kodu dla tensor�w.
Mapowanie sympleks�w. Crowding. Perplexity. Chignolina w reprezentacji k�t�w w cz�steczkach, milion wierszy, 40 cech, ewolucja w czasie. 12 godzin oblicze�, krok 20 czyli 20%. Dipteyd dialanina. Te� nie wiadomo co to ma robi�. Nie wida� interpretacji. Ale z MNIST i fashion MNISt widac wp�yw perplexity. Sie� neuronowa? Ma zrobi� model mapowania tSNE. To mo�e pozwoli� na mapowanie ca�ych danych. Testy jednostkowe. Pokrycie kodu, l. linii wykonanych kodu. CI/CD narz�dzia do automatycznego testowania Nasze MDS.

28.05 Klaudia Organiak, Gra platformowa R. Adamczak
Gra Spark. Prezentacja Prezi. Fabu�a tylko cz�ciowa, kontynuacja od in�. 3 zako�czenia. Du�o drobnych dodatk�w, wiele klas. Uczenie RL. Unity, Visual Studio, liczne dodatkowe programy do grafiki i pisanie, Jason to opakuje i Unity analizuje. Logika - uwzgl�dnia fizyk�, Unity ma komponent, uwzgl�dnia si�y. Kontroler efekt�w. Dialogi i cutscenki. G�osy i d�wi�ki? tylko liter. Grafika w Asterlight, r�cznie. Przeciwnik gro�niejszy, opis postaci i kontrola walki, narz�dzi i uszkodze� postaci.
Uczenie RL agenta, sama napisa�a u�ywaj�c r�wnania Bellmana. Wiele stan�w postaci, przed w trakcie i po ataku, selekcja przydatnych stan�w do uczenia. Testowanie, po 200 iteracjach wida� efekty uczenia.
https://ludo.ai/ Empowering Game Studios with Artificial Intelligence
https://charmed.ai/ 3D video game art

04.06 Jacek Wierzejewski, wykrywanie warto�ci odstaj�cych.
Wartosci odstaj�ce. R�ne typy danych. Balans czu��c i swoisto�ci. Por�wnanie algorytm�w. Predykacja i por�wnanie metod. PyQty GUI do Python. Pliki CSV, preprocessing i proste charakterystyki, wype�nianie warto�c ibrakuj�cych.
Statytyczne: QIR - kwartyle i odchylenia od g�rnej i dolnej granicy Q1,Q4, Z-score, wp�yw ekstremalnych warto�ci.
ML: LOF, lokalne anomalie. g�sto�� lokalna jest miar�. Brakuj�ce w oparciu o LOF, u�redni� po znanych zmiennych wszystkie wektory by znale�� brakuj�c�. LRD, local reachability distance.
Isolation forest. �cie�ki do izolowanych punkt�w.
1Class SVM, Eliptic envelope. Min elipsa 90% danych. DBSCAN, Density based spatial clustering with noise. G�osowanie dla wielu algorytm�w.
Statystyki F1. Ataki, oszustwa, du�e zbiory.

Daniel Lesi�ski, Sedzenie obiekt�w w 2D i 3D czujniki IOD.
Celownik i tracker. �rodowisko testowe. Wieko�� obiektu na ekranie. W czasie rzeczywistym. 60 HX gubi po 3 pikseli, 30 Hz 10 px. Czmu tak dzia�a? wiecej danych mniej pomy�ek. Kontrast kolor�w, zmieniaj�ce si� t�o. 3 modele wykrywania na ekranie. Badanie op�nie�.

11.06, Konrad Lipka, Motion capture. Abewski/Matulweski
Optitrack - koszty kamera teraz 26 kz�, 6 kamer, oprogramowanie trudne do u�ytku, kalibracja trudna, idealne warunki o�wietleniowe. Jeden program w OpenCV jest celem, Python.
MediaPipe Google lib, alfa version. Wykrywa twarz, cia�o, szkielet. Krople - markery na twarzy, szkieletu 33. D�onie 21 marker�w. CV2 + Media Pipe. Garnet darmowy, cache danych. Problem g��bi. Potrzebna kalibracja, obliczanie odleg�o�ci. B��dy rz�du 0.5 m, tanie kamery wymagaj� oblicze� ogniskowej. Dok�adno�� odleg�o�ci ok 10 cm. U�rednienie z kilku klatek poprawia, mo�e kilka cm. Do�o�y� Lidar?
Jakie kamery? 20 z� tanie, nie supersprz�t. Zako�czenie do wrze�nia.

11.06 Julia Szczuczko, Practical apps of eye tracking for VR, Marak/Matulewski.
Typy ET, VOg, PSOG-VOG, PSOG, odblaski (glints) z IR. Fotosensory, bateria. PSOG-VOG dopiero wchodzi. Zbieranie danych mo�e by� wra�liwe. Skupianie jest uci��liwe bo s� sakady. Wyg�adzanie surowych danych, filtr Kalmana. Projekty w Unity z ET.