III: Inteligencja Obliczeniowa-Sieci neuronowe.
|
W semestrzem letnim 2012 roku prowadzę wykład monograficzny "Sieci neuronowe". Ma on charakter matematyczny, dotyczy głównie modeli typu sieci neuronowych, jest to część serii wykładow związanych z "Inteligencją Obliczeniową" (Computational Intelligence).
Wykłady odbywają się we czwartki, g. 14:00-15:30, sala S2 COK, budynek Inst. Fizyki, ul. Grudziądzka 5.
Laboratorium z siec neuronowych (30 g.), jest we wtorek, g. 12:00-14:00, pracownia PK COK, budynek IF, Grudziądzka 5, prowadzi je Krzysztof Dobosz.
W tym roku akademickim prowadzę również wykład "Wstęp do kognitywistyki" (kod WDY).dla I roku Kognitywistyki Pierwszy semestr jest wstępem do nauk kognitywnych, drugi semestr dotyczy głównie zagadnień związanych z mózgiem, umysłem i zachowaniem. Wykłady na temat Inteligencji Obliczeniowej stanowią część tego cyklu.
W semestrze letnim prowadzę wykład "Wstęp do Metod Sztucznej Inteligencji" (kod WDW), stanowiący część IV tego cyklu.
Wszystkich części można wysłuchać niezależne.
Egzamin:
Orientacyjny plan wykładu
Układ jest zmieniany w czasie wykładów. Ponieważ w tym roku (2010) jest to tylko jeden semestr połowę materiału trzeba będzie opuścic.
Semestr zimowy: Inspiracje neurobiologiczne - sieci neuronowe.
|
W tej części jest ogólny wstęp do metod inteligencji obliczeniowej, oraz oparte na neurobiologicznych inspiracjach modele sieci neuronowych. Pliki z notatkami są w formacie PPT (MS Powerpoint) lub PDF.
Co to jest; efektywna algorytmizowalność; CI i AI; problemy warte rozwiązania; źródła, z których CI czerpie inspiracje;
uczenie nadzorowane, nienadzorowane i uczenie z krytykiem.
Dowiązania zewnętrzne:
Różne dowiązania do sieci neuronowych i neurobiologii |
Inspiracje biologiczne:
- rys historyczny;
- cele modelowania;
- ogólne własności modeli neuronowych;
- inteligentne zachowania sieci;
- główne aspekty modeli neuronowych;
- reguły uczenia.
Neurony logiczne, modele binarne.
- BCM, najprostsza Binarna Pamięć Skojarzeniowa;
- CMM, macierze korelacji, zastosowania do słowników;
- BAM, dwukierunkowa progowa pamięć asocjacyjna;
- SDM, rozproszona pamięć komórkowa;
- RAM-nets, czyli model n-ek;
- model CMAC
- Ucząca się macierz Steinbucha;
- Adaline.
- Madaline
- Sieci z elementami liniowymi
- Perceptrony jednowarstwowe;
- Uczenie się perceptronu.
- Demonstracje za pomocą programu Neurosolutions.
- Nieliniowa reguła delta.
- Maksymalizacja marginesów klasyfikatora
- Algorytm Adatron
- Demonstracje za pomocą programu Neurosolutions.
- Wsteczna propagacja błędów: uogólniona reguła delta, minimalizacja błędów
- Własności wielowarstwowych perceptronów
Jesteśmy tutaj, 1 wykład do odrobienia
- Procedury minimalizacji błędu
- Lokalne minima, funkcje kosztu, inicjalizacja parametrów
- Upraszczanie sieci - regularyzacja
- Korelacja kaskadowa
- Algorytm wieżowy
- Algorytm piramidowy
- Algorytm "upstart"
- Algortym "kafelkowy"
- Kilka przykładów zastosowań
- Teoria RBF
- Sieci RAN
- Sieci probabilistyczne: estymatory Bayesowskie
- Lokalne uczenie się sieci modyfikujących swoją strukturę
- Klasyfikator Coopera
- Dalsze przykłady zastosowań
- Sieci ze sprzężeniami zwrotnymi
- Model Hopfielda
- Zastosowania w modelowaniu pamięci autoasocjacyjnej i optymalizacji
- Maszyny Boltzmana i Helmholtza
- Neurodynamika
- Samoorganizujące się odwzorowanie topologiczne Kohonena
- Growing Cell Structures
- Przykłady zastosowań
- Przykłady wizualizacji
- Mapy ekwiprobabilistyczne
- Zwycięzca bierze wszystko
- Gaz neuronowy
- Demonstracje w Javie
Semestr letni: Inteligencja obliczeniowa: pozostałe inspiracje.
|
- Samoorganizacja i mapy ekwiprobabilistyczne
- Skalowanie wielowymiarowe i redukcja wymiarowości problemu
- Funkcje przynależności
- Własności zbiorów rozmytych
- Operacja na liczbach i zbiorach rozmytych
- Wnioskowanie rozmyte
- Przykłady systemów rozmytych
- Typowe modele neurorozmyte
- Ogólny opis modelu FSM
- Inspiracje kognitywne
- Rodzaje funkcji zlokalizowanych
- Działanie sieci FSM: inicjalizacja, uczenie
- Funkcje aktywacji
- Selekcja cech
- Szukanie informacji w postaci reguł
- Złożoność i efektywność systemu
- FSM jako heurystyka
- Przykłady zastosowań
- Reguły z sieci MLP
- Rozmywanie danych.
- Dokładność - prostota reguł.
- Odrzucanie i stopień zaufania do reguł.
- Przykłady zastosowań.
- Najprostsze drzewa decyzji
- CART
- C4.5
- SSV
- Boosting, bagging, arcing - później
- Indukcja reguł
- Przestrzenie wersji
- Algorytm AQ i CN2
- COBWEB i klasteryzacja semantyczna - później
- Metoda najbliższych sąsiadów
- Funkcje odległości
- Ogólna teoria
- Kwantyzacja wektorowa
- Związki z sieciami neuronowymi
- Reguła Bayesa
- Klasyfikatory Bayesa
- Wybór modeli: informacja algorytmiczna i minimalna długość kodu (MDL) - później
- Baysowskie podejście do sieci neuronowych - później
- Uczenie Ying-Yang - później
- Czym zajmuje się "Pattern recognition"
- LVQ
- Liniowe funkcje dyskryminacyjne
- Dyskryminacja liniowa Fishera
- Dyskryminacja logistyczna
- Inne metody statystyczne
- Klasteryzacja
- C-średnich
- Miękka klasteryzacja
Nie zdążę?
- ICA, Projection Pursuit - analiza czynników niezależnych i jej zastosowania
Pozostałe zagadnienia związane z uczeniem:
- Sieci logiczne
- Uczenie i teoria automatów
- Uczenie się ze wzmocnieniem
- Algorytmy ewolucyjne
Modele koneksjonistyczne;
schematy i procesy sekwencyjne w sieciach neuronowych;
optymalne spełnianie ograniczeń;
model amnezji
Modele stochastyczne - teoria Harmonii
Przykłady zastosowań; Realizacje sprzętowe i programowe modeli CI.
Część IV: Modele symboliczne (wykład "Wstep do sztucznej inteligencji")