Cum de a construi rețele neuronale în această structură？cu diferite noduri se conectează la diferite numărul de noduri din următorul strat

Question 1

Eu știu doar cum să utilizați built-in de rețea ca RNN de LSTM în PyTorch. Dar ele tind să se ocupe cu fiecare nod din stratul precedent care va da informatii pentru toate nodurile din stratul următor.

Vreau să fac ceva diferit, dar nu știu cum să-l cod mine. Ca în această figură: nodul unei hărți pentru toate [d, e, f] trei noduri din stratul 2, în timp ce nodul b hărți pentru a [e,f] și nodul c numai hărți la [f]. Ca urmare, nodul d va conține numai informații de la un, în timp ce e va conține informații de la [o, b]. Și f va conține informații din toate nodurile din stratul anterior. Nimeni nu știe cum să cod, această structură? PLS da-mi ceva despre voi fi foarte recunoscator :D

Structura

Question 2

Atunci când aveți un strat tematic care pare a fi Complet Conectat strat, dar cu obiceiul de conectivitate, utilizați o mască cu o structură corespunzătoare.

Sa zicem x = [a, b, c] este 3-dim de intrare și W denotă conectivitate matrice.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

apoi W[i][j] puncte de conectare greutate între jmii de intrare și ilea neuron de ieșire. Pentru a construi structura similare la jucării exemplu, ne-ar face o masca de genul asta

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Apoi, puteți pur și simplu masca W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Notă: @ este matrice de multiplicare și * este punctual de multiplicare.

ayandas · Answer 1 · 2021-11-21T18:17:35

Atunci când aveți un strat tematic care pare a fi Complet Conectat strat, dar cu obiceiul de conectivitate, utilizați o mască cu o structură corespunzătoare.

Sa zicem x = [a, b, c] este 3-dim de intrare și W denotă conectivitate matrice.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

apoi W[i][j] puncte de conectare greutate între jmii de intrare și ilea neuron de ieșire. Pentru a construi structura similare la jucării exemplu, ne-ar face o masca de genul asta

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Apoi, puteți pur și simplu masca W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Notă: @ este matrice de multiplicare și * este punctual de multiplicare.

Deci, dacă-mi de intrare dim este de 3, ieșire dim este de 3. Reteaua mea neuronala structura va fi o astfel de {de intrare 3 dim, LSTM_layer(3, 64), Complet connected_layer(64, 3), * inferior triunghiulară masca matrix(3, 3), ieșire dim 3}. Va lucra ca obiceiul meu de conectivitate, pentru a face ultimele trei noduri obtinerea differerent informații? Sau ar trebui să-mi pun masca matrix între stratul de intrare(3,1) și LSTM strat(3,64)
Este dvs. de intrare secvențială (ai LSTM în între) ? Figura arată numai pe Deplin conectat straturi. Soluția nu este prevăzută numai pentru mascare FC strat.
Îmi pare rău că am făcut figura simplu. Mea de intrare este dată seria de valori(valori, hour_index, week_index) și vreau să folosesc un LSTM strat pentru a extrage unele informații între intrare(3 dim) și de ieșire(3 dim). Deci, dacă am folosi o mască după LSTM strat, va ieșirea trei noduri fi astfel: d nod conține doar saptamana informații, e nod conține săptămână și ore, f nod conține valori, oră, săptămână de informații?

Cum de a construi rețele neuronale în această structură？cu diferite noduri se conectează la diferite numărul de noduri din următorul strat

Problema

Cel mai bun răspuns

În alte limbi

Această pagină este în alte limbi

Popular în această categorie

Întrebări frecvente în această categorie