Python: Vectorizare Calcul Implementat folosind Abordări Iterative

Când ai de-a face cu trei dimensiuni n, mși c (în litere mici pentru a evita ambiguitatea), acesta poate fi util pentru a schimba forma de toate tensori să (n, m, c), prin replicarea lor valori lipsă dimensiune (de exemplu, M(m, c) devine M(n, m, c)).

Cu toate acestea, puteți sări peste explicit de replicare și de a folosi de radiodifuziune, astfel încât este suficient să unsqueeze lipsă dimensiune (de exemplu, M(m, c) devine M(1, m, c).

Având în vedere aceste considerente, vectorizare codul devine, după cum urmează

cond = y.unsqueeze(2) == torch.arange(M.size(dim=1)).unsqueeze(0)
pos = ds.unsqueeze(2) * M.unsqueeze(1) * cond
neg = ds.unsqueeze(2) * M.unsqueeze(1).sum(dim=0, keepdim=True) * ~cond
grad += (pos - neg).sum(dim=0)

Aici este un mic test pentru a verifica validitatea soluției

import torch

n, m, c = 11, 5, 7

y = torch.randint(c, size=(n, 1))
ds = torch.rand(n, m)
M = torch.randint(2, size=(n, c))
grad = torch.rand(m, c)


def slow_grad(y, ds, M, grad):
    for i in range(M.size(dim=1)):
        for j in range(ds.size(dim=0)):
            if y[j] == i:
                grad[:,i] = grad[:,i] - (ds[j,:].T * sum(M[j,:]))
            else:
                if M[j,i] > 0:
                    grad[:,i] = grad[:,i] + ds[j,:].T
    return grad


def fast_grad(y, ds, M, grad):
    cond = y.unsqueeze(2) == torch.arange(M.size(dim=1)).unsqueeze(0)
    pos = ds.unsqueeze(2) * M.unsqueeze(1) * cond
    neg = ds.unsqueeze(2) * M.unsqueeze(1).sum(dim=0, keepdim=True) * ~cond
    grad += (pos - neg).sum(dim=0)
    return grad
  
# Assert equality of all elements function outputs, throws an exception if false
assert torch.all(slow_grad(y, ds, M, grad) == fast_grad(y, ds, M, grad))

Simțiți-vă liber pentru a testa pe alte cazuri la fel de bine!