Calcul distanța de o imagine încorporarea împotriva unui grup de imagine embeddings

Question 1

Cum de a obține în mod corespunzător distanța de o imagine încorporarea împotriva o listă/grup de o altă imagine încorporarea?

Am o pretrained model pe care am folosit pentru a extrage embeddings de imagini, și aș dori pentru a obține distanța de o imagine împotriva alte câteva imagini adică

Embedding (1028,) against Embedding (5, 1028)

Am încercat să fac o imagine similitudine experiment în care im folosind similaritatea Cosinus metrice de Tensorflow pentru a calcula distanța dintre două încorporarea, și funcționează bine pe un 1-la-1 de calcul și anume

Embedding_1 = (1028,)
Embedding_2 = (1028,)
metrics.CosineSimilarity(Embedding_1, Embedding_2)

dar eu nu pot da seama cum să-l faci pe un 1-la-N distanța de calcul.

Embedding_1 = (1028,)
Embedding_Group = [(1028,),(1028,),(1028,),(1028,),(1028,)]

Question 2

S-ar putea face cu emisie. Iterarea peste imagini și calcul de distanțe pentru fiecare pereche este o idee proastă, în acest caz, deoarece nu va fi paralelizate (dacă nu știi cum să o faci singur).

import tensorflow as tf

embedding = tf.constant([1., 1.]) # your shape here is (1028,) instead of (2,)
embedding_group = tf.constant([[1., 1.], [1., 2.], [0., 1.]]) # your shape here is (5, 1028) instead of (3, 2)
norm_embedding = tf.nn.l2_normalize(embedding[None, ...], axis=-1)
norm_embedding_group = tf.nn.l2_normalize(embedding_group, axis=-1)
similarity = tf.reduce_sum(norm_embedding * norm_embedding_group, axis=-1) # cosine similarity of same shape as number of samples

print(norm_embedding.numpy())
print(norm_embedding_group.numpy())
print(similarity.numpy())
# [[0.7071067 0.7071067]]
# [[0.7071067  0.7071067 ]
#  [0.44721356 0.8944271 ]
#  [0.         1.        ]]
# [0.9999998  0.94868314 0.7071067 ]

Vlad · Answer 1 · 2021-11-22T13:22:59

S-ar putea face cu emisie. Iterarea peste imagini și calcul de distanțe pentru fiecare pereche este o idee proastă, în acest caz, deoarece nu va fi paralelizate (dacă nu știi cum să o faci singur).

import tensorflow as tf

embedding = tf.constant([1., 1.]) # your shape here is (1028,) instead of (2,)
embedding_group = tf.constant([[1., 1.], [1., 2.], [0., 1.]]) # your shape here is (5, 1028) instead of (3, 2)
norm_embedding = tf.nn.l2_normalize(embedding[None, ...], axis=-1)
norm_embedding_group = tf.nn.l2_normalize(embedding_group, axis=-1)
similarity = tf.reduce_sum(norm_embedding * norm_embedding_group, axis=-1) # cosine similarity of same shape as number of samples

print(norm_embedding.numpy())
print(norm_embedding_group.numpy())
print(similarity.numpy())
# [[0.7071067 0.7071067]]
# [[0.7071067  0.7071067 ]
#  [0.44721356 0.8944271 ]
#  [0.         1.        ]]
# [0.9999998  0.94868314 0.7071067 ]

Calcul distanța de o imagine încorporarea împotriva unui grup de imagine embeddings

Problema

Cel mai bun răspuns

În alte limbi

Această pagină este în alte limbi

Popular în această categorie

Întrebări frecvente în această categorie