Am de lucru pe o problema de clasificare cu o imagine set de date, având în 11 clase. Acesta conține un total de 11.000 de imagini, cu fiecare clasă având 1000 de imagini, stocate în folder-înțelept (11 dosare). Setul de date de dimensiune este de aproximativ 40MB. După ce încărcați datele din google drive în colab( care de fapt durează de ceva timp) și pre-proces înainte de hrănire la model, memoria colab devine 95% plin instantaneu. Când m-am începe de formare, colab accidente, și runtime este resetat. Acest lucru nu se întâmplă atunci când folosesc Keras date-flux-de-director funcția. Eu sunt în imposibilitatea de a găsi o soluție. Screenshot
0
Acest lucru se întâmplă pentru că de asteptare a se potrivi cu trenul și validare a seturilor de date se forțează colab pentru a încărca toate imaginile de pe ram la fel acest lucru, aveți nevoie pentru a scrie un generator, o soluție simplă cu cele mai multe dintre codul scris deja este de a utiliza tfrecords, keras se va ocupa de restul.
https://www.tensorflow.org/tutorials/load_data/tfrecord
aveți nevoie pentru a stoca imaginile de pe disc și să le ia în timpul de formare, nu toate de la început.
nu trebuie să utilizați tfrecords, puteți folosi orice generator vă place, dar chestia asta vine chiar de la început
BestDogeStackoverflow
Ei bine, eu sunt, folosind Keras Tuner aici, așa că nu sunt sigur dacă generator poate fi folosit cu tuner-cauta sau nu
SDS