R - write_parquet în buclă

0

Problema

fwrite este looping peste multe .csv fișierele din directorul de lucru, dar cand scriu un .parquet se suprascrie fiecare dată.

Am încercat mai multe abordări, practic eu sunt încercarea de a utiliza fișiere de nume pentru a menține .csv nume de fișier așa cum se arată mai jos, fără a suprascrie-l.

rm(list = ls())
gc()

# Set up environment #
require("data.table")
require("arrow")

# Set directory to data, define files #
setwd("E:/TransferComplete/07/")

files <- list.files(pattern = "csv")

for (i in files){  setwd("E:/TransferComplete/07/")
loopStart <- Sys.time()
  
  bb <- fread(i,header = TRUE,sep = ",", data.table = FALSE, stringsAsFactors = FALSE,
                select = c("x","y","z"))
  gc()
  
  
  write_parquet(bb,
  'E:/P/i.parquet')
  
  
  loopEnd <- Sys.time()
  loopTime <- round(as.numeric(loopEnd) - as.numeric(loopStart), 0)
}
csv loops parquet r
2021-11-23 23:08:00
2

Cel mai bun răspuns

1

Înlocuiți acest

write_parquet(bb,
  'E:/P/i.parquet')

la acest

write_parquet(bb,paste0('E:/P/',i,'.parquet'))
2021-11-24 00:31:37
1

Ai fost foarte aproape în întrebarea dumneavoastră. Când sunteți scris .parquet, aveți nevoie pentru a separa i atunci când scrieți fișierul sau bucla va păstra scris un fișier numit i.parquet.

write_parquet(bb,paste0('E:/P/',i,'.parquet'))
2021-11-24 00:40:17

În alte limbi

Această pagină este în alte limbi

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................