Panda objet-lista datetime serie a datetime index

0

Problema

Eu sunt, folosind câmpuri parametru pe python-elasticsearch api pentru a prelua unele date din elasticsearch încercarea de a analiza @timestamp în format iso, pentru utilizare într-un panda dataframe.

fields = \
    [{
      "field": "@timestamp",
      "format": "strict_date_optional_time"
    }]

În mod implicit elasticsearch se întoarcă rezultatele de pe array-format listă, așa cum se vede în doc:

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-fields.html

The fields response always returns an array of values for each field, even when there is a single value in the _source. 

Datorită acestui rezultat dataframe conține un obiect-lista de serie, care nu poate fi analizat la un datetime serie de metode convenționale.

Name: fields.@timestamp, Length: 18707, dtype: object
0       [2021-11-04T01:30:00.263Z]
1       [2021-11-04T01:30:00.385Z]
2       [2021-11-04T01:30:00.406Z]
3       [2021-11-04T01:30:00.996Z]
4       [2021-11-04T01:30:01.001Z]
                   ...            
8368    [2021-11-04T02:00:00.846Z]
8369    [2021-11-04T02:00:00.894Z]
8370    [2021-11-04T02:00:00.895Z]
8371    [2021-11-04T02:00:00.984Z]
8372    [2021-11-04T02:00:00.988Z]

Atunci când încearcă pentru a analiza o serie de datetime serie:

pd.to_datetime(["fields.@timestamp"])

Care au ca rezultat:

TypeError: <class 'list'> is not convertible to datetime

Folosirea caz necesită o mulțime de datetime formate și câmpuri parametru se potriveste foarte bine interogarea în mai multe formate, dar pe listat obiect datetime șir de greu lucrurile.

dataframe datetime elasticsearch pandas
2021-11-18 16:37:23
1

Cel mai bun răspuns

1

Problema aici este că elementele de fields.@timestamp sunt de fapt liste.

Deci, ai putea face :

fields['timestamp'] = fields['timestamp'].str[0]

pentru a extrage data din listă, și de a folosi apoi pd.to_datetime :

fields['timestamp'] = pd.to_datetime(fields['timestamp'])
2021-11-18 17:01:03

În alte limbi

Această pagină este în alte limbi

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................