Pandas :: 웹 스크래핑 데이터 to_datetime 형변환 오류

TypeError: Argument 'date_string' has incorrect type (expected str, got NavigableString) 해결법

 

🙄 오류

 

웹 스크래핑으로 날짜 데이터를 수집하였다. 문자형식 그대로 pandas DataFrame에 넣었다.

data
Out[216]: 
['2020.08.26 10:14',
 '2020.08.26 11:47',
 '2020.08.26 13:40',
 '2020.08.26 12:17',
 '2020.08.26 12:08',
 '2020.08.27 13:15',
 '2020.08.26 13:57',
 '2020.08.26 09:18',
 '2020.08.26 09:04',
 '2020.08.26 10:04']
 
 
 df = pd.DataFrame({'datetime' : data})

df
Out[218]: 
           datetime
0  2020.08.26 10:14
1  2020.08.26 11:47
2  2020.08.26 13:40
3  2020.08.26 12:17
4  2020.08.26 12:08
5  2020.08.27 13:15
6  2020.08.26 13:57
7  2020.08.26 09:18
8  2020.08.26 09:04
9  2020.08.26 10:04

 

datetime 열은 다음과 같이 object 형식으로 되어있다.

df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10 entries, 0 to 9
Data columns (total 1 columns):
 #   Column    Non-Null Count  Dtype 
---  ------    --------------  ----- 
 0   datetime  10 non-null     object
dtypes: object(1)
memory usage: 208.0+ bytes

 

그런데 이 열을 datetime 형식으로 바꾸는 과정에서 type error가 발생한다.

df.datetime = pd.to_datetime(df.datetime, format = '%Y.%m.%d %H:%M')
Traceback (most recent call last):

  File "pandas\_libs\tslib.pyx", line 605, in pandas._libs.tslib.array_to_datetime

TypeError: Expected unicode, got NavigableString


During handling of the above exception, another exception occurred:

Traceback (most recent call last):

  File "<ipython-input-220-f80b1cd7e09c>", line 1, in <module>
    df.datetime = pd.to_datetime(df.datetime, format = '%Y.%m.%d %H:%M')

  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\tools\datetimes.py", line 728, in to_datetime
    values = convert_listlike(arg._values, format)

  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\tools\datetimes.py", line 440, in _convert_listlike_datetimes
    result, tz_parsed = objects_to_datetime64ns(

  File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\arrays\datetimes.py", line 1848, in objects_to_datetime64ns
    result, tz_parsed = tslib.array_to_datetime(

  File "pandas\_libs\tslib.pyx", line 481, in pandas._libs.tslib.array_to_datetime

  File "pandas\_libs\tslib.pyx", line 703, in pandas._libs.tslib.array_to_datetime

  File "pandas\_libs\tslib.pyx", line 828, in pandas._libs.tslib.array_to_datetime_object

TypeError: Argument 'date_string' has incorrect type (expected str, got NavigableString)

 

 

NavigableString 객체는 태그 안의 텍스트다. 이를 pandas가 str으로 인식하지 못하는 것으로 확인된다.

 

type(df.datetime[0])
Out[226]: bs4.element.NavigableString

 

 

---

💡 해결

이를 해결하기 위해, DataFrame에 넣기 전 str로 변환하는 작업을 거쳐주면 된다.

df = pd.DataFrame({'datetime' : [str(i) for i in data]}) ⭐⭐⭐

 

 

Dtype은 이전과 마찬가지로 object 지만, 각 데이터의 타입은 str 임을 확인할 수 있다.

df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10 entries, 0 to 9
Data columns (total 1 columns):
 #   Column    Non-Null Count  Dtype 
---  ------    --------------  ----- 
 0   datetime  10 non-null     object
dtypes: object(1)
memory usage: 208.0+ bytes

type(df.datetime[0])
Out[229]: str

 

 

그리고 to_datetime 을 적용하면 문제없이 수행된다.

df.datetime = pd.to_datetime(df.datetime, format = '%Y.%m.%d %H:%M')

df.datetime
Out[231]: 
0   2020-08-26 10:14:00
1   2020-08-26 11:47:00
2   2020-08-26 13:40:00
3   2020-08-26 12:17:00
4   2020-08-26 12:08:00
5   2020-08-27 13:15:00
6   2020-08-26 13:57:00
7   2020-08-26 09:18:00
8   2020-08-26 09:04:00
9   2020-08-26 10:04:00
Name: datetime, dtype: datetime64[ns]

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10 entries, 0 to 9
Data columns (total 1 columns):
 #   Column    Non-Null Count  Dtype         
---  ------    --------------  -----         
 0   datetime  10 non-null     datetime64[ns]
dtypes: datetime64[ns](1)
memory usage: 208.0 bytes