4.2. CSV와 JSON 처리

파이썬은 데이터 과학 및 분석에서 매우 유용한 언어로, 특히 CSV와 JSON 데이터를 다루는 데 강점을 가지고 있습니다. 이 글에서는 파이썬을 사용하여 CSV 파일을 다루는 방법과 JSON 데이터를 처리하는 방법에 대해 자세히 설명하겠습니다. 이를 통해 데이터 과학자와 분석가들이 효율적으로 데이터를 관리하고 분석할 수 있습니다.

파이썬 CSV 파일 다루기

CSV(CSV는 Comma-Separated Values의 약자로, 쉼표로 구분된 값의 파일을 의미합니다.) 파일은 데이터를 저장하고 공유하기 위한 가장 일반적인 형식 중 하나입니다. 파이썬의 csv 모듈을 사용하여 CSV 파일을 읽고 쓰는 방법을 살펴보겠습니다.

CSV 파일 읽기

파이썬의 csv 모듈을 사용하여 CSV 파일을 읽는 방법은 다음과 같습니다.

1. CSV 모듈 설치:

   pip install csv

2. CSV 파일 읽기:

   import csv
   
   with open('data.csv', 'r') as file:
       reader = csv.reader(file)
       for row in reader:
           print(row)

이 코드는 data.csv 파일을 읽고 각 행을 출력합니다. csv.reader 객체를 사용하여 파일을 읽고, for 루프를 통해 각 행을 처리합니다.

CSV 파일 쓰기

CSV 파일을 쓰는 방법도 간단합니다. csv.writer 객체를 사용하여 데이터를 파일에 쓰는 방법을 살펴보겠습니다.

1. CSV 모듈 설치:

   pip install csv

2. CSV 파일 쓰기:

   import csv
   
   with open('output.csv', 'w', newline='') as file:
       writer = csv.writer(file)
       writer.writerow(['Name', 'Age', 'City'])  # 헤더 행 추가
       writer.writerow(['John', 30, 'New York'])
       writer.writerow(['Alice', 25, 'Los Angeles'])

이 코드는 output.csv 파일에 헤더 행과 데이터를 추가합니다. csv.writer 객체를 사용하여 데이터를 파일에 쓰고, writerow 메서드를 사용하여 행을 추가합니다.

CSV 파일 다루기 예시

CSV 파일을 다루기 위해 pandas 라이브러리를 사용하는 방법도 있습니다. pandas는 데이터 프레임을 사용하여 데이터를 다루는 데 매우 유용합니다.

1. Pandas 설치:

   pip install pandas

2. CSV 파일 읽기:

   import pandas as pd
   
   df = pd.read_csv('data.csv')
   print(df)

이 코드는 data.csv 파일을 읽고 데이터 프레임으로 변환합니다. pandas는 데이터를 다루기 위해 다양한 메서드를 제공하며, 데이터를 필터링, 정렬, 집계 등 다양한 작업을 수행할 수 있습니다.

파이썬 JSON 데이터 다루기

JSON(JSON은 JavaScript Object Notation의 약자로, JavaScript에서 사용되는 데이터 교환 형식입니다.) 데이터는 객체 형식으로 데이터를 저장하고 공유하기 위해 사용됩니다. 파이썬의 json 모듈을 사용하여 JSON 데이터를 읽고 쓰는 방법을 살펴보겠습니다.

JSON 데이터 읽기

JSON 데이터를 읽는 방법은 다음과 같습니다.

1. JSON 모듈 설치:

   pip install json

2. JSON 데이터 읽기:

   import json
   
   with open('data.json', 'r') as file:
       data = json.load(file)
       print(data)

이 코드는 data.json 파일을 읽고 JSON 데이터를 파이썬 객체로 변환합니다. json.load 메서드를 사용하여 파일을 읽고, 데이터를 파이썬 객체로 변환합니다.

JSON 데이터 쓰기

JSON 데이터를 쓰는 방법도 간단합니다. json.dump 메서드를 사용하여 데이터를 파일에 쓰는 방법을 살펴보겠습니다.

1. JSON 모듈 설치:

   pip install json

2. JSON 데이터 쓰기:

   import json
   
   data = {
       'name': 'John',
       'age': 30,
       'city': 'New York'
   }
   
   with open('output.json', 'w') as file:
       json.dump(data, file, indent=4)

이 코드는 output.json 파일에 데이터를 추가합니다. json.dump 메서드를 사용하여 데이터를 파일에 쓰고, indent=4를 사용하여 데이터를 Pretty-Print 형식으로 출력합니다.

JSON 데이터 다루기 예시

JSON 데이터를 다루기 위해 pandas 라이브러리를 사용하는 방법도 있습니다. pandas는 데이터 프레임을 사용하여 데이터를 다루는 데 매우 유용합니다.

1. Pandas 설치:

   pip install pandas

2. JSON 데이터 읽기:

   import pandas as pd
   
   df = pd.read_json('data.json')
   print(df)

이 코드는 data.json 파일을 읽고 데이터 프레임으로 변환합니다. pandas는 데이터를 다루기 위해 다양한 메서드를 제공하며, 데이터를 필터링, 정렬, 집계 등 다양한 작업을 수행할 수 있습니다.

중첩 JSON 데이터 처리

JSON 데이터가 중첩 구조를 가지고 있을 때는 pandas의 json_normalize 메서드를 사용하여 평탄화하는 것이 좋습니다.

import pandas as pd

data = {
    'name': 'John',
    'age': 30,
    'address': {
        'street': '123 Main St',
        'city': 'New York',
        'state': 'NY'
    }
}

df = pd.json_normalize(data)
print(df)

이 코드는 중첩 구조를 가진 JSON 데이터를 평탄화하여 데이터 프레임으로 변환합니다.

파이썬은 CSV와 JSON 데이터를 다루는 데 매우 유용한 언어입니다. csv 모듈을 사용하여 CSV 파일을 읽고 쓰고, json 모듈을 사용하여 JSON 데이터를 읽고 쓰는 방법을 배웠습니다. 또한 pandas 라이브러리를 사용하여 데이터 프레임을 생성하고 다양한 작업을 수행하는 방법을 살펴보았습니다. 이러한 방법들은 데이터 과학자와 분석가들이 효율적으로 데이터를 관리하고 분석할 수 있도록 도와줍니다.