티스토리 뷰
반응형
In [146]:
import pandas as pd
In [147]:
data_url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/housing/housing.data' #Data URL
df_data = pd.read_csv(data_url, sep='\s+', header = None) #csv 타입 데이터 로드, separate는 빈공간으로 지정하고, Column은 없음
In [148]:
df_data.head() #처음 다섯줄 출력
Out[148]:
In [149]:
from pandas import Series, DataFrame
import numpy as np
In [150]:
example_obj = Series()
In [151]:
list_data = [1, 2, 3, 4, 5]
example_obj = Series(data = list_data)
example_obj
Out[151]:
In [152]:
list_data = [1, 2, 3, 4, 5]
list_name = ["a", "b", "c", "d", "e"]
example_obj = Series(data = list_data, index = list_name, dtype = np.float32, name = "example_data") #index 이름을 지정
example_obj
Out[152]:
In [153]:
dict_data = {"a":1, "b":2, "c":3, "d":4, "e":5}
example_obj = Series(dict_data, dtype = np.float32, name = "example_data") #index 이름을 지정
example_obj
Out[153]:
In [154]:
example_obj["a"]
Out[154]:
In [155]:
example_obj["a"] = 3.2
example_obj
Out[155]:
In [156]:
example_obj.values
Out[156]:
In [157]:
example_obj.index
Out[157]:
In [158]:
dict_data_1 = {"a":1, "b":2, "c":3, "d":4, "e":5}
indexes = ["a", "b", "c", "d", "e", "f", "g", "h"]
series_obj_1 = Series(dict_data_1, index=indexes)
series_obj_1
Out[158]:
In [159]:
# Example from - https://chrisalbon.com/python/pandas_map_values_to_values.html
raw_data = {'first_name': ['Jason', 'Molly', 'Tina', 'Jake', 'Amy'],
'last_name': ['Miller', 'Jacobson', 'Ali', 'Milner', 'Cooze'],
'age': [42, 52, 36, 24, 73],
'city': ['San Francisco', 'Baltimore', 'Miami', 'Douglas', 'Boston']}
df = pd.DataFrame(raw_data, columns = ['first_name', 'last_name', 'age', 'city'])
df
Out[159]:
In [160]:
DataFrame(raw_data, columns = ["age", "city"])
Out[160]:
In [161]:
df =DataFrame(raw_data,
columns = ["first_name","last_name","age", "city", "debt"]
)
In [162]:
df.debt
Out[162]:
In [163]:
df["debt"]
Out[163]:
In [164]:
df.head()
Out[164]:
In [165]:
df.loc[1]
Out[165]:
In [166]:
df["age"].iloc[1:]
Out[166]:
In [167]:
df.debt = df.age > 40
df
Out[167]:
In [168]:
df.T
Out[168]:
In [169]:
df.values
Out[169]:
In [170]:
del df["debt"]
df
Out[170]:
In [171]:
df["first_name"].head(3)
Out[171]:
In [172]:
df [["first_name", "last_name", "age"]].head(3)
Out[172]:
In [173]:
import numpy as np
df = pd.read_excel("excel-comp-data.xlsx")
df.head()
Out[173]:
In [174]:
df.index = list(range(10,25))
df.head()
Out[174]:
In [175]:
df.drop(10).head()
Out[175]:
In [176]:
df.drop([10,11,12,13,14]).head()
Out[176]:
In [177]:
df.drop("city", axis=1).head()
Out[177]:
In [178]:
s1 = Series(
range(1,6), index=list("abced"))
s1
Out[178]:
In [179]:
s2 = Series(
range(5,11), index=list("bcedef"))
s2
Out[179]:
In [180]:
s1 + s2
Out[180]:
In [181]:
df1 = DataFrame(
np.arange(9).reshape(3,3),
columns=list("abc"))
df1
Out[181]:
In [182]:
df2 = DataFrame(
np.arange(16).reshape(4,4),
columns=list("abcd"))
df2
Out[182]:
In [183]:
df1 + df2
Out[183]:
In [184]:
df1.add(df2,fill_value=0)
Out[184]:
In [185]:
ex = [1,2,3,4,5]
f = lambda x,y : x+y
list(map(f, ex, ex))
Out[185]:
In [186]:
list(map(lambda x: x+x, ex))
Out[186]:
In [187]:
s1 = Series(np.arange(10))
s1.head()
Out[187]:
In [188]:
s1.map(lambda x: x**2).head(5)
Out[188]:
In [216]:
z = {1: 'A', 2: 'B', 3: 'C'}
s1.map(z).head(5)
Out[216]:
In [190]:
s2 = Series(np.arange(10, 20))
s1.map(s2).head(5)
Out[190]:
In [191]:
df = pd.read_csv("wages.csv")
df.head()
Out[191]:
In [192]:
df.sex.unique()
Out[192]:
In [193]:
df["sex_code"] = df.sex.map({"male":0, "female":1})
df.head(5)
Out[193]:
In [217]:
df.sex.replace(
{"male":0, "female":1}
).head()
Out[217]:
In [218]:
df.sex.replace(
["male", "female"], [0, 1], inplace = True)
df.head(5)
Out[218]:
In [196]:
df_info = df[["earn", "height", "age"]]
df_info.head()
Out[196]:
In [197]:
f = lambda x : x.max()-x.min()
df_info.apply(f)
Out[197]:
In [198]:
df_info.sum()
Out[198]:
In [199]:
df_info.apply(sum)
Out[199]:
In [200]:
f = lambda x: -x
df_info.applymap(f).head()
Out[200]:
In [201]:
df = pd.read_csv("wages.csv")
df.head()
Out[201]:
In [202]:
df.describe()
Out[202]:
In [203]:
df.race.unique()
Out[203]:
In [204]:
np.array(dict(enumerate(df.race.unique())))
Out[204]:
In [205]:
value = list(map(int,np.array(list(enumerate(df.race.unique())))[:, 0]))
value
Out[205]:
In [206]:
key = np.array(list(enumerate(df.race.unique())))[: , 1].tolist()
key
Out[206]:
In [207]:
df["race"].replace(to_replace=key, value = value, inplace=True)
In [208]:
df.head()
Out[208]:
In [209]:
df.isnull().head()
Out[209]:
In [210]:
df.isnull().sum() #Null 인 값의 합
Out[210]:
In [211]:
df.sort_values(["age", "earn"], ascending=True ).head(10)
Out[211]:
In [212]:
df.age.corr(df.earn)
Out[212]:
In [213]:
df.age.cov(df.earn)
Out[213]:
In [214]:
df_info.corrwith(df.earn)
Out[214]:
Pandas_1.ipynb 반응형
'머신러닝' 카테고리의 다른 글
| [데이터전처리_1] Feature Scaling (0) | 2018.10.16 |
|---|---|
| Pandas 너 뭐니?_두번째 (0) | 2018.06.26 |
| numpy 를 이해해보자 (2) | 2018.06.01 |
| 머신러닝 분류 (0) | 2018.05.16 |
| 의사결정나무(decisiontree)_2 (0) | 2018.05.14 |
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 리치고 주식
- 연금저축
- Dash 와 html 차이
- 위경도변환
- 환매시점
- 계정조정계열
- 연금등록
- dash
- 마연굴
- 주소를 위경도 변환
- pandas apply
- 김성일 작가님
- 원계열
- M1M2비율
- 말잔
- Dash.html
- 내 연금조회
- 경제주체별 M2
- 블록해쉬구현
- 경제는 어떻게 움직이는가
- 블록해쉬
- ChatGPT
- Forgiving
- 환율이평선
- 프로그래스바 표시
- 파이썬 블록해쉬
- 환율데이터
- M1/M2
- 통화량 데이타
- 리치고
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
글 보관함