cort53 님의 블로그

도서 목록을 웹스크래핑 프롬프트를 이용해 도서정보를 수집하는 방법에 대해서 배웠다. 예스 24, 알라딘, 교보문고의 도서 수집을 할 것이다.  웹스크래핑 프롬프트 공식HTTP 요청정보페이로드 정보응답의 일부(HTML 혹은 JSON)a. HTML 일 때는 마우스오른클릭 > 블록선택 > copyOuterHTMLb. JSON 일 때는 미리보기 > JSON 처음부터 원하는 도서 정보가 있는 첫번째 책 정보까지 복사 붙여넣기c. 전체 HTML이나 JSON을 복사하지 않는이유 => 토큰수 문제(==글자수 제한)각각 복사한걸 지피티에 붙여넣으면 총 3개 -> 전체 데이터 목록을 HTTP요청으로 받아서 파싱하고 판다스 데이터프레임으로 만들어서 CSV로 저장하고 수집하는 코드 작성해줘 라고 입력한다.구글 코렙으로 실행 ..

1️⃣ 이중축 & Combined Axis Chart항목설명이중축 (Dual Axis)두 개의 서로 다른 측정값을 두 축에 표현하여 데이터를 비교 분석함 → 서로 다른 단위를 사용하는 경우에 적합Combined Axis Chart두 개 이상의 측정값을 하나의 축으로 결합하여 시각화 → 같은 단위를 사용하는 경우 효과적 2️⃣ 분석 패널 (Analytics Panel)기능설명참조선 (Reference Line)특정 기준선을 차트에 삽입하여 기준값 대비 비교 가능예측 (Forecast)과거 데이터를 기반으로 미래 값을 예측해주는 기능추세선 (Trend Line)데이터의 패턴이나 경향성을 선형, 다항식으로 시각화집계 (Total)합계, 평균 등 주요 통계 값을 간단하게 표시 3️⃣ 지도 시각화 (Map Vis..

📌  태블로란 무엇인가?✅ 태블로(Tableau)의 개념과 활용 분야태블로는 데이터를 시각화하는 BI(Business Intelligence) 도구로, 다음과 같은 분야에서 널리 사용됩니다.활용 분야설명비즈니스 분석매출, 고객 행동, 시장 트렌드 분석데이터 시각화대시보드 및 보고서 생성데이터 탐색다양한 데이터 소스 연결 및 분석예측 분석시계열 및 통계 모델링 지원✅ 태블로 설치 및 인터페이스 이해태블로는 다양한 제품군(데스크톱, 서버, 퍼블릭, 온라인 등)으로 구성기본적인 워크시트, 대시보드, 스토리보드 등의 인터페이스를 탐색📌 태블로의 핵심 개념태블로에서 데이터를 다루기 위해 가장 중요한 개념 3가지를 배웠습니다.1️⃣ 차원(Dimension)과 측정값(Measure)📌 차원(Dimension):..

📌JOIN1️⃣ 정의두 개 이상의 테이블을 공통된 컬럼을 기준으로 연결하여 데이터를 조회하는 방법.2️⃣ 종류:INNER JOIN: 두 테이블 모두에 존재하는 공통된 데이터만 조회.LEFT JOIN: 왼쪽 테이블의 모든 데이터를 가져오고, 오른쪽 테이블과 일치하는 데이터가 없으면 NULL로 표시.RIGHT JOIN: 오른쪽 테이블의 모든 데이터를 가져오고, 왼쪽 테이블과 일치하는 데이터가 없으면 NULL로 표시.FULL OUTER JOIN: 양쪽 테이블의 모든 데이터를 가져오며, 일치하지 않는 경우 NULL로 표시.사용 이유:여러 테이블에 분산된 데이터를 하나의 결과로 통합하여 조회할 수 있음.  ✅ 예시  :customers 테이블과 orders 테이블을 customer_id를 기준으로 연결하여 고객..

저번 블로그에 이어서 이번에는 토트넘에 챔스 진출을 위해 필요한 점수와 챔스 진출 확률을 분석해보았다.점수는 득점수(gf), 실점수(ga), 득실차(gd)만 나오며, kaggle 에서 가져온 pl-tables-1993-2024.csv 를 기반으로 분석할 것이다.     여기서 주의해야될 점은 cf)라고 기재한 부분이다. 각 시즌 마다 챔스 진출 할 수 있는 순위가 다르다는 점 유의해야한다.notes = 'Champions League via league finish' 챔스 진출권이라는 뜻   📈 이런 식으로 93~24년도까지 쭉 나오게 된다.  그럼 각 시즌별 챔스를 진출한 팀을 epl_df_UEFA 라는 데이터셋으로 저장을 했으니 이 데이터셋의 시즌별 최소 점수를 구하면 챔스 컷트라인 점수가 나온다...

축구에 관심이 많던 나는 17년도 토트넘의 전성기라고 할수 있는 시즌부터 축구를 보기 시작했다.평소 축구 하는것에 좋아했고 보는것엔 크게 관심이 없었다.당시 군인이었고, 주말이 지나고 월요일 개인정비 시간이 되면 사지방에 들어가 축구 뉴스를 보는게 일상이었다. 그때부터 해외축구를 뛰는 선수인 손흥민 경기를 늘 하이라이트로 봐왔었고, 토트넘이라는 팀에 대해 알게 된다.  내가 볼 시즌에는 포체티노 감독이 이끄는 DESK 라인이 고점을 찍고 있었으며, 이 콤비는 토트넘을 리그 준우승까지 이끌었다.   DESK 라인 :토트넘 홋스퍼 FC의 공격진이었던 델리 알리(Dele Alli), 크리스티안 에릭센(Christian Eriksen), 손흥민(Son Heung-min), 해리 케인(Harry Kane)을 한데..

📌 SQL 기본 개념 정리이번주는 SQL의 기본 개념과 쿼리 실행 순서에 대해 정리했습니다.1️⃣ 데이터베이스 구조데이터베이스 서버 → 데이터베이스(관계 없음) → 테이블(관계 존재) → 로우(데이터 개별 항목)테이블은 서로 관계를 맺을 수 있음.2️⃣ SQL 개요SQL (Structured Query Language): 데이터베이스에서 데이터를 CRUD(Create, Read, Update, Delete)하는 명령어.SQL 종류DML(Data Manipulation Language): 데이터를 조작 (예: SELECT, INSERT, UPDATE, DELETE)DDL(Data Definition Language): 데이터베이스 및 테이블 정의 (예: CREATE, ALTER, DROP)DCL(Data..

데이터 분석 학습 내용 정리Pandas와 데이터 전처리주제세부 내용데이터 불러오기Kaggle 타이타닉 데이터, Pandas 형식으로 파일 불러오기데이터 탐색데이터 내용 확인, 특정 열 선택, 데이터 필터링결측치 처리결측치 제거 및 통계 확인데이터 조작행/열 추가 및 삭제, 열 이름 수정데이터 시각화주제세부 내용기본 설정축 레이블, 범례, 축 범위, 선 종류 설정그래프 종류막대그래프, 산점도, 선형 회귀선, 히스토그램, 커널 밀도 그래프 등추가 설정마커, 색상, 타이틀, 눈금 표시 Netflix 데이터 분석주제세부 내용데이터 탐색 및 전처리결측치 비율 확인, 결측치 처리, 피처 엔지니어링시각화- 오징어 게임 검색 결과 분석- Movie & TV show 비율 (파이 플롯, 카운트 플롯 등)- 나라별 연령 ..

데이터 분석 실습 요약01. 데이터 가공 및 분석 기본01-01. DataFrame과 Series 이해하기DataFrame: 2차원 데이터 구조 (표 형태).Series: 1차원 데이터 구조 (열 형태).구분설명DataFramepd.DataFrame({'A': [1, 2], 'B': [3, 4]})Seriespd.Series([1, 2, 3], name='example_column')01-02. 데이터 불러오기, 저장하기데이터를 다양한 포맷에서 불러오고 저장합니다.기능코드 예시CSV 불러오기pd.read_csv('data.csv')Excel 저장df.to_excel('data.xlsx', index=False)01-03. 조건에 맞는 데이터 추출조건 필터링으로 원하는 데이터 선택.기능코드 예시조건 필터링..

1. 변수변수는 데이터 값을 저장하기 위한 컨테이며, Python에서는 데이터 유형을 명시적으로 선언할 필요가 없다. 이는 할당된 값에서 추론된다.  x = 10                       # Integer name = "Alice"         # String   2. 숫자 유형Python에는 세 가지 숫자 유형이 있다.int (정수): 정수.float: 소수점이 있는 숫자복소수: 실수부와 허수부가 있는 숫자 x = 5             # inty = 3.14        # float z = 2 + 3j      # complex   3. String 문자열은 작은따옴표, 큰따옴표 또는 삼중따옴표로 묶인 일련의 문자 greeting = "Hello, World!"   4. List..