데이터분석(13)
-
[머신러닝] 공모전 추천 시스템(1) - 코랩/설치 라이브러리
캠퍼스픽에 소개된 공모전에 대한 추천 시스템을 만들어보도록 하겠습니다.먼저, 구글 코랩에서 공모전 추천 시스템에 필요한 라이브러리들을 설치하도록 합니다.구글 코랩에서 사용할 경우, 파이참 등에서 사용할 때와 설치방법이 다를 수 있으니 주의해 주세요! !pip install selenium!apt-get update# (최초 1회)!apt install chromium-chromedriver!cp /usr/lib/chromium-browser/chromedriver '/content/drive/MyDrive/Colab Notebooks' #!pip install chromedriver-autoinstaller !pip install seleniumPython에서 웹 브라우저 자동화를 수행하는 Seleni..
2024.08.29 -
[머신러닝] 주식 종목 추천 시스템 - (2) 데이터 수집
yfinance 라이브러리와 pandas를 사용하여S&P 500에 속한 회사들의 재무 정보를 수집하고이를 데이터프레임으로 변환하는 과정에 대해 알아보겠습니다.1. 라이브러리 임포트import pandas as pdimport yfinance as yffrom tqdm import tqdmpandas: 데이터 조작 및 분석을 위한 라이브러리 → 특히 데이터프레임을 다루는 데 유용yfinance: 야후 파이낸스 데이터를 손쉽게 가져올 수 있게 해주는 라이브러리tqdm: 루프의 진행 상황을 시각적으로 보여주는 진행률 표시줄 라이브러리DataFrameDataFrame은 pandas 라이브러리에서 제공하는 2차원 데이터 구조로, 행(row)과 열(column)로 구성된 데이터 테이블tqdm예시 코드from tqd..
2024.08.14 -
[머신러닝] 주식 종목 추천 시스템 - (1) yfinance 라이브러리 설치 & Ticker란?
yfinance 라이브러리 설치 및 설명!pip install yfinance!pip install --upgrade yfinance #로드가 안 될 경우 업그레이드가 필요import yfinance as yfTicker란 무엇인가?주식 시장에서 "티커(ticker)"는 특정 주식의 고유 식별자를 의미하며, 각 주식은 고유한 티커 심볼(ticker symbol)로 식별된다. 티커 심볼은 특정 회사나 펀드를 대표한다.예를 들어, Apple Inc.의 티커 심볼은 'AAPL', Microsoft의 티커 심볼은 'MSFT’이다.yf.Ticker(티커명).infoPython의 yfinance 라이브러리를 사용하여 Apple Inc. (AAPL) 주식의 52주 변동률(52-week change)을 가져온다.yf...
2024.08.14 -
[데이터분석] 데이터 크롤링 실습(2) - 인프런 크롤링
오늘은 인프런 사이트의 데이터 크롤링 실습을 진행하여 보도록 하겠습니다DataCrawling Pycharm Library Settingimport seleniumprint(selenium.__version__)from selenium import webdriverfrom selenium.webdriver.common.by import Byimport sysfrom selenium.webdriver.common.keys import Keysimport urllib.requestimport osfrom urllib.request import urlretrieveimport timeimport pandas as pdimport numpy as npimport re # 전처리를 위한 라이브러리chrome_opt..
2024.08.14 -
[데이터분석] 데이터 크롤링 실습(1)
파이참에 환경 세팅selenium 다운로드pip install seleniumpip install --upgrade piphomebrew 로 Mac에 chromedriver 설치brew install chromedriberBeautifulSoup1. 라이브러리 가져오기# beautifulSoup 라이브러리 가져오기import requestsfrom bs4 import BeautifulSoup 2. robots.txt 읽어보기(예) 다나와 사이트 : https://danawa.com/robots.txt → url 뒤에 /robots.txt 붙이기robots.txt : 법적 효력이 없기 때문에, 수정사항이 있어도 반영되지 않을 수 있음모든 User-agent 에 대해 /user_report/, /elec/M..
2024.08.14 -
[머신러닝] - 머신러닝의 개념 및 종류
프로그래밍 VS 머신러닝프로그래밍 : 인간이 주는 규칙이 있고 거기에 대한 데이터를 주면, 프로그래밍으로 해답을 내는 것머신러닝: 데이터와 해답을 주었을 때, 머신러닝을 통해 규칙을 도출해내는 것인공지능 VS 머신러닝 VS 딥러닝머신러닝 : 컴퓨터가 스스로 학습하여 인공지능의 성능을 향상 시키는 기술 방법머신러닝의 상위분야가 인공지능사고나 학습 등 인간이 가진 지적 능력을 컴퓨터를 통해 구현하는 기술머신러닝의 하위분야 중 하나가 딥러닝인간의 뉴런과 비슷한 인공신경망 방식으로 정보를 처리머신러닝 VS 딥러닝머신러닝입력 - 특징 추출 - 분류 - 출력입력을 통해 출력을 배출하는데, 그 사이에 “특징 추출”이 필요함인간이 미리 데이터의 특징을 입력하는 작업이 있어야함 → 인간의 주관이 조금 더 중요함딥러닝입력..
2024.08.13