본문 바로가기

Python83

[python] 자연어 처리를 위한 텍스트 전처리(토큰화) 자연어 처리에서 크롤링 등으로 얻어낸 코퍼스 데이터가 필요에 맞게 전처리되지 않은 상태라면, 해당 데이터를 사용하고자하는 용도에 맞게 토큰화(tokenization) & 정제(cleaning) & 정규화(normalization)하는 일을 하게 됩니다. 이번에는 그 중에서도 토큰화를 하는 방법들에 대해 작성해 보겠습니다. 토큰 이란? 토큰(Token) 화폐 대신 사용할 수 있는 동전처럼 생긴 주조물을 말한다. 어휘분석의 단위를 가리키는 컴퓨터 용어이기도 하다. 자연어를 컴퓨터가 이해할 수 있는 언어로 만들기 위해 단어나 문장 단위로 쪼개는 작업이 필요한데 이런 토큰화를 수행하는 방법에는 다양한 방법이 있지만 일반적인 방법론은 공백문자를 기준으로 단어를 분리하는것인데 이를 토큰화(tokenization)라.. 2023. 6. 28.
[Python] Raspberry Pi 4 카메라로 영상 스트리밍 하기 안녕하세요. 이번에는 Raspberry Pi 4 에 카메라를 연결해서 영상 스트리밍하는 예제를 진행하겠습니다. 운영체제는 Raspberry Pi OS (Legacy) 입니다. 아래 그림과 같이 카메라를 연결합니다. 전원을 연결하고, 설정에 들어가 카메라 소프트웨어를 활성화합니다. 또 다른 방법으로 터미널을 사용할 수 있습니다. 터미널에 다음 명령어를 입력하면 설정화면이 뜹니다. sudo raspi-config 다음과 같이 진행합니다. 설정이 완료되었으면 다음 명령어를 터미널에 입력하여 재부팅합니다. sudo reboot 영상 스트리밍을 웹으로 접근하려면 Raspberry Pi 4의 IP주소를 알아야합니다. 다음 명령어를 입력해서 IP 주소를 출력합니다. ifconfig 현 예제에서는 IP주소가 192.1.. 2023. 6. 15.
[Python] Json 형태의 데이터 다루기 파이썬을 이용해 Json 형태의 데이터를 처리하기 위해 사용되는 내장 모듈인 json 을 사용해서 json 파일을 생성하고 조회, 수정 하는 예제를 작성해 보겠습니다. loads() 함수: JSON 문자열을 Python 객체로 변환 JSON 문자열을 Python의 객체로 변환하기 위해서는 loads() 함수를 사용합니다. import json data = { "Teamnova1" : { "gender": "female", "age" : 30, "hobby" : ["reading", "music"] }, "Teamnova2" : { "gender": "male", "age" : 18, "hobby" : ["development", "painting"] } } file_path = "./test.json" .. 2023. 6. 13.
[Python] schedule 라이브러리로 정해진 시간에 코드 자동 실행하기 안녕하세요 오늘은 schedule 라이브러리를 사용해 특정 시간의 알림 설정하는 방법에 대해서 알려드리겠습니다. python 코드를 실행할 수 있는 환경은 모두 세팅 되었다고 가정하고 시작하겠습니다. schedule 라이브러리를 사용하기 위해 터이널에서 명령을 통해 설치해줍니다. pip3 install schedule 다음은 schedule 을 통해 정해진 시간에 코드를 자동 실행하는 예시 입니다. import schedule import time def test0(): print("알림0") def test1(): print("알림1") def test2(): print("알림2") array = [] #알림 시간 설정 time0 ="16:24:20" time1 ="19:30:15" time2 ="19.. 2023. 6. 6.
[Python] 파일 입출력(생성 , 쓰기, 읽기) 예제 파이썬으로 파일에 있는 데이터를 읽거나 파일로 데이터를 써야하는 경우가 있습니다. 오늘은 파이썬에서 파일을 열고 데이터를 읽고 쓰는 방법에 대해 정리해 보겠습니다. open() 함수 우선 파일에서 데이터를 읽거나 파일에 데이터를 작성하려면 파일을 열어야 합니다. 파이썬에서 파일을 열기 위해서는 open() 함수를 사용해야 합니다. open() 함수는 파이썬의 기본 내장 함수입니다. open() 함수를 호출 할 때, 옵션에 따라 파일이 없으면 생성하고, 읽기 전용 혹은 쓰기용으로 파일을 열 수 있습니다. open() 함수는 다음과 같은 기본형을 가집니다. def open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, cl.. 2023. 5. 31.
[Python] OpenCV로 영상 캡쳐 및 녹화 안녕하세요. 이번에는 Python과 OpenCV로 영상을 캡쳐하고 녹화하는 예제를 진행하겠습니다. OpenCV란 "Open Source Computer Vision"의 약자로, 컴퓨터 비전과 이미지 처리에 사용되는 오픈 소스 라이브러리 입니다. 영상의 어느 부분을 캡쳐해서 이미지로 저장하고 싶거나 영상의 어느 구간만 녹화해서 영상으로 저장하고 싶을때, OpenCV 라이브러리를 사용하여 해결할 수 있습니다. 영상 파일 하나를 가져와서 진행해보겠습니다. 예제 코드는 다음과 같습니다. 주석을 참고해주세요. import datetime # 캡처 이미지나 녹화 영상을 저장할때 현재 일시로 기록하는데 사용할 datetime 모듈을 가져오기. import cv2 # OpenCV를 사용하기 위해 cv2 모듈을 가져오기.. 2023. 5. 29.
[Python] pymysql 라이브러리로 MariaDB 사용하기 안녕하세요 이번에는 Python에서 pymysql 라이브러리를 사용해서 MariaDB의 데이터를 읽고, 추가, 수정, 삭제하는 예제를 진행하겠습니다. 우분투 22.04 에서 진행했습니다. 먼저 터미널에서 pip를 설치합니다. sudo apt install python3-pip 그 다음 pymysql 라이브러리를 설치합니다. pip install pymysql 설치가 완료되었으면 MariaDB의 데이터를 읽고, 추가, 수정, 삭제를 해보겠습니다. 기존 데이터는 다음과 같습니다. 1. 데이터를 읽어오는 예제입니다. import pymysql conn = pymysql.connect(host='127.0.0.1', user='user1', password='password1', db='testdb', char.. 2023. 4. 24.
[Python] Python으로 막대 그래프 그리기 안녕하세요. Python에서 matplotlib 라이브러리와 numpy 라이브러리를 사용해서 막대그래프를 그리는 예제를 진행하겠습니다. 주피터 노트북에서 진행해보겠습니다. 1. 수직 막대그래프 import matplotlib.pyplot as plt import numpy as np x = np.arange(4) years = ['2019', '2020', '2021', '2022'] values = [100, 400, 700, 1000] plt.bar(x, values) plt.xticks(x, years) plt.show() 연도별로 변화하는 값을 나타낸 수직 막대그래프 예제입니다. NumPy의 np.arange() 함수에 나타낼 값의 갯수를 입력합니다. years는 X축에 표시될 연도이고, valu.. 2023. 4. 9.
[Python] Tensorflow 로 분류모델 전이학습하기 안녕하세요. 오늘은 텐서플로우로 분류모델 전이학습하는 예제를 진행하겠습니다. 전이학습(Transfer learning)은 어떤 목적을 이루기위해 학습된 모델을 다른작업에 이용하는 것을 말합니다. 자세하게 말하면, 전이학습은 ImageNet 등의 대량의 데이터로 사전학습(pre-train) 되어있는 모델을 불러와서 레이어 뒤에 FC층 (Fully Connected Layer) 을 붙여서 FC층에만 학습을 새로 시켜서 이용하는 것을 말합니다. 전이학습을 사용하게 되면 다음과 같은 장점이 있습니다. 학습이 빠르게 진행될 수 있습니다. 사전 학습을 통해 이미 입력되는 데이터에 대해 특징을 효율적으로 추출하기 때문에, 새로 학습할 데이터의 특징을 추출하기 위한 학습을 별도로 하지 않아도 되기 때문입니다. 작은 데.. 2023. 3. 27.