PythonEngine

Python-dotenv로 환경 변수 관리하기

2025-03-04T00:00:00.025+09:00


 

# Python-dotenv로 환경 변수 관리하기

환경 변수 관리는 모든 개발 프로젝트에서 중요한 부분입니다. 특히 API 키, 데이터베이스 비밀번호와 같은 민감한 정보를 안전하게 관리하기 위해서는 적절한 도구가 필요합니다. Python-dotenv는 이러한 환경 변수를 효율적으로 관리할 수 있게 도와주는 파이썬 라이브러리입니다. 이 도구를 사용하면 `.env` 파일에 환경 변수를 저장하고 애플리케이션에서 쉽게 불러올 수 있어, 개발과 배포 과정을 훨씬 단순화할 수 있습니다.

개발자로서 환경 변수를 하드코딩하거나 여러 설정 파일을 관리하는 번거로움을 겪어보셨나요? 또는 팀 프로젝트에서 각기 다른 개발 환경을 일관되게 유지하는 어려움을 경험해보셨나요? Python-dotenv는 이러한 문제를 해결하고 코드의 보안성과 유지보수성을 향상시키는 데 큰 도움이 됩니다.

이 글에서는 Python-dotenv의 기본 개념부터 실제 프로젝트에 적용하는 방법까지 단계별로 알아보겠습니다. 간단한 예제와 함께 이 도구의 장점을 충분히 활용할 수 있는 방법을 소개해 드리겠습니다.

## 🔍 Python-dotenv란 무엇인가?

Python-dotenv는 `.env` 파일에서 환경 변수를 로드하고 관리하는 파이썬 패키지입니다. 이 라이브러리의 주요 목적은 애플리케이션 설정과 민감한 정보를 코드와 분리하여 관리하는 것입니다.

일반적으로 환경 변수는 운영체제 수준에서 설정되는데, Python-dotenv를 사용하면 프로젝트 디렉토리 내의 `.env` 파일에 이러한 변수들을 정의하고 파이썬 애플리케이션에서 쉽게 접근할 수 있습니다.

```python
# 운영체제 환경 변수 설정 없이도 .env 파일의 값을 가져올 수 있습니다
DATABASE_URL=postgresql://user:password@localhost/dbname
API_KEY=your_secret_api_key
DEBUG=True
```

## ⚙️ 설치 및 기본 사용법

Python-dotenv는 pip를 사용하여 쉽게 설치할 수 있습니다:

```bash
pip install python-dotenv
```

설치 후에는 다음과 같이 간단하게 사용할 수 있습니다:

## 🚀 Python-dotenv의 주요 기능과 활용법

### 1. 다양한 환경별 설정 관리 🌍

개발, 테스트, 프로덕션 등 다양한 환경에서 서로 다른 설정을 사용해야 할 때 Python-dotenv가 큰 도움이 됩니다. 각 환경별로 다른 `.env` 파일을 만들어 관리할 수 있습니다.

```
# .env.development
DEBUG=True
DATABASE_URL=sqlite:///dev.db

# .env.production
DEBUG=False
DATABASE_URL=postgresql://user:password@production-server/dbname
```

이렇게 환경별로 다른 파일을 로드하는 방법:

```python
import os
from dotenv import load_dotenv

# 환경에 따라 다른 .env 파일 로드
env_name = os.environ.get("ENV_NAME", "development")
load_dotenv(f".env.{env_name}")

# 이제 적절한 환경 변수가 로드됩니다
debug = os.environ.get("DEBUG")
```

### 2. 중첩된 변수 지원 ⛓️

Python-dotenv는 `.env` 파일 내에서 다른 변수를 참조하는 중첩 변수를 지원합니다:

```
# .env 파일
BASE_URL=https://api.example.com
API_VERSION=v1
API_ENDPOINT=${BASE_URL}/${API_VERSION}
```

이 기능을 사용하면 반복적인 설정을 줄이고 더 체계적으로 환경 변수를 관리할 수 있습니다.

### 3. 파이썬 프레임워크와의 통합 예제 🔄

Flask나 Django와 같은 웹 프레임워크에서 Python-dotenv를 활용하는 예제를 살펴보겠습니다:

## 🔒 보안과 버전 관리에서의 모범 사례

Python-dotenv를 사용할 때 몇 가지 중요한 보안 사항과 버전 관리 모범 사례가 있습니다:

### 민감한 정보 보호 ✅

- ✔️ `.env` 파일은 항상 `.gitignore`에 추가하여 버전 관리에서 제외
- ✔️ 대신 `.env.example` 파일을 만들어 필요한 변수 형식을 공유
- ✔️ 프로덕션 환경의 키는 안전한 비밀 저장소 또는 클라우드 서비스의 환경 변수 관리 도구 사용

```
# .gitignore 파일에 추가
.env
.env.*
!.env.example
```

```
# .env.example 파일 (실제 값 없이 형식만 공유)
DATABASE_URL=postgresql://user:password@host/dbname
API_KEY=your_api_key_here
DEBUG=True
```

## 🔧 실전 활용 사례: 웹 크롤링 프로젝트

개인적으로 웹 크롤링 프로젝트를 진행하면서 Python-dotenv를 처음 접하게 되었습니다. 여러 API 키와 데이터베이스 접속 정보를 관리해야 했는데, 이를 코드에 하드코딩하는 것은 보안상 위험했고, 팀원들과 공유하기도 어려웠습니다.

Python-dotenv를 도입한 후에는 다음과 같은 이점을 경험했습니다:

1. 개발자마다 자신의 API 키를 `.env` 파일에 별도로 관리할 수 있었습니다.
2. 코드 리뷰 과정에서 민감한 정보가 노출되지 않았습니다.
3. 테스트 환경과 프로덕션 환경을 쉽게 전환할 수 있었습니다.

간단한 웹 크롤링 예제로 Python-dotenv의 실제 사용법을 알아보겠습니다:

```python
# .env 파일 내용:
# API_KEY=your_api_key_here
# USER_AGENT=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
# PROXY_URL=http://proxy.example.com:8080
# MAX_REQUESTS=100
# SAVE_DIRECTORY=./data

# scraper.py
import os
import requests
from dotenv import load_dotenv, find_dotenv

# 자동으로 .env 파일 찾아 로드
load_dotenv(find_dotenv())

def get_api_data(endpoint):
    """API에서 데이터를 가져오는 함수"""
    headers = {
        'User-Agent': os.environ.get('USER_AGENT'),
        'Authorization': f"Bearer {os.environ.get('API_KEY')}"
    }
    
    proxies = None
    if os.environ.get('PROXY_URL'):
        proxies = {
            'http': os.environ.get('PROXY_URL'),
            'https': os.environ.get('PROXY_URL')
        }
    
    response = requests.get(
        endpoint,
        headers=headers,
        proxies=proxies
    )
    
    return response.json()

def save_data(data, filename):
    """데이터를 파일로 저장하는 함수"""
    save_dir = os.environ.get('SAVE_DIRECTORY', './data')
    
    # 디렉토리가 없으면 생성
    if not os.path.exists(save_dir):
        os.makedirs(save_dir)
        
    file_path = os.path.join(save_dir, filename)
    
    with open(file_path, 'w') as f:
        f.write(str(data))
    
    return file_path

if __name__ == "__main__":
    # 환경 변수 확인 및 기본값 설정
    max_requests = int(os.environ.get('MAX_REQUESTS', 10))
    
    print(f"Starting web scraping with {max_requests} max requests")
    print(f"Using API key: {os.environ.get('API_KEY')[:5]}...")
    
    # API에서 데이터 가져오기
    data = get_api_data("https://api.example.com/data")
    
    # 데이터 저장
    file_path = save_data(data, "scraped_data.json")
    print(f"Data saved to {file_path}")
```

## 🌟 Python-dotenv의 고급 기법

Python-dotenv를 더 효과적으로 활용할 수 있는 몇 가지 고급 기법을 알아보겠습니다:

### 1. 커맨드라인에서 환경 변수 오버라이드 ⚡

Python-dotenv는 `.env` 파일의 환경 변수보다 이미 설정된 OS 환경 변수를 우선시합니다. 이를 활용하면 특정 상황에서 임시로 환경 변수를 오버라이드할 수 있습니다:

```bash
# 일시적으로 다른 데이터베이스 사용
DATABASE_URL=sqlite:///test.db python app.py
```

### 2. .env 파일 위치 커스터마이징 ⚡

프로젝트 구조에 따라 `.env` 파일의 위치를 지정할 수 있습니다:

```python
from dotenv import load_dotenv
import os

# 특정 경로의 .env 파일 로드
load_dotenv("/path/to/project/.env")

# 또는 상대 경로 사용
load_dotenv(os.path.join(os.path.dirname(__file__), "..", ".env"))
```

### 3. 환경 변수 재정의 방지 ⚡

이미 설정된 환경 변수를 `.env` 파일로 덮어쓰지 않게 하려면 `override=False` 옵션을 사용합니다:

```python
from dotenv import load_dotenv

# 이미 존재하는 환경 변수는 유지
load_dotenv(override=False)
```

## 📊 마무리: Python-dotenv로 환경 변수 관리 시작하기

Python-dotenv는 간단하지만 강력한 도구로, 파이썬 프로젝트에서 환경 변수를 효율적으로 관리할 수 있게 해줍니다. 특히 민감한 정보를 코드에서 분리하고, 여러 개발 환경에서 일관된 설정을 유지하는 데 큰 도움이 됩니다.

이 글에서 소개한 기본 개념과 예제를 통해 Python-dotenv를 프로젝트에 도입하는 데 필요한 지식을 얻으셨기를 바랍니다. 소규모 개인 프로젝트부터 대규모 팀 프로젝트까지, Python-dotenv는 환경 변수 관리를 단순화하고 보안을 강화하는 데 기여할 것입니다.

프로젝트에 Python-dotenv를 도입할 때는 다음 단계를 따라보세요:

1. `pip install python-dotenv`로 설치
2. 프로젝트 루트에 `.env` 파일 생성
3. `.gitignore`에 `.env` 파일 추가
4. 예제 형식을 보여주는 `.env.example` 파일 생성
5. 코드에 `load_dotenv()`를 추가하여 환경 변수 로드

이러한 단계를 통해 코드의 유지보수성과 보안성을 한 단계 높일 수 있을 것입니다. 환경 변수 관리를 체계화하여 개발 과정이 더욱 순탭해지길 바랍니다!

Python Poetry를 사용한 파이썬 패키지 개발

2025-02-26T00:00:00.002+09:00

🚀 Poetry로 시작하는 프로페셔널 파이썬 패키지 개발: 실전 가이드 2024

안녕하세요! 지난번 PEP 517 포스팅에 많은 관심을 보내주셔서 감사합니다. 오늘은 많은 분들이 요청하신 Poetry를 사용한 실전 패키지 개발 가이드를 준비했습니다. 제가 실제 프로젝트에서 Poetry를 도입하면서 겪은 시행착오와 깨달음을 모두 담아보았습니다. 특히 처음 Poetry를 시작하시는 분들이 꼭 알아야 할 내용들을 중심으로 구성했으니, 끝까지 함께해 주세요!

🎯 Poetry가 필요한 순간: 실제 사례로 알아보기

저는 얼마 전 회사에서 데이터 분석 파이프라인을 개발하는 프로젝트를 맡았습니다. 팀원들과 함께 작업하면서 가장 큰 고민은 "서로 다른 환경에서 어떻게 동일한 결과를 보장할 수 있을까?"였죠. requirements.txt를 사용했지만, 버전 충돌과 환경 불일치 문제가 계속 발생했습니다.

Poetry를 도입한 후, 이런 문제들이 말끔히 해결되었습니다. 특히 인상적이었던 것은 새로운 팀원이 합류했을 때의 온보딩 시간이 대폭 줄었다는 거예요. 단순히 poetry install 한 줄로 모든 설정이 끝났으니까요!

💫 Poetry 설치와 프로젝트 시작하기

먼저 Poetry를 설치하는 방법부터 알아볼까요?

# Poetry 설치
curl -sSL https://install.python-poetry.org | python3 -

# 새 프로젝트 시작
poetry new my-awesome-package
cd my-awesome-package

# 기존 프로젝트에 Poetry 적용
poetry init

🛠️ Poetry의 핵심 기능 마스터하기

의존성 관리

[tool.poetry.dependencies]
python = "^3.8"
requests = "^2.28.0"
pandas = ">=1.4.0"

[tool.poetry.dev-dependencies]
pytest = "^7.1.1"
black = "^22.3.0"

가상환경 관리

# 가상환경 생성 및 활성화
poetry shell

# 의존성 설치
poetry install

# 새 패키지 추가
poetry add requests

📊 Poetry vs 다른 패키지 관리 도구 비교

기능	Poetry	Pip+venv	Pipenv
의존성 해결	⭐⭐⭐⭐⭐	⭐⭐	⭐⭐⭐
설치 속도	⭐⭐⭐⭐	⭐⭐⭐	⭐⭐
사용 편의성	⭐⭐⭐⭐⭐	⭐⭐	⭐⭐⭐
러닝커브	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐

✨ Poetry 실전 활용 팁

프로젝트 구조 최적화

✔️ src 레이아웃 사용하기

my-project/
├── pyproject.toml
├── README.md
├── src/
│   └── my_package/
│       ├── __init__.py
│       └── main.py
└── tests/
    └── test_main.py

패키지 배포 준비

✔️ 빌드 및 배포 명령어

# 패키지 빌드
poetry build

# PyPI에 배포
poetry publish

🚨 자주 발생하는 문제와 해결방법

✅ 문제 해결 체크리스트

✔️ 가상환경이 제대로 활성화되지 않을 때
```
poetry env list
poetry env remove python
poetry install
```
✔️ 의존성 충돌 발생 시
```
poetry update --lock
```

✔️ 패키지 퍼블리시 오류

poetry config pypi-token.pypi your-token

마치며

Poetry는 현대 파이썬 개발의 필수 도구로 자리잡았습니다. 특히 팀 프로젝트에서 일관된 개발 환경을 유지하고 싶다면, Poetry는 최고의 선택이 될 것입니다. 이 가이드가 여러분의 패키지 개발 여정에 도움이 되었기를 바랍니다.

궁금하신 점이나 공유하고 싶은 경험이 있다면 댓글로 남겨주세요! 😊

Python PEP 517로 알아보는 파이썬 패키징

2025-02-24T00:00:00.001+09:00

🚀 PEP 517로 알아보는 현대적 파이썬 패키징의 모든 것: 초보자도 이해하기 쉬운 가이드

안녕하세요! 오늘은 파이썬 개발자라면 한 번쯤 마주치게 되는 패키징 시스템, 특히 PEP 517에 대해 알아보려고 합니다. "setup.py가 뭐죠?", "왜 패키지 빌드가 자꾸 실패하나요?" 이런 고민을 해보신 적 있으신가요? 걱정 마세요. 오늘 포스팅을 통해 현대적인 파이썬 패키징의 세계로 여러분을 초대합니다.

🤔 왜 PEP 517이 필요했을까?

제가 처음 파이썬 패키징을 접했을 때의 이야기로 시작해볼까요? 몇 년 전, 저는 작은 유틸리티 라이브러리를 만들어 PyPI에 배포하려 했습니다. setup.py를 작성하고, 빌드하고... 그런데 이게 웬걸, 로컬에서는 잘 돌아가는데 다른 환경에서는 제대로 설치가 안 되는 거예요!

알고 보니 setup.py가 실행될 때 예상치 못한 코드가 실행되고 있었고, 시스템 파이썬 환경이 오염되는 문제도 있었습니다. 이런 문제들을 해결하기 위해 PEP 517이 등장했답니다.

📦 PEP 517이 가져온 혁신적인 변화

이제 패키징은 정말 간단해졌습니다! 예전에는 이런 복잡한 setup.py를 작성해야 했는데요:

from setuptools import setup, find_packages

setup(
    name="my-complex-package",
    version="0.1.0",
    packages=find_packages(),
    install_requires=[
        "requests>=2.22.0",
        "pandas>=1.0.0",
    ],
    # ... 더 많은 복잡한 설정들
)

PEP 517 덕분에 이제는 깔끔한 pyproject.toml로 대체할 수 있습니다:

[build-system]
requires = ["poetry-core>=1.0.0"]
build-backend = "poetry.core.masonry.api"

[tool.poetry]
name = "my-simple-package"
version = "0.1.0"
description = "A sample package"

🔍 주요 빌드 도구 비교

현대 파이썬 패키징 도구들을 한눈에 비교해볼까요?

도구	특징	추천 사용 사례
Poetry	의존성 관리가 깔끔함	실무 프로젝트
Flit	설정이 매우 간단함	작은 라이브러리
PDM	Poetry의 대안, 가볍고 빠름	중소규모 프로젝트
Hatch	최신 기능 지원	신규 프로젝트

⚡ PEP 517 도입의 장단점

✔️ 장점

환경 격리로 안전한 빌드1
명확한 의존성 관리
재현 가능한 빌드 환경
다양한 빌드 도구 선택 가능

❌ 단점

기존 프로젝트 마이그레이션 필요
새로운 도구 학습 곡선
일부 레거시 도구와의 호환성 이슈

🎯 실전 활용 팁

처음 PEP 517을 도입할 때 이런 팁들이 도움될 거예요:

✨ 새 프로젝트는 Poetry나 PDM으로 시작하기
✨ pyproject.toml을 버전 관리에 포함하기
✨ 빌드 의존성은 최소한으로 유지하기
✨ 가상환경 사용은 필수!

마치며

파이썬 패키징의 새로운 표준, PEP 517은 개발자들의 삶을 한결 편하게 만들어주고 있습니다. 특히 처음 파이썬 패키지를 만들어보시는 분들이라면, PEP 517 기반의 현대적인 도구들을 사용하시는 것을 추천드립니다.

Python ByteIO활용 하는 메모리 최적화 방법

2025-02-22T10:18:00.004+09:00

🚀 BytesIO로 메모리를 최적화하는 놀라운 방법: 파이썬 개발자를 위한 완벽 가이드

안녕하세요! 오늘은 파이썬 개발에서 메모리를 최대한 활용하는, BytesIO에 대해 자세히 알아보려고 합니다. 대용량 데이터 처리나 웹 애플리케이션 개발을 하다 보면 메모리 사용량이 늘어나 성능 저하를 경험하신 적 있으시죠? BytesIO를 활용하면 이런 문제를 효과적으로 해결할 수 있습니다. 특히 임시 파일 생성 없이 메모리 내에서 데이터를 효율적으로 다룰 수 있어, 개발자들 사이에서 "메모리 절약의 비법"으로 불리고 있죠.

💡 BytesIO란 무엇인가?

BytesIO는 Python의 io 모듈에서 제공하는 특별한 클래스입니다. 실제 파일처럼 동작하지만, 디스크에 파일을 만들지 않고 메모리 상에서 바이트 데이터를 처리할 수 있게 해주는 마법 같은 도구입니다.

🎯 실제 현장에서의 BytesIO 활용 사례

얼마 전 대규모 로그 처리 시스템을 개발하던 중 겪었던 재미있는 경험을 공유해드리겠습니다. 매일 수백 GB의 로그 데이터를 처리해야 했는데, 기존 방식으로는 임시 파일이 너무 많이 생성되어 디스크 공간이 부족해지는 문제가 발생했습니다.

# 기존 방식의 문제점
for log in large_logs:
    with open('temp_log.txt', 'w') as f:
        f.write(log)
    # 로그 처리
    # 임시 파일이 계속 생성되어 디스크 공간 부족!

BytesIO를 도입한 후:

from io import BytesIO

for log in large_logs:
    buffer = BytesIO()
    buffer.write(log.encode())
    buffer.seek(0)
    # 로그 처리
    buffer.close()
    # 임시 파일 없이 메모리에서 처리 완료!

📊 기존 방식 vs BytesIO 비교

특징	일반 파일 I/O	BytesIO
디스크 사용	높음	없음
처리 속도	느림	빠름
메모리 효율성	낮음	높음
자원 관리	복잡함	간단함

⚡ BytesIO 사용의 장단점

장점: ✔️ 디스크 I/O 없이 빠른 처리 가능 ✔️ 메모리 효율적 사용 ✔️ 임시 파일 생성 없음 ✔️ 멀티스레드 환경에서 안전

단점: ❌ 대용량 데이터 처리 시 메모리 관리 필요 ❌ 영구 저장이 필요한 경우 추가 작업 필요

🔍 마치며

BytesIO는 파이썬 개발자의 필수 도구입니다. 특히 웹 애플리케이션이나 데이터 처리 시스템을 개발할 때 메모리 최적화의 강력한 해결책이 될 수 있습니다. 지금까지 소개한 방법들을 적용하면서, 여러분의 프로젝트에 가장 적합한 방식을 찾아보시기 바랍니다.

Python Django Quick-start

2023-12-03T08:34:00.001+09:00

Django Quick-start

Django는 파이썬에서 사용할 수 있는 강력하고 유연한 웹 프레임워크입니다. Django를 설치하고 간단한 예제 프로젝트를 만드는 단계를 아래에 설명하겠습니다.

Django 설치

가상 환경 생성 및 활성화 (선택사항)

가상 환경을 사용하면 프로젝트별로 독립적인 파이썬 환경을 만들 수 있어, 여러 프로젝트에서 서로 다른 패키지 버전을 관리하기가 편리합니다.

python -m venv myvenv
  source myvenv/bin/activate  # Linux나 MacOS에서
  myvenv\Scripts\activate  # Windows에서

파이썬에 내장된 venv 모듈을 사용하여 새로운 가상 환경을 생성하고, 해당 환경을 활성화합니다. 활성화 후에는 해당 가상 환경 내에서 패키지 설치 및 관리가 이루어집니다.

Django 설치

pip를 사용하여 Django를 설치합니다.

pip install django

pip는 파이썬의 패키지 관리자로, 파이썬 라이브러리를 쉽게 설치하고 관리할 수 있게 해줍니다.

간단한 Django 프로젝트 생성

프로젝트 생성

django-admin 도구를 사용하여 새 프로젝트를 생성합니다.

django-admin startproject myproject
   cd myproject

Django 프로젝트의 기본 구조를 생성합니다. 프로젝트는 사이트의 전체 응용 프로그램을 포함합니다.django-admin 명령어를 사용해 새 프로젝트를 생성합니다. 이 명령어는 Django 프로젝트의 기본 폴더 구조와 파일을 설정합니다.

애플리케이션 생성

Django 프로젝트 내에서, 특정 기능을 담당하는 애플리케이션을 생성할 수 있습니다.

python manage.py startapp myapp

Django에서 애플리케이션은 프로젝트의 구성 요소로, 일련의 기능을 그룹화합니다. manage.py 스크립트와 startapp 명령어를 사용하여 새 애플리케이션을 생성합니다.

모델 정의

myapp/models.py 파일을 열고 간단한 모델을 정의합니다. 예를 들어, 간단한 Post 모델을 만들어봅시다.

from django.db import models

   class Post(models.Model):
       title = models.CharField(max_length=100)
       content = models.TextField()

       def __str__(self):
           return self.title

여기서는 데이터베이스 구조를 정의합니다. Django에서 모델은 데이터베이스의 테이블에 해당하며, 각 필드는 테이블의 컬럼입니다. models.py 파일에 클래스로 모델을 정의합니다. 이 클래스는 django.db.models.Model을 상속받아 Django ORM을 통해 데이터베이스와 상호작용합니다.

모델을 Admin 사이트에 등록

myapp/admin.py 파일을 열고 Post 모델을 등록합니다.

from django.contrib import admin
  from .models import Post

  admin.site.register(Post)

생성한 모델을 Django의 관리자 사이트에서 관리할 수 있도록 합니다. admin.py 파일에 모델을 등록합니다. 이렇게 하면 Django의 관리자 인터페이스에서 모델을 추가, 수정, 삭제할 수 있습니다.

데이터베이스 마이그레이션

모델 변경 사항을 데이터베이스에 적용하기 위해 마이그레이션을 실행합니다.

python manage.py makemigrations
  python manage.py migrate

모델의 변경사항을 데이터베이스에 적용합니다. makemigrations 명령어로 모델 변경 사항에 대한 마이그레이션 파일을 생성하고, migrate 명령어로 이를 데이터베이스에 적용합니다.

개발 서버 실행

Django의 내장 개발 서버를 실행합니다.

python manage.py runserver

이제 브라우저에서 http://127.0.0.1:8000/로 접속하면 Django 개발 서버가 실행 중인 것을 볼 수 있습니다.

runserver 명령어를 사용하여 개발 서버를 시작합니다. 이 서버는 개발 중에 애플리케이션을 테스트하기 위한 것입니다

Admin 사이트 접속

Django는 기본적으로 관리자 사이트를 제공합니다. 관리자 계정을 만들어 접속해봅시다.

python manage.py createsuperuser

관리자 계정을 만든 후, http://127.0.0.1:8000/admin로 접속하여 로그인할 수 있습니다. 여기서 Post 모델을 관리할 수 있습니다.

이러한 단계를 통해 기본적인 Django 프로젝트를 설정하고, 간단한 모델을 만들어 Admin 사이트에서 관리할 수 있게 되었습니다. Django는 이보다 훨씬 다양하고 복잡한 기능을 제공하므로, 웹 애플리케이션의 요구사항에 맞게 추가적인 개발을 진행할 수 있습니다.

Pytorch 설치 및 간단한 예제

2023-12-02T00:00:00.001+09:00

Pytorch 설치 및 간단한 예제

PyTorch는 딥 러닝 모델을 구축하고 학습하기 위한 인기 있는 라이브러리입니다. 여기 간단한 PyTorch 예제를 테스트 해봅니다. 이 예제에서는 기본적인 신경망을 구성하고, 간단한 데이터셋에 대해 이 신경망을 학습시키는 과정을 보여줍니다.

예제: 기본적인 신경망 학습

1. 필요한 라이브러리 임포트

import torch
import torch.nn as nn
import torch.optim as optim

여기서는 PyTorch 관련 주요 라이브러리를 임포트합니다.

torch: PyTorch의 기본 모듈로, 텐서 연산 및 기타 기본 기능을 제공합니다.
torch.nn: 신경망을 구축하는 데 필요한 모듈 및 클래스를 제공합니다.
torch.optim: 최적화 알고리즘(예: SGD, Adam)을 포함하고 있으며, 이를 통해 모델의 가중치를 업데이트합니다.

2. 신경망 모델 정의

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        # 입력층, 은닉층, 출력층 정의
        self.fc1 = nn.Linear(3, 3)  # 3개 입력 노드에서 3개 은닉 노드로
        self.fc2 = nn.Linear(3, 1)  # 3개 은닉 노드에서 1개 출력 노드로

    def forward(self, x):
        x = torch.relu(self.fc1(x))  # ReLU 활성화 함수 적용
        x = self.fc2(x)
        return x

# 모델 인스턴스 생성
net = Net()

사용자 정의 신경망 모델을 정의합니다. nn.Module을 상속받아서 모델을 정의하며, __init__ 메서드에서 모델의 레이어를 정의하고 forward 메서드에서 데이터가 모델을 통과할 때 수행할 계산을 정의합니다.

3. 손실 함수와 최적화 기법 선택

criterion = nn.MSELoss()  # 평균 제곱 오차 손실 함수
optimizer = optim.SGD(net.parameters(), lr=0.01)  # 확률적 경사 하강법 최적화

criterion: 모델의 출력과 실제 타겟 간의 차이를 계산하는 손실 함수를 정의합니다. 여기서는 평균 제곱 오차(MSE)를 사용합니다.
optimizer: 모델의 가중치를 업데이트하는 방법을 정의합니다. 여기서는 확률적 경사 하강법(SGD)과 학습률(Learning rate) 0.01을 사용합니다.

4. 학습 데이터 준비

# 간단한 예시 데이터셋
inputs = torch.tensor([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])
targets = torch.tensor([[1.0], [2.0], [3.0]])

이 단계에서는 학습에 사용할 입력 데이터(inputs)와 해당 타겟 레이블(targets)을 정의합니다. 이 데이터는 모델을 훈련시키는 데 사용됩니다.

5. 학습 과정

for epoch in range(500):  # 에포크 수 설정
    optimizer.zero_grad()   # 그래디언트 버퍼 초기화
    outputs = net(inputs)   # 입력에 대한 예측값 계산
    loss = criterion(outputs, targets)  # 손실 계산
    loss.backward()  # 역전파 수행
    optimizer.step()  # 가중치 업데이트

    if (epoch+1) % 50 == 0:  # 매 50 에포크마다 손실 출력
        print(f'Epoch [{epoch+1}/500], Loss: {loss.item():.4f}')

이 부분은 모델을 학습시키는 과정입니다. 각 에포크마다 다음의 단계를 수행합니다:

optimizer.zero_grad(): 이전 에포크에서 계산된 그래디언트를 초기화합니다.
outputs = net(inputs): 현재 모델을 사용하여 입력 데이터에 대한 예측을 수행합니다.
loss = criterion(outputs, targets): 손실 함수를 사용하여 예측과 실제 타겟 간의 손실을 계산합니다.
loss.backward(): 손실에 대한 그래디언트를 계산하기 위해 역전파를 수행합니다.
optimizer.step(): 계산된 그래디언트를 사용하여 모델의 가중치를 업데이트합니다.

추가로 에포크(epoch)의 의미는 머신 러닝, 특히 신경망 학습에서 전체 학습 데이터셋이 모델을 통과하는 한 번의 완전한 사이클을 의미합니다. 각 에포크에서 모델은 데이터셋의 모든 샘플을 한 번씩 처리하고, 이를 통해 가중치를 업데이트합니다. 모델의 성능을 향상시키기 위해 여러 에포크를 거치며 학습을 반복합니다.

이 예제는 PyTorch를 사용하여 간단한 신경망을 구성하고, 작은 데이터셋에 대해 신경망을 학습시키는 기본적인 프로세스를 보여줍니다. 실제로 복잡한 데이터셋과 문제에 적용할 때는 더 많은 레이어, 다양한 데이터 전처리 방법, 복잡한 최적화 알고리즘 등이 사용될 수 있습니다.

Chat GPT4 + DALL.E 3

2023-10-15T09:16:00.002+09:00

몇일전에 CHAT-GPT4 에 DALL-E3 가 integration되었다 (유로 사용자대상인듯)

이제 그림까지 그려주는 중,

나무 괴물을 그려달라고 했더니, 아래와 같이 그려줌,

별도의 프롬프트도 같이 제공한다. 간단한 말을 GPT가 디테일하게 설명을 만들고 DALL.E가 그림을 그리는 형태인듯하다.

앞으로 어떻게 될지 더 기대가 되는 상황으로 보인다.

저작권등은 어떻게 될지도 궁금하다. 이제는 어떤게 진짜인지 어떤게 가짜인지 분간을 하지 못하는 세상이 될것이고 어떤게 원본인지 구분하기도 쉽지 않을 듯 하다.

Python whisper open AI

2023-10-10T00:00:00.001+09:00

Whisper는 OpenAI에서 공개한 STT(Speech to Text) 이다

이게 용도가 여러가지 있겠지만, 영어 공부나 자막만들기, 스크립트 만들기, 회의록을 작성한다던가 할때 유용하다.

특히 언어를 배울때 특히, 영어 공부하는 용도로 굉장히 유용할 듯하다.
요즘 게다가 AI 번역기들이 성능이 어마 무시하기때문에 여기에 연동을 시키면,

언어적 장벽없이 이것저것을 할 수 있을 정도가 될듯하다.

보통 영어 뉴스 듣기 이런거를 하다가 막히는 게 뭐냐하면, 제대로 된 스크립트를 얻을 수가 없다는데 있다. 그래서, 이미 스크립트가 있는 경우는 쉽게 하지만, 최신 뉴스들에서는 어려운 점이 있는데, 이 Whisper를 사용하면 최신 뉴스에 대해서도 스크립트를 얻을 수 있기 때문에 굉장히 유용한점이 있다.

유튜브에서 다운받기

유튜브에서 파이썬으로 파일 내려 받는 방법은 다음과 같다.

먼저 pytube를 설치한다.

pip install pytube

그 다음에 아래와 같이 아래와 같이 수행할 경우, mp4 audio 형태로 다운을 받을 수가 있다.

import pytube

video = "https://www.youtube.com/watch?v=[유튜브 주소]"
data = pytube.YouTube(video)
# Converting and downloading as 'MP4' file
audio = data.streams.get_audio_only()
audio.download()

다음은 whisper를 설치한다.

pip install -U openai-whisper

이상태에서 whisper로 내려받은 mp4 파일을 text로 변환하면 된다. 영어는 거의 상당히 정확하게 text를 뽑아주니, 이를 잘 활용하면 유용할듯하다.다음은 whisper로 변환를하는 예제이다.

import whisper

model = whisper.load_model("base")
fname = "파일이름"
text = model.transcribe(f"{fname}.mp4")

with open(f'{fname}.txt','w') as wf:
  print (text['text'],file=wf)

다만 whisper runtime은 바로 나오지는 않고 시간이 많이 소모되기는 하다.

python pybind 11 c++ 과 연결하기

2023-09-23T15:15:00.001+09:00

pybind 라는 패키지가 있다.

c++과 연결하는 것인데, header only library이고,

아래 페이지가 해당 사이트이다.

https://github.com/pybind/pybind11

기존에는 ctype등을 이용해서 주로 python과 C를 연결했었는데,

이것은 C++과 다이렉트로 연결해주는 패키지이다.

이전에도 C++은 python과 바로 연결은 안되고, extern이라든지 c형태로 함수를 다시 재구성해서 노출시키는 방법들을 사용했었는데, 이것은 간단한 작성으로 이런것들을 가능하게 해주는듯하다.

이전에 Boost.Python이 그런역할을 해주는데, 부스트라는게 사실 좀 헤비한 면이 없지 않은지라 header only에 standard c++만 사용한 이 패키지도 나쁘지는 않은듯하다.

먼저 pybind설치

>> pip install pybind11

아래와 같이 c-code를 작성한다. example.cpp

#include <pybind11/pybind11.h>

int add(int i, int j) {
    return i + j;
}

namespace py = pybind11;

PYBIND11_MODULE(example, m) {
    m.doc() = "pybind11 example plugin"; // 모듈 독스트링 설정

    m.def("add", &add, "A function which adds two numbers"); // 함수 바인딩
}

이것을 다음과 같이 컴파일 header-only이기때문에 python3 -m pybind11 --includes 이 명령어를 통해서 관련 헤더가 추가된다.


c++ -O3 -Wall -shared -std=c++11 -fPIC `python3 -m pybind11 --includes` example.cpp -o example`python3-config --extension-suffix`

아래와 같이 python 에서 불러들이면 끝

import example

result = example.add(1, 2)
print(result)  
# 출력: 3

위와 같이 간단하게 python에서 c-code를 실행시키는 코드를 만들수 있다.

NumPy Array 생성 함수

2023-09-08T00:30:00.000+09:00

NumPy에서는 다양한 방법으로 배열을 생성할 수 있는 함수들을 제공합니다. 이러한 함수들에 대해서 정리해보았슨비다.

NumPy Array 생성 함수

함수	설명	예제	결과
`np.array`	주어진 데이터로부터 배열을 생성	`np.array([1, 2, 3])`	`[1, 2, 3]`
`np.zeros`	모든 원소가 0인 배열 생성	`np.zeros((2, 3))`	`[[0., 0., 0.], [0., 0., 0.]]`
`np.ones`	모든 원소가 1인 배열 생성	`np.ones((3, 2))`	`[[1., 1.], [1., 1.], [1., 1.]]`
`np.empty`	초기화되지 않은 배열 생성	`np.empty((2, 2))`	랜덤 값
`np.arange`	주어진 범위와 간격의 배열 생성	`np.arange(0, 10, 2)`	`[0, 2, 4, 6, 8]`
`np.linspace`	선형 간격의 배열 생성	`np.linspace(0, 1, 5)`	`[0., 0.25, 0.5, 0.75, 1.]`
`np.logspace`	로그 간격의 배열 생성	`np.logspace(0, 3, 4)`	`[1., 10., 100., 1000.]`
`np.eye`	단위 행렬 생성	`np.eye(3)`	`[[1., 0., 0.], [0., 1., 0.], [0., 0., 1.]]`
`np.random.rand`	랜덤한 원소를 가진 배열 생성	`np.random.rand(2, 2)`	랜덤 값 (0~1 사이)

예제 코드

import numpy as np

# np.array 예제
a = np.array([1, 2, 3])
print("np.array:", a)

# np.zeros 예제
b = np.zeros((2, 3))
print("np.zeros:", b)

# np.ones 예제
c = np.ones((3, 2))
print("np.ones:", c)

# np.empty 예제
d = np.empty((2, 2))
print("np.empty:", d)

# np.arange 예제
e = np.arange(0, 10, 2)
print("np.arange:", e)

# np.linspace 예제
f = np.linspace(0, 1, 5)
print("np.linspace:", f)

# np.logspace 예제
g = np.logspace(0, 3, 4)
print("np.logspace:", g)

# np.eye 예제
h = np.eye(3)
print("np.eye:", h)

# np.random.rand 예제
i = np.random.rand(2, 2)
print("np.random.rand:", i)

이러한 NumPy 함수들을 사용하여 다양한 형태와 속성을 가진 배열을 쉽게 생성할 수 있습니다. 각 함수가 어떤 상황에 유용한지를 이해하면, 이부분 사용하는데 문제없을 듯 합니다.

NumPy Broadcasting

2023-09-06T00:30:00.006+09:00

Broadcasting은 NumPy 라이브러리에서 다른 형태(shape)의 배열 간에도 산술 연산이 가능하게 해주는 기능입니다. 일반적으로, NumPy에서 배열 간 연산은 배열의 형태가 동일해야 하는데, Broadcasting은 이러한 제약을 완화해줍니다.

기본 규칙

Broadcasting은 다음과 같은 규칙을 따릅니다:

두 배열의 차원 수가 다르면, 더 작은 차원을 가진 배열의 형태(shape) 앞에 1을 추가합니다.
두 배열이 어떤 차원에서도 크기가 동일하거나, 한쪽이 1이라면 호환되는 것으로 간주됩니다.
어느 한 차원에서도 크기가 일치하지 않고 1도 아니라면 오류가 발생합니다.

이것 말은 어려운데 실제 동작하는것보면 쉽게 이해할 수 있습니다.

예제

예제 1: 벡터와 스칼라 덧셈

import numpy as np

a = np.array([1, 2, 3])
b = 2

result = a + b
# result: array([3, 4, 5])

예제 2: 2차원 배열과 1차원 배열 덧셈

A = np.array([[1, 2], [3, 4], [5, 6]])
B = np.array([1, 2])

result = A + B
# result: array([[2, 4], [4, 6], [6, 8]])

장점과 단점

장점

간결성: 더 적은 메모리와 코드로 같은 연산을 수행할 수 있습니다.
성능: Broadcasting을 이용한 연산은 내부적으로 최적화되어 있어 빠른 연산 속도를 제공합니다.

단점

복잡성: Broadcasting 규칙을 이해하지 못하면 예상치 못한 결과를 얻을 수 있습니다.
디버깅: 문제가 발생했을 때, 디버깅이 상대적으로 어렵습니다.

결론

NumPy의 Broadcasting 기능은 배열 연산을 더 간편하고 빠르게 해주지만, 사용에 앞서 해당 메커니즘을 잘 이해하는 것이 중요합니다. 잘 활용하면 다양한 수학적 문제와 데이터 분석 작업에서 큰 이점을 볼 수 있습니다.

리눅스에서 pdf 파일 합치는 방법

2023-07-23T20:31:00.006+09:00

우분투에서 다음 방법으로
pdftk 를 설치한다

sudo apt-get install pdftk

Linux에서 PDF 파일을 합치려면, pdftk라는 명령어 도구를 활용하면 된다. pdftk는 PDF 문서를 합치는 작업부터 페이지 회전, 삭제, 메타데이터 수정 등 다양한 기능을 제공한다.

만약 pdftk가 설치되어 있지 않다면, 아래의 명령어로 설치하면 된다.

Ubuntu 혹은 Debian 기반의 시스템인 경우:

> sudo apt-get install pdftk

설치가 완료되면, pdftk 명령어를 활용해 PDF 파일을 합칠 수 있다. 예를 들어, file1.pdf와 file2.pdf 두 파일을 output.pdf라는 하나의 파일로 합치려면 아래와 같이 실행하면 된다.

> pdftk file1.pdf file2.pdf cat output output.pdf

여기서 cat 옵션은 입력된 파일들을 순서대로 연결해 하나의 출력 파일을 생성한다는 것을 의미한다. output 키워드 다음에는 생성될 파일의 이름을 지정하면 된다.

또한 pdftk는 페이지 순서 변경이나 특정 페이지만 추출하는 등의 다양한 고급 기능도 제공한다. 자세한 내용은 man pdftk 명령어를 통해 pdftk의 매뉴얼 페이지를 확인하면 된다.

파이썬 math (nextafter, ulp, gcd, lcm) (3.9이상)

2022-12-11T00:00:00.003+09:00

math update

파이썬 3.9 math함수들이 업데이트 되었습니다 이번에는 이 변경점들에 대해서 알아보도록 하겠습니다.

nextafter, ulp

파이썬 3.9에 추가된 이 함수는 부동소수점에서 나타낼 수 있는 가장 작은 다음 값을 찾아줍니다. (Java에도 동일한 이름의 함수가 존재합니다.)

진정한 실수(floating point)에서는 두 수사이에 무한대 개수의 값이 있지만, 실제 컴퓨터는 이것은 floating point를 표현하는 방법이 IEEE-754 기반으로 표현하기때문에, 유한개의 숫자가 존재하고, 이중 가장 근접한 값을 찾아주는 함수입니다. 파이썬 뿐 아니라 대부분의 언어들이 IEEE-754로 floating point를 처리하기 때문에 비슷한 부분이 있습니다.

마찬가지로 ulp함수도, 유효숫자기반의 가장 작은 숫자, 즉 오차범위을 알려줍니다. y를 향한 x 다음의 부동 소수점 값을 반환합니다. x가 y와 같으면, y를 반환합니다.

다음 예제를 참고 바랍니다 아래와 같이 특정 숫자의 가장 작게 차이는

from math import nextafter, ulp

print (nextafter(2,3)) # 2와 3사이의 next floating point value
# 2.0000000000000004

print (nextafter(6,10))
# 6.000000000000001

print (nextafter(0,9))
#5e-324
print (nextafter(9,0))
#8.999999999999998

ulp함수를 찍어보면,

print (ulp(3))
print (ulp(3.14159265))
# 4.440892098500626e-16
# 4.440892098500626e-16
print (ulp(100_000_000_000_000_000))
print (ulp(10_000_000_000_000_000))
print (ulp(10_000_000_000_000))
print (ulp(10_000_000_000))

# 16.0
# 2.0
# 0.001953125
# 1.9073486328125e-06

ulp함수를 찍어보면, 큰 수일 수록 한틱이 움직일때 같이 움직이는 ulp숫자가 커지는 것을 확인할 수가 있습니다. 반대로 수가 작으면 작을 수록 유효한 한틱이 작아지기때문에 그 range만큼 같이 움직이는 것을 볼 수가 있습니다.

이 함수는 정밀도가 높은 연산을 할 때, 이때의 오차 범위를 계산할 수 있습니다

gcd(최대공약수), lcm(최소공배수)

기존 파이썬 버전의 최대공약수, 최소공배수를 구하는 gcd, lcm 함수는 인자를 2개밖에 받지 못하였는데, 3.9버전 부터는 인자가 여러개 되어도 문제 없이 동작합니다.

from math import lcm, gcd

print (gcd(12,60,84)) # 12
print (gcd(24,18,12)) # 6
print (lcm(3,4,5)) # 60 

위와 같이 math함수 변경점에 대해서 알아 보았습니다.

Numpy Array Join (hstack , vstack)

2022-12-04T00:00:00.002+09:00

이번에는 Array Join은 Array를 붙이는 방법을 설명합니다. NumPy에서는 스택 개념을 사용하여 이와 관련하여 여러 기능을 제공합니다. vstack과 hstack이 사용됩니다 아럐 예제를 보면 간단합니다. vstack은 위아래로 쌓습니다. hstack의 경우는 좌우로 확장을 해갑니다.

import numpy as np

A = np.ones((3, 3))
B = np.zeros((3, 3))
print (np.vstack((A,B)))
print (np.hstack((A,B)))
'''
# vstack
[[1. 1. 1.]
 [1. 1. 1.]
 [1. 1. 1.]
 [0. 0. 0.]
 [0. 0. 0.]
 [0. 0. 0.]]

# hstack
[[1. 1. 1. 0. 0. 0.]
 [1. 1. 1. 0. 0. 0.]
 [1. 1. 1. 0. 0. 0.]]
'''

여러 배열 사이에서 쌓기를 수행하는 두 가지 다른 함수는 column_stack() 및 row_stack()입니다. 이러한 기능은 이전의 두 기능과 다르게 작동합니다. 1차원 배열을 column으로 쌓을지 row방향으로 쌓을지를 정합니다.

import numpy as np

a = np.array([0, 1, 2])
b = np.array([3, 4, 5])
c = np.array([6, 7, 8])
print( np.column_stack((a, b, c)) )
print( np.row_stack((a, b, c)) )
'''
# column_stack
[[0 3 6]
 [1 4 7]
 [2 5 8]]

#row_stack
[[0 1 2]
 [3 4 5]
 [6 7 8]]
'''

이상으로 Numpy array join에 대해서 알아보았습니다.

파이썬 딕셔너리 merge (|) 연산자 추가 (3.9이상)

2022-11-28T00:00:00.010+09:00

유니온 연산자(|)

딕셔너리에 | (유니온 연산자)를 사용할 수 있습니다. 값을 병합합니다. 기존의 값이 있으면 새 값으로 업데이트 합니다 x.update(y) 의 간단한 버전입니다.

x = {"k1": "v1x", "k2": "v2x"}
y = {"k2": "v2y", "k3": "v3y"}
print (x | y)
# {'k1': 'v1x', 'k2': 'v2y', 'k3': 'v3y'}
print (y | x)
# {'k1': 'v1x', 'k2': 'v2x', 'k3': 'v3y'}

여기서 주의 깊게 볼 건 k2값이 순서에 따라 다른 부분 입니다. 뒤에 있는 값이 Update되는 값이라 최신이 됩니다.

이 기능은 파이썬 3.9에서부터 지원합니다.

Python venv(virtual Environment) 오프라인 설치

2022-11-23T23:20:00.004+09:00

Venv

virtual 환경은 보통 파이썬 패키지등을 설치하다 보면, 가끔가다가 환경이 꼬이는 경우들이 가끔가다 발생합니다.

특히 pip같은 걸로 관리하는 경우는 그래도 좀 수월하지만, 이것 저것 패키지 dependency가 꼬이는 경우들이 종종 있습니다. 이런 것들을 방지 하기 위해서, venv를 사용합니다,

이전 python2에는 virtualenv라든지 third-party 지원을 사용했다면, 현재는 python 3.3 부터 venv가 기본 패키지 안으로 들어옴에 따라 그냥 venv를 사용하면 됩니다.

venv 실행

실행법은 아래와 같이 실행하면 됩니다.

>> python -m venv [virtualenv_name]

으로 실행하면 됩니다.

여기서는 env1 로 만들어 보겠습니다. 리눅스 기준으로는 아래와 같이 실행합니다.

>> python -m venv env1
>> cd env 
>> source ./bin/activate
(env1) >> 

위와 같이 가상환경이 준비된 것을 확인할 수 있습니다. 빠져나올때는 deactive 를 실행시키면 빠져나올 수 있습니다.

패키지 확인

다음과 같이 pip list 또는 pip freeze 를 치면 현재 깔린 패키지들을 확인할 수 있습니다 pip list의 경우는 pip나 setuptools같은 기본적으로 깔려 있는 패키지까지 출력을 해주고,

>> pip list  
Package    Version
---------- -------
pip        22.0.2
setuptools 59.6.0

패키지 설치

다음 명령어로는 깔려있는 패키지들을 requirement.txt 파일에 저장을 합니다.

(env1)>> pip freeze > requirement.txt

-r 또는 --requirement 옵션을 사용하면, requirement.txt 파일에 있는 패키지들을 설치할 수 있습니다.

(env1)>> pip install -r requirement.txt

또 예제로, 아래와 같이 django 패키지를 설치할 수 있습니다.

(env1)>> pip install django 
(env1)>> pip freeze
asgiref==3.5.2
Django==4.1.3
sqlparse==0.4.3

패키지 삭제

pip uninstall 명령어를 이용하면 관련 패키지를 삭제할 수 있습니다. 즉, 다음과 같이 하면 관련 패키지들을 삭제할 수 있습니다.

(env1)>> pip freeze > requirement.txt
(env1)>> pip uninstall -r requirement.txt

offline 설치

그리고 사내망 같은 부분은 분리되어 있는 경우들이 있기때문에 offline 설치 방법이 필요합니다.

패키지 다운로드

먼저 외부망에서 pip download 명령어를 이용하면 패키지를 다운로드 받을 수 있습니다. 아래와 같이 django 패키지를 다운로드 받아 봅니다 whl 파일들이 다운된 것을 확인할 수 있습니다.

(env1)>> pip download django 
(env1)>> ls
Django-4.1.3-py3-none-any.whl
asgiref-3.5.2-py3-none-any.whl
sqlparse-0.4.3-py3-none-any.whl

패키지 로컬 설치

이 whl 파일들을 이용해서 다음 명령어를 사용하면 패키지들이 설치가 됩니다 -f 옵션은 whl 파일이 있는 위치를 나타냅니다.

(env1)>> pip install --no-index -f . django

마무리하며

이글을 처음 작성할 때는 python2 시절이었습니다. 그 당시에는 virtualenv, venv 와 같이 비슷한 이름의 패키지가 있어서, 헷갈리는 부분도 많았는데, 현재는 대부분 python3으로 대세가 넘어왔기 때문에 venv기준으로 내용을 정리 해 보았습니다.

파이썬 removeprefix, removesuffix 와 lstrip, rstrip (3.9이상)

2022-11-14T08:00:00.011+09:00

removeprefix, removefix

파이썬 3.9에서 removeprefix와 removeprefix 함수가 추가 되었습니다. 얼핏보면 이 함수들은 기존의 lstrip과 rstrip함수와 달라보이지는 않습니다.

그런데 이 strip함수는 하나만 잘라내는게 아니라 전부 잘라냅니다. 아래의 예제를 보시면 이해가 쉽습니다.

s = 'xyzxyzxyzxyz123123'
print (s.lstrip('xyz'))
print (s.removeprefix('xyz'))

print (s.rstrip('123'))
print (s.removesuffix('123'))

# 123123123
# xyzxyzxyz123123123

# xyzxyzxyzxyz
# xyzxyzxyzxyz123123

strip함수는 1번만 잘라내는게 아니라 전부 잘라내기 때문에 의도와는 다르게 쓰일 수 있습니다. 그렇다면 파이썬 3.9이하에서는 어떻게 할까요?

startswith와 endswith함수로 확인하고, [:] 함수를 이용해서 해당 부분만 잘라냅니다. 조금 번거롭지만 위 함수들을 이용하면, 동일한 효과를 얻을 수가 있습니다.

def removeprefix_alt(text,prefix):
    if text.startswith(prefix):
        text_new = text[len(prefix):]
    else:
        text_new = text
    return text_new

def removesuffix_alt(text,suffix):
    if text.startswith(suffix):
        text_new = text[:-len(suffix)]
    else:
        text_new = text
    return text_new    

s = 'xyzxyzxyzxyz123123123'
print (s.lstrip('xyz'))
print (removeprefix_alt(s,'xyz'))
print (s.rstrip('123'))
print (removesuffix_alt(s,'xyz'))

# prefix
# 123123123
# xyzxyzxyz123123123

# suffix
# xyzxyzxyzxyz
# xyzxyzxyzxyz123123

이상으로 파이썬 3.9에 추가된 removeprefix, removesuffix함수들을 정리 해 보았습니다

파이썬 2차원 배열 생성 및 초기화

2022-11-02T00:00:00.001+09:00

파이썬에서 2차원 배열이 필요할 때가 있습니다. 그런데 2차원 배열은 리스트 컴프리헨션등으로 쉽게 만들어 낼 수가 있습니다. 다만, 여기서 하나 주의할 점이 있어서 그 부분만 집고 넘어가려고 합니다.

먼저, 2차원 배열은 화면에 그냥 뿌리면 보기 불편하니, 아래와 같이 2차원 배열을 뿌리는 함수를 먼저 만듭니다.

def print_2d(a):
    for row in a:
        for c in row:
            print (c,end= ' ')
        print ('')

2중 for문으로 2중 리스트 선언

ROW, COL = 4, 5
arr = [[0 for c in range(COL)] for row in range(ROW)]
# 5x4 리스트를 생성합니다.  = (4열 5행) 
arr[2][3] = 9 # (3, 2)에 값을 변경합니다. 
print_2d(arr)
'''
0 0 0 0 0 
0 0 0 0 0 
0 0 0 9 0 
0 0 0 0 0 
'''

2차원 배열 access

# arr[row][col]
arr[2][3] = 9 

위와 같이 row가 앞쪽에 위치합니다. 이 부분도 은근히 헷갈릴 수 있으니 주의합시다.

*연산자와 for문으로 리스트 선언

arr = [[0]*5 for i in range(4)]
arr[2][3] = 9
print_2d(arr)
'''
0 0 0 0 0 
0 0 0 0 0 
0 0 0 9 0 
0 0 0 0 0 
'''

연산자 *로 2중 리스트 선언

arr = [[0]*5 ]*4
arr[2][3] = 9
print_2d(arr)
'''
0 0 0 9 0 
0 0 0 9 0 
0 0 0 9 0 
0 0 0 9 0 
'''

이 방법은 주의해야합니다. 위의 두 방법 말고 이 방법으로 배열을 선언하게 되면, row를 새로 생성하는것이 아니라. 단순히 요소를 복사하게 되는 얕은복사 (shallow copy)가 발생합니다. 즉, row의 첫번째 값의 링크로 만들어진 것이라 저런식으로 만들게 되면 어떤 값이든 바꿀때 마다 값이 같이 변경됩니다. 위 예제에서도 (3,2)를 변경했는데 모든 row가 같이 바뀐것을 확인할 수 가 있습니다.

이러한 방식으로 선언 뒤에, 값을 변경하게되면 다른 원소들도 값이 변경되는 현상이 발생하게 되므로 이를 인지하고, 후에 대입연산자를 통해 값을 변경하지 않는 경우에만 사용하는것이 유리합니다. 그런데 위 방법은 그냥 쓰지 않는것을 추천합니다

a = [0]*10
a[3] = 8
print(a)
# [0, 0, 0, 8, 0, 0, 0, 0, 0, 0]

물론 1차원 배열을 생성할 때는 이런 shallow copy문제는 없습니다.

파이썬 textwrap (indent, 정렬, 줄바꿈)

2022-10-26T00:00:00.001+09:00

이 textwrap 모듈은 텍스트를 핸들링할때 indentation을 넣거나 빼거나, 글자수를 터미널 너비에 맞춘다거나 할때 유용합니다. 즉, pretty-print가 필요한 경우, 텍스트를 핸들링할때 유용합니다. 많은 텍스트 편집기 및 워드 프로세서에서 볼 수 있는 단락 줄 바꿈 또는 채우기 기능과 유사한 프로그래밍 기능을 제공합니다.

Filling Paragraphs

fill 함수에 대해 알아봅니다 fill() 함수는 텍스트를 width에 맞게 잘라주는 역할을 합니다.

# 실제 함수원형은 좀더 길지만, 아래 형태로 확인합니다
textwrap.fill(text: str, width: int) -> str 

import textwrap

text = '''
    I have two sisters who have made their careers in engineering. My first sister has
    a doctorate in civil engineering. She works in Australia designing mine tunnels for
    a raw materials company. My second sister earned a master's degree in electrical
    engineering. She works in the United States designing communication equipment.
    In summary, my two sisters both have graduate degrees in engineering and have
    careers in engineering.
'''

print (textwrap.fill(text,width=50))
'''
 I have two sisters who have made their careers in
engineering. My first sister has a doctorate in
civil engineering. She works in Australia
designing mine tunnels for a raw materials
company. My second sister earned a master's degree
in electrical engineering. She works in the United
States designing communication equipment. In
summary, my two sisters both have graduate degrees
in engineering and have careers in engineering.
'''

이제 텍스트가 왼쪽 정렬되지만 첫 번째 줄은 들여쓰기를 유지하고 각 후속 줄의 앞부터 공백이 단락에 포함됩니다.

textwrap 모듈은 예쁜 인쇄가 필요한 상황에서 출력할 텍스트의 형식을 지정하는 데 사용할 수 있습니다. 프로그래밍 방식을 제공합니다. 많은 텍스트 편집기에서 볼 수 있는 단락 줄 바꿈 또는 채우기 기능과 유사한 기능입니다.

Indentation 제거

이전 예제에는 출력에 포함된 탭과 추가 공백이 포함되어 있으므로 형식이 매우 명확하지 않습니다. 샘플 텍스트의 모든 줄에서 공통 공백 접두사를 제거하면 더 나은 결과를 얻을 수 있으며 코드 서식 자체를 제거하면서 Python 코드에서 직접 독스트링 또는 포함된 여러 줄 문자열을 사용할 수 있습니다. 샘플 문자열에는 이 기능을 설명하기 위해 도입된 인위적인 들여쓰기 수준이 있습니다. dedent를 사용하면 공백을 제거해 줍니다.

'''
I have two sisters who have made their careers in engineering. My first sister has
a doctorate in civil engineering. She works in Australia designing mine tunnels for
a raw materials company. My second sister earned a master's degree in electrical
engineering. She works in the United States designing communication equipment.
In summary, my two sisters both have graduate degrees in engineering and have
careers in engineering.
'''

아래 예제도 참고 합니다. indent가 들쭉날쭉 한 경우에도 이 공백을 댕겨줍니다. 다만, 실제 paragraph상의 indent를 제거하지 않습니다.

text2= '''
        I have two sisters who have made their careers in engineering. My first sister has
    a doctorate in civil engineering. She works in Australia designing mine tunnels for
    a raw materials company. My second sister earned a master's degree in electrical
    engineering. She works in the United States designing communication equipment.
        In summary, my two sisters both have graduate degrees in engineering and have
    careers in engineering.
'''

print (textwrap.dedent(text2))

'''
    I have two sisters who have made their careers in engineering. My first sister has
a doctorate in civil engineering. She works in Australia designing mine tunnels for
a raw materials company. My second sister earned a master's degree in electrical
engineering. She works in the United States designing communication equipment.
    In summary, my two sisters both have graduate degrees in engineering and have
careers in engineering.
'''

Dedent 와 Fill 함수 조합

다음은 dedent된 텍스트를 fill로 맞추어 봅니다. 위의 Text2 예제를 그대로 씁니다. dedent로 공백을 걷어내고, strip() 으로 좌우 여백을 완전히 잘라줍니다. 그리고 fill을 사용하면 width에 맞게 다시 text가 정렬이 됩니다.

text3= textwrap.dedent(text2).strip()
text4= textwrap.fill(text3,width=60)
print (text4)
'''
I have two sisters who have made their careers in
engineering. My first sister has a doctorate in civil
engineering. She works in Australia designing mine tunnels
for a raw materials company. My second sister earned a
master's degree in electrical engineering. She works in the
United States designing communication equipment.     In
summary, my two sisters both have graduate degrees in
engineering and have careers in engineering.
'''

Indents

때로는 문장 전체에 앞에 공백등을 넣어야 할때가 있습니다. 원래 문장에 4칸의 공백을 넣어봅니다.

text5='''
I have two sisters who have made their careers in
engineering. My first sister has a doctorate in civil
engineering. She works in Australia designing mine tunnels
for a raw materials company. My second sister earned a
master's degree in electrical engineering. She works in the
United States designing communication equipment.     In
summary, my two sisters both have graduate degrees in
engineering and have careers in engineering.
'''
print (textwrap.indent(text5,' '*4))

'''
    I have two sisters who have made their careers in
    engineering. My first sister has a doctorate in civil
    engineering. She works in Australia designing mine tunnels
    for a raw materials company. My second sister earned a
    master's degree in electrical engineering. She works in the
    United States designing communication equipment.     In
    summary, my two sisters both have graduate degrees in
    engineering and have careers in engineering.
'''

위와 같이 indent가 잘 삽입되었습니다.

이상으로 textwrap이 잘 동작 하는것을 확인해보았습니다. 이 textwrap은 종종 텍스트를 화면에 안잘리고 pretty-print하는 용도로 사용합니다.

파이썬 정수 나눗셈 (/, // 차이)

2022-10-24T00:00:00.001+09:00

이건 버젼별로 살짝 다른 부분이 있습니다. 파이썬 2.7에서 다음과 같이 나누기를 하면 나눗셈 연산이 버림을 기본으로 하는 정수 연산으로 수행이 됩니다. 정수끼리 나눗셈을 하면 정수를 리턴하고 , 실수가 중간에 끼어있으면 실수값이 리턴됩니다.

이게 C와 비슷한데 정수끼리 나눗셈을 할 경우 기본적으로 정수로 가정해서 연산을 하고는 합니다. 실수형을 리턴받기 위해서는 아래와 같이 하나를 실수로 변경(2 -> 2.0)하면 결과값이 실수가 리턴이 됩니다.

# python 2.7 
4 / 2 
>> 2 # int
4 / 2.0
>> 2.0 # float

파이썬 3에서는 / 연산은 float 을 리턴합니다. 즉, 나눗셈연산이 기본적으로 실수연산으로 전환이 됩니다. 정수연산을 하기위해서는 // 을 사용해서 정수연산을 수행합니다.

# python 3
4 / 2 
>> 2.0 # float
4 // 2
>> 2 # int

/ 연산자를 floating으로 전환 한다해도 정수연산이 필요한 경우가 여전히 존재하므로, 이때는 //로 정수 나눗셈연산으로 처리를 할 수가 있습니다.

이걸 왜 구분해야하는냐 이 float 연산과 int 연산은 속도 차이가 좀 있습니다. 보통은 나눗셈연산이 오래 걸리기때문에, 정수로 처리할 수 있는 것들은 정수로 처리하는게 수행시간 측면에서 유리합니다 그리고 이런 나눗셈연산자는 % 와 같은 나머지 연산자와 보통 정수와 같이 핸들링하는 경우가 많습니다.

그래서 이 차이를 알고 사용하는 것이 좀더 최적화된 구조를 만드는데 도움이 되리라 생각합니다.

이번에는 정수 나눗셈연산에 정리해보았습니다. 이부분이 실제로 작성하다보면 종종 놓치는 부분이기도 하니, 이 정수 나눗셈이 버젼별로 다름을 살짝 인지하고 정수 나눗셈이랑 실수 나눗셈을 구분해서 사용하면 좋을듯합니다.

파이썬 zfill 문자열 앞에 0 채우기 (이진수 만들기)

2022-10-21T00:00:00.001+09:00

이 파이썬의 zfill함수는 이진수를 만들때 유용합니다. 뿐만 아니라, 전화번호나 날짜등을 표기할때도 유용합니다. 이번에는 주로 바이너리를 표현하는 방법에 관련해서적어 보려고 합니다.

먼저 8을 이진수로 변경해봅니다.

print (bin(8))
# 0b1000

앞의 0b가 거슬립니다. 문자열이니 2번째 다음부터 가져오면 이진수만 떼어내 봅시다.

print (bin(8)[2:])
# 1000

이번엔 8이외에 여러 숫자들을 이진수로 바꾸어 봅니다.

print (bin(0)[2:])
print (bin(1)[2:])
print (bin(2)[2:])
print (bin(3)[2:])
print (bin(6)[2:])
print (bin(7)[2:])
print (bin(8)[2:])

# 0
# 1
# 10
# 11
# 110
# 111
# 1000

이진수가 만들어지지만, 뭔가 좀 비뚤빼뚤합니다. 이때 자리를 맞추기 위해서 zfill함수를 사용합니다.

print (bin(0)[2:].zfill(4))
print (bin(1)[2:].zfill(4))
print (bin(2)[2:].zfill(4))
print (bin(3)[2:].zfill(4))
print (bin(6)[2:].zfill(4))
print (bin(7)[2:].zfill(4))
print (bin(8)[2:].zfill(4))

# 0000
# 0001
# 0010
# 0011
# 0110
# 0111
# 1000

인제 뭔가 자리수가 맞는것 같습니다. 이렇게 표현하는 것이 뭔가 줄이 맞으니, 가독성면에서도 좋습니다 이 zfill 함수는 위와 같이 N자리 보다 작은 스트링을 앞쪽에 0을 붙여서 채웁니다.

이 방법은 위와 같이 파이썬으로 이진수 표현할 때 유용합니다.

파이썬 collections Counter

2022-10-20T00:00:00.000+09:00

Collection의 Counter 함수는 array나 list에 해당 값이 얼마나 나왔는지 세는 함수입니다.

이 Counter object는 사실 dictionary를 inherit 한것이라,, dictionary형태를 지니고 있습니다

아래는 예제입니다.

from collections import Counter
sample = Counter([1,2,3,4,2,3,4,1,2,3])
print (sample[4])  # 2

위 결과는 4의 개수를 센 값이 나옵니다.

Counter는 실제 excel같은데서 많이들 사용하는 함수와 같은 유형이라, 생각보다 유용한 경우가 많이 있습니다.

counter 함수를 사용해 리스트의 개수세기

collections.Counter(a) : a에서 요소들의 개수를 세어, 딕셔너리 형태로 반환합니다. {문자 : 개수} 형태

import collections
b = [1,3,4,3,2,3,5,1,2,3,2,3,9]
a = [1,2,3,4,3,2,2,1,5,3,1,3,4,2,3]
print(collections.Counter(a) , collections.Counter(b))

# Counter({3: 5, 2: 4, 1: 3, 4: 2, 5: 1}) Counter({3: 5, 2: 3, 1: 2, 4: 1, 5: 1, 9: 1})

counter - 연산

counter 함수로 구한 딕셔너리의 값(value)끼리 연산이 가능합니다. 연산은 + , - , &(교집합), |(합집합) 네가지가 가능합니다. 서로 빼기 연산을 했을때 , 음수 값이 나오지는 않습니다. a list의 2, 3번이 나오지 않습니다

import collections
a = [1,1,1,1,2,3,1,1]
b = [1,1,2,2,2,2,3,3,3]

print(collections.Counter(a) - collections.Counter(b))
print(collections.Counter(a) + collections.Counter(b))
print(collections.Counter(a) & collections.Counter(b))
print(collections.Counter(a) | collections.Counter(b))

# Counter({1: 4})
# Counter({1: 8, 2: 5, 3: 4})
# Counter({1: 2, 2: 1, 3: 1})
# Counter({1: 6, 2: 4, 3: 3})

most_common() 함수 - 최빈값 구하기

most_common([n]) : 많이나오는 순서대로 상위부터 n개까지를 출력 (리스트에 담긴 튜플형태로)

import collections
a  = [1,1,1,2,3,2,3,1,4,2,2,2,45,9]

print(collections.Counter(a).most_common(3))
 
# [(2, 5), (1, 4), (3, 2)]

elements() : 모든 element의 list를 출력

import collections
a  = [1,1,1,2,3,2,3,1,4,2,2,2,45,9]

print(list(collections.Counter(a).elements()))
 
# [1, 1, 1, 1, 2, 2, 2, 2, 2, 3, 3, 4, 45, 9]

이상으로 collections의 Counter 메소드들을 정리해보았습니다.

파이썬 정규식, Greedy Non Greedy탐색(최소일치/최대일치)

2022-10-19T00:00:00.003+09:00

이번엔 파이썬의 정규식(RegEx)중 Greedy match/Non-Greedy match부분을 설명합니다.

아래와 같은 예제에서 첫번째 괄호만 매치를 시키자고 하고합니다.

text = '(Machester 10) (London 20) (Seoul 30) (Tokyo 40)'

그렇지만, 실제로 아래와 같은 예제를 보면, 첫번째 괄호만 매치되는 게 아니라 마지막 괄호까지 전부 매치가 됩니다.

(.*) - Greedy match

(Manchester 10) (London 20) (Seoul 30) (Tokyo 40)

(.*?) - Non Greedy match (Manchester 10) (London 20) (Seoul 30) (Tokyo 40)

이것은 기본적으로 정규식은 Greedy match (최대한 많이 매치)를 하기 때문인데, 이렇게 되면 원래 의도와는 다른 결과가 나올 수 있습니다.

그래서 .* 뒤에 ?를 붙여서 .*? 과 같이 표현합니다. 그러면, 이 탐색자가 가장 많이 매치되는 경우를 찾아주는 것이 아니라 가장 적게 매치되는 경우를 찾아줍니다.

text = '(Machester 10) (London 20) (Seoul 30) (Tokyo 40)'
p = re.compile(r'(\(.*\))')
if m:= p.search(text): print (m.groups()) 
# ('(Machester 10) (London 20) (Seoul 30) (Tokyo 40)',)

p = re.compile(r'(\(.*?\))')
if m:= p.search(text): print (m.groups()) 
# ('(Machester 10)',)

이런 예는 종종 볼수 있습니다. 이것 말고도 HTML, XML match시킬때도 마찬가지 입니다. 또, C-style 주석도 이런 경우 종종 볼수 있습니다. /* ... */ 와 같이 주석처리를 지우려고 하는데 , 텍스트 파일 전체가 지워지는 경우, 이 그리디매치가 적용이 되어서 그런것입니다.

가장 가까운 괄호와 매치시키고 싶은데, 반복자가 최대한 많이 매치시키려 하기 때문에, 이런 부분의 차이를 알고 있다면 정규식 쓰는데 좀더 활용도를 높일 수가 있습니다.

파이썬 이터레이터 - 반복자 클래스

2022-10-17T07:00:00.005+09:00

이번 주제는 파이썬 iterator입니다. 이터레이터는 번역한 것보면, 반복자라고도 하죠.
이글은 이전에 작성하다가 나두었던 글인데, 다시 정리해서 올려봅니다

파이썬에서 나오는 ~레이터, 이터레이터, 제네레이터, 데코레이터,, 이중에서 데코레이터는 앞에 두개랑 크게 상관이 없고요,

이터레이터 와 제네레이터가 관련이 좀 있습니다.

iterator를 이야기 하기전에 일단 iterable이라는 말을 집고 갑시다, iterable 이라는 의미는 반복이 가능하다는 의미입니다.

파이썬의 기본 데이터형인 리스트, 튜플, 딕셔너리등이 iterable이라고 합니다.

그럼 이터레이터는?

이것을 실제로 동작을 시키는 부분을 이터레이터라고 합니다, 리스트등을 이터레이터에 넣어서 데이터를 하나씩 빼내어 주는 용도 입니다,

이터레이터는 기본적으로 design pattern에서 많이 사용되는 용어입니다

우리가 어떤 반복문을 돌릴때, 이전에는 주로 for 문을 가지고 반복문을 만드는데, 이것을 좀 더 추상화, 일반화 시킨 개념이 이터레이터입니다, 예전에 C에서 반복문을 짤때는 다음과 같은식으로 시작을 했습니다

 for (i = 0; i < 10 ; i++ )  ; 
     // action by array[i] 

이런식으로 명시적으로 반복문의 구조를 써줬는데,

사이즈로 신경쓸필요 없이 item들을 가져다 달라는 구문입니다. 다른 언어중 foreach 로 시작하는 구문들이 이런 유사한 방식입니다 .

부수적인 정보들 예를 들면, 사이즈등은 신경쓰고 싶지 않고, Array를 줄테니 알아서, 하나씩 빼줘 하는 개념이 이터레이터입니다.

여기서 Array가 List, dictionary, tuple이 되는 것겠죠,

이것이 꼭 정해진 data type이 아니라, 꼭 이 새로운 클래스에서도 iter함수를 구현하면, iterator를 사용할수 가 있습니다.

꼭 배열이 아니라 집합이라든지, 어떤 object건 간에 iterator 를 호출하면, 미리 정의된대로 하나씩 불러오게 할 수 있습니다.

어떤 큰단위가 있고, 하나씩 세부 아이템을 호출하는 용도입니다. 일반적으로 list, dictionary같은 형태는 for문에 넣으면 잘 동작합니다.

아래와 같이 리스트, 딕셔너리, 스트링 전부 잘 이터레이션이 됩니다.

for x in [1,2,3]: # 리스트
    print(x)
for x in (1,2,3): # 튜플
    print(x)
for x in 'abc': # 문자열
    print(x)

여기까지는 큰 문제 없이 몇번 사용하보면 이해가 쉬울것입니다.

그러면, class에도 for문에 적용을 해보고 싶을때가 있습니다. 클래스를 이터러블하게 만드는 방법입니다. iter() 함수를 class 내부에 구현하는 방법입니다.

next 와 StopIteration을 구현을 해줍니다. 이건 제네레이터에서도 나온 문법인데,

먼저 next() 는 다음값을 구해주는 연산입니다. 그리고 StopIteration은 더이상 값이 없을때 호출해 줍니다.

이런 식으로 iteration을 구현할 수 있습니다

예제를 하나 알아봅니다. 무한 수열을 만들어봅니다. 리스트가 작으면 그냥 기입을 하면 되겠는데, 이 끝을 알수 없는 형태가 나오면, 무작정 나열할 수 가 없습니다.

x = [1,2,3,4,......,]  # fail

먼저아래와 같이 무한수열을 class로 선언해 줍니다.

class Infite:
    def __init__(self) -> None:
        pass

a = Infite()

for x in a:
    print (x)

'''
Traceback (most recent call last):
  File "infinite.py", line 10, in <module>
    for x in a:
TypeError: 'Infite' object is not iterable
'''

위 코드를 실행시키면 object가 iterable하지 않다고 에러가 납니다.

이 클래스를 이터러블하게 만들어 봅니다. __iter__와 __next__를 추가해줍니다. __iter__는 iterable할때 초기화 시키는 함수라고 보면 되고, 아래는 직접 자기자신을 리턴하긴 했지만, 내부 리스트나 딕셔너리등을 리턴할 수도 있습니다. 여기서는 0으로 초기화 해줍니다. __next__에서는 리턴값을 더해줍니다. 내부 $self.cnt$에 +1하는 값을 더합니다. 이와 같이 구현할 경우, 종료값이 없으므로 무한수열 입니다. 5에서 break를 걸었는데, break가 없으면 이 루프는 무한으로 동작합니다.

class Infite:
    def __init__(self) -> None:
        self.cnt = 1
       
    def __iter__(self):
        self.cnt =0
        return self
    def __next__(self):
        self.cnt +=1
        return self.cnt

a = Infite()

for i,x in enumerate(a):
    print (x,end=' ')
    if i == 5:
        break
print ('')

# 1 2 3 4 5 6 

여기서 next에 StopIteration을 추가해 봅니다. 아래와 같이 internal counter가 9에 도달할 경우, raise StopIteration을 호출해서, loop를 종료합니다. 실제로 무한루프가 돌면, 끝나지 않으니, 이런 식으로 종료를 시켜줄수 있겠죠. 아래 예제에서는 break구문없이 class내부에서 StopIteration을 호출해서, 마무리를 지어줍니다.

class Infite:
    def __init__(self) -> None:
        self.cnt = 1
       
    def __iter__(self):
        self.cnt =0
        return self
    def __next__(self):
        self.cnt +=1
        if self.cnt == 9:
            raise StopIteration
        return self.cnt

a = Infite()

for i,x in enumerate(a):
    print (x,end=' ')
print ('')

# 1 2 3 4 5 6 7 8

이상으로 이터레이션과 이터러블한 객체를 만드는 법을 정리해보았습니다. 위 예는 단순한 예이지만, 실제로 객체를 이터러블하게 만드는 방법은 실제로도 많이 쓰입니다. 이 내용을 참고하셔서 활용하시면 좋을것 같습니다.

Numpy Slicing

2022-10-12T00:00:00.004+09:00

슬라이싱을 사용하면 배열의 일부를 추출하여 새 배열을 생성할 수 있습니다. Python list를 사용하여 배열을 슬라이스 할 때 결과 배열은 copy이지만 NumPy에서 배열은 동일한 기본 버퍼의 참조입니다.

슬라이싱이 numpy와 python이 약간 차이가 있습니다. 기본 파이썬의 경우는 slice를 할 경우 copy를 합니다. 즉, copy된 부분을 고쳐도 원본이 변경되지 않습니다. 그러나 numpy slice는 참조로 배열을 가져옵니다. 그 얘기는 slice된것을 수정할 경우, 원본도 같이 수정이 됩니다.

a = [1,2,3,4,5] # python기본 리스트로 생성합니다. 
b = a[2:4] # deep copy

print(a) 
print(b)
# [1, 2, 3, 4, 5]
# [3, 4]

b[1] = 7
print(a)
print(b)

# [1, 2, 3, 4, 5]
# [3, 7]

아래는 numpy case입니다.

import numpy as np
A = np.arange(1,6)  # numpy method로 생성되어야합니다. 

B = A[2:4] # shallow copy 
print (A)
print (B)
# [1, 2, 3, 4, 5]
# [3, 4]

B[1] = 7
print (A)
print (B)
# [1, 2, 3, 7, 5]
# [3, 7]

또, numpy slice는 step을 지원합니다. 배열의 일부만 추출할 수 있습니다. 아래와 같이 a[1:5:2]와 같은식으로 지정하면, for문 비슷하게 1부터 5까지 step 2만큼씩해서 리스트를 생성합니다.

>>> a = np.arange(10, 16)
>>> a
array([10, 11, 12, 13, 14, 15])
>>> a[1:5]
array([11, 12, 13, 14])


>>> a[1:5:2]
array([11, 13])

이것에 대한 응용으로 아래와 같이도 사용할 수 있습니다.

>>> a[::2]
array([10, 12, 14])
>>> a[:5:2]
array([10, 12, 14])
>>> a[:5:]
array([10, 11, 12, 13, 14])

다음은 2차원 array관련입니다. 아래 구문은 0번 row만 취합니다.

>>> A = np.arange(10, 19).reshape((3, 3))
>>> A
array([[10, 11, 12],
 [13, 14, 15],
 [16, 17, 18]])
>>> A[0,:]
array([10, 11, 12])

아래와 같이 하면 첫번째 column만 취합니다.

>>> A[:,0]
array([10, 13, 16])

아래와 같이 할 경우 (3,3) matrix에서 (2,2) matrix를 취합니다.

>>> A[0:2, 0:2]
array([[10, 11],
 [13, 14]])

아래는 row를 0행, 2행만 선택적으로 취합니다. column은 0:2로 취하고요

>>> A[[0,2], 0:2]
array([[10, 11],
 [16, 17]])

위 방법들은 다 이해하기도 어렵고 이런 류의 식들은 사실 머리로 이해하기보다는, 자주 쓰면서 손에 익는 류라고 보면 될 거 같습니다. 이 NumPy가 비슷하면서도 기존 파이썬과의 차이점들이 존재하니 이런 부분들을 이해하고 차이를 구분해서 쓰는게 중요해 보이네요