Python에서 병렬처리와 멀티스레딩

byCode Keeper •

Python에서 병렬처리와 멀티스레딩


목차

  1. 서론
  2. 병렬처리와 멀티스레딩의 필요성
  3. 멀티스레딩
    1. 멀티스레딩의 기본 개념
    2. Python에서 멀티스레딩 사용법
    3. 멀티스레딩 예제
  4. 병렬처리
    1. 병렬처리의 기본 개념
    2. Python에서 병렬처리 사용법
    3. 병렬처리 예제
  5. 멀티스레딩과 병렬처리 비교
  6. 실습 예제: 웹 스크래핑
  7. 결론
  8. 추천 태그

1. 서론

현대 애플리케이션은 높은 성능과 효율성을 요구합니다. Python에서 병렬처리와 멀티스레딩을 사용하면 성능을 향상시키고, 여러 작업을 동시에 처리할 수 있습니다. 이번 포스팅에서는 초보 개발자도 쉽게 이해할 수 있도록 Python에서 병렬처리와 멀티스레딩을 사용하는 방법을 설명하겠습니다.


2. 병렬처리와 멀티스레딩의 필요성

병렬처리와 멀티스레딩은 작업을 동시에 수행하여 성능을 최적화하는 방법입니다. 이는 특히 CPU 집약적인 작업이나 I/O 바운드 작업에서 유용합니다. 병렬처리와 멀티스레딩을 사용하면 프로그램의 응답성을 높이고, 처리 시간을 단축할 수 있습니다.


3. 멀티스레딩


3.1 멀티스레딩의 기본 개념

멀티스레딩은 하나의 프로세스 내에서 여러 스레드를 생성하여 동시에 실행하는 방법입니다. 각 스레드는 독립적으로 실행되며, 자원을 공유할 수 있습니다.


3.2 Python에서 멀티스레딩 사용법

Python에서는 threading 모듈을 사용하여 멀티스레딩을 구현할 수 있습니다.


import threading

def print_numbers():
    for i in range(1, 6):
        print(i)

def print_letters():
    for letter in 'abcde':
        print(letter)

# 스레드 생성
t1 = threading.Thread(target=print_numbers)
t2 = threading.Thread(target=print_letters)

# 스레드 시작
t1.start()
t2.start()

# 스레드가 종료될 때까지 대기
t1.join()
t2.join()

print("Threads finished")

3.3 멀티스레딩 예제

다음은 멀티스레딩을 사용하여 웹 페이지를 동시에 다운로드하는 예제입니다.


import threading
import requests

def download_url(url):
    response = requests.get(url)
    print(f"{url} downloaded with status code {response.status_code}")

urls = [
    'https://www.example.com',
    'https://www.python.org',
    'https://www.github.com'
]

threads = []
for url in urls:
    thread = threading.Thread(target=download_url, args=(url,))
    threads.append(thread)
    thread.start()

for thread in threads:
    thread.join()

print("All downloads completed")

4. 병렬처리


4.1 병렬처리의 기본 개념

병렬처리는 여러 프로세스를 생성하여 작업을 병렬로 수행하는 방법입니다. 각 프로세스는 독립된 메모리 공간을 가지며, CPU 자원을 효율적으로 사용할 수 있습니다.


4.2 Python에서 병렬처리 사용법

Python에서는 multiprocessing 모듈을 사용하여 병렬처리를 구현할 수 있습니다.


import multiprocessing

def square(n):
    return n * n

if __name__ == "__main__":
    with multiprocessing.Pool(processes=4) as pool:
        numbers = [1, 2, 3, 4, 5]
        results = pool.map(square, numbers)
        print(results)

4.3 병렬처리 예제

다음은 병렬처리를 사용하여 대량의 데이터를 병렬로 처리하는 예제입니다.


import multiprocessing

def calculate_square(n):
    return n * n

if __name__ == "__main__":
    numbers = range(1, 11)
    with multiprocessing.Pool(processes=4) as pool:
        results = pool.map(calculate_square, numbers)
    print(results)

5. 멀티스레딩과 병렬처리 비교

멀티스레딩과 병렬처리는 모두 동시에 작업을 수행하는 방법입니다. 그러나 각기 다른 상황에서 사용됩니다.


  • 멀티스레딩: I/O 바운드 작업에 적합합니다. 스레드 간 자원 공유가 가능하므로 메모리 사용량이 적습니다.
  • 병렬처리: CPU 집약적인 작업에 적합합니다. 각 프로세스는 독립된 메모리 공간을 가지며, 다중 코어 CPU의 성능을 최대한 활용할 수 있습니다.

6. 실습 예제: 웹 스크래핑

다음은 멀티스레딩과 병렬처리를 사용하여 웹 스크래핑을 동시에 수행하는 예제입니다.


멀티스레딩을 사용한 웹 스크래핑


import threading
import requests
from bs4 import BeautifulSoup

def scrape_page(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    title = soup.find('title').get_text()
    print(f"Title: {title} - URL: {url}")

urls = [
    'https://www.example.com',
    'https://www.python.org',
    'https://www.github.com'
]

threads = []
for url in urls:
    thread = threading.Thread(target=scrape_page, args=(url,))
    threads.append(thread)
    thread.start()

for thread in threads:
    thread.join()

print("Web scraping with multithreading completed")

병렬처리를 사용한 웹 스크래핑


import multiprocessing
import requests
from bs4 import BeautifulSoup

def scrape_page(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    title = soup.find('title').get_text()
    return f"Title: {title} - URL: {url}"

if __name__ == "__main__":
    urls = [
        'https://www.example.com',
        'https://www.python.org',
        'https://www.github.com'
    ]
    
    with multiprocessing.Pool(processes=3) as pool:
        results = pool.map(scrape_page, urls)
        for result in results:
            print(result)

    print("Web scraping with multiprocessing completed")

7. 결론

병렬처리와 멀티스레딩은 Python에서 성능을 최적화하고, 여러 작업을 동시에 처리하는 데 매우 유용한 기술입니다. 멀티스레딩은 I/O 바운드 작업에 적합하며, 병렬처리는 CPU 집약적인 작업에 적합합니다. 이번 포스팅에서는 멀티스레딩과 병렬처리를 사용하는 방법과 각각의 장단점을 설명하였습니다. 이를 통해 다양한 애플리케이션에서 성능을 향상시킬 수 있습니다.

Tags:
다음 이전