Python에서 여러 개의 비동기 프로세스 간에 동기화하는 방법은 무엇인가요?

나는 FastAPI를 사용하여 비동기 HTTP 웹 서비스를 가지고 있습니다. 서버에서 같은 서비스의 여러 인스턴스를 다른 포트에서 실행하고 있으며, 앞단에는 nginx 서버가 있어 모두 사용할 수 있습니다. 나는 한 클라이언트만 액세스해야 하는 특정 리소스를 보호해야 합니다.

@app.get(/무언가_수행)
async def 무언가_수행():
     여기에서 중요한 섹션()

나는 다음과 같이 파일 락을 사용하여 이 중요한 섹션을 보호하려고 시도했습니다:

@app.get(/무언가_수행)
async def 무언가_수행():
    with FileLock(dosomething.lock):
        중요한_섹션()

이렇게 하면 여러 프로세스가 동시에 중요한 섹션에 진입하지 못하게 됩니다. 하지만 발견한 것은 이 것이 사실상 데드락을 유발한다는 것입니다. 다음 이벤트를 생각해보세요:

1. 클라이언트 1이 포트 8000에 연결되고 임계 영역에 진입합니다.


2. 클라이언트 1이 여전히 리소스를 사용 중인 동안 클라이언트 2는 동일한 포트 8000으로 라우팅되고 그런 다음 파일 잠금을 얻으려고 시도하지만 실패합니다. 그래서 계속 시도하며 이로 인해 클라이언트 1의 실행이 차단되고 클라이언트 1은 파일 잠금을 해제할 수 없으며 이는 이 프로세스뿐만 아니라 다른 모든 서버 인스턴스도 잠기게됨을 의미합니다.

이러한 프로세스들을 조정하여 한 번에 한 프로세스만 임계 영역에 액세스하는 방법이 있을까요? 파일 잠금에 시간 제한을 추가하는 것을 생각해 봤지만 사용자를 거절하고 싶지는 않습니다. 그저 그 사람의 차례가 올 때까지 기다리고 싶습니다.

답변 1

이렇게 시도해볼 수 있습니다:

import fcntl
from contextlib import asynccontextmanager
from fastapi import FastAPI
app = FastAPI()
def acquire_lock():
    f = open(/tmp/test.lock, w)
    fcntl.flock(f, fcntl.LOCK_EX)
    return f
@asynccontextmanager
async def lock():
    loop = asyncio.get_running_loop()
    f = await loop.run_in_executor(None, acquire_lock)
    try:
        yield
    finally:
        f.close()
@app.get(/test/)
async def test():
    async with lock():
        print(임계 구역 진입)
        await asyncio.sleep(5)
        print(임계 구역 종료)

기본적으로 모든 요청을 직렬화합니다.

답변 2

파이썬에서 여러 개의 비동기 프로세스 사이의 동기화는 어떻게 할 수 있을까요?
파이썬은 동시에 여러 개의 비동기 프로세스를 실행할 수 있는 강력한 언어입니다. 비동기 프로그래밍은 한 번에 여러 가지 작업을 동시에 처리할 수 있어 효율적이지만, 때로는 이러한 프로세스들 간에 동기화가 필요할 수도 있습니다. 이러한 동기화를 위해 파이썬은 다양한 도구와 라이브러리를 제공합니다.
첫 번째 방법은 asyncio 모듈과 await/async 키워드를 사용하는 것입니다. asyncio는 비동기 작업을 효율적으로 관리하기 위한 파이썬 표준 라이브러리입니다. await 키워드를 이용하여 다른 비동기 작업이 완료될 때까지 현재 작업을 일시 중지시킬 수 있습니다. 이렇게 하면 여러 개의 작업을 단일 스레드에서 동시에 실행하고 각 작업들 사이의 결과를 동기화할 수 있습니다.
두 번째 방법은 threading 모듈을 사용하여 스레드 동기화를 수행하는 것입니다. 스레드는 동시에 실행되는 여러 작업 흐름을 나타내는 것으로, 각각의 작업은 별도의 스레드에서 실행됩니다. threading.Lock() 객체를 사용하여 다른 스레드에서 공유하는 변수나 자원에 대한 접근을 제어할 수 있습니다. 이를 통해 여러 작업이 서로 상호작용하며 결과를 동기화할 수 있습니다.
세 번째 방법은 multiprocessing 모듈을 사용하여 프로세스 간 동기화를 수행하는 것입니다. 프로세스는 동시에 실행되는 여러 개의 독립적인 작업 흐름을 나타내는 것으로, 각 작업은 별도의 프로세스에서 실행됩니다. multiprocessing.Lock() 객체를 사용하여 다른 프로세스 간에 공유되는 자원에 대한 접근을 제어할 수 있습니다. 이를 통해 여러 작업이 서로 상호작용하고 결과를 동기화할 수 있습니다.
마지막으로, 파이썬에서는 asyncio, threading, multiprocessing을 결합하여 동시에 실행되는 여러 개의 비동기 프로세스 간에 상호작용 및 동기화를 수행할 수도 있습니다.
이와 같이 파이썬에서는 여러 개의 비동기 프로세스 간에 동기화를 수행하는 다양한 방법이 있습니다. 이러한 방법들을 적절하게 활용하면 효율적이고 안정적인 비동기 프로그래밍을 구현할 수 있습니다.