Go의 팬인 팬아웃 동시성 패턴: 종합 가이드

⚠️ 이 시리즈는 어떻게 진행되나요?

1. 모든 예제 실행: 코드만 읽지 마세요. 이를 입력하고 실행한 후 동작을 관찰하세요.
2. 실험 및 깨기: 절전 모드를 제거하고 어떤 일이 일어나는지 확인하고, 채널 버퍼 크기를 변경하고, 고루틴 수를 수정합니다.
깨뜨리는 일을 통해 작동 방식을 배울 수 있습니다
3. 동작에 대한 이유: 수정된 코드를 실행하기 전에 결과를 예측해 보세요. 예상치 못한 동작이 보이면 잠시 멈춰서 그 이유를 생각해 보세요. 설명에 도전해보세요.
4. 정신 모델 구축: 각 시각화는 개념을 나타냅니다. 수정된 코드에 대해 자신만의 다이어그램을 그려보세요.

이전 게시물에서는 팬인 및 팬아웃 동시성 패턴의 구성 요소인 파이프라인 동시성 패턴을 살펴봤습니다. 여기에서 읽어보실 수 있습니다:

Go의 파이프라인 동시성 패턴: 종합적인 시각적 가이드

Souvik Kar Mahapatra ・ 2024년 12월 29일

#가다 #지도 시간 #프로그램 작성 #건축학

이번 게시물에서는 Fan-in & Fan-out 패턴을 다루고 이를 시각화해 보겠습니다. 그럼 우리가 직접 프로세스를 진행해 보도록 하겠습니다.

파이프라인 패턴의 진화

팬인 팬아웃 패턴은 파이프라인 패턴의 자연스러운 진화입니다. 파이프라인이 단계별로 데이터를 순차적으로 처리하는 반면, 팬인 팬아웃은 병렬 처리 기능을 도입합니다. 이러한 진화가 어떻게 일어나는지 시각화해 보겠습니다.

팬인 팬아웃 패턴

바쁜 시간에 식당 주방을 상상해 보세요. 주문이 들어오면 여러 명의 요리사가 동시에 다른 요리를 작업합니다(팬아웃). 요리를 완성한 후 서비스 카운터에 모이는 팬인(Fan-in).

팬아웃 이해

팬아웃은 여러 고루틴에 작업을 분산하여 데이터를 병렬로 처리하는 것입니다. 큰 작업을 동시에 작업할 수 있는 작은 조각으로 나누는 것이라고 생각하세요. 다음은 간단한 예입니다.

func fanOut(input 

<h3>
  
  
  팬인 이해
</h3>

<p>팬인은 팬아웃의 반대입니다. 여러 입력 채널을 단일 채널로 결합합니다. 이는 모든 작업자의 결과를 하나의 스트림으로 수집하는 깔때기와 같습니다. 구현 방법은 다음과 같습니다.<br>
</p>
<pre class="brush:php;toolbar:false">func fanIn(inputs ...


<p>숫자를 병렬로 처리하는 완전한 예제를 통해 모든 내용을 정리하겠습니다.<br>
</p>
<pre class="brush:php;toolbar:false">func main() {
    // Create our input channel
    input := make(chan int)

    // Start sending numbers
    go func() {
        defer close(input)
        for i := 1; i 

<h2>
  
  
  팬인 팬아웃 패턴을 사용하는 이유는 무엇입니까?
</h2>

<p><strong>최적의 자원 활용</strong></p>

<p>이 패턴은 사용 가능한 리소스에 작업을 자연스럽게 분산시켜 유휴 리소스를 방지하고 처리량을 최대화합니다.<br>
</p>
<pre class="brush:php;toolbar:false">// Worker pool size adapts to system resources
numWorkers := runtime.NumCPU()
if numWorkers > maxWorkers {
    numWorkers = maxWorkers // Prevent over-allocation
}

병렬화를 통한 성능 향상

• 순차적 접근 방식에서는 작업이 차례로 처리되어 선형적인 실행 시간이 생성됩니다. 각 작업에 1초가 걸린다면 4개의 작업을 처리하는 데 4초가 걸립니다.
• 이 병렬 처리는 총 실행 시간을 대략 (총 작업/작업자 수) 오버헤드로 줄입니다. 작업자가 4명인 이 예에서는 모든 작업을 4초가 아닌 약 1.2초 만에 처리합니다.

func fanOut(tasks []Task) {
    numWorkers := runtime.NumCPU() // Utilize all available CPU cores
    workers := make([]

<h2>
  
  
  실제 사용 사례
</h2>

<p><strong>이미지 처리 파이프라인</strong></p>

<p>파이프라인 패턴 게시물의 업그레이드와 같습니다. 더 빠르게 처리하고 각 프로세스마다 전용 이동 루틴이 있어야 합니다.</p><p><img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/000/173625991579012.png" class="lazy" alt="Go의 팬인 팬아웃 동시성 패턴: 종합 가이드 processing pipeline with fan in and fan out pattern" loading="lazy"    style="max-width:90%"  style="max-width:90%"></p>

<p><strong>웹 스크래퍼 파이프라인</strong><br>
웹 스크래핑은 팬인 팬아웃의 또 다른 완벽한 사용 사례입니다.</p>

<p><img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/000/173625991836275.png" class="lazy" alt="Web scraping is another perfect use case for fan-in fan-out" loading="lazy"    style="max-width:90%"  style="max-width:90%"></p>

<p>팬인 팬아웃 패턴은 다음과 같은 이유로 이러한 시나리오에서 실제로 빛을 발합니다.</p>

• Go의 채널 메커니즘을 통해 자동으로 동시성을 관리합니다
• 섭취보다 처리가 느린 경우 자연적인 역압 제공
• 작업자 수 조정으로 손쉬운 확장 가능
• 격리된 오류 처리를 통해 시스템 탄력성을 유지합니다

오류 처리 원칙

빠른 실패: 파이프라인 초기에 오류를 감지하고 처리합니다.

나중에 실패할 잘못된 작업에 리소스가 낭비되는 것을 방지하므로 파이프라인이 실패하지 않도록 파이프라인 시작 전이나 시작 시 모든 종류의 검증을 수행하십시오. 잘못된 데이터로 인해 작업자가 차단되거나 병렬 처리 용량이 낭비될 수 있으므로 팬인 팬아웃 패턴에서는 특히 중요합니다.

그러나 이는 엄격한 규칙은 아니며 비즈니스 논리에 크게 의존합니다. 실제 사례에서 이를 구현하는 방법은 다음과 같습니다.

func fanOut(input 


<p>그리고<br>
</p>
<pre class="brush:php;toolbar:false">func fanIn(inputs ...


<p>알림! 한 작업자의 오류가 다른 작업자에게 멈추지 않고 계속 처리되므로 두 번째 원칙이 적용됩니다</p>
<h3>
  
  
  오류 격리: 한 작업자의 오류가 다른 작업자에게 영향을 미쳐서는 안 됩니다.
</h3>

<p>병렬 처리 시스템에서는 하나의 잘못된 작업으로 인해 전체 시스템이 중단되어서는 안 됩니다. 각 작업자는 독립적이어야 합니다.<br>
</p>
<pre class="brush:php;toolbar:false">func main() {
    // Create our input channel
    input := make(chan int)

    // Start sending numbers
    go func() {
        defer close(input)
        for i := 1; i 

<h4>
  
  
  리소스 정리: 오류에 대한 적절한 정리
</h4>

<p>병렬 처리에서 리소스 누수는 시스템 전체의 문제로 빠르게 확대될 수 있습니다. 적절한 청소는 필수입니다.</p>

<hr>

<p>팬인 및 팬아웃 패턴에 대한 심층 분석을 마무리합니다! 다음에는 이번 포스팅에서 살짝 살펴본 <strong>Worker Pools 동시성 패턴</strong>을 살펴보겠습니다. 제가 말했듯이 우리는 다음 단계로 넘어가기 전에 종속성을 점진적으로 정리하면서 나아가고 있습니다.</p>

<p>이 게시물이 도움이 되었거나, 질문이 있거나, 이 패턴에 대한 자신의 경험을 공유하고 싶다면 아래 댓글을 통해 여러분의 의견을 듣고 싶습니다. 귀하의 통찰력과 질문은 모든 사람에게 더 나은 설명을 제공하는 데 도움이 됩니다.</p>

<p>Golang의 고루틴과 채널에 대한 시각적 가이드를 놓쳤다면 여기에서 확인하세요.</p>


<div>
  
    <div>
      <img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/000/173625990185651.png" class="lazy" alt="Go의 팬인 팬아웃 동시성 패턴: 종합 가이드" loading="lazy">
    </div>
<div>
      <h2 id="Golang의-고루틴과-채널-이해-및-시각화">Golang의 고루틴과 채널 이해 및 시각화</h2>
      <h3 id="Souvik-Kar-Mahapatra-년-월-일">Souvik Kar Mahapatra ・ 2024년 12월 20일</h3>
      <div>
        #가다
        #프로그램 작성
        #학습
        #지도 시간
      </div>
    </div>
  
</div>



<p>더 많은 Go 동시성 패턴을 기대해 주세요! ?</p>

<p><img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/000/173625992371812.gif" class="lazy" alt="Go의 팬인 팬아웃 동시성 패턴: 종합 가이드" loading="lazy"    style="max-width:90%"  style="max-width:90%"></p>


          

            
  

            
        

위 내용은 Go의 팬인 팬아웃 동시성 패턴: 종합 가이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!