확장형 고성능 컴퓨팅 소개

현재 AI가 주가 되고 있음

하지만 AI는 진짜가 아님(강 인공지능x) 패턴인식 그래도 AI가 강한 모멘텀으로 가고 있음

AI에서 pytorch 고치는게 중요한 게 아니라 그 속 내용을 고치는게 중요

목표

대용량데이터를 빠르게 처리하는 방법을 배움 계산과정을 하나의 프로세서에서 거의 무한대의 계산능력을 가진 컴퓨터에 이르기까지 완벽하게 확장가능(scalable)하게 할 수 있느냐 => 병렬성

멀티코어는 현재 모바일 기기부터 슈퍼컴퓨터에 이르기까지 널리 사용되고 있고, GPU 등의 가속기를 범용 멀티코어 CPU와 함께 하나의 시스템으로 구성하여 사용하는 이종(heterogeneous) 시스템은 빅데이터 처리와 딥러닝의 가속에 필수

1. 병렬처리의 기초
2. 멀티코어시스템과 이종시스템의 구조
3. 병렬화, 벡터화를 포함하는 병렬 프로그래밍의 기초
4. Pthread, OpenMP, MPI, OpenCL, CUDA에 대한 프로그래밍 경험, 빅데이터 처리와 딥러닝의 가속에 적용하는 방법을 배움

분산처리와 병렬처리

분산 처리는 다른 지역에 있음. 병렬 처리는 모아야함

이종 컴퓨팅

연산 시간 동안 장치간 메모리 복사를 수행해 hiding

시간을 줄이면 에너지 소모를 줄인다... 에너지 = 전력 x 시간?

수퍼컴퓨터

Top500: 비분산 컴퓨터시스템 전력소모 때문에 20mW 이내로 처리. PFLOPs까지 옴 ZFLOPs 하려면 원자력 발전소 있어야...

Green500: 에너지 효율 기준으로

HPC

과학, 공학 또는 비즈니스의 큰 문제를 해결하기 위해 일반적인 데스크탑 컴퓨터나 워크스테이션에서 얻을 수 있는 것보다 훨씬 더 높은 성능을 제공하는 방식으로 컴퓨팅 성능을 통합하여 주어진 작업을 수행

클러스터 vs 메인프레임

병렬처리 vs 분산처리

model parallelism은 잘못된 용어

분산처리는 네트워크로 연결된 다른 장소의 컴퓨터

𝑅: 순차실행시간중병렬실행할수없는작업의실행시간비율 𝑝: 프로세서의 개수

• Speedup(암달의 법칙)
• Efficiency

암달의 법칙이 의미하는 것

• 순차 실행을 줄여라
• 너무 많은 프로세서는 필요 없다

수퍼 컴퓨터의 성능 영향 요소

1. 병렬성(프로세서 수)
2. 성능(초당 얼마나 많은) 데이터 이동 속도
3. 메모리-프로세서 간 데이터 이동
4. 컴퓨팅 유닛간 데이터 이동
5. Storage-컴퓨팅유닛 간 데이터 이동