Como construir um supercomputador: 9 etapas (com fotos)

Você precisa de uma máquina que possa entregar centenas de trilhões de cálculos de ponto flutuante por segundo? Ou você precisa de uma história de bar sobre como o supercomputador em seu porão virou um disjuntor? Construindo seu próprio cluster de computação de alto desempenho, um.K.uma. supercomputador, é um desafio qualquer nerd de especialistas com um fim de semana de tempo livre e algum dinheiro para queimar pode enfrentar. Tecnicamente falando, um supercomputador moderno e multi-processador é uma rede de computadores trabalhando juntos em paralelo para resolver um problema. Este artigo descreverá brevemente cada etapa no processo, concentrando-se em hardware e software.

Passos

1. Primeiro determine os componentes e recursos de hardware necessários. Você precisará de um nó principal, pelo menos uma dúzia de nós de computação idênticos, um interruptor Ethernet, uma unidade de distribuição de energia e um rack. Determine a demanda elétrica, o resfriamento e o espaço necessário. Decida também o endereço IP que você deseja para suas redes privadas, o que nomear os nós, quais pacotes de software você deseja instalar e qual tecnologia você deseja fornecer os recursos de computação paralela (mais sobre isso posterior).

Embora o hardware seja caro, todos os softwares listados neste How-to é gratuito, e a maioria é de código aberto.
Se você gostaria de ver o quão rápido o seu supercomputador seria teoricamente, use esta ferramenta: http: // hpl-calculadora.sourceforge.internet/

Imagem intitulada Build um supercomputador Passo 2

2. Construir os nós de computação. Você precisará montar os nós de computação ou adquirir servidores pré-build.

Escolha um chassi do servidor de computador que maximiza o espaço, o resfriamento e a eficiência energética.

Ou Você pode utilizar uma dúzia ou mais usados, servidores desatualizados - cuja todo vai superar a soma de suas partes, mas poupá-lo um pedaço considerável de dinheiro. Todos os processadores, adaptadores de rede e placas-mãe devem ser idênticos para todo o sistema para jogar bem. Claro, não se esqueça de RAM e armazenamento para cada nó e pelo menos uma unidade óptica para o nó principal.

Imagem intitulada Build Um Supercomputador Passo 3

3. Instale os servidores no rack. Comece a partir do fundo, então o rack não é tão pesado. Você precisará de um amigo para ajudá-lo com isso - os servidores densos podem ser muito pesados e orientá-los nos trilhos que os mantêm no rack é difícil.

Imagem intitulada Build A Supercomputador Passo 4

4. Instale o interruptor Ethernet acima do chassi do servidor. Aproveite este momento para configurar o switch: Permitir tamanhos de quadro jumbo de 9000 bytes, defina o endereço IP para o endereço estático que você decidiu na etapa 1 e desative os protocolos de roteamento desnecessários, como Smtp Snooping.

Imagem intitulada Build Um Supercomputador Passo 5

5. Instale o PDU (unidade de distribuição de energia). Dependendo de quanto atual seus nós podem precisar na carga máxima, você pode precisar de 220 volts para computação de alto desempenho.

Imagem intitulada Build uma etapa supercomputador 6

6. Com tudo instalado, você pode iniciar o processo de configuração. O Linux é o OS de facto para os clusters de HPC - não só é o ambiente ideal para a computação científica, mas não custa nada para instalá-lo em centenas ou até milhares de nós. Imagine quanto custaria para instalar o Windows em todos esses nós!

Comece a instalar a versão mais recente do BIOS e firmware da placa-mãe, que deve ser o mesmo em todos os nós.

Instale sua distribuição Linux preferida em cada nó, com uma interface gráfica para o nó principal. As opções populares incluem CENTOS, OPENSUSE, Linux Científico, Redhat e Sles.

Este autor recomenda altamente usar a distribuição de cluster de rochas. Além de instalar todas as ferramentas necessárias para um cluster de computação para funcionar, as rochas usam um ótimo método para `distribuir` muitas instâncias de si mesmo rapidamente usando a inicialização PXE e o procedimento de início do "chute".

Imagem intitulada Build Um Supercomputador Passo 7

7. Instale a interface de passagem de mensagens, o gerenciador de recursos e outras bibliotecas necessárias. Se você não instalou pedras na etapa anterior, você terá que configurar manualmente o software necessário para ativar os mecanismos de computação paralelos.

Primeiro, você precisará de um sistema de gerenciamento de bash portátil, como o gerenciador de recursos de torque, que permite que você dividam e distribua tarefas para várias máquinas.

Par de torque com o agendador de cluster Maui para completar a configuração.

Em seguida, você precisará instalar a interface de passagem da mensagem, necessária para os processos individuais nos nós de computação separados para compartilhar os mesmos dados. OpenMP é um acéfalo.

Não esqueça as bibliotecas de matemática multi-threading e compiladores para construir seus programas de computação paralela. Eu mencionei que você deveria apenas instalar pedras?

Imagem intitulada Build Um Supercomputador Passo 8

8. Rede os nós de computação juntos. O nó da cabeça envia as tarefas de computação para os nós de computação, que por sua vez precisam enviar o resultado de volta, bem como enviar mensagens entre si. Mais rápido o melhor.

Use uma rede Ethernet privada para conectar todos os nós no cluster.

O nó da cabeça também pode atuar como um servidor NFS, PXE, DHCP, TFTP e NTP sobre a rede Ethernet.

Você deve separar essa rede de redes públicas, o que garante que os pacotes de transmissão não interfiram com outras redes em sua LAN.

Imagem intitulada Build Um Supercomputador Passo 9

9. Teste o cluster. A última coisa que você pode querer fazer antes de liberar todo esse poder de computação para seus usuários é testar seu desempenho. O benchmark HPL (High Performance Lynpack) é uma escolha popular para medir a velocidade computacional do cluster. Você precisará compilá-lo da fonte com todas as otimizações possíveis suas ofertas do compilador para a arquitetura que você escolheu.

Você deve, claro, compilar da fonte com todas as opções possíveis de otimização para sua plataforma. Por exemplo, se estiver usando as CPUs de AMD, compile com o Open64 com nível de otimização -0Fast.

Compare seus resultados no Top500.Org para comparar seu cluster para os supercomputadores mais rápidos de 500 do mundo!