A rede FOCUS

Autor: Fernando Rodrigues
Em memória de Javier Edgardo Magnin (1963 - 20/10/2012).

Sistema de computadores do CBPF utilizados pelo grupo do LHCb

Redes e clusters
- Rede 71 - também denominada por rede focus, é a rede em que se encontram os computadores dos pesquisadores do LAFEX.
- LCG.CBPF.br - Tier2-D do CBPF (Grid)
Servidores administrativos
- positron.cat.cbpf.br - servidor web e de e-mail
- focus1.cat.cbpf.br - servidor NIS
Estações de trabalho e armazenamento
- Máquinas focus da série 100 - máquinas de alto desempenhho (16 cores) ligadas entre si diretamente por cabo. Máquinas existentes: focus100 e focus101
- Máquinas focus da série SE# - máquinas de armazenamento (Storage Element), com baixo desempenho. Esta série está prevista para entrar em funcionamento em março de 2014 com capacidade de 128Tb.
- ui.cat.cbpf.br - máquina de interface de uso da LCG.CBPF.br
Computadores dos usuários
- Ver tabela abaixo com a lista de computadores.

Lista de computadores conectados a rede FOCUS

For network information, OS, CPU, Mem, Swap:

sudo lshw -class network
sudo lshw -class cpu
uname -a
top

To check the network settings by port (check the speed ie.):

ethtool eth0
ethtool eth1

Máquinas principais:

Nome	IP	Tipo	OS	Características	Observações
focus1.cat.cbpf.br MAC:	152.84.71.213	(NIS + backup)	??? i386	via switch de 100Mbps.
focus100.cat.cbpf.br MAC/eth0: 00:25:90:18:72:4A MAC/eth1: 00:25:90:18:72:4B	(eth0) 152.84.71.149 (eth1) 192.168.0.100	(Alto desempenho)	SLC 5 () x86_64	2 CPUs Intel(R) Xeon(R) CPU E5620 @ 2.40GHz clock: 133MHz Mem: 12'289'624k Swap: 65'537'156k Virtual CPUs: 16	A porta eth0 é usada para conexões com computadores fora da série 100. Já a outra porta é para conexão direta entre computadores da série 100.
focus101.cat.cbpf.br MAC/eth0: 00:25:90:18:AB:00 MAC/eth1: 00:25:90:18:AB:01	(eth0) 152.84.71.30 (eth1) 192.168.0.101	(Alto desempenho)	SLC 6 () x86_64	2 CPUs Intel(R) Xeon(R) CPU E5620 @ 2.40GHz clock: 133MHz Mem: 24'596'620k Swap: 24'575'996k Virtual CPUs: 16	A porta eth0 é usada para conexões com computadores fora da série 100. Já a outra porta é para conexão direta entre computadores da série 100.
focus102.cat.cbpf.br MAC/eth0: 00:25:90:18:34:DA MAC/eth1: 00:25:90:18:34:DB	(eth0) 152.84.71.218 (eth1) 192.168.0.102	(Alto desempenho)	SLC 6 () x86_64	2 CPUs Intel(R) Xeon(R) CPU E5620 @ 2.40GHz clock: 133MHz Mem: 8'181'832k Swap: 8'191'996k Virtual CPUs: 16
focusSE1.cat.cbpf.br MAC	-	(Storage Element)	SLC6	-
ui.cat.cbpf.br MAC: 00:15:E9:B8:CC:51	152.84.101.39	(CBPF Grid User Interface)	SLC 6.6 (Carbon) x86_64	1 CPU Pentium 4 Intel(R) Pentium(R) D CPU 3.40GHz Mem: 3'204'548k Swap: 24'574'972k Virtual CPUs: 2 LCG.CBPF.br

Máquinas dos usuários:

Nome	IP	Ponto	Veloc./Lim.	Usuário	OS	Conexão ao ponto
focus2.cat.cbpf.br MAC:00-13-72-00-FF-D6	152.84.71.53	502/2-A-434	-	Patricia Magalhães	U14.04	direto na parede
focus3.cat.cbpf.br MAC:	-	-	-	(empty--jmagnin)	-	-
focus4.cat.cbpf.br MAC:	152.84.71.___	Sala do Renato	-	Caio
focus5.cat.cbpf.br MAC:	152.84.71.207	-	-/-	Ignacio Bediaga	U	-
focus6.cat.cbpf.br MAC:F0:4D:A2:E6:AC:73	152.84.71.209	510/1-B-467	100M/1G	Jussara Miranda	U14.04 LTS x86_64	DELL Optiplex 790 Intel(R) Core(TM) i5-2400 CPU @ 3.10GHz Cores:4 Threads:4 64 bits Mem: 4'003'548 Swap: ~12'000'000 Direto no ponto de rede HD: (12G swap), (30G /), (200M /boot), (5G /home), (???G /scratch6)
focus7.cat.cbpf.br MAC:	-	-	-	(empty)	-	-
focus8.cat.cbpf.br MAC:	-	-	-	(empty)	-	-
focus9.cat.cbpf.br MAC:00-0A-F7-16-BC-8F	152.84.71.210	-	-/-	Alberto Reis	U14.04	direto ao ponto de rede
focus10.cat.cbpf.br MAC:	-	-	-	(empty)	-	-
focus11.cat.cbpf.br MAC:	152.84.71.___	Sala do Renato	-	Sabrina Damasceno	-	-
focus12.cat.cbpf.br MAC:	152.84.71.203	Sala do Renato	-/-	Renato Santana	U	-
focus13.cat.cbpf.br MAC:	-	-	-	(empty)	-	-
focus14.cat.cbpf.br MAC:	-	-	-	(empty)	-	-
focus15.cat.cbpf.br MAC:	152.84.71.200	506/1-D-531	100M/100M	Andre Massafferri	U	via switch de 100Mbps.
focus16.cat.cbpf.br MAC:	-	-	-	(empty)	-	-
focus17.cat.cbpf.br MAC:78:2B:CB:C1:88:A7	152.84.71.216	502/2-A-434	100M/1G	Fernando Rodrigues	U14.04 LTS x86_64	DELL OptiPlex 390 Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz Cores:2 Threads:4 64 bits Mem: 3'940'216 Swap: 11'717'628 via switch de 1Gbps. HD: (12G swap). (30G /), (200M /boot), (203G /scratch17), (5G /home)
focus18.cat.cbpf.br MAC:	-	-	-	(empty)	-	-
focus19.cat.cbpf.br MAC:00:15:C5:33:70:C7	152.84.71.217	Laboratorio	-/-	Eraldo Junior	-	-
focus20.cat.cbpf.br MAC:00:1C:C0:FC:6D:79	152.84.71.___	Sala do Renato	-	João Medeiros	-	-
focus21.cat.cbpf.br MAC:	152.84.71.106	-	-/-	Ana Barbara	U 12.04.3 LTS	-
focus22.cat.cbpf.br MAC:A4-1F-72-F5-CB-69	152.84.71.42	502/2-A-434	100M/-	Visitante	U13.10	via switch de 1Gbps.
focus23.cat.cbpf.br MAC:A4-1F-72-F5-C9-E9	152.84.71.2	515-D/723	-	Lais Soares Lavra	U14.04	direto ao ponto de rede

Definições:
Na coluna Veloc./Lim.: M = Mbps; G = Gbps
Na coluna OS: U = Ubuntu; SLC = Scientific Linux CERN

A Tabela acima tem de estar compatível com o arquivo /etc/hosts apresentado abaixo e que tem de estar atualizado em todas as máquinas.


# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1        localhost
152.84.71.213    focus1.cat.cbpf.br   focus1   #Servidor NIS
152.84.71.53     focus2.cat.cbpf.br   focus2   #Patricia Magalhaes
#152.84.71.---    focus3.cat.cbpf.br   focus3   #(EMPTY)
#152.84.71.---    focus4.cat.cbpf.br   focus4   #Caio
152.84.71.207    focus5.cat.cpbf.br   focus5   #Ignacio Bediaga
152.84.71.209    focus6.cat.cbpf.br   focus6   #Jussara Miranda
#152.84.71.202    focus7.cat.cbpf.br   focus7   (EMPTY)
#152.84.71.212    focus8.cat.cbpf.br   focus8   (EMPTY)
152.84.71.210    focus9.cat.cbpf.br   focus9   #Alberto Reis
#152.84.71.205    focus10.cat.cbpf.br  focus10  (EMPTY)
#152.84.71.---    focus11.cat.cbpf.br  focus11  #Sabrina Damasceno
152.84.71.203    focus12.cat.cbpf.br  focus12  #Renato Santana
#152.84.71.214    focus13.cat.cbpf.br  focus13 #(EMPTY)
#152.84.71.208    focus14.cat.cbpf.br  focus14 #(EMPTY)
152.84.71.200    focus15.cat.cbpf.br  focus15  #Andre Massafferri
#152.84.71.215    focus16.cat.cbpf.br  focus16  #(EMPTY)
152.84.71.216    focus17.cat.cbpf.br  focus17  #Fernando Luiz
#152.84.71.74     focus18.cat.cbpf.br  focus18  #(EMPTY)
152.84.71.217    focus19.cat.cbpf.br  focus19  #Eraldo Junior
152.84.71.106    focus21.cat.cbpf.br  focus21  #Ana Barbara
#152.84.71.---    focus20.cat.cbpf.br  focus20  #Joao Medeiros
152.84.71.42     focus22.cat.cbpf.br  focus22  #visitante
152.84.71.2      focus23.cat.cbpf.br  focus23  #Lais Soares Lavra
#
# Serie 100 
# ---------
# Se a maquina NAO FOR da serie 100 descomente os enderecos abaixo
152.84.71.149    focus100.cat.cbpf.br focus100
152.84.71.30     focus101.cat.cbpf.br focus101
152.84.71.218    focus102.cat.cbpf.br focus102
# Se a maquina FOR da serie 100 descomente os enderecos abaixo
#192.168.0.100    focus100.cat.cbpf.br focus100
#192.168.0.101    focus101.cat.cbpf.br focus101
#192.168.0.102    focus102.cat.cbpf.br focus102


# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

Proposta de backup dos dados

Proposta de conexão de alto desempenho

Proposta para termos uma conexão de alto desempenho com a Grid, visando os dados a serem adquiridos em 2015.

Características do sistema

Todos os computadores são independentes, possibilitando os usuários trabalharem em seus computadores caso perca a rede.
Como todas as contas tem autenticação via NIS, se o computador do usuário ficar fora do ar, o mesmo pode continuar a trabalhar na rede FOCUS, usando os scratchs das outras máquinas, não tendo acesso porém ao seu /home.
Todos os usuários tem acesso a área /scratch#1 dos computadores conectados na rede FOCUS através de SSH.
Ao conectar a outra máquina, o diretório /home do usuário é exportado (espelho), possibilitando que o usuário continue a trabalhar como se estivesse em sua máquina.

Manutenção das máquinas focus

Manutenção da focus100.cat.cbpf.br

Manutenção/Formatação da focus100.cat.cbpf.br feita pela Eraldo terminou em 15 de janeiro de 2014.
Iniciei a cópia do focus101:/data4 para o focus100:/data1 em 21 de janeiro de 2014 às 12:50, utilizando o comando abaixo:

ssh root@focus100.cat.cbpf.br
screen
cd /data1
sudo scp -c arcfour -rpd root@focus101.cat.cbpf.br:/data4/lhcb .
sudo scp -c arcfour -rpd root@focus101.cat.cbpf.br:/data4/svn_repos .
sudo scp -c arcfour -rpd root@focus101.cat.cbpf.br:/data4/lhcbcharm .
sudo scp -c arcfour -rpd root@focus101.cat.cbpf.br:/data4/lhcb_software .

Observações:

O scp usa AES-128 para encriptografar os dados, o que é bastante seguro, porém um pouco lento.Como estamos em uma rede segura, podemos utilizar a cifra RC4 para encriptografar, uma vez que esta é menos segura, porém mais rápida. Fizemos isso usando a opção (-c arcfour). Fonte: scp-linux-mac-command-windows-copy-files-over-ssh.html
Opção -p preserva links e atributos dos arquivos.
Opção -r copia recursivamente, copiando assim os diretórios e tudo que tem dentro dele.
Opção -d

Situação da focus100.cat.cbpf.br em 27/09/2013

25 dias após o e-mail de 5 de setembro onde foi solicitado que todos os diretórios pessoas fossem movidos para o /data2, pois estavamos com 98% de ocupação do /data1 e somente 34% do /data2. Seprando assim o /data1 somente para ntuples e /data2 para os diretórios pessoais.

Filesystem            Size  Used Avail Use% Mounted on
/dev/sdb3             379G  7.0G  352G   2% /
/dev/sdb5             190G  209M  180G   1% /home
/dev/sdb6             1.2T   15G  1.1T   2% /usr/local
/dev/sda1             4.4T  4.0T  271G  94% /data1
/dev/sda2             4.4T  1.8T  2.5T  41% /data2
/dev/sdb1             578M   36M  513M   7% /boot

Diretório: /data1

4.0K    ./helder
742M    ./focus_scr
53M     ./frodrigu_guest
41M     ./massafferri
52G     ./svn_repos
6.1G    ./irina
17G     ./scratch62_lhcbntp_bck
968M    ./tmp_paper00X_ntp
27G     ./lhcb_software
8.0K    ./tmp_moriond_ntp
2.8G    ./frank
8.0K    ./tmp_ckm2012_ntp
893G    ./lhcbcharm
20G     ./scratch63_lhcbntp_bck
14G     ./Alvaro
2.9T    ./lhcb
8.0K    ./tmp_paperCollision11_ntp
940K    ./moriond_2012_alvaro
4.0K    ./expunged
4.0K    ./alberto
32G     ./hicheur
332K    ./.Trash-14589
3.9T    .

Diretório: /data2

91G     ./hicheur
11G     ./frodrigu
15G     ./irina
1.5T    ./lhcbcharm
811M    ./alberto
135G    ./helder
34G     ./jussara
209M    ./anab
883M    ./bediaga
1.7T    .

Situação da focus100.cat.cbpf.br em 30/08/2013

Filesystem            Size  Used Avail Use% Mounted on
/dev/sdb3             379G  7.2G  352G   2% /
/dev/sdb5             190G  209M  180G   1% /home
/dev/sdb6             1.2T   15G  1.1T   2% /usr/local
/dev/sda1             4.4T  4.1T  172G  96% /data1 <<<<<<<<<<<<<<<<<< QUASE 100% OCUPADA!
/dev/sda2             4.4T  1.5T  2.8T  34% /data2 
/dev/sdb1             578M   36M  513M   7% /boot
tmpfs                  12G     0   12G   0% /dev/shm

Diretório: /data1

229G	./helder
742M	./focus_scr
363M	./frodrigu_guest
41M	./massafferri
52G	./svn_repos    <<<<<<<<<<<<<<<<<<<<<< (Diretório com todos os repositórios listados aqui.)
39G	./irina
17G	./scratch62_lhcbntp_bck
968M	./tmp_paper00X_ntp
27G	./lhcb_software
8.0K	./tmp_moriond_ntp
2.8G	./frank
8.0K	./tmp_ckm2012_ntp
893G	./lhcbcharm  <<<<<<<<<<<<<<<<<<<<<<<< (Diretório do grupo de Charm.)
20G	./scratch63_lhcbntp_bck
14G	./Alvaro
2.7T	./lhcb   <<<<<<<<<<<<<<<<<<<<<<<<<<<< (Ver abaixo)
8.0K	./tmp_paperCollision11_ntp
9.6G	./frodrigu
940K	./moriond_2012_alvaro
4.0K	./expunged
42G	./jussara
30G	./hicheur
332K	./.Trash-14589
4.0T	.  <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< (Total)

Diretório: /data1/lhcb

354M	./paper002_res
2.8G	./pphNtuples
123M	./urca
3.9G	./paper001_ntp
122M	./tmp_results
1.1G	./paper001_res_new
18G	./data2012_ntp
26G	./ntuplas
6.1G	./ckm2012_ntp
609M	./data2012_res
8.2G	./paperCollision11_ntp
194M	./b2hhh-scr
11G	./moriond2012_ntp---frozen
1.7G	./paper001_res
19G	./fpcp2012_ntp---frozen
590M	./tobeCreated
2.6T	./b2hhh-ntp <<<<<<<<<<<<<<<<<<<<<<< (Diretório com as ntuples baixadas da Grid - sem cortes finais.)
1.1G	./paper002_ntp
2.7T	. <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< (Total)

Diretório: /data2

1.5T	./lhcbcharm
883M	./bediaga
1.5T	. <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< (Total)