HPC – Universidade de São Paulo Superintendência da Tecnologia da Informação Computação de Alto Desempenho
FacebookTwitterGoogle PlusYoutube

FAQ

Túnel SSH com MobaXterm (Windows)

Transferência de arquivos entre lince2, aguia4, aguia3 e seu micro com linux

O exemplo a seguir é para a lince2. Substitua “lince2” por “aguia4” ou “aguia3” conforme o caso.
No linux, para copiar arquivos da lince2  para seu micro você precisa ter, em seu linux local, um arquivo que está na shark para depois executar o comando para transferir arquivos.  Este arquivo é sua senha e vai ser usado no comando scp. No item 1) você transfere este arquivo para seu micro, no item 2) você abre o túnel e no item 3) você efetua a cópia.

1) Copie para seu diretório local o arquivo /home/seu_numero_USP/.ssh/id_ed25519  que está na shark (ele é sua chave privada e deve ser protegida de forma que outros usuários não tenham acesso) com os seguintes comandos que você executa no seu linux local:

cd diretório_local_do_seu_linux

scp seu_numero_USP@shark.hpc.usp.br:/home/seu_numero_USP/.ssh/id_ed25519 .

o ponto “.” no final do comando indica que o arquivo será copiado para seu diretório corrente no seu linux. Proteja este arquivo com o seguinte comando:

chmod 700 ./id_ed25519

2) Em um terminal no seu linux abra o túnel digitando sua senha única:

      ssh -X -2 -L 8020:lince2:22 seu_numero_USP@shark.hpc.usp.br

3) Deixe este terminal aberto e, em outro terminal no seu linux, execute o comando:

    scp -r -P 8020 -i ./id_ed25519  seu_numero_USP@localhost:/scratch/seu_numero_USP/diretorio_fonte .

O “-i ./id_ed25519” é a sua “senha” para fazer a conexão com a lince2, e o ponto “.” no final  do comando indica que os arquivos da lince2 serão copiados para seu diretório corrente em seu linux local. A palavra “localhost” deixe assim mesmo.

Tudo isso só vai funcionar se a sua versão do ssh ser acima de 7. Para saber a versão do seu ssh, execute o comando “ssh -V”.

Outra idéia é você, a partir da lince2, executar o comando scp enviando os arquivos da lince2 para seu micro local, sem utilizar o túnel pela shark. A partir da lince2, execute comandos como:

cd /scratch/seu_numero_USP/arquivos_origem
scp -r *  ip.do.seu.micro:/seu-diretorio

Caso queira enviar arquivos do seu micro para a lince2, inverta a ordem dos parâmetros no comando scp, pois a sintaxe do comando scp é “scp origem destino”.

  • Acesso SSH/SFTP usando bastion host: Bastaria adicionar o conteúdo abaixo no final do /etc/ssh/ssh_config no seu linux, substituindo os negritos quando pertinente. A chave pública deve estar no seu ~/.ssh.authorized_keys das máquinas de destino.

 

Host shark.hpc.usp.br
User SEU_USERNAME
IdentityFile ~/.ssh/id_ed25519
ControlMaster auto
ControlPath ~/.ssh/cm_socket-%r@%h:%p
Host lince.hpc.usp.br
User SEU_USERNAME
IdentityFile ~/.ssh/id_ed25519
ProxyCommand ssh SEU_USERNAME@shark.hpc.usp.br -W %h:%p
ServerAliveInterval 240

Host lince2.hpc.usp.br
User SEU_USERNAME
IdentityFile ~/.ssh/id_ed25519
ProxyCommand ssh SEU_USERNAME@shark.hpc.usp.br -W %h:%p
ServerAliveInterval 240

Host aguia3.hpc.usp.br
User SEU_USERNAME
IdentityFile ~/.ssh/id_ed25519
ProxyCommand ssh SEU_USERNAME@shark.hpc.usp.br -W %h:%p
ServerAliveInterval 240

Binding/Pinning cpus to processHost aguia4.hpc.usp.br
User SEU_USERNAME
IdentityFile ~/.ssh/id_ed25519
ProxyCommand ssh SEU_USERNAME@shark.hpc.usp.br -W %h:%p
ServerAliveInterval 240

 

 

 

 

Lista de softwares

Software URL site
Amber http://ambermd.org/
Annovar http://annovar.openbioinformatics.org/en/latest/
Ansys (Fluent / Mechanical / https://www.ansys.com/products/all-products
Arlequin http://cmpg.unibe.ch/software/arlequin35/
ARPACK https://www.caam.rice.edu/software/ARPACK/
Bagel
Beagle https://github.com/beagle-dev/beagle-lib https://faculty.washington.edu/browning/beagle/beagle.html#download
Beast https://beast.community/beagle
Bedtools2 https://github.com/arq5x/bedtools2
Blast / ncbi-blast https://blast.ncbi.nlm.nih.gov/Blast.cgi
Bowtie http://bowtie-bio.sourceforge.net/index.shtml
Canu https://github.com/marbl/canu
CDO https://code.mpimet.mpg.de/projects/cdo
cisMetalysys
Cplex https://www.ibm.com/analytics/cplex-optimizer https://www.ibm.com/support/knowledgecenter/SSSA5P_12.6.2/ilog.odms.studio.help/pdf/usrcplex.pdf
dftbplus https://www.dftbplus.org/
deepmedic https://github.com/deepmedic/deepmedic
dock6 http://dock.compbio.ucsf.edu/DOCK_6/index.htm
exonerate https://www.ebi.ac.uk/about/vertebrate-genomics/software/exonerate
FH-aims https://aimsclub.fhi-berlin.mpg.de
Gamess https://www.msg.chem.iastate.edu/GAMESS/
GATK https://software.broadinstitute.org/gatk/
Gaussian https://gaussian.com/
Glog https://github.com/google/glog
GMP https://gmplib.org/
Gromacs http://www.gromacs.org/
GSL https://www.gnu.org/software/gsl/doc/html/
IQ-TREE http://www.iqtree.org/
JAGS http://mcmc-jags.sourceforge.net/ https://cran.r-project.org/web/packages/rjags/index.html
Lammps https://lammps.sandia.gov/
LLVM https://llvm.org/
lowdin (molecular orbital analisys) http://www.sg-chem.net/aomix/
Magma https://icl.utk.edu/magma/index.html
maker
MaSuRCA https://github.com/alekseyzimin/masurca
Matlab https://www.mathworks.com/products/matlab.html
Medusa https://github.com/Xtra-Computing/Medusa
Meep https://meep.readthedocs.io/en/latest/#download
Molcas / OpenMolcas http://www.molcas.org/
Mopac http://openmopac.net/home.html
mothur https://www.mothur.org/
MPC
MPFR https://www.mpfr.org/index.html
MrBayes http://nbisweden.github.io/MrBayes/
myCosmoMC-planck2018 https://cosmologist.info/cosmomc/
MUMmer http://mummer.sourceforge.net/
NAMD https://www.ks.uiuc.edu/Research/namd/
NEWave (Copel) http://www.cepel.br/pt_br/produtos/newave-modelo-de-planejamento-da-operacao-de-sistemas-hidrotermicos-interligados-de-longo-e-medio-prazo.htm
newtonx (dinâmica molecular) www.newtonx.org
Octave https://www.gnu.org/software/octave/
OpenBugs http://www.openbugs.net/w/FrontPage
openfoam6 https://www.openfoam.com/
OPERA-LG https://sourceforge.net/projects/operasf/
Orca https://orcaforum.kofo.mpg.de/app.php/portal
Oxl https://www.doornik.com/ox/
Pilon https://github.com/broadinstitute/pilon/wiki
Pluto http://pluto-compiler.sourceforge.net/
Python / Anaconda https://www.anaconda.com/
qctool https://bitbucket.org/gavinband/qctool/src/default/
QIIME https://qiime2.org/
Quantum Espresso https://www.quantum-espresso.org/
R https://cran.r-project.org/
RegCM https://www.ictp.it/research/esp/models/regcm4.aspx
RepeatMasker http://www.repeatmasker.org/
Rosetta https://www.rosettacommons.org/
SDL
Siesta https://departments.icmab.es/leem/siesta/
SnpEff http://snpeff.sourceforge.net/index.html
SPAdes http://cab.spbu.ru/software/spades/
SpecFem3D https://geodynamics.org/cig/software/specfem3d/
structure https://web.stanford.edu/group/pritchardlab/structure.html
stubb
Tandem_Repeats_Finder https://tandem.bu.edu/trf/trf.html
TensorFlow https://www.tensorflow.org/
Torch http://torch.ch/
VASP https://www.vasp.at/
VMD https://www.ks.uiuc.edu/Research/vmd/
WRF https://www.mmm.ucar.edu/weather-research-and-forecasting-model
Softwares do OpenHPC https://github.com/openhpc/ohpc/wiki/Component-List-v1.3.8