Faq

Posted on Enio CarboniPosted in Faq, System administrator

bash

Rename a group of files based on a regex

Suppose you want to rename the name of a group of files that have the following template:

file1_tmp.sh
file2_tmp.sh
...
file99_tmp.sh

and suppose you want to remove the ‘_tmp’ middle part in all the files. We can use the command “rename” or “prename”:

 rename 's/_tmp//' *.sh

 

Redirect the standard error to the standard output

To redirect the standard error of a shell command, just use the following syntax:

ls file-that-does-not-exist 2>&1 | grep file

Or even better not to have on the terminal the standard error just throw it in /dev/null

ls file-that-does-not-exist 2>/dev/null

The standard open or standard streams that are automatically opened are:

  • 0 standard input
  • 1 standard output
  • 2 standard error

 

Using simple arrays in bash

With Bash to explicitly declare an array you have to use

declare -A mioarray

To have the value of element 5 just write

echo $[mioarray[5]

While to change the value you have to write

mioarray[5]='new value'

${mioarray[*]} o ${mioarray[@]} is expanded by all array values while $[#mionome[@]} is expanded with the length of the array

What can we do with the arrays? For example, store the output of a command whose line we would like to go to a different item.

IFS=$'\n' mioarray=($(ls -alh))

At this point we can print output as

 IFS=$'\n' echo "${mioarray[*]}"

Attention: Double quotes are important for not having the output on a single line.

Doing so we could do several tests on the same captured output once.

 

 

Using associative arrays in bash

To declare an associative array, you must do so

declare -A mioarray

and as an index you can use a string, this means that

mioarray[test]='aa'
echo ${mioarray[test]} # returns 'aa'

 

lvm

Adding a disk in LVM

Suppose you want to add a disk or partition in the Linux LVM handler and create a volume group named “quollvg” with a logical volume called “quolllv” of size 50GB.

Check the list of disks with the command:

fidisk -l

Suppose that /dev/sdb is the disk you want to add

We launch the command (lvm)

pvcreate /dev/sdb

If we are going to use a partition, such as disk 1, after creating and associating type 83 (LVM) we use the command:

pvcreate /dev/sdb1

At this point we create the volume group and the logical volume, format and mount the new disk:

vgcreate quollvg /dev/sdb
lvcreate -L 50G -n quolllv quollvg
mkdir /quolllv
mkfs.ext4dev -m 1 /dev/quolvg/quollv
mount /dev/mapper/quollvg-quolllv /quolllv

To see the status of logical volume and volume group:

lvdisplay
vgdisplay

 

 

Aggiungere un disco ad un volume group in LVM

Supponiamo di aver un volume group LVM di nome “quollvg” pieno o quasi pieno e di voler aggiungere dell’altro spazio avendo a disposizione un altro disco o un’altra partizione libera.

Supponiamo che il disco libero sia /dev/sdc (o /dev/sdc1) allora quello che dobbiamo fare è semplicemente:

pvcreate /dev/sdc
vgextend quollvg /dev/sdc

 

Aumentare la dimensione di una partizione LVM

Supponiamo di voler aumentare di 10G la dimensione della partizione ext4 del volume logico “quolllv” appartenente al volume group “quollvg”.

Per prima cosa controlliamo che il volume group “quollvg” abbia almeno 10GB liberi (sarebbe bene per un system administrator lasciare sempre libero in ogni volume group almeno dal 3% al 5% dello spazio nel caso in cui serva fare una snap per il backup o per qualche altro motivo)

vgdisplay quollvg

e controllare la sezione “Free PE / Size” per verificare che ci sia spazio disponibile.

Usare il comando per allargare il logical volume “quolllv“:

lvresize -L +10G /dev/quollvg/quolllv

A questo punto il logical volume “quolllv” è più grande di 10GB; bisogna quindi farlo sapere anche al file system ext4:

resize2fs /dev/mapper/quollvg-quolllv

Il resize2fs viene fatto anche caldo (a disco montato) quindi non preoccupatevi se è occupato da altro e non può esser smontato

Come creare una snapshot di un logical volume

Supponiamo di voler creare una snapshot del logical volume “quolllv” già esistente appartenente al volume group “quollvg“.

Controlliamo prima che ci sia spazio a sufficienza nel volume group:

vgdisplay quollvg

Controlliamo che “Free PE / Size” non sia tutto già occupato e supponiamo di avere 5GB di spazio da poter utilizzare per la snapshot:

lvcreate -L +5G -s -n "quolllv_snap" /dev/quollvg/quolllv

A questo punto abbiamo a disposizione la snapshot come verificabile digitando il comando:

lvdisplay

Possiamo quindi montarla ed utilizzarla:

mkdir /snap
mount /dev/mapper/quollvg-quolllv_snap /snap

Dopo averci lavorato (ad esempio dopo il backup) possiamo tranquillamente eliminare la snapshot:

umount /snap
lvremove -f /dev/quollvg/quolllv_snap
rmdir /snap

 

openssl

Extracting the contents of a digitally signed file (p7m)

Let’s consider the case where the signed document is a pdf (document.pdf.p7m).

To extract the content file we use the openssl command with the smime parameter for signature verification (-verify)

openssl smime -verify -noverify -in document.pdf.p7m -inform DER -out document.pdf

For more information, see the articol

Extraction of the certificate of a digitally signed files (p7m)

Let’s consider the case where the signed document is a pdf (document.pdf.p7m).

To extract the certificate used to sign the p7m we use the openssl command with the pkcs parameter

openssl pkcs7 -inform DER -in document.pdf.p7m -print_certs -out cert.pem

The certificate will be extracted in the cert.pem file. If you want to display textually enough the certificate command x509

openssl x509 -in cert.pem -text -noout

For more information, see the articol

Checking the signature of a p7m document

Consider the case where the signed document is a pdf (document.pdf.p7m).

To verify the signature and extract the content file, we use the openssl command with the smime parameter for signature verification (-verify)

openssl smime -in document.pdf.p7m -inform DER -verify -CAfile CA.pem -out document.pdf

where CA.pem contains the CA certificate (Certificate Authority) that issued the certificate in the p7m.

For more information, see the articol

Trust certificate authority per firma digitale

If you try to verify the signature of a p7m file without the Certification Authority (la CA), the verification fails (“unable to load certificate“) because we do not have CA trust certificates (so-called Trusts).
These Certificate Authorities have been defined by Italian law and are registered on the CNIPA, which since December 2009 has become DigitPA, as a certificate of XML certificates and found them on the same site at https://applicazioni.cnipa.gov.it/TSL/_IT_TSL_signed.xml.
To have openssl manage them you have to put them in its format so:

wget -O - https://applicazioni.cnipa.gov.it/TSL/_IT_TSL_signed.xml | perl -ne 'if (/<X509Certificate>/) {
s/^\s+//; s/\s+$//;
s/<\/*X509Certificate>//g;
print "-----BEGIN CERTIFICATE-----\n";
while (length($_)>64) {
print substr($_,0,64)."\n";
$_=substr($_,64);
}
print $_."\n";
print "-----END CERTIFICATE-----\n";
}' >CA.pem

This way we have all the certificates in a single CA.pem file, unfortunately even those that may have expired. Even if it’s over, we may need to check out an old file so we can also serve the expiration.
For more information, see the article

For script updates, please visit https://github.com/eniocarboni/getTrustCAP7m

perl

Extract all public GPG keys from a file

Suppose you have a file named “file-with-keys-gpg” and want to extract it by deleting any other line in the file.

perl -ne 'print if /-----BEGIN PGP PUBLIC KEY BLOCK-----/../-----END PGP PUBLIC KEY BLOCK-----/' file-with-keys-gpg

Of course by extrapolating the logic we might want to print all the lines between two regexp

perl -ne 'print if /regex1/../regex2/' file.txt

Add 1 to all numbers on a string

$str =~ s/(\d+)/$1+1/ge

Number a text file

Suppose we have a text file (prova.txt) that we want to number. We can use:

perl -pe '$_ = "$. $_"' prova.txt

If you want to simulate the output of cat -n prova.txt just use:

perl -ne 'printf "% 5d %s", $., $_' prova.tx

To remove the numbering we can use:

perl -pe 's/^\s*\d+\s*//' prova.txt

Encode/decode a file or string in Mime Base64

Suppose you have a “test encode” string and a “prova.txt” file you want to encode in Mime base64. To solve the problem we can simply launch the command line:

perl -MMIME::Base64 -e 'print encode_base64("test encode")'
perl -MMIME::Base64 -0777 -ne 'print encode_base64($_)' prova.txt

For the reverse operation just do:

perl -MMIME::Base64 -le 'print decode_base64("string in base64")'
perl -MMIME::Base64 -ne 'print decode_base64($_)' prova.base64

 

Just print line 25 of a file

Suppose you only want to print a single line of a file, which for convenience is indicated by line 25

perl -ne '$. == 25 && print && exit' file.txt

Of course if we also want to print lines 31 and 57

perl -ne '($. == 25 || $. == 31 || $. == 57) && print' file.txt

While we wanted all the lines between 25 and 57 included

perl -ne 'print if $. >= 25 && $. <= 57' file.txt

Rename a group of files based on a regex

Suppose you want to rename the name of a group of files that have the following template:

file1_tmp.sh
file2_tmp.sh
...
file99_tmp.sh

and suppose you want to remove the ‘_tmp’ middle part in all the files. We can use the command “rename” or “prename”:

 rename 's/_tmp//' *.sh

 

How to count the number of times a single character is present in each line of a file

Let’s suppose we have a text file named “file.csv” and want to count for each line the number of times a character is displayed, such as the character “,“.
Suppose the result is the output of the same file “file.csv” preceded in each line by the count itself.

Just simply the following single line perl:

perl -ne '@c=$_=~/;/g; print scalar(@c)." ". $_;' file.csv

 

 

ssh

ssh: come importare la chiave pubblica su un host

Supponiamo di aver già a disposizione le nostre chiavi pubbliche e private ssh o creiamole per la prima volta con il comando

ssh-keygen

Le chiavi create sono sotto $HOME/.ssh/id* e le pubbliche finiscono con .pub

Abilitare l’ssh-agent ed aggiungere le chiavi con il comando

ssh-add

Per importare la chiave sull’host “mioserver” di cui abbiamo accesso tramite l’utente “mioutente” basta il comando

ssh-copy-id mioutente@mioserver

In tal caso tutte le chiavi pubbliche vengono copiate nel server “mioserver“.
Se si vuol copiare solo la chiave “rsa” basta lanciare il comando

ssh-copy-id -i $HOME/.ssh/id_rsa mioutente@mioserver

 

Come cambiare la password ssh

ssh-keygen -p

Come lanciare un comando su un host remoto in ssh

Per lanciare un comando remoto basta passarlo come ultimo parametro al comando ssh.

Supponiamo ad esempio di volere la lista dei file della home page di “mioutente” su “mioserver”

ssh mioutente@mioserver ls -alh

Per fare, invece,  il backup di tutta la home con il comando tar e salvare tutto in locale tramite comando ssh, lanciamo

ssh mioutente@mioserver tar czvf - . >miobackup.tgz

Utilizzare ssh come server/proxy SOCKS5

Supponiamo di voler utilizzare “mioserver” come server/proxy SOCKS5 e configurarlo sul browser locale facciamo

ssh mioutente@mioserver
mioutente@mioserver:~$ ssh -N -D 8080 localhost

A questo punto basta configurare nel browser l’utilizzo del server “mioserver” su porta “8080” come SOCKS5 e navigare.
Aggiungere l’opzione “-f” di ssh per lasciare il comando in background.

Come redirigere una connessione remota in locale tramite ssh

Supponiamo che l’host “mioserver” sia autorizzato ad accedere su una DMZ al server mysql della server farm, per poter accedere direttamente anche con il computer locale al server mysql possiamo lanciare il comando locale

ssh -L 3333:mysql_server_name_o_ip:3306 mioutente@mioserver

Lasciando il comando attivo ora abbiamo un canale/tunnel criptato tra il computer locale e “mioserver” sulla porta locale 3333 che si connette direttamente al server mysql in DMZ (di nome mysql_server_name_o_ip).
Possiamo quindi connetterci direttamente al server mysql con il comando

mysql -P 3333 -h 127.0.0.1 -u mioutentemysql -p miodatabasemysql

Oppure se si preferisce utilizzare phpMyAdmin basta installarlo in locale e configurarlo sulla porta locale 3333.

Per togliere il canale criptato basta chiudere la connessione ssh.

Redirigere un servizio locale in remoto con ssh

Supponiamo di volerci connetterci da casa al pc dell’ ufficio (che può accede al server “mioserver” in server farm)  non raggiungibile nemmeno in VPN; basta che dal pc di ufficio lanciamo il comando ssh:

ssh -N -f -R 2222:localhost:22 mioutente@mioserver

lasciandolo attivo (senza spegnere il computer).
Da casa basta abilitare la VPN per poter raggiungere “mioserver” e connettersi al server

ssh mioutente@mioserver
mioutente@mioserver:~$ ssh -P 2222 utente_pc_lavoro@localhost
utente_pc_lavoro@localhost:~$

In tal modo si riesce ad entrare nel pc dell’ufficio da casa.

 

Leave a Reply

Your email address will not be published. Required fields are marked *