Bash Script pentru a rula AWS Cli comandă în paralel pentru a reduce timpul

Question 1

scuze sunt mai nou la bash scripting. Am in jur de 10000 de EC2, am creat acest script bash pentru a-mi schimba EC2 tip, toate exemplu numele și tipul sunt stocate într-un fișier. codul este de lucru, dar acesta este de a lua atât de mult timp pentru a rula prin instanță de către instanță.

nu orice trebuie să știe dacă pot rula AWS Cli comanda pe toate EC2 într-un du-te ? Multumesc :)

#!/bin/bash

my_file='test.txt'

declare -a instanceID
declare -a fmo #Future Instance Size

while IFS=, read -r COL1 COL2; do

   instanceID+=("$COL1")
   fmo+=("$COL2")   

done <"$my_file"

len=${#instanceID[@]}

for (( i=0; i < $len; i++)); do

   vm_instance_id="${instanceID[$i]}"
   vm_type="${fmo[$i]}"

   echo Stoping $vm_instance_id
   aws ec2 stop-instances --instance-ids $vm_instance_id

   echo " Waiting for $vm_instance_id state to be STOP "
   aws ec2 wait instance-stopped --instance-ids $vm_instance_id


   echo Resizing $vm_instance_id to $vm_type 
   aws ec2 modify-instance-attribute --instance-id $vm_instance_id --instance-type $vm_type
   


   echo Starting $vm_instance_id 
   aws ec2 start-instances --instance-ids $vm_instance_id
    

done

Question 2

Refactor codul pentru o funcție pe care a trecut-o linie din fișier.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Rula GNU xargs sau GNU paralel pentru fiecare linie din fișier care solicită exportate funcție. Utilizarea -P opțiunea de a rula funcția în paralel, a se vedea documentația.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"

Question 3

Ca @KamilCuk subliniat aici, puteți face cu ușurință acest lucru rula în paralel. Cu toate acestea, Dacă tu a alerga acest script în paralel, s-ar putea ajunge, chinuindu-mă cu EC2, astfel încât asigurați-vă că include unele backoff + retry logica / respect limitele specificate aici https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

KamilCuk · Answer 1 · 2021-11-23T10:03:16

Refactor codul pentru o funcție pe care a trecut-o linie din fișier.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Rula GNU xargs sau GNU paralel pentru fiecare linie din fișier care solicită exportate funcție. Utilizarea -P opțiunea de a rula funcția în paralel, a se vedea documentația.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"

Praveen Sastry · Answer 2 · 2021-11-25T06:11:48

Ca @KamilCuk subliniat aici, puteți face cu ușurință acest lucru rula în paralel. Cu toate acestea, Dacă tu a alerga acest script în paralel, s-ar putea ajunge, chinuindu-mă cu EC2, astfel încât asigurați-vă că include unele backoff + retry logica / respect limitele specificate aici https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

Bash Script pentru a rula AWS Cli comandă în paralel pentru a reduce timpul

Problema

Cel mai bun răspuns

În alte limbi

Această pagină este în alte limbi

Popular în această categorie

Întrebări frecvente în această categorie