diff --git a/.DS_Store b/.DS_Store new file mode 100644 index 0000000..3f37e85 Binary files /dev/null and b/.DS_Store differ diff --git a/.github/FUNDING.yml b/.github/FUNDING.yml new file mode 100644 index 0000000..4bad604 --- /dev/null +++ b/.github/FUNDING.yml @@ -0,0 +1,13 @@ +# These are supported funding model platforms + +github: [MichaelCade] +patreon: # Replace with a single Patreon username +open_collective: # Replace with a single Open Collective username +ko_fi: # michaelcade1 +tidelift: # Replace with a single Tidelift platform-name/package-name e.g., npm/babel +community_bridge: # Replace with a single Community Bridge project-name e.g., cloud-foundry +liberapay: # Replace with a single Liberapay username +issuehunt: # Replace with a single IssueHunt username +otechie: # Replace with a single Otechie username +lfx_crowdfunding: # Replace with a single LFX Crowdfunding project-name e.g., cloud-foundry +custom: # Replace with up to 4 custom sponsorship URLs e.g., ['link1', 'link2'] diff --git a/.github/workflows/add-contributors.yml b/.github/workflows/add-contributors.yml deleted file mode 100644 index aeef831..0000000 --- a/.github/workflows/add-contributors.yml +++ /dev/null @@ -1,24 +0,0 @@ -name: Add contributors -on: - schedule: - - cron: '0 12 * * *' -# push: -# branches: -# - master - -jobs: - add-contributors: - runs-on: ubuntu-latest - steps: - - uses: actions/checkout@v2 - - uses: BobAnkh/add-contributors@master - with: - REPO_NAME: 'MichaelCade/90DaysOfDevOps' - CONTRIBUTOR: '### Other Contributors' - COLUMN_PER_ROW: '6' - ACCESS_TOKEN: ${{secrets.GITHUB_TOKEN}} - IMG_WIDTH: '100' - FONT_SIZE: '14' - PATH: '/Contributors.md' - COMMIT_MESSAGE: 'docs(Contributors): update contributors' - AVATAR_SHAPE: 'round' diff --git a/.github/workflows/welcome_workflow.yaml b/.github/workflows/welcome_workflow.yaml new file mode 100644 index 0000000..745f374 --- /dev/null +++ b/.github/workflows/welcome_workflow.yaml @@ -0,0 +1,18 @@ +name: 'Welcome New Contributors' + +on: + issues: + types: [opened] + pull_request_target: + types: [opened] + +jobs: + welcome-new-contributor: + runs-on: ubuntu-latest + steps: + - name: 'Greet the contributor' + uses: garg3133/welcome-new-contributors@v1.2 + with: + token: ${{ secrets.GITHUB_TOKEN }} + issue-message: 'Hello there, thanks for opening your first issue here. We welcome you to the #90DaysOfDevOps community!' + pr-message: 'Hello there, thanks for opening your first Pull Request. Someone will review it soon. Welcome to the #90DaysOfDevOps community!' diff --git a/.vscode/settings.json b/.vscode/settings.json new file mode 100644 index 0000000..b242572 --- /dev/null +++ b/.vscode/settings.json @@ -0,0 +1,5 @@ +{ + "githubPullRequests.ignoredPullRequestBranches": [ + "main" + ] +} \ No newline at end of file diff --git a/2022.jpg b/2022.jpg deleted file mode 100644 index 33d3c4f..0000000 Binary files a/2022.jpg and /dev/null differ diff --git a/2022.png b/2022.png new file mode 100644 index 0000000..565744b Binary files /dev/null and b/2022.png differ diff --git a/2022/Days/day10.md b/2022/Days/day10.md index 9e604e8..fbf4d82 100644 --- a/2022/Days/day10.md +++ b/2022/Days/day10.md @@ -77,14 +77,14 @@ The ones we want to learn more about are the build, install and run. ![](Images/Day10_Go8.png) - `go run` - This command compiles and runs the main package comprised of the .go files specified on the command line. The command is compiled to a temporary folder. -- `go build` - To compile packages and dependencies, compile the package in the current directory. If the `main` package, will place the executable in the current directory if not then it will place the executable in the `pkg` folder. `go build` also enables you to build an executable file for any Go Supported OS platform. -- `go install` - The same as go build but will place the executable in the `bin` folder +- `go build` - To compile packages and dependencies, compile the package in the current directory. If Go project contains a `main` package, it will create and place the executable in the current directory if not then it will put the executable in the `pkg` folder, and that can be imported and used by other Go programs. `go build` also enables you to build an executable file for any Go Supported OS platform. +- `go install` - The same as go build but will place the executable in the `bin` folder. We have run through go build and go run but feel free to run through them again here if you wish, `go install` as stated above puts the executable in our bin folder. ![](Images/Day10_Go9.png) -Hopefully, if you are following along you are watching one of the playlists or videos below, I am taking bits of all of these and translating these into my notes so that I can understand the foundational knowledge of the Golang language. The resources below are likely going to give you a much better understanding of a lot of the areas you need overall but I am trying to document the 7 days or 7 hours worth of the journey with interesting things that I have found. +Hopefully, if you are following along, you are watching one of the playlists or videos below. I am taking bits of all of these and translating these into my notes so that I can understand the foundational knowledge of the Golang language. The resources below are likely going to give you a much better understanding of a lot of the areas you need overall, but I am trying to document the 7 days or 7 hours worth of the journey with interesting things that I have found. ## Resources diff --git a/2022/Days/day11.md b/2022/Days/day11.md index 358569a..efadc9b 100644 --- a/2022/Days/day11.md +++ b/2022/Days/day11.md @@ -51,7 +51,7 @@ You will then see from the below that we built our code with the above example a ![](Images/Day11_Go1.png) -We also know that our challenge is 90 days at least for this challenge, but next, maybe it's 100 so we want to define a variable to help us here as well. However, for our program, we want to define this as a constant. Constants are like variables, except that their value cannot be changed within code (we can still create a new app later on down the line with this code and change this constant but this 90 will not change whilst we are running our application) +We also know that our challenge is 90 days at least for this challenge, but next, maybe it's 100 so we want to define a variable to help us here as well. However, for our program, we want to define this as a constant. Constants are like variables, except that their value cannot be changed within code (we can still create a new app later on down the line with this code and change this constant but this 90 will not change while we are running our application) Adding the `const` to our code and adding another line of code to print this. diff --git a/2022/Days/day13.md b/2022/Days/day13.md index 9233b96..b72238f 100644 --- a/2022/Days/day13.md +++ b/2022/Days/day13.md @@ -56,6 +56,8 @@ To test this before putting this into our main application, I created a new dire We now need those keys, tokens and secrets we gathered from the Twitter developer portal. We are going to set these in our environment variables. This will depend on the OS you are running: +I have had a few questions regarding environment variables, here is a blog post that goes into more detail so you can understand what is happening. [How To Set Environment Variables](https://www.twilio.com/blog/2017/01/how-to-set-environment-variables.html) + Windows ``` diff --git a/2022/Days/day14.md b/2022/Days/day14.md index 8ad7b21..f9ca926 100644 --- a/2022/Days/day14.md +++ b/2022/Days/day14.md @@ -40,6 +40,8 @@ Next up we also need to get [Virtual Box](https://www.virtualbox.org/wiki/Downlo Both installations are pretty straightforward and both have great communitites around them so feel free to reach out if you have issues and I can try and assist too. +> If you are using m1 macOS, I recommend to use [multiplass]([url](https://multipass.run/)) instead of Vagrant and VirtualBox. (reference : https://github.com/MichaelCade/90DaysOfDevOps/issues/365) + ## Our first VAGRANTFILE The VAGRANTFILE describes the type of machine we want to deploy. It also defines the configuration and provisioning for this machine. diff --git a/2022/Days/day19.md b/2022/Days/day19.md index 536208f..19fdd90 100644 --- a/2022/Days/day19.md +++ b/2022/Days/day19.md @@ -92,7 +92,7 @@ This way when and where we use `$challenge` in our code, if we change the variab If we now run our `sh` script you will see the printout that was added to our script. -![](Images/Day19_Linux5.png) +![](Images/Day19_Linux6.png) We can also ask for user input that can set our variables using the following: diff --git a/2022/Days/day34.md b/2022/Days/day34.md index bece950..d32daac 100644 --- a/2022/Days/day34.md +++ b/2022/Days/day34.md @@ -179,7 +179,7 @@ Following [Module 09a](https://microsoftlearning.github.io/AZ-104-MicrosoftAzure - Task 6: Configure and test autoscaling of the Azure web app -This script I am using can be found in (Cloud/05Serverless) +This script I am using can be found in (Cloud/04Serverless) ![](Images/Day34_Cloud36.png) diff --git a/2022/Days/day35.md b/2022/Days/day35.md index f93141f..9b3e6c3 100644 --- a/2022/Days/day35.md +++ b/2022/Days/day35.md @@ -84,7 +84,7 @@ If we create an additional file called `samplecode.ps1`, the status would become ![](Images/Day35_Git10.png) -Add our new file using the `git add sample code.ps1` command and then we can run `git status` again and see our file is ready to be committed. +Add our new file using the `git add samplecode.ps1` command and then we can run `git status` again and see our file is ready to be committed. ![](Images/Day35_Git11.png) diff --git a/2022/Days/day36.md b/2022/Days/day36.md index 92fd046..41ec88d 100644 --- a/2022/Days/day36.md +++ b/2022/Days/day36.md @@ -44,7 +44,7 @@ Now we can choose additional components that we would like to also install but a ![](Images/Day36_Git4.png) -We can then choose which SSH Executable we wish to use. IN leave this as the bundled OpenSSH that you might have seen in the Linux section. +We can then choose which SSH Executable we wish to use. I leave this as the bundled OpenSSH that you might have seen in the Linux section. ![](Images/Day36_Git5.png) diff --git a/2022/Days/day55.md b/2022/Days/day55.md index 0f9d777..19909a2 100644 --- a/2022/Days/day55.md +++ b/2022/Days/day55.md @@ -102,7 +102,7 @@ We also have two other types of volumes that we will not get into detail on but In the session yesterday we walked through creating a stateless application, here we want to do the same but we want to use our minikube cluster to deploy a stateful workload. -A recap on the minikube command we are using to have the capability and addons to use persistence is `minikube start --addons volumesnapshots,csi-hostpath-driver --apiserver-port=6443 --container-runtime=containerd -p mc-demo --Kubernetes-version=1.21.2` +A recap on the minikube command we are using to have the capability and addons to use persistence is `minikube start --addons volumesnapshots,csi-hostpath-driver --apiserver-port=6443 --container-runtime=containerd -p mc-demo --kubernetes-version=1.21.2` This command uses the CSI-hostpath-driver which is what gives us our storageclass, something I will show later. @@ -208,7 +208,7 @@ We can then create this in our ingress namespace with `kubectl create -f Pacman- ![](Images/Day55_Kubernetes15.png) -Then if we run `kubectl get ingress -n Pacman +Then if we run `kubectl get ingress -n Pacman` ![](Images/Day55_Kubernetes16.png) diff --git a/2022/Days/day59.md b/2022/Days/day59.md index d4e433b..646fc91 100644 --- a/2022/Days/day59.md +++ b/2022/Days/day59.md @@ -106,7 +106,7 @@ We have also mentioned that the state file will contain sensitive information. W ``` variable "some resource" { description = "something important" - type: string + type= string sensitive = true } diff --git a/2022/es/Days/day27.md b/2022/es/Days/day27.md index f11edf3..82521e4 100644 --- a/2022/es/Days/day27.md +++ b/2022/es/Days/day27.md @@ -1,22 +1,22 @@ -## Getting Hands-On with Python & Network +## Manos a la obra con Python y Redes -In this final section of Networking fundamentals, we are going to cover some automation tasks and tools with our lab environment created on [Day 26](day26.md) +En esta sección final de Fundamentos de Redes, vamos a cubrir algunas tareas y herramientas de automatización con nuestro entorno de laboratorio creado el [Día 26](day26.md). -We will be using an SSH tunnel to connect to our devices from our client vs telnet. The SSH tunnel created between client and device is encrypted. We also covered SSH in the Linux section on [Day 18](day18.md) +En esta sección final de Fundamentos de Redes, vamos a cubrir algunas tareas y herramientas de automatización con nuestro entorno de laboratorio creado el [Día 26](day18.md). -## Access our virtual emulated environment +## Acceder a nuestro entorno virtual emulado -For us to interact with our switches we either need a workstation inside the EVE-NG network or you can deploy a Linux box there with Python installed to perform your automation ([Resource for setting up Linux inside EVE-NG](https://www.youtube.com/watch?v=3Qstk3zngrY)) or you can do something like me and define a cloud for access from your workstation. +Para interactuar con nuestros switches necesitamos una workstation dentro de la red EVE-NG o puedes desplegar una caja Linux allí con Python instalado para realizar tu automatización ([Recurso para configurar Linux dentro de EVE-NG](https://www.youtube.com/watch?v=3Qstk3zngrY)) o puedes hacer algo como yo y definir una nube para acceder desde tu estación de trabajo. ![](Images/Day27_Networking3.png) -To do this, we have right-clicked on our canvas and we have selected network and then selected "Management(Cloud0)" this will bridge out to our home network. +Para hacer esto, hemos hecho click con el botón derecho del ratón en nuestro lienzo y hemos seleccionado red y luego "Gestión(Nube0)" esto hará de puente con nuestra red doméstica. ![](Images/Day27_Networking4.png) -However, we do not have anything inside this network so we need to add connections from the new network to each of our devices. (My networking knowledge needs more attention and I feel that you could just do this next step to the top router and then have connectivity to the rest of the network through this one cable?) +Sin embargo, no tenemos nada dentro de esta red por lo que necesitamos añadir conexiones desde la nueva red a cada uno de nuestros dispositivos. (Mis conocimientos de redes necesitan más atención y me parece que sólo podría hacer este paso siguiente al router superior y luego tener conectividad con el resto de la red a través de este único cable...). -I have then logged on to each of our devices and I have run through the following commands for the interfaces applicable to where the cloud comes in. +A continuación, he iniciado sesión en cada uno de nuestros dispositivos y he corrido a través de los siguientes comandos para las interfaces aplicables a donde entra la nube. ``` enable @@ -29,7 +29,7 @@ exit sh ip int br ``` -The final step gives us the DHCP address from our home network. My device network list is as follows: +El último paso nos da la dirección DHCP de nuestra red doméstica. La lista de red de mi dispositivo es la siguiente: | Node | IP Address | Home Network IP | | ------- | ------------ | --------------- | @@ -39,81 +39,81 @@ The final step gives us the DHCP address from our home network. My device networ | Switch3 | 10.10.88.113 | 192.168.169.125 | | Switch4 | 10.10.88.114 | 192.168.169.197 | -### SSH to a network device +### SSH a un dispositivo de red -With the above in place, we can now connect to our devices on our home network using our workstation. I am using Putty but also have access to other terminals such as git bash that give me the ability to SSH to our devices. +Con lo anterior en su lugar, ahora podemos conectarnos a nuestros dispositivos en nuestra red doméstica utilizando nuestra estación de trabajo. Estoy usando Putty pero también tengo acceso a otras terminales como git bash que me dan la capacidad de SSH a nuestros dispositivos. -Below you can see we have an SSH connection to our router device. (R1) +A continuación se puede ver que tenemos una conexión SSH a nuestro dispositivo router. (R1) ![](Images/Day27_Networking5.png) -### Using Python to gather information from our devices +### Usando Python para recopilar información de nuestros dispositivos -The first example of how we can leverage Python is to gather information from all of our devices and in particular, I want to be able to connect to each one and run a simple command to provide me with interface configuration and settings. I have stored this script here [netmiko_con_multi.py](Networking/netmiko_con_multi.py) +El primer ejemplo de cómo podemos aprovechar Python es para recopilar información de todos nuestros dispositivos y, en particular, quiero ser capaz de conectarme a cada uno y ejecutar un comando simple que me proporcione la configuración de la interfaz y los ajustes. He almacenado este script aquí [netmiko_con_multi.py](Networking/netmiko_con_multi.py) -Now when I run this I can see each port configuration over all of my devices. +Ahora cuando ejecuto esto puedo ver la configuración de cada puerto sobre todos mis dispositivos. ![](Images/Day27_Networking6.png) -This could be handy if you have a lot of different devices, create this one script so that you can centrally control and understand quickly all of the configurations in one place. +Esto puede ser útil si tienes muchos dispositivos diferentes, crea este script para que puedas controlar de forma centralizada y entender rápidamente todas las configuraciones en un solo lugar. -### Using Python to configure our devices +### Usando Python para configurar nuestros dispositivos -The above is useful but what about using Python to configure our devices, in our scenario we have a trunked port between `SW1` and `SW2` again imagine if this was to be done across many of the same switches we want to automate that and not have to manually connect to each switch to make the configuration change. +Lo anterior es útil, pero ¿qué pasa con el uso de Python para configurar nuestros dispositivos, en nuestro escenario tenemos un puerto troncalizado entre `SW1` y `SW2` de nuevo imaginar si esto se iba a hacer a través de muchos de los mismos interruptores que queremos automatizar y no tener que conectarse manualmente a cada interruptor para hacer el cambio de configuración. -We can use [netmiko_sendchange.py](Networking/netmiko_sendchange.py) to achieve this. This will connect over SSH and perform that change on our `SW1` which will also change to `SW2`. +Podemos usar [netmiko_sendchange.py](Networking/netmiko_sendchange.py) para lograr esto. Esto se conectará por SSH y realizará ese cambio en nuestro `SW1` que también cambiará al `SW2`. ![](Images/Day27_Networking7.png) -Now for those that look at the code, you will see the message appears and tells us `sending configuration to device` but there is no confirmation that this has happened we could add additional code to our script to perform that check and validation on our switch or we could modify our script before to show us this. [netmiko_con_multi_vlan.py](Networking/netmiko_con_multi_vlan.py) +Ahora para los que miren el código, verán que aparece el mensaje y nos dice `sending configuration to device` pero no hay confirmación de que esto haya ocurrido podríamos añadir código adicional a nuestro script para realizar esa comprobación y validación en nuestro switch o podríamos modificar nuestro script de antes para que nos muestre esto. [netmiko_con_multi_vlan.py](Networking/netmiko_con_multi_vlan.py) ![](Images/Day27_Networking8.png) -### backing up your device configurations +### copia de seguridad de las configuraciones de tus dispositivos -Another use case would be to capture our network configurations and make sure we have those backed up, but again we don't want to be connecting to every device we have on our network so we can also automate this using [backup.py](Networking/backup.py). You will also need to populate the [backup.txt](Networking/backup.txt) with the IP addresses you want to backup. +Otro caso de uso sería capturar nuestras configuraciones de red y asegurarnos de que las tenemos respaldadas, pero de nuevo no queremos estar conectándonos a cada dispositivo que tenemos en nuestra red así que también podemos automatizar esto usando [backup.py](Networking/backup.py). También necesitarás rellenar [backup.txt](Networking/backup.txt) con las direcciones IP de las que quieres hacer copia de seguridad. -Run your script and you should see something like the below. +Ejecute su script y debería ver algo como lo siguiente. ![](Images/Day27_Networking9.png) -That could be me just writing a simple print script in python so I should show you the backup files as well. +Los archivos de respaldo. ![](Images/Day27_Networking10.png) ### Paramiko -A widely used Python module for SSH. You can find out more at the official GitHub link [here](https://github.com/paramiko/paramiko) +Un módulo de Python ampliamente utilizado para SSH. Puedes encontrar más información en el enlace oficial de GitHub [aquí](https://github.com/paramiko/paramiko) -We can install this module using the `pip install paramiko` command. +Podemos instalar este módulo usando el comando `pip install paramiko`. ![](Images/Day27_Networking1.png) -We can verify the installation by entering the Python shell and importing the paramiko module. +Podemos verificar la instalación entrando en la shell de Python e importando el módulo paramiko. ![](Images/Day27_Networking2.png) ### Netmiko -The netmiko module targets network devices specifically whereas paramiko is a broader tool for handling SSH connections overall. +El módulo netmiko apunta específicamente a dispositivos de red mientras que paramiko es una herramienta más amplia para manejar conexiones SSH en general. -Netmiko which we have used above alongside paramiko can be installed using `pip install netmiko` +Netmiko que hemos usado arriba junto con paramiko puede ser instalado usando `pip install netmiko`. -Netmiko supports many network vendors and devices, you can find a list of supported devices on the [GitHub Page](https://github.com/ktbyers/netmiko#supports) +Netmiko soporta muchos proveedores y dispositivos de red, puedes encontrar una lista de dispositivos soportados en la [Página GitHub](https://github.com/ktbyers/netmiko#supports) -### Other modules +### Otros módulos -It is also worth mentioning a few other modules that we have not had the chance to look at but they give a lot more functionality when it comes to network automation. +También vale la pena mencionar algunos otros módulos que no hemos tenido la oportunidad de ver pero que dan mucha más funcionalidad cuando se trata de automatización de redes. -`netaddr` is used for working with and manipulating IP addresses, again the installation is simple with `pip install netaddr` +`netaddr` se utiliza para trabajar y manipular direcciones IP, de nuevo la instalación es sencilla con `pip install netaddr` -you might find yourself wanting to store a lot of your switch configuration in an excel spreadsheet, the `xlrd` will allow your scripts to read the excel workbook and convert rows and columns into a matrix. `pip install xlrd` to get the module installed. +Puede que quieras almacenar gran parte de la configuración de tu switch en una hoja de cálculo excel, `xlrd` permitirá a tus scripts leer el libro de excel y convertir las filas y columnas en una matriz. `pip install xlrd` para instalar el módulo. -Some more use cases where network automation can be used that I have not had the chance to look into can be found [here](https://github.com/ktbyers/pynet/tree/master/presentations/dfwcug/examples) +Algunos otros casos de uso en los que la automatización de redes puede ser utilizada y que no he tenido la oportunidad de mirar se pueden encontrar [aquí](https://github.com/ktbyers/pynet/tree/master/presentations/dfwcug/examples) -I think this wraps up our Networking section of the #90DaysOfDevOps, Networking is one area that I have not touched for a while really and there is so much more to cover but I am hoping between my notes and the resources shared throughout it is helpful for some. +Aquí terminamos nuestra sección de Redes de los #90DaysOfDevOps. Las redes es un área muy extensa, espero que estos apuntes y recursos compartidos sean útiles para tener una base de conocimientos. -## Resources +## Recursos - [Free Course: Introduction to EVE-NG](https://www.youtube.com/watch?v=g6B0f_E0NMg) - [EVE-NG - Creating your first lab](https://www.youtube.com/watch?v=9dPWARirtK8) @@ -122,8 +122,8 @@ I think this wraps up our Networking section of the #90DaysOfDevOps, Networking - [Practical Networking](http://www.practicalnetworking.net/) - [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) -Most of the examples I am using here as I am not a Network Engineer have come from this extensive book which is not free but I am using some of the scenarios to help understand Network Automation. +La mayoría de los ejemplos utilizados aquí provienen de este extenso libro que no es gratuito, pero ha sido utilizado algunos de los escenarios planteados. - [Hands-On Enterprise Automation with Python (Book)](https://www.packtpub.com/product/hands-on-enterprise-automation-with-python/9781788998512) -See you on [Day 28](day28.md) where will start looking into cloud computing and get a good grasp and foundational knowledge of the topic and what is available. +Nos vemos el[Día 28](day28.md) donde veremos la computación en nube para una buena comprensión de los conocimientos básicos necesarios. diff --git a/2022/es/Days/day28.md b/2022/es/Days/day28.md index 4a0a7f6..1350b60 100644 --- a/2022/es/Days/day28.md +++ b/2022/es/Days/day28.md @@ -1,95 +1,95 @@ -## The Big Picture: DevOps & The Cloud +## El panorama: DevOps & The Cloud -When it comes to cloud computing and what is offered, it goes very nicely with the DevOps ethos and processes. We can think of Cloud Computing as bringing the technology and services whilst DevOps as we have mentioned many times before is about the process and process improvement. +Cuando se trata de la computación en nube y lo que se ofrece, va muy bien con la ética y los procesos DevOps. Podemos pensar que la computación en nube aporta tecnología y servicios, mientras que DevOps, como ya hemos mencionado muchas veces, trata del proceso y de la mejora del proceso. -But to start with that cloud learning journey is a steep one and making sure you know and understand all elements or the best service to choose for the right price point is confusing. +Pero para empezar, el viaje de aprendizaje de la nube es empinado y asegurarse de conocer y entender todos los elementos o el mejor servicio a elegir para el punto de precio correcto es confuso. ![](Images/Day28_Cloud1.png) -Does the public cloud require a DevOps mindset? My answer here is not, but to really take advantage of cloud computing and possibly avoid those large cloud bills that so many people have been hit with then it is important to think of Cloud Computing and DevOps together. +¿Requiere la nube pública una mentalidad DevOps? Mi respuesta aquí es no, pero para realmente tomar ventaja de la computación en nube y posiblemente evitar esas grandes facturas de nube que tanta gente ha sido golpeada con entonces es importante pensar en Cloud Computing y DevOps juntos. -If we look at what we mean by the Public Cloud at a 40,000ft view, it is about removing some responsibility to a managed service to enable you and your team to focus on more important aspects which name should be the application and the end-users. After all the Public Cloud is just someone else's computer. +Si nos fijamos en lo que queremos decir con la nube pública en una vista de 40.000 pies, se trata de la eliminación de algunas responsabilidades a un servicio gestionado para permitir que usted y su equipo para centrarse en aspectos más importantes que el nombre debe ser la aplicación y los usuarios finales. Al fin y al cabo, la nube pública no es más que el ordenador de otra persona. ![](Images/Day28_Cloud2.png) -In this first section, I want to get into and describe a little more of what a Public Cloud is and some of the building blocks that get referred to as the Public Cloud overall. +En esta primera sección, quiero entrar y describir un poco más de lo que es una Nube Pública y algunos de los bloques de construcción que se refieren a la Nube Pública en general. ### SaaS -The first area to cover is Software as a service, this service is removing almost all of the management overhead of a service that you may have once run on-premises. Let's think about Microsoft Exchange for our email, this used to be a physical box that lived in your data centre or maybe in the cupboard under the stairs. You would need to feed and water that server. By that I mean you would need to keep it updated and you would be responsible for buying the server hardware, most likely installing the operating system, installing the applications required and then keeping that patched, if anything went wrong you would have to troubleshoot and get things back up and running. +La primera área a tratar es el software como servicio, que elimina casi toda la sobrecarga de gestión de un servicio que antes se ejecutaba in situ. Pensemos en Microsoft Exchange para nuestro correo electrónico: antes era una caja física que vivía en el centro de datos o quizá en el armario de debajo de las escaleras. Había que alimentar y regar ese servidor. Con esto quiero decir que tendrías que mantenerlo actualizado y que serías responsable de comprar el hardware del servidor, probablemente instalar el sistema operativo, instalar las aplicaciones necesarias y luego mantenerlo parcheado, si algo fuera mal tendrías que solucionar los problemas y hacer que las cosas volvieran a funcionar. -Oh, and you would also have to make sure you were backing up your data, although this doesn't change with SaaS for the most part either. +Ah, y también habría que asegurarse de hacer copias de seguridad de los datos, aunque esto tampoco cambia con SaaS en su mayor parte. -What SaaS does and in particular Microsoft 365, because I mentioned Exchange is removing that administration overhead and they provide a service that delivers your exchange functionality by way of mail but also much other productivity (Office 365) and storage options (OneDrive) that overall gives a great experience to the end-user. +Lo que hace SaaS y, en particular, Microsoft 365, ya que he mencionado Exchange, es eliminar esa sobrecarga de administración y ofrecer un servicio que proporciona la funcionalidad de Exchange a través del correo, pero también muchas otras opciones de productividad (Office 365) y almacenamiento (OneDrive) que, en general, ofrecen una gran experiencia al usuario final. -Other SaaS applications are widely adopted, such as Salesforce, SAP, Oracle, Google, and Apple. All removing that burden of having to manage more of the stack. +Otras aplicaciones SaaS son ampliamente adoptadas, como Salesforce, SAP, Oracle, Google y Apple. Todas ellas eliminan esa carga de tener que gestionar más de la pila. -I am sure there is a story with DevOps and SaaS-based applications but I am struggling to find out what they may be. I know Azure DevOps has some great integrations with Microsoft 365 that I might have a look into and report back to. +Estoy seguro de que hay una historia con DevOps y aplicaciones basadas en SaaS, pero estoy luchando para averiguar lo que pueden ser. Sé que Azure DevOps tiene algunas grandes integraciones con Microsoft 365 que podría echar un vistazo e informar. ![](Images/Day28_Cloud3.png) -### Public Cloud +### Cloud público -Next up we have the public cloud, most people would think of this in a few different ways, some would see this as the hyper scalers only such as Microsoft Azure, Google Cloud Platform and AWS. +A continuación tenemos la nube pública, la mayoría de la gente podría pensar en esto de varias maneras diferentes, algunos verían esto como los hiperescaladores sólo como Microsoft Azure, Google Cloud Platform y AWS. ![](Images/Day28_Cloud4.png) -Some will also see the public cloud as a much wider offering that includes those hyper scalers but also the thousands of MSPs all over the world as well. For this post, we are going to consider Public Cloud including hyper scalers and MSPs, although later on, we will specifically dive into one or more of the hyper scalers to get that foundational knowledge. +Algunos también verán la nube pública como una oferta mucho más amplia que incluye a los hiperescaladores, pero también a los miles de MSP de todo el mundo. Para este post, vamos a considerar la nube pública incluyendo hiperescaladores y MSPs, aunque más adelante, nos sumergiremos específicamente en uno o más de los hiperescaladores para obtener ese conocimiento fundacional. ![](Images/Day28_Cloud5.png) -_thousands more companies could land on this, I am merely picking from local, regional, telco and global brands I have worked with and am aware of._ +_Podría haber miles de empresas más en esta lista, sólo estoy seleccionando las marcas locales, regionales, de telecomunicaciones y globales con las que he trabajado y que conozco._ -We mentioned in the SaaS section that Cloud removed the responsibility or the burden of having to administer parts of a system. If SaaS we see a lot of the abstraction layers removed i.e the physical systems, network, storage, operating system, and even application to some degree. When it comes to the cloud there are various levels of abstraction we can remove or keep depending on your requirements. +Mencionamos en la sección SaaS que Cloud eliminaba la responsabilidad o la carga de tener que administrar partes de un sistema. Si hablamos de SaaS, vemos que se eliminan muchas de las capas de abstracción, es decir, los sistemas físicos, la red, el almacenamiento, el sistema operativo e incluso la aplicación hasta cierto punto. Cuando se trata de la nube, hay varios niveles de abstracción que podemos eliminar o mantener en función de nuestros requisitos. -We have already mentioned SaaS but there are at least two more to mention regarding the public cloud. +Ya hemos mencionado SaaS, pero hay al menos dos más que mencionar en relación con la nube pública. -Infrastructure as a service - You can think of this layer as a virtual machine but whereas on-premises you will be having to look after the physical layer in the cloud this is not the case, the physical is the cloud provider's responsibility and you will manage and administer the Operating System, the data and the applications you wish to run. +Infraestructura como servicio: puede pensar en esta capa como una máquina virtual, pero mientras que en las instalaciones tendrá que ocuparse de la capa física, en la nube no es así, la física es responsabilidad del proveedor de la nube y usted gestionará y administrará el sistema operativo, los datos y las aplicaciones que desee ejecutar. -Platform as a service - This continues to remove the responsibility of layers and this is really about you taking control of the data and the application but not having to worry about the underpinning hardware or operating system. +Plataforma como servicio: sigue eliminando la responsabilidad de las capas y en realidad se trata de que usted tome el control de los datos y la aplicación, pero sin tener que preocuparse por el hardware o el sistema operativo subyacentes. -There are many other aaS offerings out there but these are the two fundamentals. You might see offerings around StaaS (Storage as a service) which provide you with your storage layer but without having to worry about the hardware underneath. Or you might have heard CaaS for Containers as a service which we will get onto, later on, another aaS we will look to cover over the next 7 days is FaaS (Functions as a Service) where maybe you do not need a running system up all the time and you just want a function to be executed as and when. +Existen muchas otras ofertas de aaS, pero éstas son las dos fundamentales. Puede que haya ofertas de StaaS (almacenamiento como servicio) que le proporcionan la capa de almacenamiento sin tener que preocuparse por el hardware subyacente. O puede que hayas oído hablar de CaaS (Containers as a Service), del que hablaremos más adelante. Otro aaS que trataremos en los próximos 7 días es FaaS (Functions as a Service), en el que puede que no necesites un sistema en funcionamiento todo el tiempo y sólo quieras que una función se ejecute cuando y como quieras. -There are many ways in which the public cloud can provide abstraction layers of control that you wish to pass up and pay for. +Hay muchas maneras en que la nube pública puede proporcionar capas de abstracción de control que usted desea pasar y pagar. ![](Images/Day28_Cloud6.png) -### Private Cloud +### Cloud privado -Having your own data centre is not a thing of the past I would think that this has become a resurgence among a lot of companies that have found the OPEX model difficult to manage as well as skill sets in just using the public cloud. +Tener su propio centro de datos no es una cosa del pasado, creo que esto se ha convertido en un resurgimiento entre una gran cantidad de empresas que han encontrado el modelo OPEX difícil de manejar, así como conjuntos de habilidades en sólo el uso de la nube pública. -The important thing to note here is the public cloud is likely now going to be your responsibility and it is going to be on your premises. +Lo importante a tener en cuenta aquí es la nube pública es probable que ahora va a ser su responsabilidad y va a estar en sus instalaciones. -We have some interesting things happening in this space not only with VMware that dominated the virtualisation era and on-premises infrastructure environments. We also have the hyper scalers offering an on-premises version of their public clouds. +En este espacio están ocurriendo cosas interesantes, no sólo con VMware, que dominó la era de la virtualización y los entornos de infraestructura locales. También tenemos a los hiperescaladores que ofrecen una versión local de sus nubes públicas. ![](Images/Day28_Cloud7.png) -### Hybrid Cloud +### Cloud híbrida -To follow on from the Public and Private cloud mentions we also can span across both of these environments to provide flexibility between the two, maybe take advantage of services available in the public cloud but then also take advantage of features and functionality of being on-premises or it might be a regulation that dictates you having to store data locally. +Para continuar con las menciones a la nube pública y privada, también podemos abarcar ambos entornos para proporcionar flexibilidad entre los dos, tal vez aprovechando los servicios disponibles en la nube pública, pero también aprovechando las características y la funcionalidad de estar en las instalaciones o podría ser una regulación que dicta que tienes que almacenar los datos localmente. ![](Images/Day28_Cloud8.png) -Putting this all together we have a lot of choices for where we store and run our workloads. +Si juntamos todo esto, tenemos muchas opciones para elegir dónde almacenar y ejecutar nuestras cargas de trabajo. ![](Images/Day28_Cloud9.png) -Before we get into a specific hyper-scale, I have asked the power of Twitter where we should go? +Antes de entrar en una hiperescala específica, he preguntado al poder de Twitter ¿dónde deberíamos ir? ![](Images/Day28_Cloud10.png) [Link to Twitter Poll](https://twitter.com/MichaelCade1/status/1486814904510259208?s=20&t=x2n6QhyOXSUs7Pq0itdIIQ) -Whichever one gets the highest percentage we will take a deeper dive into the offerings, I think the important to mention though is that services from all of these are quite similar which is why I say to start with one because I have found that in knowing the foundation of one and how to create virtual machines, set up networking etc. I have been able to go to the others and quickly ramp up in those areas. +Cualquiera que obtenga el porcentaje más alto vamos a tomar una inmersión más profunda en las ofertas, creo que el importante mencionar sin embargo es que los servicios de todos ellos son bastante similares por lo que digo que empezar con uno porque he encontrado que en el conocimiento de la base de uno y cómo crear máquinas virtuales, configurar la red, etc . He sido capaz de ir a los otros y rápidamente la rampa en esas áreas. -Either way, I am going to share some great **FREE** resources that cover all three of the hyper scalers. +De cualquier manera, voy a compartir algunos recursos **GRATIS** que cubren los tres hiperescaladores. -I am also going to build out a scenario as I have done in the other sections where we can build something as we move through the days. +También voy a construir un escenario como lo he hecho en las otras secciones donde podemos construir algo a medida que avanzamos a través de los días. -## Resources +## Recursos - [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) - [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) - [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) - [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) -See you on [Day 29](day29.md) +Nos vemos en el [Día 29](day29.md). diff --git a/2022/es/Days/day29.md b/2022/es/Days/day29.md index 40d1287..6f6a16b 100644 --- a/2022/es/Days/day29.md +++ b/2022/es/Days/day29.md @@ -1,131 +1,131 @@ -## Microsoft Azure Fundamentals +## Fundamentos de Microsoft Azure -Before we get going, the winner of the Twitter poll was Microsoft Azure, hence the title of the page. It was close and also quite interesting to see the results come in over the 24 hours. +Antes de empezar, el ganador de la encuesta de Twitter fue Microsoft Azure, de ahí el título de la página. Ha estado reñido y también ha sido muy interesante ver los resultados a lo largo de las 24 horas. ![](Images/Day29_Cloud1.png) -I would say in terms of covering this topic is going to give me a better understanding and update around the services available on Microsoft Azure, I lean towards Amazon AWS when it comes to my day today. I have however left resources I had lined up for all three of the major cloud providers. +Yo diría que en términos de cubrir este tema me va a dar una mejor comprensión y actualización en torno a los servicios disponibles en Microsoft Azure, me inclino hacia Amazon AWS cuando se trata de mi día a día. Sin embargo, he dejado recursos que había alineado para los tres principales proveedores de nube. -I do appreciate that there are more and the poll only included these 3 and in particular, there were some comments about Oracle Cloud. I would love to hear more about other cloud providers being used out in the wild. +Me doy cuenta de que hay más y la encuesta sólo incluía estos 3 y, en particular, hubo algunos comentarios sobre Oracle Cloud. Me encantaría saber más acerca de otros proveedores de nube que se utilizan, podéis dejar comentarios. -### The Basics +### Lo básico -- Provides public cloud services -- Geographically distributed (60+ Regions worldwide) -- Accessed via the internet and/or private connections -- Multi-tenant model -- Consumption-based billing - (Pay as you go | Pay as you grow) -- A large number of service types and offerings for different requirements. +- Proporciona servicios de nube pública +- Distribuidos geográficamente (más de 60 regiones en todo el mundo) +- Acceso a través de Internet y/o conexiones privadas +- Modelo multiinquilino +- Facturación basada en el consumo - Pay as you go (Pague a medida que avanza) | Pay as you grow (Pague a medida que crece) +- Un gran número de tipos de servicio y ofertas para diferentes requisitos. -- [Microsoft Azure Global Infrastructure](https://infrastructuremap.microsoft.com/explore) +[Microsoft Azure Global Infrastructure](https://infrastructuremap.microsoft.com/explore) -As much as we spoke about SaaS and Hybrid Cloud we are not planning on covering those topics here. +Aunque ya hemos hablado de SaaS y de la nube híbrida, no vamos a tratar esos temas aquí. -The best way to get started and follow along is by clicking the link, which will enable you to spin up a [Microsoft Azure Free Account](https://azure.microsoft.com/en-gb/free/) +La mejor manera de empezar es haciendo clic en el siguiente enlace que permite crear una [Cuenta gratuita de Microsoft Azure](https://azure.microsoft.com/en-gb/free/) -### Regions +### Regiones -I linked the interactive map above, but we can see the image below the breadth of regions being offered in the Microsoft Azure platform worldwide. +He enlazado el mapa interactivo más arriba, pero podemos ver en la imagen de abajo la amplitud de regiones que se ofrecen en la plataforma Microsoft Azure en todo el mundo. ![](Images/Day29_Cloud2.png) -_image taken from [Microsoft Docs - 01/05/2021](https://docs.microsoft.com/en-us/azure/networking/microsoft-global-network)_ +_imagen tomada de [Microsoft Docs - 01/05/2021](https://docs.microsoft.com/en-us/azure/networking/microsoft-global-network)_ -You will also see several "sovereign" clouds meaning they are not linked or able to speak to the other regions, for example, these would be associated with governments such as the `AzureUSGovernment` also `AzureChinaCloud` and others. +También verás varias nubes "soberanas", lo que significa que no están vinculadas o no pueden hablar con las otras regiones, por ejemplo, éstas estarían asociadas con gobiernos como `AzureUSGovernment`, `AzureChinaCloud` y otras. -When we are deploying our services within Microsoft Azure we will choose a region for almost everything. However, it is important to note that not every service is available in every region. You can see [Products available by region](https://azure.microsoft.com/en-us/global-infrastructure/services/?products=all) at the time of my writing this that in West Central US we cannot use Azure Databricks. +Cuando estemos desplegando nuestros servicios dentro de Microsoft Azure elegiremos una región para casi todo. Sin embargo, es importante tener en cuenta que no todos los servicios están disponibles en todas las regiones. Puedes ver [Productos disponibles por región](https://azure.microsoft.com/en-us/global-infrastructure/services/?products=all) en el momento de escribir esto que en West Central US no podemos usar Azure Databricks. -I also mentioned "almost everything" above, there are certain services that are linked to the region such as Azure Bot Services, Bing Speech, Azure Virtual Desktop, Static Web Apps, and some more. +También se mencionó arriba que hay ciertos servicios que están ligados a la región como Azure Bot Services, Bing Speech, Azure Virtual Desktop, Static Web Apps, y algunos más. -Behind the scenes, a region may be made up of more than one data centre. These will be referred to as Availability Zones. +Entre bastidores, una región puede estar formada por más de un centro de datos. Estos se denominarán Zonas de Disponibilidad. -In the below image you will see and again this is taken from the Microsoft official documentation it describes what a region is and how it is made up of Availability Zones. However not all regions have multiple Availability Zones. +En la siguiente imagen, extraída de la documentación oficial de Microsoft, se describe qué es una región y cómo se compone de zonas de disponibilidad. Sin embargo no todas las regiones tienen múltiples Zonas de Disponibilidad. ![](Images/Day29_Cloud3.png) -The Microsoft Documentation is very good, and you can read up more on [Regions and Availability Zones](https://docs.microsoft.com/en-us/azure/availability-zones/az-overview) here. +La documentación de Microsoft es muy buena, y puedes obtener mucha más información sobre [Regiones y zonas de disponibilidad](https://docs.microsoft.com/en-us/azure/availability-zones/az-overview). -### Subscriptions +### Suscripciones -Remember we mentioned that Microsoft Azure is a consumption model cloud you will find that all major cloud providers follow this model. +Recuerda que mencionamos que Microsoft Azure es una nube de modelo de consumo que encontrará que todos los principales proveedores de nube siguen este modelo. -If you are an Enterprise then you might want or have an Enterprise Agreement set up with Microsoft to enable your company to consume these Azure Services. +Si tienes una empresa, entonces es posible que desee tener un acuerdo de empresa establecido con Microsoft para permitir servicios especializados de Azure. -If you are like me and you are using Microsoft Azure for education then we have a few other options. +Si usted es como yo y está utilizando Microsoft Azure para la educación, entonces tenemos algunas otras opciones. -We have the [Microsoft Azure Free Account](https://azure.microsoft.com/en-gb/free/) which generally gives you several free cloud credits to spend in Azure over some time. +Tenemos la [Cuenta gratuita de Microsoft Azure](https://azure.microsoft.com/en-gb/free/) que generalmente te da varios créditos de nube gratuitos para gastar en Azure durante algún tiempo. -There is also the ability to use a Visual Studio subscription which gives you maybe some free credits each month alongside your annual subscription to Visual Studio, this was commonly known as the MSDN years ago. [Visual Studio](https://azure.microsoft.com/en-us/pricing/member-offers/credit-for-visual-studio-subscribers/) +También existe la posibilidad de utilizar una suscripción a Visual Studio que te da algunos créditos gratuitos cada mes junto con tu suscripción anual a Visual Studio, esto era comúnmente conocido como MSDN hace años. [Visual Studio](https://azure.microsoft.com/en-us/pricing/member-offers/credit-for-visual-studio-subscribers/) -Then finally there is the hand over a credit card and have a pay as you go, model. [Pay-as-you-go](https://azure.microsoft.com/en-us/pricing/purchase-options/pay-as-you-go/) +Por último, está el modelo de pago por uso con tarjeta de crédito. [Pago por uso](https://azure.microsoft.com/en-us/pricing/purchase-options/pay-as-you-go/) -A subscription can be seen as a boundary between different subscriptions potentially cost centres but completely different environments. A subscription is where the resources are created. +Una suscripción puede verse como un límite entre diferentes suscripciones potencialmente centros de costes pero entornos completamente diferentes. Una suscripción es donde se crean los recursos. -### Management Groups +### Grupos de gestión -Management groups give us the ability to segregate control across our Azure Active Directory (AD) or our tenant environment. Management groups allow us to control policies, Role Based Access Control (RBAC), and budgets. +Los grupos de gestión nos dan la capacidad de segregar el control a través de nuestro Azure Active Directory (AD) o nuestro entorno de inquilinos. Los grupos de gestión nos permiten controlar las políticas, el control de acceso basado en roles (RBAC) y los presupuestos. -Subscriptions belong to these management groups so you could have many subscriptions in your Azure AD Tenant, these subscriptions then can also control policies, RBAC, and budgets. +Las suscripciones pertenecen a estos grupos de gestión por lo que podría tener muchas suscripciones en su Azure AD Tenant, estas suscripciones a continuación, también puede controlar las políticas, RBAC, y los presupuestos. -### Resource Manager and Resource Groups +### Administrador de recursos y grupos de recursos -#### Azure Resource Manager +#### Gestor de Recursos Azure -- JSON based API that is built on resource providers. -- Resources belong to a resource group and share a common life cycle. -- Parallelism -- JSON-Based deployments are declarative, idempotent and understand dependencies between resources to govern creation and order. +- API basada en JSON que se basa en proveedores de recursos. +- Los recursos pertenecen a un grupo de recursos y comparten un ciclo de vida común. +- Paralelismo +- Los despliegues basados en JSON son declarativos, idempotentes y comprenden las dependencias entre recursos para gobernar la creación y el orden. -#### Resource Groups +#### Grupos de recursos -- Every Azure Resource Manager resource exists in one and only one resource group! -- Resource groups are created in a region that can contain resources from outside the region. -- Resources can be moved between resource groups -- Resource groups are not walled off from other resource groups, there can be communication between resource groups. -- Resource Groups can also control policies, RBAC, and budgets. +- Cada recurso de Azure Resource Manager existe en uno y sólo un grupo de recursos. +- Los grupos de recursos se crean en una región que puede contener recursos de fuera de la región. +- Los recursos pueden moverse entre grupos de recursos +- Los grupos de recursos no están aislados de otros grupos de recursos, puede haber comunicación entre grupos de recursos. +- Los grupos de recursos también pueden controlar políticas, RBAC y presupuestos. -### Hands-On +### Manos a la obra -Let's go and get connected and make sure we have a **Subscription** available to us. We can check our simple out of the box **Management Group**, We can then go and create a new dedicated **Resource Group** in our preferred **Region**. +Vamos a conectarnos y a asegurarnos de que tenemos una **Suscripción** disponible. Podemos marcar nuestro simple **Grupo de Gestión**, podemos ir y crear un nuevo **Grupo de Recursos** dedicado en nuestra **Región** preferida. -When we first login to our [Azure portal](https://portal.azure.com/#home) you will see at the top the ability to search for resources, services and docs. +La primera vez que iniciemos sesión en nuestro [portal Azure](https://portal.azure.com/#home) veremos en la parte superior la posibilidad de buscar recursos, servicios y documentos. ![](Images/Day29_Cloud4.png) -We are going to first look at our subscription, you will see here that I am using a Visual Studio Professional subscription which gives me some free credit each month. +Vamos a ver primero nuestra suscripción, verás aquí que estoy usando una suscripción Visual Studio Professional que me da algo de crédito gratis cada mes. ![](Images/Day29_Cloud5.png) -If we go into that you will get a wider view and a look into what is happening or what can be done with the subscription, we can see billing information with control functions on the left where you can define IAM Access Control and further down there are more resources available. +Si entramos en ella obtendremos una visión más amplia a lo que está sucediendo y a lo que se puede hacer con la suscripción, podemos ver información de facturación con funciones de control a la izquierda donde se puede definir el Control de Acceso IAM y más abajo hay más recursos disponibles. ![](Images/Day29_Cloud6.png) -There might be a scenario where you have multiple subscriptions and you want to manage them all under one, this is where management groups can be used to segregate responsibility groups. In mine below, you can see there is just my tenant root group with my subscription. +Podría haber un escenario en el que tienes varias suscripciones y deseas gestionarla todas bajo una cuenta, aquí puedes utilizar los grupos de gestión para segregar por grupos de responsabilidad. Abajo puedes ver que hay sólo un grupo raíz de inquilino con la suscripción. -You will also see in the previous image that the parent management group is the same id used on the tenant root group. +También verás en la imagen anterior que el grupo de gestión padre es el mismo ID utilizado en el grupo raíz del inquilino. ![](Images/Day29_Cloud7.png) -Next up we have Resource groups, this is where we combine our resources and we can easily manage them in one place. I have a few created for various other projects. +A continuación tenemos los grupos de recursos, aquí es donde combinamos nuestros recursos y podemos gestionarlos fácilmente en un solo lugar. Hay algunos creados para otros proyectos. ![](Images/Day29_Cloud8.png) -With what we are going to be doing over the next few days, we want to create our resource group. This is easily done in this console by hitting the create option on the previous image. +En los próximos días vamos a crear un grupo de recursos. Esto se hace fácilmente en esta consola pulsando la opción crear de la imagen anterior. ![](Images/Day29_Cloud9.png) -A validation step takes place and then you have the chance to review your creation and then create. You will also see down the bottom "Download a template for automation" this allows us to grab the JSON format so that we can perform this simple in an automated fashion later on if we wanted, we will cover this later on as well. +Se produce un paso de validación y luego tienes la oportunidad de revisar tu creación antes de crear. También verás abajo "Descargar una plantilla para automatización" esto nos permite tomar en formato JSON una plantilla que podremos utilizar de forma automatizada más adelante, lo veremos más adelante también. ![](Images/Day29_Cloud10.png) -Hit create, then in our list of resource groups, we now have our "90DaysOfDevOps" group ready for what we do in the next session. +Pulsamos crear. Ahora en nuestra lista de grupos de recursos tenemos nuestro grupo "90DaysOfDevOps" listo para lo que hagamos en las siguientes sesiones. ![](Images/Day29_Cloud11.png) -## Resources +## Recursos - [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) - [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) - [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) - [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) -See you on [Day 30](day30.md) +Nos vemos en el [Día 30](day30.md) diff --git a/2022/es/Days/day30.md b/2022/es/Days/day30.md index ba1abab..c33eeb1 100644 --- a/2022/es/Days/day30.md +++ b/2022/es/Days/day30.md @@ -1,165 +1,165 @@ -## Microsoft Azure Security Models +## Modelos de seguridad de Microsoft Azure -Following on from the Microsoft Azure Overview, we are going to start with Azure Security and see where this can help in our day to day. For the most part, I have found the built-in roles have been sufficient but knowing that we can create and work with many different areas of authentication and configurations. I have found Microsoft Azure to be quite advanced with its Active Directory background compared to other public clouds. +Siguiendo con la visión general de Microsoft Azure, vamos a empezar con Azure Security y ver cómo esto puede ayudar. En gran medida, con los roles por defecto son suficientes, pero además podemos trabajar con muchas áreas diferentes de autenticación y configuraciones. Microsoft Azure puede ser bastante avanzado gracias a Active Directory en comparación con otras nubes públicas. -This is one area in which Microsoft Azure seemingly works differently from other public cloud providers, in Azure there is ALWAYS Azure AD. +Esta es un área en la que Microsoft Azure aparentemente funciona de manera diferente a otros proveedores de nube pública, en Azure SIEMPRE tiene Active Directory. -### Directory Services +### Servicios de directorio -- Azure Active Directory hosts the security principles used by Microsoft Azure and other Microsoft cloud services. -- Authentication is accomplished through protocols such as SAML, WS-Federation, OpenID Connect and OAuth2. -- Queries are accomplished through REST API called Microsoft Graph API. -- Tenants have a tenant.onmicrosoft.com default name but can also have custom domain names. -- Subscriptions are associated with an Azure Active Directory tenant. +- Azure Active Directory alberga los principios de seguridad utilizados por Microsoft Azure y otros servicios en la nube de Microsoft. +- La autenticación se realiza a través de protocolos como SAML, WS-Federation, OpenID Connect y OAuth2. +- Las consultas se realizan a través de la API REST denominada Microsoft Graph API. +- Los tenants tienen un nombre por defecto tenant.onmicrosoft.com pero también pueden tener nombres de dominio personalizados. +- Las suscripciones están asociadas a un tenant de Azure Active Directory. -If we think about AWS to compare the equivalent offering would be AWS IAM (Identity & Access Management) Although still very different +Si pensamos en AWS para comparar el servicio equivalente sería AWS IAM (Identity & Access Management), aunque es bastante diferente -Azure AD Connect provides the ability to replicate accounts from AD to Azure AD. This can also include groups and sometimes objects. This can be granular and filtered. Supports multiple forests and domains. +Azure AD Connect ofrece la posibilidad de replicar cuentas de AD a Azure AD. Esto también puede incluir grupos y a veces objetos. Esto puede ser granulado y filtrado. Admite varios bosques y dominios. -It is possible to create cloud accounts in Microsoft Azure Active Directory (AD) but most organisations already have accounted for their users in their own Active Directory being on-premises. +Es posible crear cuentas en la nube en Microsoft Azure Active Directory (AD), pero la mayoría de las organizaciones ya tienen contabilizados a sus usuarios en su propio Active Directory local. -Azure AD Connect also allows you to not only see Windows AD servers but also other Azure AD, Google and others. This also provides the ability to collaborate with external people and organisations this is called Azure B2B. +Azure AD Connect también permite ver no sólo los servidores Windows AD sino también otros Azure AD, Google y otros. Esto también proporciona la capacidad de colaborar con personas y organizaciones externas, lo que se denomina Azure B2B. -Authentication options between Active Directory Domain Services and Microsoft Azure Active Directory are possible with both identity sync with a password hash. +Las opciones de autenticación entre Active Directory Domain Services y Microsoft Azure Active Directory son posibles con ambas identidades sincronizadas con un hash de contraseña. ![](Images/Day30_Cloud1.png) -The passing of the password hash is optional, if this is not used then pass-through authentication is required. +El paso del hash de la contraseña es opcional, si esto no se utiliza entonces se requiere autenticación passthrough. -There is a video linked below that goes into detail about Passthrough authentication. +Hay un vídeo enlazado a continuación que entra en detalle sobre la autenticación Passthrough. -[User sign-in with Azure Active Directory Pass-through Authentication](https://docs.microsoft.com/en-us/azure/active-directory/hybrid/how-to-connect-pta) +[Inicio de sesión de usuario con autenticación Pass-through de Azure Active Directory](https://docs.microsoft.com/en-us/azure/active-directory/hybrid/how-to-connect-pta) ![](Images/Day30_Cloud2.png) -### Federation +### Federación -It's fair to say that if you are using Microsoft 365, Microsoft Dynamics and on-premises Active Directory it is quite easy to understand and integrate into Azure AD for federation. However, you might be using other services outside of the Microsoft ecosystem. +Es justo decir que utilizando Microsoft 365, Microsoft Dynamics y Active Directory local es bastante fácil de entender e integrar en Azure AD para la federación. Sin embargo, es posible utilizar otros servicios fuera del ecosistema de Microsoft. -Azure AD can act as a federation broker to these other Non-Microsoft apps and other directory services. +Azure AD puede actuar como intermediario de federación para estas otras aplicaciones ajenas a Microsoft y otros servicios de directorio. -This will be seen in the Azure Portal as Enterprise Applications of which there are a large number of options. +Esto se verá en el Portal Azure como Aplicaciones Empresariales de las cuales hay un gran número de opciones. ![](Images/Day30_Cloud3.png) -If you scroll down on the enterprise application page you are going to see a long list of featured applications. +Desplazando hacia abajo la página de aplicaciones empresariales se puede obtener una larga lista de aplicaciones destacadas. ![](Images/Day30_Cloud4.png) -This option also allows for "bring your own" integration, an application you are developing or a non-gallery application. +Esta opción también permite "traer su propia" integración, una aplicación que está desarrollando o una aplicación no galería. -I have not looked into this before but I can see that this is quite the feature set when compared to the other cloud providers and capabilities. +No he mirado en esto antes, pero puedo ver que esto es bastante el conjunto de características en comparación con los otros proveedores de nube y capacidades. -### Role-Based Access Control +### Control de acceso basado en roles -We have already covered on [Day 29](day29.md) the scopes we are going to cover here, we can set our role-based access control according to one of these areas. +Ya hemos cubierto en [Día 29](day29.md) los ámbitos que vamos a cubrir aquí, podemos establecer nuestro control de acceso basado en roles de acuerdo a uno de estos ámbitos: -- Subscriptions -- Management Group -- Resource Group -- Resources +- Suscripciones +- Grupo de Gestión +- Grupo de Recursos +- Recursos -Roles can be split into three, there are many built-in roles in Microsoft Azure. Those three are: +Los roles se pueden dividir en tres, hay muchos roles incorporados en Microsoft Azure. Estos tres son: -- Owner -- Contributor -- Reader +- Propietario +- Contribuidor +- Lector -Owner and Contributor are very similar in their boundaries of scope however the owner can change permissions. +Propietario y Contribuidor son muy similares en sus límites de alcance. Sin embargo, el propietario puede cambiar permisos. -Other roles are specific to certain types of Azure Resources as well as custom roles. +Otros roles son específicos para ciertos tipos de Azure Resources, así como roles personalizados. -We should focus on assigning permissions to groups vs users. +Deberíamos centrarnos en asignar permisos a grupos frente a usuarios. -Permissions are inherited. +Los permisos se heredan. -If we go back and look at the "90DaysOfDevOps" Resource group we created and check the Access Control (IAM) within you can see we have a list of contributors and a customer User Access Administrator, and we do have a list of owners (But I cannot show this) +Si volvemos atrás y miramos el grupo de Recursos "90DaysOfDevOps" creado y comprobamos el Control de Acceso (IAM) dentro podemos ver que tenemos una lista de contribuidores y un cliente Administrador de Acceso de Usuario, y tenemos una lista de propietarios (Pero no puedo mostrar esto) ![](Images/Day30_Cloud5.png) -We can also check the roles we have assigned here if they are BuiltInRoles and which category they fall under. +Podemos comprobar aquí si los roles que tenemos asignados son BuiltInRoles y a qué categoría pertenecen. ![](Images/Day30_Cloud6.png) -We can also use the check access tab if we want to check an account against this resource group and make sure that the account we wish to have that access to has the correct permissions or maybe we want to check if a user has too much access. +También podemos comprobar acceso si queremos comprobar una cuenta contra este grupo de recursos y asegurarnos de que la cuenta a la que queremos dar ese acceso tiene los permisos correctos o quizás queremos comprobar si un usuario tiene demasiado acceso. ![](Images/Day30_Cloud7.png) ### Microsoft Defender for Cloud -- Microsoft Defender for Cloud (formerly known as Azure Security Center) provides insight into the security of the entire Azure environment. +- Microsoft Defender for Cloud (anteriormente conocido como Azure Security Center) proporciona información sobre la seguridad de todo el entorno Azure. -- A single dashboard for visibility into the overall security health of all Azure and non-Azure resources (via Azure Arc) and security hardening guidance. +- Un único panel de control para la visibilidad del estado general de la seguridad de todos los recursos Azure y no Azure (a través de Azure Arc) y orientación sobre el refuerzo de la seguridad. -- Free tier includes continuous assessment and security recommendations. +- El nivel gratuito incluye evaluación continua y recomendaciones de seguridad. -- Paid plans for protected resource types (e.g. Servers, AppService, SQL, Storage, Containers, KeyVault). +- Planes de pago para tipos de recursos protegidos (por ejemplo, Servidores, AppService, SQL, Almacenamiento, Contenedores, KeyVault). -I have switched to another subscription to view the Azure Security Center and you can see here based on very few resources that I have some recommendations in one place. +He cambiado a otra suscripción para ver el Centro de Seguridad de Azure y se puede ver aquí sobre la base de muy pocos recursos con algunas recomendaciones en un solo lugar. ![](Images/Day30_Cloud8.png) ### Azure Policy -- Azure Policy is an Azure native service that helps to enforce organizational standards and assess compliance at scale. +- Azure Policy es un servicio nativo de Azure que ayuda a aplicar las normas de la organización y evaluar el cumplimiento a escala. -- Integrated into Microsoft Defender for Cloud. Azure Policy audits non-compliant resources and applies remediation. +- Integrado en Microsoft Defender for Cloud. Azure Policy audita los recursos no conformes y aplica correcciones. -- Commonly used for governing resource consistency, regulatory compliance, security, cost, and management standards. +- Se utiliza habitualmente para regular la coherencia de los recursos, el cumplimiento normativo, la seguridad, los costes y las normas de gestión. -- Uses JSON format to store evaluation logic and determine whether a resource is compliant or not, and any actions to take for non-compliance (e.g. Audit, AuditIfNotExists, Deny, Modify, DeployIfNotExists). +- Utiliza el formato JSON para almacenar la lógica de evaluación y determinar si un recurso es conforme o no, así como las medidas que deben tomarse en caso de incumplimiento (por ejemplo, Audit, AuditIfNotExists, Deny, Modify, DeployIfNotExists). -- Free for use. The exception is Azure Arc connected resources charged per server/month for Azure Policy Guest Configuration usage. +- Uso gratuito. La excepción son los recursos conectados a Azure Arc que se cobran por servidor/mes para el uso de Azure Policy Guest Configuration. -### Hands-On +### Manos a la obra -I have gone out and I have purchased www.90DaysOfDevOps.com and I would like to add this domain to my Azure Active Directory portal, [Add your custom domain name using the Azure Active Directory Portal](https://docs.microsoft.com/en-us/azure/active-directory/fundamentals/add-custom-domain) +He comprado www.90DaysOfDevOps.com y quisiera añadir el dominio al portal Azure Active Directory, [Añada su nombre de dominio personalizado utilizando el portal Azure Active Directory](https://docs.microsoft.com/en-us/azure/active-directory/fundamentals/add-custom-domain) ![](Images/Day30_Cloud9.png) -With that now, we can create a new user on our new Active Directory Domain. +Con eso ahora, podemos crear un nuevo usuario en nuestro nuevo dominio de Active Directory. ![](Images/Day30_Cloud10.png) -Now we want to create a group for all of our new 90DaysOfDevOps users in one group. We can create a group as per the below, notice that I am using "Dynamic User" which means Azure AD will query user accounts and add them dynamically vs assigned which is where you manually add the user to your group. +Ahora queremos crear un grupo para todos los nuevos usuarios 90DaysOfDevOps en un grupo. Podemos crear un grupo como el siguiente. Tenga en cuenta que estoy usando "Usuario dinámico", lo que significa que Azure AD consultará las cuentas de usuario y agregarlos dinámicamente.Asignado es donde se agrega manualmente el usuario al grupo. ![](Images/Day30_Cloud11.png) -There are lots of options when it comes to creating your query, I plan to simply find the principal name and make sure that the name contains @90DaysOfDevOps.com. +Hay muchas opciones a la hora de crear la consulta, como buscar el nombre de la entidad de seguridad y asegurar de que el nombre contiene @90DaysOfDevOps.com. ![](Images/Day30_Cloud12.png) -Now because we have created our user account already for michael.cade@90DaysOfDevOps.com we can validate the rules are working. For comparison I have also added another account I have associated to another domain here and you can see that because of this rule our user will not land in this group. +Ahora que ya hemos creado la cuenta de usuario para michael.cade@90DaysOfDevOps.com podemos validar que las reglas funcionan. Para comparar se ha añadido otra cuenta asociada a otro dominio y podéis ver que debido a esta regla nuestro usuario no aterrizará en este grupo. ![](Images/Day30_Cloud13.png) -I have since added a new user1@90DaysOfDevOps.com and if we go and check the group we can see our members. +Se añade un nuevo user1@90DaysOfDevOps.com y comprobando el grupo podemos ver a todos los miembros. ![](Images/Day30_Cloud14.png) -If we have this requirement x100 then we are not going to want to do this all in the console we are going to want to take advantage of either bulk options to create, invite, and delete users or you are going to want to look into PowerShell to achieve this automated approach to scale. +Si tenemos este requisito x100 no querremos hacer todo esto en la consola, podemos tomar ventaja de cualquiera de las opciones a granel para crear, invitar y eliminar usuarios o lo haremos en PowerShell para lograr este enfoque automatizado a escala. -Now we can go to our Resource Group and specify that on the 90DaysOfDevOps resource group we want the owner to be the group we just created. +Ahora podemos ir a nuestro grupo de recursos y especificar que en el grupo de recursos 90DaysOfDevOps queremos que el propietario sea el grupo que acabamos de crear. ![](Images/Day30_Cloud15.png) -We can equally go in here and deny assignments access to our resource group as well. +Igualmente podemos denegar también el acceso de las asignaciones a nuestro grupo de recursos. -Now if we log in to the Azure Portal with our new user account, you can see that we only have access to our 90DaysOfDevOps resource group and not the others seen in previous pictures because we do not have the access. +Si entramos en el Azure Portal con la nueva cuenta de usuario, podemos ver que sólo tenemos acceso a nuestro grupo de recursos 90DaysOfDevOps y no a los otros vistos en imágenes anteriores. ![](Images/Day30_Cloud16.png) -The above is great if this is a user that has access to resources inside of your Azure portal, not every user needs to be aware of the portal, but to check access we can use the [Apps Portal](https://myapps.microsoft.com/) This is a single sign-on portal for us to test. +Lo anterior está muy bien si se trata de un usuario que tiene acceso a los recursos dentro de su portal de Azure, no todos los usuarios necesitan conocer el portal, pero para comprobar el acceso podemos utilizar el [Apps Portal](https://myapps.microsoft.com/) Es un portal de inicio de sesión único para que podamos probar. ![](Images/Day30_Cloud17.png) -You can customise this portal with your branding and this might be something we come back to later on. +Puedes personalizar este portal con tu marca y esto podría ser algo a lo que volveremos más adelante. -## Resources +## Recursos - [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) - [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) - [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) - [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) -See you on [Day 31](day31.md) +Nos vemos en el [Día 31](day31.md). \ No newline at end of file diff --git a/2022/es/Days/day31.md b/2022/es/Days/day31.md index 20c27cf..3140695 100644 --- a/2022/es/Days/day31.md +++ b/2022/es/Days/day31.md @@ -1,104 +1,93 @@ -## Microsoft Azure Compute Models +## Modelos de computación de Microsoft Azure -Following on from covering the basics around security models within Microsoft Azure yesterday today we are going to look into the various compute services available to us in Azure. +Siguiendo con los conceptos básicos sobre los modelos de seguridad dentro de Microsoft Azure vamos a ver los diferentes servicios de computación disponibles en Azure. -### Service Availability Options +### Opciones de Disponibilidad de Servicio -This section is close to my heart given my role in Data Management. As with on-premises, it is critical to ensure the availability of your services. +Esta sección es muy importante el autor por su papel en la gestión de datos. Al igual que en el on-premises, es crítico asegurar la disponibilidad de tus servicios. -- High Availability (Protection within a region) -- Disaster Recovery (Protection between regions) -- Backup (Recovery from a point in time) +- Alta Disponibilidad (Protección dentro de una región) +- Recuperación ante desastres (protección entre regiones) +- Copia de seguridad (Recuperación desde un punto en el tiempo) -Microsoft deploys multiple regions within a geopolitical boundary. +Microsoft despliega múltiples regiones dentro de una frontera geopolítica. Dos conceptos con Azure para la Disponibilidad de Servicios con los conjuntos y zonas: +- **Conjuntos de Disponibilidad** - Proporcionan resiliencia dentro de un centro de datos. +- **Zonas de Disponibilidad** - Proporcionan resiliencia entre centros de datos dentro de una región. -Two concepts with Azure for Service Availability. Both sets and zones. +### Máquinas virtuales -Availability Sets - Provide resiliency within a datacenter +Muy probablemente es el punto de partida para cualquier persona en la nube pública. -Availability Zones - Provide resiliency between data centres within a region. +- Proporciona una variedad de series y tamaños de MV con diferentes capacidades (Algunas abrumadoras). [Tamaños para máquinas virtuales en Azure](https://docs.microsoft.com/en-us/azure/virtual-machines/sizes) +- Hay muchas opciones y enfoques diferentes para MVs desde alto rendimiento, y baja latencia hasta MVs con opciones de alta memoria. +- También tenemos un tipo de MV burstable que se puede encontrar bajo la Serie B. Esto es ideal para las cargas de trabajo en las que puede tener un bajo requerimiento de CPU en su mayor parte, pero pueden requerir una vez al mes el requisito de un pico de rendimiento. +- Las máquinas virtuales se colocan en una red virtual que puede proporcionar conectividad a cualquier red. +- Compatibilidad con sistemas operativos invitados como Windows y Linux. +- También hay kernels ajustados a Azure cuando se trata de distribuciones específicas de Linux. [Azure Tuned Kernals](https://docs.microsoft.com/en-us/azure/virtual-machines/linux/endorsed-distros#azure-tuned-kernels) -### Virtual Machines +### Plantillas -Most likely the starting point for anyone in the public cloud. +Ya se ha mencionado antes que todo lo que hay detrás o debajo de Microsoft Azure es JSON. -- Provides a VM from a variety of series and sizes with different capabilities (Sometimes an overwhelming) [Sizes for Virtual machines in Azure](https://docs.microsoft.com/en-us/azure/virtual-machines/sizes) -- There are many different options and focuses for VMs from high performance, and low latency to high memory options VMs. -- We also have a burstable VM type which can be found under the B-Series. This is great for workloads where you can have a low CPU requirement for the most part but require that maybe once a month performance spike requirement. -- Virtual Machines are placed on a virtual network that can provide connectivity to any network. -- Windows and Linux guest OS support. -- There are also Azure-tuned kernels when it comes to specific Linux distributions. [Azure Tuned Kernals](https://docs.microsoft.com/en-us/azure/virtual-machines/linux/endorsed-distros#azure-tuned-kernels) +Hay varios portales de gestión y consolas diferentes que podemos utilizar para crear nuestros recursos, la ruta preferida va a ser a través de plantillas JSON. -### Templating +Despliegues idempotentes en modo incremental o completo, es decir, estado deseado repetible. -I have mentioned before that everything behind or underneath Microsoft Azure is JSON. +Hay una gran selección de plantillas que pueden exportar definiciones de recursos desplegados. Me gusta pensar en esta característica de plantillas como AWS CloudFormation o podría ser Terraform para una opción multi-nube. Cubriremos más sobre la potencia de Terraform en la sección de Infraestructura como código. -There are several different management portals and consoles we can use to create our resources the preferred route is going to be via JSON templates. +### Escalado -Idempotent deployments in incremental or complete mode - i.e repeatable desired state. +El escalado automático es una gran característica de la nube pública, siendo capaz de reducir los recursos no utilizados o aumentarlos cuando se necesiten. -There is a large selection of templates that can export deployed resource definitions. I like to think about this templating feature to something like AWS CloudFormation or could be Terraform for a multi-cloud option. We will cover Terraform more in the Infrastructure as code section. +En Azure, existe algo llamado Virtual Machine Scale Sets (VMSS) para IaaS. Esto permite la creación automática y la escala de una imagen estándar de oro basado en horarios y métricas. -### Scaling +Esto es ideal para actualizar ventanas de modo que pueda actualizar sus imágenes y desplegarlas con el menor impacto. -Automatic scaling is a large feature of the Public Cloud, being able to spin down resources you are not using or spin up when you need them. +Otros servicios como Azure App Services tienen autoescalado integrado. -In Azure, we have something called Virtual Machine Scale Sets (VMSS) for IaaS. This enables the automatic creation and scale from a gold standard image based on schedules and metrics. +### Contenedores -This is ideal for updating windows so that you can update your images and roll those out with the least impact. +No hemos cubierto los contenedores como un caso de uso, ni qué ni cómo deben ser necesarios en nuestro viaje de aprendizaje DevOps, pero tenemos que mencionar que Azure tiene algunos servicios específicos centrados en contenedores que son dignos de mención. +- **Azure Kubernetes Service (AKS)** - Proporciona una solución Kubernetes gestionada, sin necesidad de preocuparse por el plano de control o la gestión de clústeres subyacentes. También veremos más sobre Kubernetes más adelante. +- **Azure Container Instances** - Contenedores como servicio con facturación por segundos. Ejecute una imagen e intégrela con su red virtual, sin necesidad de Container Orchestration. +- **Service Fabric** - Tiene muchas capacidades pero incluye orquestación para instancias de contenedor. -Other services such as Azure App Services have auto-scaling built in. +Azure también tiene el Container Registry que proporciona un registro privado para Docker Images, Helm charts, OCI Artifacts e imágenes. Más sobre esto de nuevo cuando lleguemos a la sección correspondiente de contenedores. -### Containers +También debemos mencionar que muchos de los servicios de contenedores también pueden aprovechar los contenedores bajo el capó, pero esto se abstrae de su necesidad de gestionar. -We have not covered containers as a use case and what and how they can and should be needed in our DevOps learning journey but we need to mention that Azure has some specific container-focused services to mention. +Estos servicios centrados en contenedores mencionados también encontramos servicios similares en todas las demás nubes públicas. -Azure Kubernetes Service (AKS) - Provides a managed Kubernetes solution, no need to worry about the control plane or management of the underpinning cluster management. More on Kubernetes also later on. +### Servicios de aplicaciones -Azure Container Instances - Containers as a service with Per-Second Billing. Run an image and integrate it with your virtual network, no need for Container Orchestration. +- Azure Application Services ofrece una solución de alojamiento de aplicaciones que proporciona un método sencillo para establecer servicios. +- Despliegue y escalado automáticos. +- Admite soluciones basadas en Windows y Linux. +- Los servicios se ejecutan en un App Service Plan que tiene un tipo y un tamaño. +- Número de servicios diferentes que incluyen aplicaciones web, aplicaciones API y aplicaciones móviles. +- Soporte para ranuras de Despliegue para pruebas y promoción fiables. -Service Fabric - Has many capabilities but includes orchestration for container instances. +### Computación serverless -Azure also has the Container Registry which provides a private registry for Docker Images, Helm charts, OCI Artifacts and images. More on this again when we reach the containers section. +El objetivo con serverless es que sólo pagamos por el tiempo de ejecución de la función y no tenemos que tener máquinas virtuales o aplicaciones PaaS en ejecución todo el tiempo. Simplemente ejecutamos nuestra función cuando la necesitamos y luego desaparece. -We should also mention that a lot of the container services may indeed also leverage containers under the hood but this is abstracted away from your requirement to manage. +**Azure Functions** - Proporciona código serverless. Si nos remontamos a nuestro primer vistazo a la nube pública recordaremos la capa de abstracción de la gestión, con funciones serverless sólo vas a estar gestionando el código. -These mentioned container-focused services we also find similar services in all other public clouds. +**Event-Driven** con escala masiva. Proporciona enlace de entrada y salida a muchos servicios de Azure y de terceros. -### Application Services +Soporta muchos lenguajes de programación diferentes. (C#, NodeJS, Python, PHP, batch, bash, Golang y Rust. Cualquier ejecutable) -- Azure Application Services provides an application hosting solution that provides an easy method to establish services. -- Automatic Deployment and Scaling. -- Supports Windows & Linux-based solutions. -- Services run in an App Service Plan which has a type and size. -- Number of different services including web apps, API apps and mobile apps. -- Support for Deployment slots for reliable testing and promotion. +**Azure Event Grid** permite disparar la lógica desde servicios y eventos. -### Serverless Computing +**Azure Logic App** proporciona workflows e integración basado en gráficos. -Serverless for me is an exciting next step that I am extremely interested in learning more about. +También podemos echar un vistazo a Azure Batch, que puede ejecutar trabajos a gran escala en nodos Windows y Linux con una gestión y programación coherentes. -The goal with serverless is that we only pay for the runtime of the function and do not have to have running virtual machines or PaaS applications running all the time. We simply run our function when we need it and then it goes away. - -Azure Functions - Provides serverless code. If we remember back to our first look into the public cloud we will remember the abstraction layer of management, with serverless functions you are only going to be managing the code. - -Event-Driven with massive scale, I have a plan to build something when I get some hands-on here hopefully later on. - -Provides input and output binding to many Azure and 3rd Party Services. - -Supports many different programming languages. (C#, NodeJS, Python, PHP, batch, bash, Golang and Rust. Or any Executable) - -Azure Event Grid enables logic to be triggered from services and events. - -Azure Logic App provides a graphical-based workflow and integration. - -We can also look at Azure Batch which can run large-scale jobs on both Windows and Linux nodes with consistent management & scheduling. - -## Resources +## Recursos - [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) - [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) - [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) - [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) -See you on [Day 32](day32.md) +Nos vemos en el [Día 32](day32.md). diff --git a/2022/es/Days/day32.md b/2022/es/Days/day32.md index 6448a01..22390f3 100644 --- a/2022/es/Days/day32.md +++ b/2022/es/Days/day32.md @@ -1,181 +1,179 @@ -## Microsoft Azure Storage Models +## Modelos de almacenamiento de Microsoft Azure -### Storage Services +### Servicios de almacenamiento -- Azure storage services are provided by storage accounts. -- Storage accounts are primarily accessed via REST API. -- A storage account must have a unique name that is part of a DNS name `.core.windows.net` -- Various replication and encryption options. -- Sits within a resource group +- Los servicios de almacenamiento de Azure se proporcionan mediante cuentas de almacenamiento. +- A las cuentas de almacenamiento se accede principalmente a través de la API REST. +- Una cuenta de almacenamiento debe tener un nombre único que forme parte de un nombre DNS `.core.windows.net`. +- Varias opciones de replicación y cifrado. +- Se encuentra dentro de un grupo de recursos -We can create our storage group by simply searching for Storage Group in the search bar at the top of the Azure Portal. +Podemos crear nuestro grupo de almacenamiento simplemente buscando Storage Group en la barra de búsqueda de la parte superior del Azure Portal. ![](Images/Day32_Cloud1.png) -We can then run through the steps to create our storage account remembering that this name needs to be unique and it also needs to be all lower case, with no spaces but can include numbers. +A continuación, podemos ejecutar los pasos para crear nuestra cuenta de almacenamiento recordando que este nombre tiene que ser único y también tiene que ser todo en minúsculas, sin espacios, pero puede incluir números. ![](Images/Day32_Cloud2.png) -We can also choose the level of redundancy we would like against our storage account and anything we store here. The further down the list the more expensive option but also the spread of your data. +También podemos elegir el nivel de redundancia que queremos para nuestra cuenta de almacenamiento y para todo lo que guardemos aquí. Cuanto más abajo de la lista más cara es la opción, pero también la dispersión de sus datos. -Even the default redundancy option gives us 3 copies of our data. +Incluso la opción de redundancia por defecto nos da 3 copias de nuestros datos. [Azure Storage Redundancy](https://docs.microsoft.com/en-us/azure/storage/common/storage-redundancy) -Summary of the above link down below: +Resumen del enlace anterior: -- **Locally-redundant storage** - replicates your data three times within a single data centre in the primary region. -- **Geo-redundant storage** - copies your data synchronously three times within a single physical location in the primary region using LRS. -- **Zone-redundant storage** - replicates your Azure Storage data synchronously across three Azure availability zones in the primary region. -- **Geo-zone-redundant storage** - combines the high availability provided by redundancy across availability zones with protection from regional outages provided by geo-replication. Data in a GZRS storage account is copied across three Azure availability zones in the primary region and is also replicated to a second geographic region for protection from regional disasters. +- **Almacenamiento redundante local**: replica los datos tres veces en un único centro de datos de la región primaria. +- **Almacenamiento georredundante**: copia los datos de forma sincrónica tres veces en una única ubicación física de la región principal mediante LRS. +- **Almacenamiento redundante en zonas**: replica los datos de Azure Storage de forma sincrónica en tres zonas de disponibilidad de Azure en la región principal. +- **Almacenamiento georredundante**: combina la alta disponibilidad proporcionada por la redundancia entre zonas de disponibilidad con la protección contra interrupciones regionales proporcionada por la georreplicación. Los datos de una cuenta de almacenamiento GZRS se copian en tres zonas de disponibilidad de Azure en la región principal y también se replican en una segunda región geográfica para protegerlos de desastres regionales. ![](Images/Day32_Cloud3.png) -Just moving back up to performance options. We have Standard and Premium to choose from. We have chosen Standard in our walkthrough but premium gives you some specific options. +Volviendo a las opciones de rendimiento. Podemos elegir entre Estándar y Premium. Hemos elegido Estándar en el tutorial, pero Premium te da algunas opciones específicas. ![](Images/Day32_Cloud4.png) -Then in the drop-down, you can see we have these three options to choose from. +A continuación, en el menú desplegable, puedes ver que tenemos estas tres opciones para elegir. ![](Images/Day32_Cloud5.png) -There are lots more advanced options available for your storage account but for now, we do not need to get into these areas. These options are around encryption and data protection. +Hay muchas más opciones avanzadas disponibles para su cuenta de almacenamiento, pero por ahora, no necesitamos entrar en estas áreas. Estas opciones están relacionadas con el cifrado y la protección de datos. -### Managed Disks +### Discos gestionados -Storage access can be achieved in a few different ways. +El acceso al almacenamiento puede realizarse de varias formas. -Authenticated access via: +Acceso autenticado mediante: +- Una clave compartida para un control total. +- Firma de acceso compartido para un acceso delegado y granular. +- Azure Active Directory (cuando esté disponible) -- A shared key for full control. -- Shared Access Signature for delegated, granular access. -- Azure Active Directory (Where Available) +Acceso público: +- El acceso público también se puede conceder para permitir el acceso anónimo, incluso a través de HTTP. +- Un ejemplo de esto podría ser alojar contenido básico y archivos en un blob de bloques para que un navegador pueda ver y descargar estos datos. -Public Access: +Si accede a su almacenamiento desde otro servicio Azure, el tráfico permanece dentro de Azure. -- Public access can also be granted to enable anonymous access including via HTTP. -- An example of this could be to host basic content and files in a block blob so a browser can view and download this data. +Cuando se trata del rendimiento del almacenamiento tenemos dos tipos diferentes: -If you are accessing your storage from another Azure service, traffic stays within Azure. +- **Estándar** - Número máximo de IOPS +- **Premium** - Número garantizado de IOPS -When it comes to storage performance we have two different types: +IOPS => Operaciones de entrada/salida por segundo. -- **Standard** - Maximum number of IOPS -- **Premium** - Guaranteed number of IOPS +También hay que tener en cuenta la diferencia entre discos no gestionados y gestionados a la hora de elegir el almacenamiento adecuado para la tarea que tenemos. -IOPS => Input/Output operations per sec. +### Almacenamiento de Máquinas Virtuales -There is also a difference between unmanaged and managed disks to consider when choosing the right storage for the task you have. +- Los discos del sistema operativo de la máquina virtual suelen almacenarse en un almacenamiento persistente. +- Algunas cargas de trabajo sin estado no requieren almacenamiento persistente y la reducción de la latencia es un beneficio mayor. +- Hay máquinas virtuales que soportan discos efímeros gestionados por el SO que se crean en el almacenamiento local del nodo. + - Estos también se pueden utilizar con VM Scale Sets. -### Virtual Machine Storage +Los discos gestionados son un almacenamiento en bloque duradero que puede utilizarse con las máquinas virtuales Azure. Pueden tener Ultra Disk Storage, Premium SSD, Standard SSD o Standard HDD. También tienen algunas características. -- Virtual Machine OS disks are typically stored on persistent storage. -- Some stateless workloads do not require persistent storage and reduced latency is a larger benefit. -- There are VMs that support ephemeral OS-managed disks that are created on the node-local storage. - - These can also be used with VM Scale Sets. +- Compatibilidad con instantáneas e imágenes +- Movimiento sencillo entre SKUs +- Mejor disponibilidad cuando se combina con conjuntos de disponibilidad +- Facturación basada en el tamaño del disco, no en el almacenamiento consumido. -Managed Disks are durable block storage that can be used with Azure Virtual Machines. You can have Ultra Disk Storage, Premium SSD, Standard SSD, or Standard HDD. They also carry some characteristics. +## Almacenamiento de archivos -- Snapshot and Image support -- Simple movement between SKUs -- Better availability when combined with availability sets -- Billed based on disk size not on consumed storage. +- **Cool Tier** - Está disponible para bloquear y anexar blobs. + - Menor coste de almacenamiento + - Mayor coste de transacción. +- **Archive Tier** - Está disponible para bloques BLOB. + - Se configura para cada BLOB. + - Coste más bajo, latencia de recuperación de datos más larga. + - Misma durabilidad de datos que el almacenamiento Azure normal. + - Se pueden habilitar niveles de datos personalizados según sea necesario. -## Archive Storage +### Compartir Archivos -- **Cool Tier** - A cool tier of storage is available to block and append blobs. - - Lower Storage cost - - Higher transaction cost. -- **Archive Tier** - Archive storage is available for block BLOBs. - - This is configured on a per-BLOB basis. - - Cheaper cost, Longer Data retrieval latency. - - Same Data Durability as regular Azure Storage. - - Custom Data tiering can be enabled as required. - -### File Sharing - -From the above creation of our storage account, we can now create file shares. +A partir de la creación anterior de nuestra cuenta de almacenamiento podemos crear archivos compartidos. ![](Images/Day32_Cloud6.png) -This will provide SMB2.1 and 3.0 file shares in Azure. +Esto proporcionará recursos compartidos de archivos SMB2.1 y 3.0 en Azure. -Useable within the Azure and externally via SMB3 and port 445 open to the internet. +Utilizable dentro de Azure y externamente a través de SMB3 y el puerto 445 abierto a Internet. -Provides shared file storage in Azure. +Proporciona almacenamiento compartido de archivos en Azure. -Can be mapped using standard SMB clients in addition to REST API. +Se puede asignar utilizando clientes SMB estándar además de la API REST. -You might also notice [Azure NetApp Files](https://vzilla.co.uk/vzilla-blog/azure-netapp-files-how) (SMB and NFS) +Consultar [Azure NetApp Files](https://vzilla.co.uk/vzilla-blog/azure-netapp-files-how) (SMB y NFS). -### Caching & Media Services +### Almacenamiento en caché y servicios multimedia -The Azure Content Delivery Network provides a cache of static web content with locations throughout the world. +Azure Content Delivery Network proporciona una caché de contenido web estático con ubicaciones en todo el mundo. -Azure Media Services, provides media transcoding technologies in addition to playback services. +Azure Media Services, proporciona tecnologías de transcodificación de medios además de servicios de reproducción. -## Microsoft Azure Database Models +## Modelos de bases de datos de Microsoft Azure -Back on [Day 28](day28.md), we covered various service options. One of these was PaaS (Platform as a Service) where you abstract a large amount of the infrastructure and operating system away and you are left with the control of the application or in this case the database models. +En el [Día 28](day28.md) vimos varias opciones de servicio. Una de ellas era PaaS (Platform as a Service), en la que se abstrae gran parte de la infraestructura y el sistema operativo y se deja el control de la aplicación o, en este caso, de los modelos de bases de datos. -### Relational Databases +### Bases de datos relacionales -Azure SQL Database provides a relational database as a service based on Microsoft SQL Server. +Azure SQL Database proporciona una base de datos relacional como servicio basada en Microsoft SQL Server. -This is SQL running the latest SQL branch with database compatibility level available where a specific functionality version is required. +Se trata de SQL que ejecuta la última rama de SQL con un nivel de compatibilidad de base de datos disponible cuando se requiere una versión de funcionalidad específica. -There are a few options on how this can be configured, we can provide a single database that provides one database in the instance, while an elastic pool enables multiple databases that share a pool of capacity and collectively scale. +Hay algunas opciones sobre cómo esto se puede configurar, podemos proporcionar una única base de datos que proporciona una base de datos en la instancia, mientras que un pool elástico permite múltiples bases de datos que comparten un pool de capacidad y escalan colectivamente. -These database instances can be accessed like regular SQL instances. +Se puede acceder a estas instancias de base de datos como a instancias SQL normales. -Additional managed offerings for MySQL, PostgreSQL and MariaDB. +Ofertas gestionadas adicionales para MySQL, PostgreSQL y MariaDB. ![](Images/Day32_Cloud7.png) ### NoSQL Solutions -Azure Cosmos DB is a scheme agnostic NoSQL implementation. +Azure Cosmos DB es una implementación NoSQL de esquema agnóstico. 99.99% SLA -Globally distributed database with single-digit latencies at the 99th percentile anywhere in the world with automatic homing. +Base de datos distribuida globalmente con latencias de un solo dígito en el porcentaje 99 en cualquier parte del mundo con homing automático. -Partition key leveraged for the partitioning/sharding/distribution of data. +Partition key aprovechada para la partición/sharding/distribución de datos. -Supports various data models (documents, key-value, graph, column-friendly) +Admite varios modelos de datos (documentos, clave-valor, gráfico, amigable con las columnas). -Supports various APIs (DocumentDB SQL, MongoDB, Azure Table Storage and Gremlin) +Soporta varias APIs (DocumentDB SQL, MongoDB, Azure Table Storage y Gremlin) ![](Images/Day32_Cloud9.png) -Various consistency models are available based around [CAP theorem](https://en.wikipedia.org/wiki/CAP_theorem). +Existen varios modelos de consistencia basados en el [teorema CAP](https://es.wikipedia.org/wiki/Teorema_CAP). ![](Images/Day32_Cloud8.png) -### Caching +### Caché -Without getting into the weeds about caching systems such as Redis I wanted to include that Microsoft Azure has a service called Azure Cache for Redis. +Sin entrar en la maleza sobre los sistemas de almacenamiento en caché como Redis quería incluir que Microsoft Azure tiene un servicio llamado Azure Cache para Redis. -Azure Cache for Redis provides an in-memory data store based on the Redis software. +Azure Cache for Redis proporciona un almacén de datos en memoria basado en el software Redis. -- It is an implementation of the open-source Redis Cache. - - A hosted, secure Redis cache instance. - - Different tiers are available - - Application must be updated to leverage the cache. - - Aimed for an application that has high read requirements compared to writes. - - Key-Value store based. +- Se trata de una implementación de la caché Redis de código abierto. + - Una instancia de caché Redis alojada y segura. + - Diferentes niveles disponibles + - La aplicación debe actualizarse para aprovechar la caché. + - Dirigido a aplicaciones que requieren más lecturas que escrituras. + - Basado en almacén clave-valor. ![](Images/Day32_Cloud10.png) -I appreciate the last few days have been a lot of note-taking and theory on Microsoft Azure but I wanted to cover the building blocks before we get into the hands-on aspects of how these components come together and work. +Los últimos días han sido un montón de teorías y tomar notas sobre Microsoft Azure, pero ahora ya tenemos cubierto los bloques de construcción antes de entrar en los aspectos prácticos de cómo estos componentes se unen y trabajan. -We have one more bit of theory remaining around networking before we can get some scenario-based deployments of services up and running. We also want to take a look at some of the different ways we can interact with Microsoft Azure vs just using the portal that we have been using so far. +Solo queda un poco más de teoría sobre redes para que podamos ponernos en marcha con despliegues de servicios basados en escenarios reales. También echaremos un vistazo a algunas de las diferentes formas en que podemos interactuar con Microsoft Azure. -## Resources +## Recursos - [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) - [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) - [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) - [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) -See you on [Day 33](day33.md) +Nos vemos en el [Día 33](day33.md). diff --git a/2022/es/Days/day33.md b/2022/es/Days/day33.md index 018d401..a52b864 100644 --- a/2022/es/Days/day33.md +++ b/2022/es/Days/day33.md @@ -1,180 +1,174 @@ -## Microsoft Azure Networking Models + Azure Management +## Modelos de red de Microsoft Azure + Gestión de Azure -As if today marks the anniversary of Microsoft Azure and its 12th Birthday! (1st February 2022) Anyway, we are going to cover the networking models within Microsoft Azure and some of the management options for Azure. So far we have only used the Azure portal but we have mentioned other areas that can be used to drive and create our resources within the platform. +Vamos a cubrir los modelos de red dentro de Microsoft Azure y algunas de las opciones de gestión de Azure. Hasta ahora solo hemos utilizado el portal de Azure pero hemos mencionado otras áreas que pueden ser utilizadas para manejar y crear nuestros recursos dentro de la plataforma. -## Azure Network Models +## Modelos de Red Azure -### Virtual Networks +### Redes Virtuales -- A virtual network is a construct created in Azure. -- A virtual network has one or more IP ranges assigned to it. -- Virtual networks live within a subscription within a region. -- Virtual subnets are created in the virtual network to break up the network range. -- Virtual machines are placed in virtual subnets. -- All virtual machines within a virtual network can communicate. -- 65,536 Private IPs per Virtual Network. -- Only pay for egress traffic from a region. (Data leaving the region) -- IPv4 & IPv6 Supported. - - IPv6 for public-facing and within virtual networks. +- Una red virtual es una construcción creada en Azure. +- Una red virtual tiene uno o más rangos de IP asignados. +- Las redes virtuales viven dentro de una suscripción dentro de una región. +- Se crean subredes virtuales en la red virtual para dividir el rango de red. +- Las máquinas virtuales se colocan en subredes virtuales. +- Todas las máquinas virtuales dentro de una red virtual pueden comunicarse. +- 65.536 IPs privadas por red virtual. +- Sólo se paga por el tráfico de salida de una región. (Datos que salen de la región) +- Soporta IPv4 e IPv6. + - IPv6 para redes virtuales de cara al público y dentro de ellas. -We can liken Azure Virtual Networks to AWS VPCs. However, there are some differences to note: +Podemos comparar las redes virtuales de Azure con las VPC de AWS. Sin embargo, hay algunas diferencias a tener en cuenta: -- In AWS a default VNet is created that is not the case in Microsoft Azure, you have to create your first virtual network to your requirements. -- All Virtual Machines by default in Azure have NAT access to the internet. No NAT Gateways as per AWS. -- In Microsoft Azure, there is no concept of Private or Public subnets. -- Public IPs are a resource that can be assigned to vNICs or Load Balancers. -- The Virtual Network and Subnets have their own ACLs enabling subnet level delegation. -- Subnets across Availability Zones whereas in AWS you have subnets per Availability Zones. +- En AWS se crea una VNet por defecto que no es el caso en Microsoft Azure, tienes que crear tu primera red virtual a tu medida. +- Todas las máquinas virtuales por defecto en Azure tienen acceso NAT a Internet. No hay NAT Gateways como en AWS. +- En Microsoft Azure no existe el concepto de subredes Privadas o Públicas. +- Las IPs Públicas son un recurso que puede ser asignado a vNICs o Balanceadores de Carga. +- La red virtual y las subredes tienen sus propias ACL que permiten la delegación a nivel de subred. +- Subredes a través de Zonas de Disponibilidad mientras que en AWS tienes subredes por Zonas de Disponibilidad. -We also have Virtual Network Peering. This enables virtual networks across tenants and regions to be connected using the Azure backbone. Not transitive but can be enabled via Azure Firewall in the hub virtual network. Using a gateway transit allows peered virtual networks to the connectivity of the connected network and an example of this could ExpressRoute to On-Premises. +También tenemos Virtual Network Peering. Esto permite la conexión de redes virtuales entre inquilinos y regiones utilizando la red troncal de Azure. No es transitivo, pero puede activarse a través de Azure Firewall en la red virtual central. El uso de una pasarela de tránsito permite a las redes virtuales peered la conectividad de la red conectada y un ejemplo de esto podría ser [ExpressRoute](https://learn.microsoft.com/es-es/azure/expressroute/expressroute-introduction) a On-Premises. -### Access Control +### Control de acceso -- Azure utilises Network Security Groups, these are stateful. -- Enable rules to be created and then assigned to a network security group -- Network security groups applied to subnets or VMs. -- When applied to a subnet it is still enforced at the Virtual Machine NIC that it is not an "Edge" device. +- Azure utiliza Grupos de Seguridad de Red, estos son de estado. +- Permiten crear reglas y luego asignarlas a un grupo de seguridad de red +- Los grupos de seguridad de red se aplican a subredes o máquinas virtuales. +- Cuando se aplica a una subred todavía se aplica en el NIC de la máquina virtual que no es un dispositivo "Edge". ![](Images/Day33_Cloud1.png) -- Rules are combined in a Network Security Group. -- Based on the priority, flexible configurations are possible. -- Lower priority number means high priority. -- Most logic is built by IP Addresses but some tags and labels can also be used. +- Las reglas se combinan en un Grupo de Seguridad de Red. +- En función de la prioridad, es posible realizar configuraciones flexibles. +- Un número de prioridad bajo significa una prioridad alta. +- La mayor parte de la lógica se construye por Direcciones IP pero también se pueden utilizar algunas etiquetas. -| Description | Priority | Source Address | Source Port | Destination Address | Destination Port | Action | -| ---------------- | -------- | ------------------ | ----------- | ------------------- | ---------------- | ------ | -| Inbound 443 | 1005 | \* | \* | \* | 443 | Allow | -| ILB | 1010 | Azure LoadBalancer | \* | \* | 10000 | Allow | -| Deny All Inbound | 4000 | \* | \* | \* | \* | DENY | +| Descripción | Prioridad | Dirección origen | Puerto de origen | Dirección de destino | Puerto de destino | Acción | +| -------------------------- | --------- | ------------------ | ---------------- | -------------------- | ----------------- | -------- | +| Entrada 443 | 1005 | \* | \* | \* | 443 | Permitir | +| ILB | 1010 | Azure LoadBalancer | \* | \* | 10000 | Permitir | +| Denegar todas las entradas | 4000 | \* | \* | \* | \* | Denegar | -We also have Application Security Groups (ASGs) +También tenemos Grupos de Seguridad de Aplicaciones (ASG - Application Security Groups) -- Where NSGs are focused on the IP address ranges which may be difficult to maintain for growing environments. -- ASGs enable real names (Monikers) for different application roles to be defined (Webservers, DB servers, WebApp1 etc.) -- The Virtual Machine NIC is made a member of one or more ASGs. +- Los NSGs se centran en los rangos de direcciones IPs, que pueden ser difíciles de mantener para entornos en crecimiento. +- Los ASGs permiten definir nombres reales (Monikers) para diferentes roles de aplicación (Webservers, DB servers, WebApp1 etc.) +- La NIC de la máquina virtual se convierte en miembro de uno o más ASG. -The ASGs can then be used in rules that are part of Network Security Groups to control the flow of communication and can still use NSG features like service tags. +Los ASG se pueden utilizar en reglas que forman parte de Grupos de Seguridad de Red para controlar el flujo de comunicación y pueden seguir utilizando funciones de NSG como las etiquetas de servicio. -| Action | Name | Source | Destination | Port | -| ------ | ------------------ | ---------- | ----------- | ------------ | -| Allow | AllowInternettoWeb | Internet | WebServers | 443(HTTPS) | -| Allow | AllowWebToApp | WebServers | AppServers | 443(HTTPS) | -| Allow | AllowAppToDB | AppServers | DbServers | 1443 (MSSQL) | -| Deny | DenyAllinbound | Any | Any | Any | +| Acción | Nombre | Origen | Destino | Puerto | +| -------- | ------------------ | ---------- | ---------- | ------------ | +| Permitir | AllowInternettoWeb | Internet | WebServers | 443(HTTPS) | +| Permitir | AllowWebToApp | WebServers | AppServers | 443(HTTPS) | +| Permitir | AllowAppToDB | AppServers | DbServers | 1443 (MSSQL) | +| Denegar | DenyAllinbound | Any | Any | Any | -### Load Balancing +### Balanceador de carga -Microsoft Azure has two separate load balancing solutions. (the first party, there are third parties available in the Azure marketplace.) Both can operate with externally facing or internally facing endpoints. +Microsoft Azure tiene dos soluciones separadas de equilibrio de carga. Ambas pueden funcionar con puntos finales orientados externamente o internamente. La primera solución son las opciones de terceros disponibles en el marketplace de Azure. -- Load Balancer (Layer 4) supporting hash-based distribution and port-forwarding. -- App Gateway (Layer 7) supports features such as SSL offload, cookie-based session affinity and URL-based content routing. +- Balanceador de carga (capa 4) que admite la distribución basada en hash y el reenvío de puertos. +- App Gateway (capa 7) admite funciones como SSL offload, afinidad de sesión basada en cookies y enrutamiento de contenido basado en URL. -Also with the App Gateway, you can optionally use the Web Application firewall component. +También con App Gateway, puede utilizar opcionalmente el componente Web Application firewall. -## Azure Management Tools +## Herramientas de gestión de Azure -We have spent most of our theory time walking through the Azure Portal, I would suggest that when it comes to following a DevOps culture and process a lot of these tasks, especially around provisioning will be done via an API or a command-line tool. I wanted to touch on some of those other management tools that we have available to us as we need to know this for when we are automating the provisioning of our Azure environments. +Hemos pasado la mayor parte teórica por el Portal de Azure, pero cuando se trata de seguir una cultura DevOps el proceso de muchas de estas tareas (especialmente en torno a aprovisionamiento) se hará a través de una API o una herramienta de línea de comandos. Habría que revisar algunas de estas otras herramientas de gestión que tenemos a nuestra disposición, ya que necesitamos conocerla para cuando estemos automatizando el aprovisionamiento de nuestros entornos Azure. -### Azure Portal +### Portal Azure -The Microsoft Azure Portal is a web-based console, that provides an alternative to command-line tools. You can manage your subscriptions within the Azure Portal. Build, Manage, and Monitor everything from a simple web app to complex cloud deployments. Another thing you will find within the portal are these breadcrumbs, JSON as mentioned before is the underpinning of all Azure Resources, It might be that you start in the Portal to understand the features, services and functionality but then later understand the JSON underneath to incorporate into your automated workflows. +El Microsoft Azure Portal es una consola basada en web, que proporciona una alternativa a las herramientas de línea de comandos. Puedes gestionar tus suscripciones dentro del Portal Azure. Construya, Gestione y Monitorice todo, desde una simple aplicación web hasta complejos despliegues en la nube. Otra cosa que encontrarás en el portal son las migas de pan. Como ya se mencionó, JSON es la base de todos los recursos de Azure. Puede ser que comiences en el Portal para entender las características, servicios y funcionalidad, pero tarde o temprano tendrás que entender el JSON para incorporar flujos de trabajo automatizados. ![](Images/Day33_Cloud2.png) -There is also the Azure Preview portal, this can be used to view and test new and upcoming services and enhancements. +También existe el portal Azure Preview, que puede utilizarse para ver y probar servicios y mejoras. ![](Images/Day33_Cloud3.png) ### PowerShell -Before we get into Azure PowerShell it is worth introducing PowerShell first. PowerShell is a task automation and configuration management framework, a command-line shell and a scripting language. We might and dare I say this liken this to what we have covered in the Linux section around shell scripting. PowerShell was very much first found on Windows OS but it is now cross-platform. +Antes de adentrarnos en Azure PowerShell, conviene presentar PowerShell. PowerShell es un marco de automatización de tareas y gestión de la configuración, un shell de línea de comandos y un lenguaje de scripting. Podríamos decir que esto se asemeja a lo que hemos visto en la sección de Linux sobre shell scripting. PowerShell se utilizó por primera vez en el sistema operativo Windows, pero ahora es multiplataforma. -Azure PowerShell is a set of cmdlets for managing Azure resources directly from the PowerShell command line. +Azure PowerShell es un conjunto de cmdlets para gestionar los recursos de Azure directamente desde la línea de comandos de PowerShell. -We can see below that you can connect to your subscription using the PowerShell command `Connect-AzAccount` +Podemos ver a continuación que te puedes conectar a una suscripción mediante el comando PowerShell `Connect-AzAccount`. ![](Images/Day33_Cloud4.png) -Then if we wanted to find some specific commands associated with Azure VMs we can run the following command. You could spend hours learning and understanding more about this PowerShell programming language. +Luego, si quisiéramos encontrar algunos comandos específicos asociados a las VMs de Azure podemos ejecutar el siguiente comando. Podrías pasarte horas aprendiendo y entendiendo más sobre este lenguaje de programación. ![](Images/Day33_Cloud5.png) -There are some great quickstarts from Microsoft on getting started and provisioning services from PowerShell [here](https://docs.microsoft.com/en-us/powershell/azure/get-started-azureps?view=azps-7.1.0) +Hay algunos buenos quickstarts de Microsoft para empezar a aprovisionar servicios desde PowerShell [aquí](https://docs.microsoft.com/en-us/powershell/azure/get-started-azureps?view=azps-7.1.0) ### Visual Studio Code -Like many, and as you have all seen my go-to IDE is Visual Studio Code. +Como habréis visto la IDE de cabecera en el tutorial es Visual Studio Code. Visual Studio Code es un editor de código fuente gratuito creado por Microsoft para Windows, Linux y macOS. -Visual Studio Code is a free source-code editor made by Microsoft for Windows, Linux and macOS. - -You will see below that there are lots of integrations and tools built into Visual Studio Code that you can use to interact with Microsoft Azure and the services within. +Verás a continuación que hay un montón de integraciones y herramientas integradas en Visual Studio Code que puedes utilizar para interactuar con Microsoft Azure y los servicios que contiene. ![](Images/Day33_Cloud6.png) ### Cloud Shell -Azure Cloud Shell is an interactive, authenticated, browser-accessible shell for managing Azure resources. It provides the flexibility of choosing the shell experience that best suits the way you work. +Azure Cloud Shell es un shell interactivo, autenticado y accesible desde el navegador para gestionar los recursos de Azure. Proporciona la flexibilidad de elegir la experiencia de shell que mejor se adapte a su forma de trabajar. ![](Images/Day33_Cloud7.png) -You can see from the below when we first launch Cloud Shell within the portal we can choose between Bash and PowerShell. +Puedes ver en la siguiente imagen que cuando lanzamos Cloud Shell por primera vez dentro del portal podemos elegir entre Bash y PowerShell. ![](Images/Day33_Cloud8.png) -To use the cloud shell you will have to provide a bit of storage in your subscription. +Para utilizar Cloud Shell tendrás que proporcionar un poco de almacenamiento en tu suscripción. -When you select to use the cloud shell it is spinning up a machine, these machines are temporary but your files are persisted in two ways; through a disk image and a mounted file share. +Cuando seleccionas el intérprete de comandos en la nube, se pone en marcha una máquina. Estas máquinas son temporales, pero tus archivos se conservan de dos maneras: a través de una imagen de disco y en un archivo compartido montado. ![](Images/Day33_Cloud9.png) -- Cloud Shell runs on a temporary host provided on a per-session, per-user basis -- Cloud Shell times out after 20 minutes without interactive activity -- Cloud Shell requires an Azure file share to be mounted -- Cloud Shell uses the same Azure file share for both Bash and PowerShell -- Cloud Shell is assigned one machine per user account -- Cloud Shell persists $HOME using a 5-GB image held in your file share -- Permissions are set as a regular Linux user in Bash +- Cloud Shell se ejecuta en un host temporal proporcionado por sesión y por usuario. +- Cloud Shell se desconecta después de 20 minutos sin actividad interactiva. +- Cloud Shell requiere que se monte un archivo compartido de Azure. +- Cloud Shell utiliza el mismo recurso compartido de archivos de Azure para Bash y PowerShell. +- Cloud Shell tiene asignada una máquina por cuenta de usuario. +- Cloud Shell persiste $HOME utilizando una imagen de 5 GB guardada en su recurso compartido de archivos. +- Los permisos se establecen como un usuario normal de Linux en Bash. -The above was copied from [Cloud Shell Overview](https://docs.microsoft.com/en-us/azure/cloud-shell/overview) +Lo anterior fue copiado de [Cloud Shell Overview](https://docs.microsoft.com/en-us/azure/cloud-shell/overview). ### Azure CLI -Finally, I want to cover the Azure CLI, The Azure CLI can be installed on Windows, Linux and macOS. Once installed you can type `az` followed by other commands to create, update, delete and view Azure resources. +Por último vamos a echar un ojo a Azure CLI. Azure CLI se puede instalar en Windows, Linux y macOS. Una vez instalado se puede escribir `az` seguido de otros comandos para crear, actualizar, eliminar y ver los recursos de Azure. -When I initially came into my Azure learning I was a little confused by there being Azure PowerShell and the Azure CLI. +Al empezar con Azure es confusa la existencia de Azure PowerShell y Azure CLI. Estaría bien algún comentario de la comunidad sobre esto. Pero una visión objetica es que Azure PowerShell es un módulo añadido a Windows PowerShell o PowerShell Core (También disponible en otros sistemas operativos, pero no todos), mientras que Azure CLI es un programa de línea de comandos multiplataforma que se conecta a Azure y ejecuta los comandos. -I would love some feedback from the community on this as well. But the way I see it is that Azure PowerShell is a module added to Windows PowerShell or PowerShell Core (Also available on other OS but not all) Whereas Azure CLI is a cross-platform command-line program that connects to Azure and executes those commands. +Ambas opciones tienen una sintaxis diferente, aunque pueden hacer tareas muy similares. -Both of these options have a different syntax, although they can from what I can see and what I have done do very similar tasks. - -For example, creating a virtual machine from PowerShell would use the `New-AzVM` cmdlet whereas Azure CLI would use `az VM create`. - -You saw previously that I have the Azure PowerShell module installed on my system but then I also have the Azure CLI installed that can be called through PowerShell on my Windows machine. +Por ejemplo, crear una máquina virtual desde PowerShell usaría el cmdlet `New-AzVM` mientras que Azure CLI usaría `az VM create`. ![](Images/Day33_Cloud10.png) -The takeaway here as we already mentioned is about choosing the right tool. Azure runs on automation. Every action you take inside the portal translates somewhere to code being executed to read, create, modify, or delete resources. +Como ya hemos mencionado, lo importante aquí es elegir la herramienta adecuada para cada tarea. Azure se basa en la automatización. Cada acción que realizas dentro del portal se traduce en algún lugar en código que se ejecuta para leer, crear, modificar o eliminar recursos. Azure CLI -- Cross-platform command-line interface, installable on Windows, macOS, Linux -- Runs in Windows PowerShell, Cmd, Bash and other Unix shells. +- Interfaz de línea de comandos multiplataforma, instalable en Windows, macOS y Linux. +- Se ejecuta en Windows PowerShell, Cmd, Bash y otros shells Unix. Azure PowerShell -- Cross-platform PowerShell module, runs on Windows, macOS, Linux -- Requires Windows PowerShell or PowerShell +- Módulo PowerShell multiplataforma, ejecutable en Windows, macOS, Linux. +- Requiere Windows PowerShell o PowerShell. -If there is a reason you cannot use PowerShell in your environment but you can use .mdor bash then the Azure CLI is going to be your choice. +Si hay una razón por la que no puede utilizar PowerShell en su entorno, pero puede utilizar .mdor bash entonces el Azure CLI va a ser su elección. -Next up we take all the theories we have been through and create some scenarios and get hands-on in Azure. +A continuación vamos a tomar todas las teorías que hemos estado a través de y crear algunos escenarios y ponerse manos a la obra en Azure. -## Resources +## Recursos - [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) - [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) - [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) - [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) -See you on [Day 34](day34.md) +Nos vemos en el [Día 34](day34.md) diff --git a/2022/es/Days/day34.md b/2022/es/Days/day34.md index 85806b3..4b037c4 100644 --- a/2022/es/Days/day34.md +++ b/2022/es/Days/day34.md @@ -1,128 +1,126 @@ -## Microsoft Azure Hands-On Scenarios +## Microsoft Azure Escenarios Prácticos -The last 6 days have been focused on Microsoft Azure and the public cloud in general, a lot of this foundation had to contain a lot of theory to understand the building blocks of Azure but also this will nicely translate to the other major cloud providers as well. +En los últimos 6 días nos hemos centrado en Microsoft Azure y la nube pública para conseguir una mínima base, teníamos que pasar por la teoría para entender los bloques de construcción de Azure. Lo bueno es que esto se traduce muy bien a los otros proveedores de la nube más importantes, tan solo hay que saber como le llaman a cada componente o servicio homólogo. -I mentioned at the very beginning about getting a foundational knowledge of the public cloud and choosing one provider to at least begin with, if you are dancing between different clouds then I believe you can get lost quite easily whereas choosing one you get to understand the fundamentals and when you have those it is quite easy to jump into the other clouds and accelerate your learning. +Al principio se mencionó esta necesidad de obtener un conocimiento básico de la nube pública y importación de la elección de un proveedor, al menos para empezar, porque si estás danzando entre diferentes nubes puede crear confusiones y perderse con facilidad. Mientras que con la elección de una en concreto se llega a entender mejor los fundamentos, así cuando surja la necesidad de saltar a otras nubes será mucho más ágil el aprendizaje. -In this final session, I am going to be picking and choosing my hands-on scenarios from this page here which is a reference created by Microsoft and is used for preparations for the [AZ-104 Microsoft Azure Administrator](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/) +En esta última sesión veremos escenarios prácticos de la siguiente página que se enlaza, una referencia creada por Microsoft para la preparación del examen [AZ-104 Microsoft Azure Administrator](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/). -There are some here such as Containers and Kubernetes that we have not covered in any detail as of yet so I don't want to jump in there just yet. +Algunos como contenedores y Kubernetes aun no están cubiertos en detalle en este viaje, así que no adelantemos acontecimientos todavía. -In previous posts, we have created most of Modules 1,2 and 3. +En los días anteriores sí que se ha visto gran parte de los Módulos 1,2 y 3 👍 -### Virtual Networking +### Redes Virtuales -Following [Module 04](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_04-Implement_Virtual_Networking.html): +Siguiendo y revisando el [Módulo 04](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_04-Implement_Virtual_Networking.html) se han cambiado algunos nombres para #90DaysOfDevOps. -I went through the above and changed a few namings for #90DaysOfDevOps. I also instead of using the Cloud Shell went ahead and logged in with my new user created on previous days with the Azure CLI on my Windows machine. +También, en lugar de utilizar el Cloud Shell iniciamos sesión con el nuevo usuario creado en días anteriores con el CLI de Azure. -You can do this using the `az login` which will open a browser and let you authenticate to your account. +Se puede hacer esto usando el `az login` que abrirá un navegador y permite autenticar en la cuenta. -I have then created a PowerShell script and some references from the module to use to build out some of the tasks below. You can find the associated files in this folder. -(Cloud\01VirtualNetworking) +A continuación, veremos un script PowerShell y algunas referencias del módulo a utilizar para construir algunas de las tareas. Puedes encontrar los archivos asociados en esta carpeta [Cloud\01VirtualNetworking](Cloud/01VirtualNetworking/) -Please make sure you change the file location in the script to suit your environment. +Asegúrese de cambiar la ubicación del archivo en el script para adaptarlo a tu entorno. -At this first stage, we have no virtual network or virtual machines created in our environment, I only have a cloud shell storage location configured in my resource group. +En esta primera etapa, no tenemos ninguna red virtual o máquinas virtuales creadas en nuestro entorno, sólo tengo una ubicación de almacenamiento shell en la nube configurada en mi grupo de recursos. -I first of all run my [PowerShell script](Cloud/01VirtualNetworking/Module4_90DaysOfDevOps.ps1) +En primer lugar ejecuto mi [script PowerShell](Cloud/01VirtualNetworking/Module4_90DaysOfDevOps.ps1). ![](Images/Day34_Cloud1.png) -- Task 1: Create and configure a virtual network +- Tarea 1: Crear y configurar una red virtual. ![](Images/Day34_Cloud2.png) -- Task 2: Deploy virtual machines into the virtual network +- Tarea 2: Desplegar máquina virtual en la red virtual. ![](Images/Day34_Cloud3.png) -- Task 3: Configure private and public IP addresses of Azure VMs +- Tarea 3: Configurar las direcciones IP privadas y públicas de las máquinas virtuales Azure. ![](Images/Day34_Cloud4.png) -- Task 4: Configure network security groups +- Tarea 4: Configurar grupos de seguridad en red. ![](Images/Day34_Cloud5.png) ![](Images/Day34_Cloud6.png) -- Task 5: Configure Azure DNS for internal name resolution +- Tarea 5: Configurar Azure DNS para la resolución de nombres internos. ![](Images/Day34_Cloud7.png) ![](Images/Day34_Cloud8.png) -### Network Traffic Management +### Gestión de tráfico de red -Following [Module 06](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_06-Implement_Network_Traffic_Management.html): +Siguiendo el [Módulo 06](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_06-Implement_Network_Traffic_Management.html): -Next walkthrough, from the last one we have gone into our resource group and deleted our resources, if you had not set up the user account like me to only have access to that one resource group you could follow the module changing the name to `90Days*` this will delete all resources and resource group. This will be my process for each of the following labs. +Si no has configurado la cuenta de usuario para que sólo tenga acceso a ese grupo de recursos, puedes seguir el módulo cambiando el nombre a '90 días*'. Esto eliminará todos los recursos y el grupo de recursos. Este será el proceso para cada uno de los siguientes laboratorios. -For this lab, I have also created a PowerShell script and some references from the module to use to build out some of the tasks below. You can find the associated files in this folder. -(Cloud\02TrafficManagement) +Para este laboratorio, también se ha creado una secuencia de comandos PowerShell y algunas referencias del módulo a utilizar para construir algunas de las tareas. Puede encontrar los archivos asociados en esta carpeta. +[Nube\02GestiónDeTráfico](Nube\02GestiónDeTráfico) -- Task 1: Provision of the lab environment +- Tarea 1: Provisión del entorno de laboratorio -I first of all run my [PowerShell script](Cloud/02TrafficManagement/Mod06_90DaysOfDevOps.ps1) +En primer lugar ejecuto mi [script PowerShell](Cloud/02TrafficManagement/Mod06_90DaysOfDevOps.ps1) ![](Images/Day34_Cloud9.png) -- Task 2: Configure the hub and spoke network topology +- Tarea 2: Configurar la [topología de red de concentrador y radio (Hub-and-spoke)](https://learn.microsoft.com/es-es/azure/cloud-adoption-framework/ready/azure-best-practices/hub-spoke-network-topology) ![](Images/Day34_Cloud10.png) -- Task 3: Test transitivity of virtual network peering +- Tarea 3: Probar la transitividad del peering de la red virtual -For this my 90DaysOfDevOps group did not have access to the Network Watcher because of permissions, I expect this is because Network Watchers are one of those resources that are not tied to a resource group which is where our RBAC was covered for this user. I added the East US Network Watcher contributor role to the 90DaysOfDevOps group. +El grupo 90DaysOfDevOps no tenía acceso al Network Watcher debido a los permisos, espero que esto se deba a que los Network Watchers son uno de esos recursos que no están ligados a un grupo de recursos, que es donde nuestro RBAC estaba cubierto para este usuario. Se ha añadido el rol de colaborador del Vigilante de Red del Este de EEUU al grupo 90DaysOfDevOps. ![](Images/Day34_Cloud11.png) ![](Images/Day34_Cloud12.png) ![](Images/Day34_Cloud13.png) -^ This is expected since the two spoke virtual networks do not peer with each other (virtual network peering is not transitive). +^ Esto es lo esperado ya que las dos redes virtuales spoke no son peer entre sí (el peering de redes virtuales no es transitivo). -- Task 4: Configure routing in the hub and spoke topology +- Tarea 4: Configurar el enrutamiento en la topología de red de concentrador y radio -I had another issue here with my account not being able to run the script as my user within the group 90DaysOfDevOps which I am unsure of so I did jump back into my main admin account. The 90DaysOfDevOps group is an owner of everything in the 90DaysOfDevOps Resource Group so would love to understand why I cannot run a command inside the VM? +Tuve otro problema aquí con mi cuenta no ser capaz de ejecutar el script como mi usuario dentro del grupo 90DaysOfDevOps que no estoy seguro de lo que hice saltar de nuevo en mi cuenta de administrador principal. El grupo 90DaysOfDevOps es el propietario de todo lo que hay en el grupo de recursos 90DaysOfDevOps, así que me gustaría saber por qué no puedo ejecutar un comando dentro de la máquina virtual. ![](Images/Day34_Cloud14.png) ![](Images/Day34_Cloud15.png) -I then was able to go back into my michael.cade@90DaysOfDevOps.com account and continue this section. Here we are running the same test again but now with the result being reachable. +Entonces pude volver a entrar en la cuenta michael.cade@90DaysOfDevOps.com y continuar con esta sección. Aquí estamos ejecutando la misma prueba de nuevo pero ahora con el resultado alcanzable. ![](Images/Day34_Cloud16.png) -- Task 5: Implement Azure Load Balancer +- Tarea 5: Implementar Azure Load Balancer ![](Images/Day34_Cloud17.png) ![](Images/Day34_Cloud18.png) -- Task 6: Implement Azure Application Gateway +- Tarea 6: Implementar Azure Application Gateway ![](Images/Day34_Cloud19.png) ![](Images/Day34_Cloud20.png) -### Azure Storage +### Almcacenamiento Azure -Following [Module 07](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_07-Manage_Azure_Storage.html): +Siguiendo el [Módulo 07](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_07-Manage_Azure_Storage.html): -For this lab, I have also created a PowerShell script and some references from the module to use to build out some of the tasks below. You can find the associated files in this folder. -(Cloud\03Storage) +Para el siguiente laboratorio, también tenemos un script de PowerShell y algunas referencias del módulo a utilizar para construir algunas de las tareas. Puedes encontrar los archivos asociados en la carpeta [Cloud\03Storage](Cloud\03Storage). -- Task 1: Provision of the lab environment +- Tarea 1: Provisión del entorno de laboratorio. -I first of all run my [PowerShell script](Cloud/03Storage/Mod07_90DaysOfDeveOps.ps1) +En primer lugar se ejecuta el [script PowerShell](Cloud/03Storage/Mod07_90DaysOfDeveOps.ps1) ![](Images/Day34_Cloud21.png) -- Task 2: Create and configure Azure Storage accounts +- Tarea 2: Crear y configurar cuentas Azure Storage. ![](Images/Day34_Cloud22.png) -- Task 3: Manage blob storage +- Tarea 3: Gestionar el almacenamiento blob ![](Images/Day34_Cloud23.png) -- Task 4: Manage authentication and authorization for Azure Storage +- Tarea 4: Gestionar la autenticación y autorización para Azure Storage ![](Images/Day34_Cloud24.png) ![](Images/Day34_Cloud25.png) @@ -133,55 +131,55 @@ I was a little impatient waiting for this to be allowed but it did work eventual - Task 5: Create and configure an Azure Files shares -On the run command, this would not work with michael.cade@90DaysOfDevOps.com so I used my elevated account. +Se debe tener paciencia esperando a que esto se autorice. ![](Images/Day34_Cloud27.png) ![](Images/Day34_Cloud28.png) ![](Images/Day34_Cloud29.png) -- Task 6: Manage network access for Azure Storage +- Tarea 6: Gestionar acceso a la red para Azure Storage ![](Images/Day34_Cloud30.png) -### Serverless (Implement Web Apps) +### Serverless (Implementar Web Apps) -Following [Module 09a](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_09a-Implement_Web_Apps.html): +Ahora toca el [Módulo 09a](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_09a-Implement_Web_Apps.html): -- Task 1: Create an Azure web app +- Tarea 1: Crear un Azure web app ![](Images/Day34_Cloud31.png) -- Task 2: Create a staging deployment slot +- Tarea 2: Crear un slot de despliegue de preparación ![](Images/Day34_Cloud34.png) -- Task 3: Configure web app deployment settings +- Tarea 3: Configurar opciones del despliegue web app ![](Images/Day34_Cloud33.png) -- Task 4: Deploy code to the staging deployment slot +- Tarea 4: Desplegar el código en el slot de despliegue de preparación ![](Images/Day34_Cloud32.png) -- Task 5: Swap the staging slots +- Tarea 5: Intercambiar slots de preparación ![](Images/Day34_Cloud35.png) -- Task 6: Configure and test autoscaling of the Azure web app +- Tarea 6: Configurar y testear el autoescalado de Azure web app -This script I am using can be found in (Cloud/05Serverless) +Este script que estoy usando se puede encontrar en la carpeta [Cloud/05Serverless](Cloud/05Serverless) ![](Images/Day34_Cloud36.png) -This wraps up the section on Microsoft Azure and the public cloud in general. I will say that I had lots of fun attacking and working through these scenarios. +Con esto terminamos la sección sobre Microsoft Azure y la nube pública en general. Espero que te hayas divertido trabajando los distintos escenarios. -## Resources +## Recursos - [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) - [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) - [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) - [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) -Next, we will be diving into version control systems, specifically around git and then also code repository overviews and we will be choosing GitHub as this is my preferred option. +A continuación, vamos a sumergirnos en los sistemas de control de versiones, en concreto en torno a git. Para los repositorios de código veremos GitHub, una de las opciones más utilizadas. -See you on [Day 35](day35.md) +Nos vemos en el [Día 35](day35.md) diff --git a/2022/es/Days/day35.md b/2022/es/Days/day35.md index b1bd91e..8905b14 100644 --- a/2022/es/Days/day35.md +++ b/2022/es/Days/day35.md @@ -1,124 +1,124 @@ -## The Big Picture: Git - Version Control +## El panorama: Git - Control de versiones -Before we get into git, we need to understand what version control is and why? In this opener for Git, we will take a look at what version control is, and the basics of git. +Antes de adentrarnos en git, necesitamos entender qué es el control de versiones y por qué. En esta introducción a Git, le echaremos un vistazo al control de versiones y a los fundamentos de git. -### What is Version Control? +### ¿Qué es el control de versiones? -Git is not the only version control system so here we want to cover what options and what methodologies are available around version control. +Git no es el único sistema de control de versiones, así que aquí queremos cubrir qué opciones y qué metodologías hay disponibles en torno al control de versiones. -The most obvious and a big benefit of Version Control is the ability to track a project's history. We can look back over this repository using `git log` and see that we have many commits and many comments and what has happened so far in the project. Don't worry we will get into the commands later. Now think if this was an actual software project full of source code and multiple people are committing to our software at different times, different authors and then reviewers all are logged here so that we know what has happened, when, by whom and who reviewed. +El más obvio y gran beneficio del Control de Versiones es la capacidad de rastrear la historia de un proyecto. Podemos mirar atrás en este repositorio usando `git log` y ver que tenemos muchos commits (Confirmaciones de cambios), muchos comentarios y analizar lo que ha pasado desde el principio del proyecto. No te preocupes, hablaremos de los comandos más tarde. Ahora piensa en un proyecto de software real lleno de código fuente y con varias personas haciendo commits a nuestro software en diferentes momentos, diferentes autores, luego revisores... todo se registra para que sepamos lo que ha sucedido, cuándo, por quién y quién revisó. ![](Images/Day35_Git1.png) -Version Control before it was cool, would have been something like manually creating a copy of your version before you made changes. It might be that you also comment out old useless code with the just-in-case mentality. +El control de versiones antes de que fuera cool, habría sido algo como crear manualmente una copia de tu versión antes de hacer cambios y, manualmente también, hacer anotaciones de los cambios en un documento típicamente llamado changelog. Podría ser también que comentaras código viejo inútil con la mentalidad del "por si acaso" y lo dejarás entre el código fuente haciendo bulto. ![](Images/Day35_Git2.png) -I have started using version control over not just source code but pretty much anything, talks about projects like this (90DaysOfDevOps). Why not accept the features that rollback and log of everything that has gone on. +Una vez te das cuenta de los beneficios del control de versiones no sólo lo utilizas sobre el código fuente, sino sobre prácticamente cualquier cosa, como proyectos como 90DaysOfDevOps. ¿Por qué no aprovechar las características que rollback y el registro de todo lo que ha pasado? -However, a big disclaimer **Version Control is not a Backup!** +Sin embargo, una gran advertencia: ⚠️ **¡Control de versiones no es una copia de seguridad!** ⚠️ -Another benefit of Version Control is the ability to manage multiple versions of a project, Let's create an example, we have a free app that is available on all operating systems and then we have a paid-for app also available on all operating systems. The majority of the code is shared between both applications. We could copy and paste our code each commit to each app but that is going to be very messy especially as you scale your development to more than just one person, also mistakes will be made. +Otro beneficio del Control de Versiones es la capacidad de gestionar múltiples versiones de un proyecto, vamos a crear un ejemplo, tenemos una aplicación gratuita que está disponible en todos los sistemas operativos y luego tenemos una aplicación de pago también disponible en todos los sistemas operativos. La mayor parte del código se comparte entre ambas aplicaciones. Podríamos copiar y pegar nuestro código en cada commit para cada aplicación, pero eso va a ser muy desordenado, especialmente a medida que escalas tu desarrollo a más de una persona, también se cometerán errores. -The premium app is where we are going to have additional features, let's call them premium commits, the free edition will just contain the normal commits. +La aplicación premium es donde vamos a tener características adicionales, vamos a llamarlos commits premium, la edición gratuita sólo contendrá los commits normales. -The way this is achieved in Version Control is through branching. +La forma en que esto se logra en el Control de Versiones es a través de la ramificación. ![](Images/Day35_Git3.png) -Branching allows for two code streams for the same app as we stated above. But we will still want new features that land in our source code-free version to be in our premium and to achieve this we have something called merging. +La ramificación (branching) permite dos flujos de código para la misma aplicación, como hemos dicho anteriormente. Pero todavía queremos nuevas características que aterrizan en nuestra versión código libre para estar en nuestra prima y para lograr esto tenemos algo que se llama fusión (merging). ![](Images/Day35_Git4.png) -Now, this same easy but merging can be complicated because you could have a team working on the free edition and you could have another team working on the premium paid-for version and what if both change code that affects aspects of the overall code. Maybe a variable gets updated and breaks something. Then you have a conflict that breaks one of the features. Version Control cannot fix the conflicts that are down to you. But version control allows this to be easily managed. +Hacer esto mismo ahora es facilísimo, pero la fusión puede ser complicada porque podrías tener un equipo trabajando en la edición gratuita y podrías tener otro equipo trabajando en la versión premium de pago y ¿qué pasa si ambos equipos cambian código que afecta a aspectos del código general? Tal vez una variable se actualiza y rompe algo. Aquí se produce un conflicto que rompe una de las características. El control de versiones no puede arreglar los conflictos pero permite gestionarlos fácilmente. -The primary reason if you have not picked up so far for version control, in general, is the ability to collaborate. The ability to share code amongst developers and when I say code as I said before more and more we are seeing much more use cases for other reasons to use source control, maybe its a joint presentation you are working on with a colleague or a 90DaysOfDevOps challenge where you have the community offering their corrections and updates throughout the project. +La razón principal de utilizar el control de versiones, en general, es la capacidad de poder colaborar. La capacidad de compartir código entre los desarrolladores es algo principal, pero cada vez se ven más casos de uso. Por ejemplo, en una presentación conjunta que trabajas con un colega o en un reto 90DaysOfDevOps donde tienes una comunidad que ofrece sus correcciones y actualizaciones en todo el proyecto, como esta traducción. -Without version control how did teams of software developers even handle this? I find it hard enough when I am working on my projects to keep track of things. I expect they would split out the code into each functional module. Maybe a little part of the puzzle then was bringing the pieces together and then problems and issues before anything would get released. +Sin el control de versiones, ¿cómo se las arreglaban los equipos de desarrolladores de software? Cuando trabajo en mis proyectos me resulta bastante difícil hacer un seguimiento de las cosas. Supongo que dividirían el código en módulos funcionales y luego, como un puzzle, iban juntando las piezas y resolviendo los problemas antes de que algo se publicara. [El desarrollo en cascada](https://es.wikipedia.org/wiki/Desarrollo_en_cascada). -With version control, we have a single source of truth. We might all still work on different modules but it enables us to collaborate better. +Con el control de versiones, tenemos una única fuente de verdad. Puede que todos sigamos trabajando en módulos diferentes, pero nos permite colaborar mejor porque vemos en tiempo real el trabajo de los demás. ![](Images/Day35_Git5.png) -Another thing to mention here is that it's not just developers that can benefit from Version Control, it's all members of the team to have visibility but also tools all having awareness or leverage, Project Management tools can be linked here, tracking the work. We might also have a build machine for example Jenkins which we will talk about in another module. A tool that Builds and Packages the system, automating the deployment tests and metrics. +Otra cosa importante a mencionar es que no son sólo los desarrolladores quienes pueden beneficiarse del Control de Versiones. Todos los miembros del equipo deben tener visibilidad, pero también las herramientas que todos deben conocer o aprovechar. Las herramientas de Gestión de Proyectos pueden estar vinculadas aquí, rastreando el trabajo. También podríamos tener una máquina de construcción, por ejemplo Jenkins, de la que hablaremos en otro módulo. Una herramienta que construye y empaqueta el sistema, automatizando las pruebas de despliegue y las métricas. Y mucho más... -### What is Git? +### ¿Qué es Git? -Git is a tool that tracks changes to source code or any file, or we could also say Git is an open-source distributed version control system. +Git es una herramienta que rastrea los cambios en el código fuente o en cualquier archivo, o también podríamos decir que Git es un sistema de control de versiones distribuido de código abierto. -There are many ways in which git can be used on our systems, most commonly or at least for me I have seen it at the command line, but we also have graphical user interfaces and tools like Visual Studio Code that have git-aware operations we can take advantage of. +Hay muchas formas de utilizar git en nuestros sistemas, lo más habitual es usarlo en la línea de comandos, pero también tenemos interfaces gráficas de usuario y herramientas como Visual Studio Code que tienen operaciones git-aware que podemos aprovechar. -Now we are going to run through a high-level overview before we even get Git installed on our local machine. +Ahora vamos a ejecutar a través de una visión general de alto nivel, incluso antes de tener Git instalado en nuestra máquina local. -Let's take the folder we created earlier. +Utilicemos la carpeta que hemos creado antes. ![](Images/Day35_Git2.png) -To use this folder with version control we first need to initiate this directory using the `git init` command. For now, just think that this command puts our directory as a repository in a database somewhere on our computer. +Para usar esta carpeta con el control de versiones primero necesitamos iniciar este directorio usando el comando `git init`. Por ahora, piensa que este comando pone nuestro directorio como repositorio en una base de datos en algún lugar de nuestro ordenador. ![](Images/Day35_Git6.png) -Now we can create some files and folders and our source code can begin or maybe it already has and we have something in here already. We can use the `git add .` command which puts all files and folders in our directory into a snapshot but we have not yet committed anything to that database. We are just saying all files with the `.` are ready to be added. +Ahora podemos crear algunos archivos y carpetas y nuestro código fuente puede comenzar. Podemos usar el comando `git add .` que pone todos los archivos y carpetas de nuestro directorio en una instantánea pero todavía no hemos confirmado nada en esa base de datos. Sólo estamos diciendo que todos los archivos con el `.` están listos para ser añadidos. ![](Images/Day35_Git7.png) -Then we want to go ahead and commit our files, we do this with the `git commit -m "My First Commit"` command. We can give a reason for our commit and this is suggested so we know what has happened for each commit. +A continuación, queremos seguir adelante y confirmar nuestros archivos, lo hacemos con el comando `git commit -m "Mi primer commit"`. Podemos dar una razón para nuestro commit y es recomendable para que sepamos lo que ha sucedido en cada commit. Se hace con la opción de mensaje `-m`. ![](Images/Day35_Git8.png) -We can now see what has happened within the history of the project. Using the `git log` command. +Ahora podemos ver lo que ha pasado en la historia del proyecto. Usando el comando `git log`. ![](Images/Day35_Git9.png) -If we create an additional file called `samplecode.ps1`, the status would become different. We can also check the status of our repository by using `git status` this shows we have nothing to commit and we can add a new file called samplecode.ps1. If we then run the same `git status` you will see that we file to be committed. +Si creamos un fichero adicional llamado `samplecode.ps1` el estado de este será diferente. Podemos comprobar el estado de nuestro repositorio mediante el uso de `git status` esto muestra que no tenemos nada que confirmar y podemos añadir un nuevo archivo llamado `samplecode.ps1`. Ejecutamos el mismo `git status` y veremos que tenemos un fichero para añadir y confirmar (comitear, commit verborizado al español por los murcianos). ![](Images/Day35_Git10.png) -Add our new file using the `git add sample code.ps1` command and then we can run `git status` again and see our file is ready to be committed. +Añadimos nuestro nuevo fichero usando el comando `git add sample code.ps1` y entonces podemos ejecutar `git status` de nuevo y ver que nuestro fichero está listo para ser comiteado. ![](Images/Day35_Git11.png) -Then issue `git commit -m "My Second Commit"` command. +Pues a comitear se ha dicho, ejecutamos el comando `git commit -m "My Second Commit"`. ![](Images/Day35_Git12.png) -Another `git status` now shows everything is clean again. +Otro `git status` nos muestra que todo está limpio, lo tenemos subido al repositorio local. ![](Images/Day35_Git13.png) -We can then use the `git log` command which shows the latest changes and first commit. +Podemos usar el comando `git log` que muestra los últimos cambios y el primer commit. ![](Images/Day35_Git14.png) -If we wanted to see the changes between our commits i.e what files have been added or modified we can use the `git diff b8f8 709a` +Si quisiéramos ver los cambios entre nuestras confirmaciones, es decir, qué archivos se han añadido o modificado, podemos usar `git diff b8f8 709a`. ![](Images/Day35_Git15.png) -Which then displays what has changed in our case we added a new file. +Nos mostrará lo que ha cambiado. En nuestro caso veremos el fichero añadido. ![](Images/Day35_Git16.png) -We will go deeper into this later on but we can jump around our commits i.e we can go time travelling! By using our commit number we can use the `git checkout 709a` command to jump back in time without losing our new file. +Profundizaremos en esto más adelante pero para empezar a degustar las delicias de git: podemos saltar entre nuestros commits, es decir, ¡podemos viajar en el tiempo! Usando nuestro número de commit con el comando `git checkout 709a` para saltar atrás en el tiempo sin perder nuestro nuevo archivo. ![](Images/Day35_Git17.png) -But then equally we will want to move forward as well and we can do this the same way with the commit number or you can see here we are using the `git switch -` command to undo our operation. +Igualmente podemos avanzar de la misma manera, con el número de commit. También puedes ver que estamos usando el comando `git switch -` para deshacer nuestra operación. ![](Images/Day35_Git18.png) -The TLDR; +El TLDR; -- Tracking a project's history -- Managing multiple versions of a project -- Sharing code amongst developers and a wider scope of teams and tools -- Coordinating teamwork -- Oh and there is some time travel! +- Seguimiento de la historia de un proyecto. +- Gestión de múltiples versiones de un proyecto. +- Compartir código entre desarrolladores. Un mayor número de equipos y herramientas. +- Coordinar el trabajo en equipo. +- Ah, ¡y hay algunos viajes en el tiempo! -This might have seemed a jump around but hopefully, you can see without really knowing the commands used the powers and the big picture behind Version Control. +Esto ha sido una introducción, espero que se pueda percibir los poderes y el panorama general detrás del Control de Versiones. -Next up we will be getting git installed and set up on your local machine and diving a little deeper into some other use cases and commands that we can achieve in Git. +A continuación vamos a instalar git y configurarlo en una máquina local y bucear un poco más profundo en algunos casos de uso y los comandos que podemos necesitar en Git. -## Resources +## Recursos - [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) - [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) @@ -126,5 +126,13 @@ Next up we will be getting git installed and set up on your local machine and di - [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) - [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) - [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [En español] [Comandos Git](https://gitea.vergaracarmona.es/man-linux/comandos-git) +- [En español] [Apuntes Curso de Git](https://vergaracarmona.es/wp-content/uploads/2022/10/Curso-git_vergaracarmona.es_.pdf). +- [En español] En los [apuntes](https://vergaracarmona.es/apuntes/) del traductor: + - ["Instalar git en ubuntu"](https://vergaracarmona.es/instalar-git-en-ubuntu/) + - ["Comandos de git"](https://vergaracarmona.es/comandos-de-git/) + - ["Estrategias de fusión en git: Ship / Show / Ask"](https://vergaracarmona.es/estrategias-bifurcacion-git-ship-show-ask/) + - ["Resolver conflictos en Git. Merge, Squash, Rebase o Pull"](https://vergaracarmona.es/merge-squash-rebase-pull/) + - ["Borrar commits de git: reset, rebase y cherry-pick"](https://vergaracarmona.es/reset-rebase-cherry-pick/) -See you on [Day 36](day36.md) +Nos vemos en el [Día 36](day36.md) diff --git a/2022/es/README.md b/2022/es/README.md index 43215b4..36f7372 100644 --- a/2022/es/README.md +++ b/2022/es/README.md @@ -100,7 +100,7 @@ Empecemos con lo que vas a poder ver en estos 90 días. - [✔️] 🌐 24 > [Automatización de la red](Days/day24.md) - [✔️] 🌐 25 > [Python para la automatización de la red](Days/day25.md) - [✔️] 🌐 26 > [Construir nuestro Lab](Days/day26.md) -- [✔️] 🌐 27 > [Ponerse a trabajar con Python y la red](Days/day27.md) +- [✔️] 🌐 27 > [Manos a la obra con Python y Redes](Days/day27.md) ### Quédate con solo un Cloud Provider diff --git a/2022/ko/Days/day01.md b/2022/ko/Days/day01.md index 23c754e..cf6d6c0 100644 --- a/2022/ko/Days/day01.md +++ b/2022/ko/Days/day01.md @@ -23,11 +23,11 @@ date: '2022-04-17T10:12:40Z' 위의 블로그를 읽고 저의 학습 여정의 수준이 매우 높을 것이라고 짐작하시는 분들을 위해 말씀드리면, 저는 그 분야들에 대해 전문가는 아닙니다만 유료이건 무료이건 어떤 형태로든 자료를 공유하고 싶었습니다. 우리는 모두 서로 다른 환경에 있을 것이니 각자에게 맞는 선택을 하시길 바랍니다. -앞으로 90일간 저는 기본적인 영역들에 대해 다루고 자료들을 문서화 하려고 합니다. 커뮤니티의 적극적인 참여도 바라고 있습니다. 많은 분의 학습 여정과 자료의 공유를 통해 공개적으로 함께 도와가며 서로 배우길 바랍니다. +앞으로 90일간 저는 기본적인 영역들에 대해 다루고 자료들을 문서화하려고 합니다. 커뮤니티의 적극적인 참여도 바라고 있습니다. 많은 분의 학습 여정과 자료의 공유를 통해 공개적으로 함께 도와가며 서로 배우길 바랍니다. 프로젝트 리포지토리의 readme에 12주에 6일을 더한 분량의 섹션 별로 분할을 해두었습니다. 첫 6일간은 특정 영역에 뛰어들기 전에 데브옵스에 대한 전반적인 기본 지식들에 대해 학습할 것입니다. 반복해서 말씀드리면 저의 자료가 완벽하지 않습니다. 따라서 이 자료들이 유용하게 활용될 수 있도록 커뮤니티의 도움을 바랍니다. -지금 이 순간에 공유하고 싶은 자료가 하나 더 있습니다. 모두가 꼼꼼히 살펴야하고, 스스로에 대한, 자신의 관심과 현재 위치를 마인드맵으로 그려야할, 그것은 +지금 이 순간에 공유하고 싶은 자료가 하나 더 있습니다. 모두가 꼼꼼히 살펴야 하고, 스스로에 대한, 자신의 관심과 현재 위치를 마인드맵으로 그려야 할, 그것은 [DevOps Roadmap](https://roadmap.sh/devops) @@ -35,30 +35,31 @@ date: '2022-04-17T10:12:40Z' ## 첫 단계 - 데브옵스란? -소개드리고 싶은 유튜브 비디오나 블로그 글이 너무 많습니다. 하지만 우리는 90일의 도전을 시작했고 매일 한시간씩 새로운 것을 배우거나 데브옵스에 관해 배우기로 했으므로, "DevOps란 무엇인가"라는 높은 수준의 정보를 먼저 얻는 것이 좋다고 생각합니다. +소개드리고 싶은 유튜브 비디오나 블로그 글이 너무 많습니다. 하지만 우리는 90일의 도전을 시작했고 매일 한 시간씩 새로운 것을 배우거나 데브옵스에 관해 배우기로 했으므로, "DevOps란 무엇인가"라는 높은 수준의 정보를 먼저 얻는 것이 좋다고 생각합니다. 우선, 데브옵스는 도구가 아닙니다. 살 수 있는 것도 아니고, software SKU나 깃허브 레포지토리에서 다운로드 받을 수 있는 오픈 소스도 아닙니다. 또한 프로그래밍 언어도 아니고, 괴상한 흑마술도 아닙니다. 데브옵스란 소프트웨어 개발에서 좀 더 현명하게 일하는 방법을 말합니다. - 잠깐... 혹시 소프트웨어 개발자가 아니라면 이 학습 과정을 중단해야 할까요??? 아닙니다.. 데브옵스란 소프트웨어 개발과 운영의 통합을 의미하기 때문입니다. 위에서 언급했듯이 저는 일반적으로 운영에 속하는 VM(가상머신)과 관련된 쪽에 있었지만, 커뮤니티에는 다양한 배경을 가진 사람들이 있습니다. 그리고 개인, 개발자, 운영자 그리고 QA 엔지니어 모두는 DevOps를 더 잘 이해함으로써 모범사례에 관해 동등하게 배울 수 있습니다. -데브옵스는 이 목표를 달성하기 위한 일련의 관행입니다: 제품이 초기 아이디어 단계부터 최종 사용자, 내부 팀 또는 고객 등 모든 사용자에게 실제 운영 서비스로 전달되기 까지의 시간을 단축하는 것. +데브옵스는 이 목표를 달성하기 위한 일련의 관행입니다: 제품이 초기 아이디어 단계부터 최종 사용자, 내부 팀 또는 고객 등 모든 사용자에게 실제 운영 서비스로 전달되기까지의 시간을 단축하는 것. 첫 주에 다룰 또 다른 분야는 **애자일 방법론** 에 관한 것입니다. 애플리케이션을 지속적으로 전달(Continuous Delivery)하기 위해 데브옵스와 애자일은 주로 함께 다루어집니다. -개략적으로 말해 데브옵스적 사고방식이나 문화는 길고 몇년이 걸릴 수 있는 소프트웨어 배포 프로세스를 더 작고, 자주 배포하는 방식으로 시간을 단축시키는 것입니다. 추가로 이해해야할 또 다른 핵심 포인트는 위에 언급한 개발, 운영, QA 팀간의 사일로를 무너트리는 것은 데브옵스 엔지니어의 책임입니다. +개략적으로 말해 데브옵스적 사고방식이나 문화는 길고 몇 년이 걸릴 수 있는 소프트웨어 배포 프로세스를 더 작고, 자주 배포하는 방식으로 시간을 단축시키는 것입니다. 추가로 이해해야 할 또 다른 핵심 포인트는 위에 언급한 개발, 운영, QA 팀 간의 사일로를 무너트리는 것은 데브옵스 엔지니어의 책임입니다. -데브옵스의 관점에서 보면 **개발, 테스트, 배포**는 모두 데브옵스 팀과 함께 해야하기 때문입니다. +데브옵스의 관점에서 보면 **개발, 테스트, 배포**는 모두 데브옵스 팀과 함께해야 하기 때문입니다. 최종적으로 이런 것을 효과적이고 효율적으로 하기 위해서는 **자동화**를 최대한 활용해야 합니다. ## 자료 -이곳을 학습 도구로 활용하기 위해 이 readme 파일에 추가적으로 자료를 덪붙이는 것에 대해 항상 열려있습니다. +이곳을 학습 도구로 활용하기 위해 이 readme 파일에 추가적으로 자료를 덧붙이는 것에 대해 항상 열려있습니다. 그리고 아래 동영상들을 꼭 보시기 바랍니다. 또한 위에 설명드린 내용에서 많은 인사이트를 얻었으면 합니다. - [DevOps in 5 Minutes](https://www.youtube.com/watch?v=Xrgk023l4lI) - [What is DevOps? Easy Way](https://www.youtube.com/watch?v=_Gpe1Zn-1fE&t=43s) - [DevOps roadmap 2022 | Success Roadmap 2022](https://www.youtube.com/watch?v=7l_n97Mt0ko) +- [From Zero to DevOps Engineer - DevOps Roadmap for YOUR specific background](https://www.youtube.com/watch?v=G_nVMUtaqCk) 여기까지 읽었다면 나에게 필요한 내용인지 아닌지 알 수 있을 것입니다. [Day 2](day02.md) diff --git a/2022/ko/Days/day02.md b/2022/ko/Days/day02.md index 15c10b6..244e179 100644 --- a/2022/ko/Days/day02.md +++ b/2022/ko/Days/day02.md @@ -13,7 +13,7 @@ date: '2022-04-17T21:15:34Z' 부디, 여러분이 자료를 찾고 [Day1 of #90DaysOfDevOps](day01.md) 페이지에 글을 올리면서 함께 참여하기를 바랍니다. -첫 번째 글에서 짦게 다루었습니다만, 이제 더 깊이 있는 개념 그리고 애플리케이션을 만드는 것에는 두가지 주요 파트가 있다는 것에 대해 이해할 필요가 있습니다. 소프트웨어 개발자들이 애플리케이션을 작성하고 테스트하는 **개발** 파트와 애플리케이션을 서버에 배포하고 유지하는 **운영** 파트 입니다. +첫 번째 글에서 짧게 다루었습니다만, 이제 더 깊이 있는 개념 그리고 애플리케이션을 만드는 것에는 두 가지 주요 파트가 있다는 것에 대해 이해할 필요가 있습니다. 소프트웨어 개발자들이 애플리케이션을 작성하고 테스트하는 **개발** 파트와 애플리케이션을 서버에 배포하고 유지하는 **운영** 파트 입니다. ## 데브옵스는 그 둘을 연결합니다. @@ -39,27 +39,27 @@ To get to grips with DevOps or the tasks which a DevOps engineer would be carryi ## 이것도 알고, 저것도 알고 -네트워크 또는 인프라의 스페셜리스트가 될 필요는 없습니다. 서버를 올리고, 실행시키고 상호간 통신이 가능하도록 구성하는 방법에 대한 지식만 있으면됩니다. 마찬가지로 개발자가 될 필요는 없습니다. 프로그래밍 언어에 대한 기본적인 지식만 있으면 됩니다. 하지만 어느 한 분야의 전문가로써 데브옵스 업무에 참여할 수 있고, 이럴 경우 다른 분야에 적응하기 위한 매우 좋은 기반이 될 것입니다. +네트워크 또는 인프라의 스페셜리스트가 될 필요는 없습니다. 서버를 올리고, 실행시키고 상호 간 통신이 가능하도록 구성하는 방법에 대한 지식만 있으면 됩니다. 마찬가지로 개발자가 될 필요는 없습니다. 프로그래밍 언어에 대한 기본적인 지식만 있으면 됩니다. 하지만 어느 한 분야의 전문가로서 데브옵스 업무에 참여할 수 있고, 이럴 경우 다른 분야에 적응하기 위한 매우 좋은 기반이 될 것입니다. -또한 서버나 애플리케이션의 관리를 매일 인계받지 못할 수 도 있습니다. +또한 서버나 애플리케이션의 관리를 매일 인계받지 못할 수도 있습니다. -서버에 대해서만 이야기 했지만, 애플리케이션이 컨테이너로 실행되도록 개발해야 할 수 도 있습니다. 여전히 서버에서 실행하는 것이라곤 하나, 가상화, IaaS (클라우드 인프라 서비스)와 더불어 컨테이너화에 대한 이해도 필요합니다. +서버에 대해서만 이야기했지만, 애플리케이션이 컨테이너로 실행되도록 개발해야 할 수도 있습니다. 여전히 서버에서 실행하는 것이라곤 하나, 가상화, IaaS (클라우드 인프라 서비스)와 더불어 컨테이너화에 대한 이해도 필요합니다. ## 고차원적인 개요 -한쪽에서 우리 개발자들이 애플리케이션을 위핸 시 기능들을 (버그 수정과 더불어) 추가합니다. +한쪽에서 우리 개발자들이 애플리케이션을 위한 기능들을 (버그 수정과 더불어) 추가합니다. 다른 한쪽에서는 실제 애플리케이션이 실행되고 필요 서비스들과 통신하도록 구성 및 관리되고 있는 서버, 인프라 내지는 환경이 있습니다. 여기서 핵심은 버그 수정 및 새 기능이 추가된 버전을 운영 환경에 적용시켜 최종 사용자에게 제공하도록 하는 것입니다. -새 애플리케이션 버전을 어떻게 출시하는가? 이것이 데브옵스 엔지니어의 핵심 업무 입니다. 테스트를 포함한 효과적이고 자동화된 방식을 지속적으로 고민해야합니다. +새 애플리케이션 버전을 어떻게 출시하는가? 이것이 데브옵스 엔지니어의 핵심 업무입니다. 테스트를 포함한 효과적이고 자동화된 방식을 지속적으로 고민해야 합니다. 여기서 오늘 학습을 끝내도록 하겠습니다. 부디 유용했기를 바랍니다. 앞으로 DevOps의 다양한 영역들과, 다양한 도구 및 프로세스들의 사용 이점에 대해서 깊이 있게 다루도록 하겠습니다. ## 자료 -이곳을 학습 도구로 활용하기 위해 이 readme 파일에 추가적으로 자료를 덪붙이는 것에 대해 항상 열려있습니다. +이곳을 학습 도구로 활용하기 위해 이 readme 파일에 추가적으로 자료를 덧붙이는 것에 대해 항상 열려있습니다. 그리고 아래 동영상들을 꼭 보시기 바랍니다. 또한 위에 설명드린 내용에서 많은 인사이트를 얻었으면 합니다. diff --git a/2022/ko/Days/day03.md b/2022/ko/Days/day03.md new file mode 100644 index 0000000..88d45e2 --- /dev/null +++ b/2022/ko/Days/day03.md @@ -0,0 +1,97 @@ +--- +title: '#90DaysOfDevOps - Application Focused - Day 3' +published: false +description: 90DaysOfDevOps - Application Focused +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048825 +--- + +## 데브옵스 수명 주기 - 애플리케이션 중심 + +앞으로 몇 주 동안 계속 진행하면서 지속적 개발, 테스트, 배포, 모니터에 대해 100% 반복해서 접하게 될 것입니다. DevOps 엔지니어 역할로 향하고 있다면 반복성이 익숙해질 것이지만 매번 지속적으로 향상시키는 것도 흥미를 유지하는 또 다른 요소입니다. + +이번 시간에는 애플리케이션을 처음부터 끝까지 살펴본 다음 다시 반복하듯 되돌아보는 고차원의 시각으로 살펴보겠습니다. + +### Development (개발) + +애플리케이션의 새로운 예를 들어 보겠습니다. 먼저 아무것도 만들어지지 않은 상태에서 개발자는 고객 또는 최종 사용자와 요구 사항을 논의하고 애플리케이션에 대한 일종의 계획이나 요구 사항을 마련해야 합니다. 그런 다음 요구 사항을 바탕으로 새로운 애플리케이션을 만들어야 합니다. + +이 단계의 도구와 관련해서는 애플리케이션을 작성하는 데 사용할 IDE와 프로그래밍 언어를 선택하는 것 외에는 실제 요구 사항이 없습니다. + +데브옵스 엔지니어로서 이 계획을 만들거나 최종 사용자를 위해 애플리케이션을 코딩하는 것은 여러분이 아니라 숙련된 개발자가 할 일이라는 점을 기억하세요. + +그러나 애플리케이션에 대한 최상의 인프라 결정을 내릴 수 있도록 일부 코드를 읽을 수 있는 것도 나쁘지 않을 것입니다. + +앞서 이 애플리케이션은 어떤 언어로든 작성할 수 있다고 언급했습니다. 중요한 것은 버전 관리 시스템을 사용하여 유지 관리해야 한다는 것인데, 이 부분은 나중에 자세히 다룰 것이며 특히 **Git**에 대해 자세히 살펴볼 것입니다. + +또한 이 프로젝트에서 한 명의 개발자가 작업하는 것이 아닐 수도 있지만, 이 경우에도 모범 사례에서는 코드를 저장하고 협업하기 위한 코드 저장소가 필요하며, 이는 비공개 또는 공개일 수 있고 호스팅되거나 비공개로 배포될 수 있으며 일반적으로 **GitHub 또는 GitLab**과 같은 코드 저장소가 코드 저장소로 사용되는 것을 듣게 될 것입니다. 이에 대해서는 나중에 **Git** 섹션에서 다시 다루겠습니다. + +### Testing (테스팅) + +이 단계에서는 요구 사항이 있고 애플리케이션이 개발되고 있습니다. 하지만 우리가 사용할 수 있는 모든 다양한 환경, 특히 선택한 프로그래밍 언어에서 코드를 테스트하고 있는지 확인해야 합니다. + +이 단계에서 QA는 버그를 테스트할 수 있으며, 테스트 환경을 시뮬레이션하는 데 컨테이너를 사용하는 경우가 많아져 전반적으로 물리적 또는 클라우드 인프라의 비용 오버헤드를 개선할 수 있습니다. + +이 단계는 또한 다음 영역인 지속적 통합의 일부로 자동화될 가능성이 높습니다. + +이 테스트를 자동화할 수 있다는 것은 수십, 수백, 심지어 수천 명의 QA 엔지니어가 이 작업을 수동으로 수행해야 하는 것과 비교하면 그 자체로 의미가 있으며, 이러한 엔지니어는 스택 내에서 다른 작업에 집중하여 워터폴 방법론을 사용하는 대부분의 기존 소프트웨어 릴리스에서 지체되는 경향이 있는 버그 및 소프트웨어 테스트 대신 더 빠르게 움직이고 더 많은 기능을 개발할 수 있습니다. + +### Integration (통합) + +매우 중요한 것은 통합이 데브옵스 라이프사이클의 중간에 있다는 것입니다. 개발자가 소스 코드에 변경 사항을 더 자주 커밋해야 하는 practice(관행)입니다. 이는 매일 또는 매주 단위로 이루어질 수 있습니다. + +커밋할 때마다 애플리케이션은 자동화된 테스트 단계를 거치게 되며, 이를 통해 다음 단계로 넘어가기 전에 문제나 버그를 조기에 발견할 수 있습니다. + +이제 이 단계에서 "하지만 우리는 애플리케이션을 만들지 않고 소프트웨어 공급업체에서 기성품을 구입합니다."라고 말할 수 있습니다. 많은 회사가 이렇게 하고 있고 앞으로도 계속 그렇게 할 것이며 위의 3단계에 집중하는 것은 소프트웨어 공급업체가 될 것이므로 걱정하지 마세요. 하지만 마지막 단계를 채택하면 기성품 배포를 더 빠르고 효율적으로 배포할 수 있으므로 여전히 채택하고 싶을 수도 있습니다. + +오늘 당장 상용 소프트웨어를 구매할 수도 있지만 내일이나 또는... 다음 직장에서 사용할 수도 있기 때문에 위의 지식을 갖추는 것만으로도 매우 중요하다고 말씀드리고 싶습니다. + +### Deployment (배포) + +Ok so we have our application built and tested against the requirements of our end user and we now need to go ahead and deploy this application into production for our end users to consume. + +This is the stage where the code is deployed to the production servers, now this is where things get extremely interesting and it is where the rest of our 86 days dives deeper into these areas. Because different applications require different possibly hardware or configurations. This is where **Application Configuration Management** and **Infrastructure as Code** could play a key part in your DevOps lifecycle. It might be that your application is **Containerised** but also available to run on a virtual machine. This then also leads us onto platforms like **Kubernetes** which would be orchestrating those containers and making sure you have the desired state available to your end users. + +Of these bold topics, we will go into more detail over the next few weeks to get a better foundational knowledge of what they are and when to use them. + +이제 최종 사용자의 요구 사항에 따라 애플리케이션을 빌드하고 테스트를 마쳤으므로 이제 최종 사용자가 사용할 수 있도록 이 애플리케이션을 프로덕션에 배포해야 합니다. + +이 단계는 코드를 프로덕션 서버에 배포하는 단계로, 이제부터 매우 흥미로운 일이 벌어지며 나머지 86일 동안 이러한 영역에 대해 더 자세히 알아볼 것입니다. 애플리케이션마다 필요한 하드웨어나 구성이 다르기 때문입니다. 바로 이 부분에서 **Application Configuration Management(애플리케이션 구성 관리)**와 **Infrastructure as Code(코드형 인프라)**가 데브옵스 라이프사이클에서 중요한 역할을 할 수 있습니다. 애플리케이션이 **Containerised(컨테이너화)**되어 있지만 가상 머신에서 실행할 수 있는 경우도 있을 수 있습니다. 그런 다음 이러한 컨테이너를 오케스트레이션하고 최종 사용자가 원하는 상태를 사용할 수 있도록 하는 **Kubernetes**와 같은 플랫폼으로 이어집니다. + +이 대담한 주제 중 앞으로 몇 주에 걸쳐 더 자세히 살펴보면서 컨테이너가 무엇이고 언제 사용하는지에 대한 기초 지식을 쌓을 것입니다. + +### Monitoring (관제) + +새로운 기능으로 지속적으로 업데이트하고 있는 애플리케이션이 있으며, 테스트 과정에서 문제점이 발견되지 않는지 확인하고 있습니다. 필요한 구성과 성능을 지속적으로 유지할 수 있는 애플리케이션이 우리 환경에서 실행되고 있습니다. + +하지만 이제 최종 사용자가 필요한 경험을 얻고 있는지 확인해야 합니다. 이 단계에서는 애플리케이션 성능을 지속적으로 모니터링하여 개발자가 향후 릴리스에서 애플리케이션을 개선하여 최종 사용자에게 더 나은 서비스를 제공할 수 있도록 더 나은 결정을 내릴 수 있도록 해야 합니다. + +또한 이 섹션에서는 구현된 기능에 대한 피드백을 수집하고 최종 사용자가 어떻게 개선하기를 원하는지에 대한 피드백을 수집할 것입니다. + +안정성은 여기서도 핵심 요소이며, 결국에는 애플리케이션이 필요할 때 항상 사용할 수 있기를 원합니다. 이는 지속적으로 모니터링해야 하는 다른 **observability, security and data management(관찰 가능성, 보안 및 데이터 관리)** 영역으로 이어지며, 피드백을 통해 애플리케이션을 지속적으로 개선, 업데이트 및 릴리스하는 데 항상 사용할 수 있습니다. + +특히 [@\_ediri](https://twitter.com/_ediri) 커뮤니티의 일부 의견은 이러한 지속적인 프로세스의 일부로 FinOps 팀도 참여해야 한다고 언급했습니다. 앱과 데이터는 어딘가에서 실행되고 저장되므로 리소스 관점에서 상황이 변경될 경우 비용이 클라우드 요금에 큰 재정적 고통을 주지 않도록 지속적으로 모니터링해야 합니다. + +위에서 언급한 "DevOps 엔지니어"에 대해서도 언급할 때가 되었다고 생각합니다. 많은 사람들이 DevOps 엔지니어라는 직책을 가지고 있지만, 이것은 DevOps 프로세스를 포지셔닝하는 이상적인 방법은 아닙니다. 제 말은 커뮤니티의 다른 사람들과 이야기할 때 데브옵스 엔지니어라는 직책이 누구의 목표가 되어서는 안 된다는 것입니다. 실제로 어떤 직책이든 여기에서 설명한 데브옵스 프로세스와 문화를 채택해야 하기 때문입니다. 데브옵스는 클라우드 네이티브 엔지니어/아키텍트, 가상화 관리자, 클라우드 아키텍트/엔지니어, 인프라 관리자와 같은 다양한 직책에서 사용되어야 합니다. 몇 가지 예를 들었지만, 위에서 DevOps 엔지니어를 사용한 이유는 위의 모든 직책에서 사용하는 프로세스의 범위 등을 강조하기 위해서입니다. + +## Resources + +I am always open to adding additional resources to these readme files as it is here as a learning tool. + +My advice is to watch all of the below and hopefully you also picked something up from the text and explanations above. + +학습 도구로서 이 Readme 파일에 추가 리소스를 추가하는 것은 언제나 열려 있습니다. + +아래의 내용을 모두 보시고 위의 텍스트와 설명에서 많은 것들을 얻으셨으면 좋겠습니다. + +- [Continuous Development](https://www.youtube.com/watch?v=UnjwVYAN7Ns) I will also add that this is focused on manufacturing but the lean culture can be closely followed with DevOps. +- [Continuous Testing - IBM YouTube](https://www.youtube.com/watch?v=RYQbmjLgubM) +- [Continuous Integration - IBM YouTube](https://www.youtube.com/watch?v=1er2cjUq1UI) +- [Continuous Monitoring](https://www.youtube.com/watch?v=Zu53QQuYqJ0) +- [The Remote Flow](https://www.notion.so/The-Remote-Flow-d90982e77a144f4f990c135f115f41c6) +- [FinOps Foundation - What is FinOps](https://www.finops.org/introduction/what-is-finops/) +- [**NOT FREE** The Phoenix Project: A Novel About IT, DevOps, and Helping Your Business Win](https://www.amazon.com/Phoenix-Project-DevOps-Helping-Business/dp/1942788290/) + +여기까지 왔다면 이곳이 자신이 원하는 곳인지 아닌지 알 수 있을 것입니다. 다음에 뵙겠습니다. [Day 4](day04.md). diff --git a/2022/ko/Days/day04.md b/2022/ko/Days/day04.md new file mode 100644 index 0000000..36b2a88 --- /dev/null +++ b/2022/ko/Days/day04.md @@ -0,0 +1,99 @@ +--- +title: '#90DaysOfDevOps - DevOps & Agile - Day 4' +published: false +description: 90DaysOfDevOps - DevOps & Agile +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048700 +--- + +## DevOps & Agile (데브옵스 & 애자일) + +데브옵스와 애자일의 차이점을 알고 계신가요? 데브옵스와 애자일은 독립적인 개념으로 형성되었습니다. 하지만 이제 이 두 용어는 융합되고 있습니다. + +이 글에서는 애자일과 데브옵스의 중요한 차이점을 살펴보고 이 둘이 긴밀하게 연결되어 있는 이유를 알아보겠습니다. + +이 분야를 배우면서 제가 본 공통적인 관점, 즉 목표와 프로세스가 비슷하지만 데브옵스와 애자일에 대해 조금 더 이해하는 것이 시작하기에 좋은 출발점이라고 생각합니다. 이 섹션에서는 이에 대해 간략하게 정리해 보려고 합니다. + +정의부터 시작하겠습니다. + +### Agile Development + +애자일은 제품의 큰 결과물을 한 번에 출시하기보다는 작은 결과물을 더 빠르게 제공하는 데 중점을 두는 접근 방식으로, 소프트웨어는 반복적으로 개발됩니다. 팀은 매주 또는 매달 점진적인 업데이트를 통해 새 버전을 출시합니다. 애자일의 최종 목표는 최종 사용자에게 최적의 경험을 제공하는 것입니다. + +### DevOps + +지난 며칠 동안 데브옵스의 최종 목표를 설명하는 몇 가지 다른 방법으로 이 문제를 다뤄왔습니다. 데브옵스는 일반적으로 소프트웨어 개발자와 운영 전문가 간의 협력을 기반으로 +및 소프트웨어 개발자와 운영 전문가 간의 협력을 기반으로 하는 배포 관행을 설명합니다. 데브옵스의 주요 이점은 간소화된 개발 프로세스를 제공하고 잘못된 커뮤니케이션을 최소화하는 것입니다. + +## 애자일과 데브옵스의 차이점은 무엇인가? + +차이점은 주로 선입견에 있습니다. 애자일과 데브옵스는 서로 다른 선입견을 가지고 있지만 서로를 돕고 있습니다. 애자일은 짧은 반복을 원하는데, 이는 데브옵스가 제공하는 자동화를 통해서만 가능합니다. 애자일은 고객이 특정 버전을 사용해보고 신속하게 피드백을 주기를 원하는데, 이는 데브옵스가 새로운 환경을 쉽게 만들 수 있을 때만 가능합니다. + +### Different participants (서로 다른 참여자) + +애자일은 최종 사용자와 개발자 간의 커뮤니케이션을 최적화하는 데 중점을 두는 반면 데브옵스는 개발자와 운영, 팀원을 대상으로 합니다. 애자일은 고객을 향한 외부 지향적인 반면 데브옵스는 일련의 내부 관행이라고 할 수 있습니다. + +### 팀 + +애자일은 일반적으로 소프트웨어 개발자와 프로젝트 관리자에게 적용됩니다. 데브옵스 엔지니어의 역량은 제품 주기의 모든 단계에 관여하고 애자일 팀의 일원이므로 개발, QA(품질 보증) 및 운영이 교차하는 지점에 있습니다. + +### 적용된 프레임워크 + +애자일에는 유연성과 투명성을 달성하기 위한 다양한 관리 프레임워크가 있습니다: Scrum > Kanban > Lean > Extreme > Crystal > Dynamic > Feature-Driven. 데브옵스는 협업을 통한 개발 접근 방식에 중점을 두지만 구체적인 방법론을 제공하지는 않습니다. 그러나 데브옵스는 코드형 인프라, 코드형 아키텍처, 모니터링, 자가 치유, 엔드투엔드 테스트 자동화와 같은 관행을 장려합니다. 그러나 이것은 그 자체로 프레임워크가 아니라 관행입니다. + +### 피드백 + +애자일에서는 피드백의 주요 출처가 최종 사용자인 반면, 데브옵스에서는 이해관계자와 팀 자체의 피드백이 더 높은 우선순위를 갖습니다. + +### 대상 영역 + +애자일은 배포 및 유지 관리보다 소프트웨어 개발에 더 중점을 둡니다. 데브옵스는 소프트웨어 개발에도 중점을 두지만 그 가치와 도구는 모니터링, 고가용성, 보안 및 데이터 보호와 같은 배포 및 릴리스 후 단계에도 적용됩니다. + +### 문서 + +애자일은 문서화 및 모니터링보다 유연성과 당면한 작업에 우선순위를 둡니다. 반면 데브옵스는 프로젝트 문서를 필수 프로젝트 구성 요소 중 하나로 간주합니다. + +### 위험요소 + +애자일 리스크는 방법론의 유연성에서 비롯됩니다. 애자일 프로젝트는 우선순위와 요구사항이 계속 변하기 때문에 예측하거나 평가하기가 어렵습니다. + +데브옵스 위험은 용어에 대한 오해와 적절한 도구의 부재에서 비롯됩니다. 어떤 사람들은 데브옵스를 개발 프로세스의 기본 구조를 바꾸지 못하는 배포 및 지속적 통합을 위한 소프트웨어 모음으로 간주합니다. + +### 사용되는 툴들 + +애자일 도구는 경영진의 커뮤니케이션 협업, 메트릭 및 피드백 처리에 중점을 둡니다. 가장 인기 있는 애자일 도구로는 JIRA, Trello, Slack, Zoom, SurveyMonkey 등이 있습니다. + +데브옵스는 팀 커뮤니케이션, 소프트웨어 개발, 배포 및 통합을 위해 Jenkins, GitHub Actions, BitBucket 등과 같은 도구를 사용합니다. 애자일과 데브옵스는 초점과 범위가 약간 다르지만 핵심 가치는 거의 동일하므로 두 가지를 결합할 수 있습니다. + +## 모두 모아본다면... 좋은 선택일까요? 논의가 필요할까요? + +애자일과 데브옵스를 결합하면 다음과 같은 이점을 얻을 수 있습니다: + +- 유연한 관리와 강력한 기술. +- 애자일 관행은 데브옵스 팀이 우선순위를 보다 효율적으로 소통하는 데 도움이 됩니다. +- 데브옵스 관행을 위해 지불해야 하는 자동화 비용은 신속하고 자주 배포해야 하는 애자일 요구 사항에 따라 정당화됩니다. +- 애자일 방식을 채택하는 팀은 협업을 개선하고 팀의 동기를 높이며 직원 이직률을 낮출 수 있습니다. +- 결과적으로 제품 품질이 향상됩니다. + +애자일을 사용하면 이전 제품 개발 단계로 돌아가 오류를 수정하고 기술 부채의 누적을 방지할 수 있습니다. 애자일과 데브옵스를 동시에 도입하려면 +동시에 도입하려면 다음 7단계를 따르세요: + +1. 개발 팀과 운영 팀을 통합합니다. +2. 빌드 및 운영 팀을 만들고 모든 개발 및 운영 관련 문제를 전체 DevOps 팀에서 논의합니다. +3. 스프린트에 대한 접근 방식을 변경하고 우선순위를 지정하여 개발 작업과 동일한 가치를 지닌 DevOps 작업을 제공하세요. 개발 팀과 운영 팀이 다른 팀의 워크플로와 발생 가능한 문제에 대해 의견을 교환하도록 장려하세요. +4. 모든 개발 단계에 QA를 포함하세요. +5. 올바른 도구를 선택하세요. +6. 가능한 모든 것을 자동화하세요. +7. 가시적인 수치 결과물을 사용하여 측정하고 제어하세요. + +어떻게 생각하시나요? 다른 견해가 있으신가요? 개발자, 운영, QA 또는 애자일 및 DevOps에 대해 더 잘 이해하고 이에 대한 의견과 피드백을 전달해 주실 수 있는 분들의 의견을 듣고 싶습니다. + +### Resources + +- [DevOps for Developers – Day in the Life: DevOps Engineer in 2021](https://www.youtube.com/watch?v=2JymM0YoqGA) +- [3 Things I wish I knew as a DevOps Engineer](https://www.youtube.com/watch?v=udRNM7YRdY4) +- [How to become a DevOps Engineer feat. Shawn Powers](https://www.youtube.com/watch?v=kDQMjAQNvY4) + +여기까지 왔다면 이곳이 자신이 원하는 곳인지 아닌지 알 수 있을 것입니다. 다음에 뵙겠습니다. [Day 5](day05.md). diff --git a/2022/ko/Days/day05.md b/2022/ko/Days/day05.md new file mode 100644 index 0000000..eadf533 --- /dev/null +++ b/2022/ko/Days/day05.md @@ -0,0 +1,86 @@ +--- +title: '#90DaysOfDevOps - Plan > Code > Build > Testing > Release > Deploy > Operate > Monitor > - Day 5' +published: false +description: 90DaysOfDevOps - Plan > Code > Build > Testing > Release > Deploy > Operate > Monitor > +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048830 +--- + +## 계획 > 코드 작성 > 빌드 > 테스트 > 릴리즈 > 배포 > 운영 > 모니터링 > + +오늘은 데브옵스 환경에서 애플리케이션의 시작부터 끝까지 개별 단계와 continuous cycle에 대해 집중적으로 살펴보겠습니다. + +![DevOps](/2022/Days/Images/Day5_DevOps8.png) + +### 계획 + +개발팀이 다음 스프린트에서 출시할 기능과 버그 수정을 결정하는 계획 프로세스는 데브옵스 엔지니어가 참여하여, 앞으로 어떤 일이 발생할지 파악하고 개발팀의 결정이나 경로에 영향을 미치고, 그들이 구축한 인프라로 작업하도록 돕거나 그들이 다른 경로를 따를 경우 더 나은 방향으로 안내할 수 있는 기회입니다. 중요한 점은 개발자나 소프트웨어 엔지니어링 팀이 데브옵스 엔지니어의 고객이 되므로, 고객이 나쁜 방향으로 가기 전에 고객과 협력할 수 있는 기회라는 것입니다. + +### 코드 작성 + +이제 계획 세션을 마치고 코드 작성 단계에 진입합니다. 이 단계에서 당신이 참여할 수 있는 역할 중 하나는 코드를 작성하는 동안 인프라에 대한 이해도를 높여서 어떤 서비스를 사용할 수 있는지, 그 서비스와 어떻게 상호작용할 수 있는지를 더 잘 이해할 수 있도록 돕는 것입니다. 또한, 코드 작성이 완료되면 해당 코드를 리포지토리에 병합하는 일도 중요한 역할입니다. + +### 빌드 + +여기에서는 자동화 프로세스의 첫 번째로, 코드를 가져와서 사용하는 언어에 따라 변환하거나 컴파일하거나 해당 코드에서 도커 이미지를 생성할 수 있기 때문에, CI 파이프라인을 사용하여 이러한 프로세스를 자동화할 것입니다. 이렇게 함으로써, 코드를 변경하거나 새 코드를 추가할 때마다 일일이 수동으로 작업하는 것이 아니라, 자동화된 프로세스를 통해 더욱 효율적이고 일관성 있는 작업을 수행할 수 있게 됩니다. + +## 테스트 + +빌드가 완료되면 몇 가지 테스트를 실행합니다. 개발 팀은 보통 어떤 테스트를 작성할지 제안할 수 있지만, 이를 실행해야 합니다. 테스트는 프로덕션에 문제가 발생하지 않도록 최소화하기 위한 시도입니다. 새로운 버그가 발생하지 않도록 보장하는 것은 불가능하지만, 최대한 이전에 작동하던 것이 깨지지 않도록 보장하기 위해 노력합니다. + +## 릴리즈 + +테스트가 모두 통과되면, 애플리케이션 유형에 따라 릴리스 프로세스가 수행됩니다. 하지만 이 단계는 작업 중인 애플리케이션에 따라 생략될 수도 있습니다. 일반적으로, GitHub 리포지토리나 git 리포지토리에서 가져온 코드나 빌드된 도커 이미지를 프로덕션 서버에 배포하기 위해 레지스트리나 리포지토리에 저장합니다. 이를 통해 배포 프로세스가 진행됩니다. + +## 배포 + +배포는 모든 개발과정의 최종 단계이기 때문에, 프로덕션 환경에 코드를 적용하는 과정입니다. 이 단계에서 비즈니스에서는 여러분과 소프트웨어 엔지니어링 팀이 지금까지 이 제품에 투자한 모든 시간과 노력의 가치를 실현할 수 있습니다. + +## 운영 + +한 번 배포가 완료되면, 해당 제품이 운영되기 시작하게 됩니다. 운영에는 고객이 사이트나 애플리케이션을 사용할 때 발생하는 문제를 파악하고, 이에 대한 대처 방안을 마련하는 것이 포함됩니다. 예를 들어, 사이트가 느리게 실행되는 문제가 발생하면, 운영팀은 이유를 파악하고 피크 기간 동안은 서버 수를 늘리고, 사용량이 적은 기간에는 서버 수를 줄이는 자동 확장 기능을 구축할 수 있습니다. 또한, 운영 유형 메트릭 처리와 같은 다양한 작업도 수행됩니다. 가능한 경우에는 이러한 작업을 자동화하는 것이 좋습니다. 그러나, 몇 가지 단계를 수행해야 하는 환경에서는 자동화가 어려울 수도 있습니다. 그런 경우에는 가능한 한 자동화를 시도하면서도, 일부 작업을 수동으로 처리해야 할 수도 있습니다. 그리고, 자동화 프로세스에서는 운영팀이 배포가 발생했음을 알 수 있도록 몇 가지 유형의 알림을 포함하는 것이 좋습니다. + +## 모니터링 + +위의 모든 부분이 마지막 단계로 이어지는데, 특히 운영 문제 자동 확장 문제 해결과 관련된 모니터링이 필요하기 때문입니다. +문제가 있다는 것을 알려주는 모니터링이 없다면 문제가 있는 것이므로 메모리 사용률 CPU 사용률 디스크 공간, API 엔드포인트, 응답 시간, 엔드포인트가 얼마나 빨리 응답하는지 등을 모니터링할 수 있으며, 이 중 큰 부분은 로그입니다. 개발자는 로그를 통해 프로덕션 시스템에 액세스하지 않고도 무슨 일이 일어나고 있는지 확인할 수 있습니다. + +## 다듬기 & 반복 + +여태까지 수행한 프로세스를 검토하고 개선할 부분을 찾습니다. 그리고 이를 바탕으로 다시 계획 단계로 돌아가 전체 과정을 재진행합니다. 이는 지속적인 개선과 반복적인 프로세스 개선을 위한 사이클을 형성하며, 더 나은 제품과 높은 품질의 서비스를 제공하기 위한 필수적인 단계입니다. + +## Continuous + +여러 도구들이 지속적인 프로세스를 달성하는 데 도움을 줍니다. 이 모든 코드와 클라우드 인프라 또는 모든 환경을 완전히 자동화하는 것이 궁극적인 목표이며, 이를 지속적 통합/지속적 배포/지속적 배포 또는 줄여서 "CI/CD"로 설명하기도 합니다. 이번에는 90일 후에 CI/CD에 대한 기본 사항을 예제와 함께 배울 수 있는 워크숍을 제공할 예정입니다. + +### Continuous Delivery + +Continuous Delivery = 계획 > 코드 작성 > 빌드 > 테스트 + +### Continuous Integration + +이는 위에서 설명한 지속적 배포 단계와 릴리스 단계의 결과를 합친 것입니다. 이 단계는 성공과 실패 모두에 해당하며, 지속적 배포를 통해 피드백을 받거나 지속적 배포로 진행될 수 있습니다. + +Continuous Integration = 계획 > 코드 > 빌드 > 테스트 > 릴리즈 + +### Continuous Deployment + +성공적인 CI 릴리스 후, CD 단계로 이동합니다. + +성공적인 CI 릴리즈 = Continuous Deployment = 배포 > 운영 > 모니터링 + +위의 세 가지 개념은 데브옵스 라이프사이클의 각 단계를 간단히 정리한 것으로 볼 수 있습니다. + +이전에 다룬 Day 3 를 약간 요약했었지만, 이제는 더 이해하기 쉬워진 것 같습니다. + +### 자료 + +- [DevOps for Developers – Software or DevOps Engineer?](https://www.youtube.com/watch?v=a0-uE3rOyeU) +- [Techworld with Nana -DevOps Roadmap 2022 - How to become a DevOps Engineer? What is DevOps?](https://www.youtube.com/watch?v=9pZ2xmsSDdo&t=125s) +- [How to become a DevOps Engineer in 2021 - DevOps Roadmap](https://www.youtube.com/watch?v=5pxbp6FyTfk) + +여기까지 왔다면 이 여정이 자신이 찾던 여정인지 아닌지를 판단할 수 있을 것입니다. + +[Day 6](day06.md)에서 봐요! diff --git a/2022/ko/Days/day06.md b/2022/ko/Days/day06.md new file mode 100644 index 0000000..dff2b35 --- /dev/null +++ b/2022/ko/Days/day06.md @@ -0,0 +1,75 @@ +--- +title: '#90DaysOfDevOps - DevOps - The real stories - Day 6' +published: false +description: 90DaysOfDevOps - DevOps - The real stories +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048855 +--- + +## 데브옵스 - 실제 사례 + +처음에는 넷플릭스나 포춘지 선정 500대 기업처럼 데브옵스를 실행하는 기업이 없었기 때문에 많은 사람들이 데브옵스를 쉽게 접하기 어려웠습니다. 그러나 현재는 많은 기업이 데브옵스를 도입하면서, 데브옵스가 점차 일상적인 개발 방법으로 자리 잡게 되었다고 생각합니다. + +뒤에 나올 예시를 통해 다양한 산업과 업종에서 DevOps를 적용하고 있으며, 이로 인해 비즈니스의 목표 달성에 큰 긍정적인 영향을 미치고 있다는 것을 알 수 있습니다. + +여기서 가장 중요한 이점은 데브옵스를 올바르게 수행하면, 비즈니스의 소프트웨어 개발 속도와 품질을 개선하는 데 큰 도움이 된다는 것입니다. + +저는 오늘 이 자리를 통해, 데브옵스를 성공적으로 도입한 기업들의 사례를 살펴보고 이와 관련된 몇 가지 리소스를 공유하고자 합니다. 이 자리는 여러분들이 함께 참여하여, 서로 도움을 주고받을 수 있는 좋은 기회가 될 것입니다. 여러분의 비즈니스에 데브옵스 문화를 도입하셨나요? 그렇다면, 성공적이었나요? + +앞서 언급한 넷플릭스는 매우 좋은 사례이며, 오늘날 우리가 일반적으로 볼 수 있는 것들과 비교하면 상당히 발전된 모델입니다. 그러나, 성공하고 있는 다른 대형 브랜드들에 대해서도 언급하고자 합니다. + +## Amazon + +2010년에 아마존은 물리적 서버 공간을 AWS(Amazon Web Services) 클라우드로 이전하여, 아주 작은 단위로 용량을 확장하거나 축소함으로써 리소스를 절약할 수 있게 되었습니다. 이를 통해 아마존은 리테일 지점을 운영하면서 뿐만 아니라, AWS 자체적으로도 높은 수익을 창출하게 되었다는 사실도 알려져 있습니다. + +아마존은 2011년에 (자료를 통해 확인할 수 있는 바와 같이) 지속적인 배포 프로세스를 채택하여, 개발자가 원할 때 필요한 서버에 코드를 배포할 수 있게 되었습니다. 이를 통해 아마존은 새로운 소프트웨어를 평균 11.6초 만에 프로덕션 서버에 배포할 수 있게 되었습니다! + +## Netflix + +넷플릭스를 사용하지 않는 사람이 있을까요? 그들은 고품질의 스트리밍 서비스를 제공하며, 개인적으로도 훌륭한 사용자 경험을 제공합니다. + +사용자 경험이 왜 그렇게 좋을까요? 글쎄요, 기억에 남는 결함 없이 서비스를 제공하려면 속도, 유연성, 품질에 대한 관심이 필요합니다. + +넷플릭스 개발자는 IT 운영에 의존하지 않고도 배포 가능한 웹 이미지로 코드를 자동으로 빌드할 수 있습니다. 이미지가 업데이트되면 맞춤형으로 구축된 웹 기반 플랫폼을 사용하여 넷플릭스 인프라에 통합됩니다. + +이미지 배포에 실패하면, 롤백 되어 이전 버전으로 트래픽이 다시 라우팅 되도록 지속적인 모니터링이 이루어집니다. + +Netflix 팀 내에서 수행해야 할 일과 수행하지 말아야 할 일에 대해 자세히 설명하는 훌륭한 강연이 뒤에 있습니다. + +## Etsy + +많은 회사에서는 배포가 느리고 고통스러워서 어려움을 겪는 경우가 많습니다. 이와 관련하여, 많은 팀이 사일로에 갇혀 협력하지 못하는 문제가 있습니다. + +Amazon과 Netflix에 관한 글을 읽으면서 알게 된 것 중 하나는, Etsy가 2009년 말에 이미 개발자가 코드를 배포할 수 있도록 해뒀을 가능성이 높다는 것입니다. 이는 다른 두 회사보다 훨씬 앞선 시기였습니다. (흥미로운 사실이죠!) + +더 흥미로운 점은, 개발자가 배포 책임감을 느낄 때 애플리케이션 성능, 가동 시간 및 기타 목표에 대한 책임감도 함께 갖게 된다는 것을 깨달았다는 것입니다. + +학습 문화는 데브옵스의 핵심적인 부분입니다. 실패를 통해 교훈을 얻는다면, 실패도 성공으로 이어질 수 있다는 내용은 인용된 것 같지만, 어느 정도 일리가 있는 것 같습니다! + +일부 대규모 기업에서는 데브옵스가 판도를 바꾼 다른 사례도 뒤에 추가했습니다. + +## 자료 + +- [How Netflix Thinks of DevOps](https://www.youtube.com/watch?v=UTKIT6STSVM) +- [16 Popular DevOps Use Cases & Real Life Applications [2021]](https://www.upgrad.com/blog/devops-use-cases-applications/) +- [DevOps: The Amazon Story](https://www.youtube.com/watch?v=ZzLa0YEbGIY) +- [How Etsy makes DevOps work](https://www.networkworld.com/article/2886672/how-etsy-makes-devops-work.html) +- [Adopting DevOps @ Scale Lessons learned at Hertz, Kaiser Permanente and lBM](https://www.youtube.com/watch?v=gm18-gcgXRY) +- [Interplanetary DevOps at NASA JPL](https://www.usenix.org/conference/lisa16/technical-sessions/presentation/isla) +- [Target CIO explains how DevOps took root inside the retail giant](https://enterprisersproject.com/article/2017/1/target-cio-explains-how-devops-took-root-inside-retail-giant) + +### 데브옵스에 대해 살펴본 첫 며칠의 요약 + +- 데브옵스는 전체 애플리케이션 개발 라이프사이클인 **개발**, **테스트**, **배포**, **운영**을 단일 팀이 관리할 수 있도록 하는 개발과 운영의 조합입니다. + +- 데브옵스의 주요 초점과 목표는 개발 라이프사이클을 단축하면서도 비즈니스 목표와 긴밀하게 연계하여 기능 및 수정 사항을 자주 제공하는 것입니다. + +- 데브옵스는 소프트웨어를 안정적이고 신속하게 배포하고 개발할 수 있는 소프트웨어 개발 접근 방식으로, 이를 **지속적인 개발, 테스트, 배포, 모니터링**이라고도 합니다. + +여기까지 왔다면 이 여정이 자신이 찾던 여정인지 아닌지를 판단할 수 있을 것입니다. [Day 7](day07.md)에 뵙겠습니다. + +Day 7 에서는 개발자가 되는 것이 목표가 아니라, 개발자들이 하는 일을 이해할 수 있도록 프로그래밍 언어에 대해 알아보게 됩니다. + +일주일 안에 모든 것을 배울 수는 없겠지만, 7일 또는 7시간 동안 무언가를 배운다면 처음 시작할 때보다 더 많은 것을 알게 될 것입니다. diff --git a/2022/ko/Days/day07.md b/2022/ko/Days/day07.md new file mode 100644 index 0000000..e52679c --- /dev/null +++ b/2022/ko/Days/day07.md @@ -0,0 +1,71 @@ +--- +title: '#90DaysOfDevOps - The Big Picture: Learning a Programming Language - Day 7' +published: false +description: 90DaysOfDevOps - The Big Picture DevOps & Learning a Programming Language +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048856 +--- + +## 큰 그림: 데브옵스 및 프로그래밍 언어 학습 + +장기적으로 데브옵스 엔지니어로 성공하려면, 적어도 하나의 프로그래밍 언어를 기초 수준에서 이해하는 것이 매우 중요합니다. 이번 섹션에서는 이러한 중요성에 대해 자세히 알아보고, 이번 주나 섹션이 끝날 때까지 학습 계획을 수립하기 위해 왜, 어떻게, 무엇을 해야 하는지 더 잘 이해하도록 합니다. + +소셜 미디어에서 데브옵스 관련 직무를 수행하기 위해 프로그래밍 기술이 필요한지 묻는다면 대부분 '그렇다'고 대답할 것입니다. 하지만 이러한 역할을 위해 어떤 프로그래밍 언어를 배워야 하는지에 대한 질문은 대답하기 어렵습니다. 일반적으로 Python을 추천하지만, Go(Golang)를 추천하는 경우도 점점 늘어나고 있습니다. + +제 생각에는 데브옵스에서 성공하려면 프로그래밍 기술에 대한 탄탄한 기초를 갖추는 것이 중요합니다. 그러나 이러한 기술이 왜 필요한지 이해해야 목표를 달성하기 위한 적절한 길을 선택할 수 있습니다. + +## 프로그래밍 언어를 배워야 하는 이유를 이해합니다. + +데브옵스에서 사용되는 대부분의 도구가 Python 또는 Go로 작성되어 있기 때문에 데브옵스 엔지니어에게 Python과 Go를 자주 권장합니다. 이러한 도구를 만들거나 이러한 도구를 만드는 팀에 합류하는 데 관심이 있다면 데브옵스 도구를 만드는 데 사용되는 언어를 배우는 것이 좋습니다. Kubernetes나 컨테이너에 많이 관여하고 있다면 프로그래밍 언어로 Go를 배우는 것이 더 유리할 수 있습니다. 제 경우에는 클라우드 네이티브 에코시스템에 속해 있으며 Kubernetes의 데이터 관리에 중점을 두는 회사로, 모든 도구가 Go로 작성되어 있는 Kasten by Veeam에서 일하고 있습니다. + +아직 명확한 결정이 내려지지 않은 학생이나 경력 전환기의 경우, 진로를 선택하는 것이 쉽지 않을 수 있습니다. 이런 상황에서는 자신이 만들고 싶은 애플리케이션과 가장 잘 맞고 가장 공감할 수 있는 것을 선택하는 것이 가장 좋습니다. + +저는 소프트웨어 개발자가 되고자 하는 것이 아닙니다. 프로그래밍 언어에 대한 기본적인 이해를 바탕으로 다양한 도구의 기능을 이해하고 이를 개선할 수 있는 방법을 찾는 것이 목표입니다. + +Kasten K10이나 Terraform, HCL과 같은 데브옵스 도구와 상호 작용하는 방법을 이해하는 것이 중요합니다. 이는 일반적으로 YAML로 작성되는 구성 파일을 통해 이루어집니다. 이러한 파일을 통해 DevOps 도구로 작업을 수행할 수 있습니다. (이 섹션의 마지막 날에는 YAML에 대해 더 자세히 살펴보겠습니다.) + +## 제가 방금 프로그래밍 언어를 배우지 말라고 설득한 건가요? + +많은 경우, 데브옵스 엔지니어의 주된 책임은 엔지니어링 팀과 협력하여 데브옵스 관행을 워크플로우에 통합하는 것입니다. 여기에는 애플리케이션에 대한 광범위한 테스트와 워크플로우가 앞서 설명한 데브옵스 원칙을 준수하는지 확인하는 작업인 경우가 많습니다. 그러나 작업의 상당 부분에는 애플리케이션 성능 또는 기타 기술적 결함과 관련된 문제 해결도 포함될 수 있습니다. 따라서 작업 중인 애플리케이션에서 사용하는 프로그래밍 언어에 대한 전문 지식을 갖추는 것이 중요합니다. 예를 들어, 애플리케이션이 Node.js로 작성된 경우 Go나 Python을 알아도 별 도움이 되지 않습니다. + +## 왜 Go인가요? + +Go가 데브옵스를 위한 유망한 프로그래밍 언어인 이유. Go는 최근 몇 년 동안 상당한 인기를 얻었으며, 2021년 StackOverflow 설문조사에서 가장 선호하는 프로그래밍, 스크립팅 및 마크업 언어 중 하나로 4위에 올랐고, 1위는 Python이었습니다. 자세히 살펴보겠습니다. [StackOverflow 2021 Developer Survey – Most Wanted Link](https://insights.stackoverflow.com/survey/2021#section-most-loved-dreaded-and-wanted-programming-scripting-and-markup-languages) + +앞서 언급했듯이, Kubernetes, Docker, Grafana, Prometheus 등 가장 잘 알려진 데브옵스 도구 및 플랫폼 중 일부는 Go로 작성되었습니다. + +데브옵스 목적에 특히 적합한 Go의 주요 기능이나 특성은 무엇일까요? + +## Go 프로그램 구축 및 배포 + +데브옵스 역할에서 Python과 같은 언어를 사용하면 프로그램을 실행하기 전에 컴파일할 필요가 없다는 이점이 있습니다. 빌드 프로세스가 길어지면 불필요하게 프로세스 속도가 느려질 수 있으므로 소규모 자동화 작업에 특히 유용합니다. Go는 컴파일 언어이긴 하지만 **머신 코드로 직접 컴파일되며** 컴파일 시간이 빠른 것으로 알려져 있다는 점에 집중할 필요가 있습니다. + +## 데브옵스를 위한 Go vs Python + +Go 프로그램은 정적으로 링크됩니다. 즉, Go 프로그램을 컴파일할 때 모든 것이 단일 바이너리 실행 파일에 포함되며 원격 시스템에 외부 종속성을 설치할 필요가 없습니다. 따라서 외부 라이브러리에 의존하는 경우가 많은 Python 프로그램에 비해 Go 프로그램을 더 쉽게 배포할 수 있습니다. Python을 사용하면 프로그램을 실행하려는 원격 머신에 필요한 모든 라이브러리가 설치되어 있는지 확인해야 합니다. + +Go는 특정 플랫폼에 종속되지 않는 언어이기 때문에 Linux, Windows, macOS 등 \*다양한 운영 체제용 바이너리 실행 파일을 쉽게 만들 수 있습니다. 반면에 Python으로 특정 운영 체제용 바이너리 실행 파일을 생성하는 것은 더 어려울 수 있습니다. + +Go는 Python에 비해 컴파일 및 실행 시간이 빠르고 CPU와 메모리 측면에서 리소스 소비가 적은 매우 효율적인 프로그래밍 언어입니다. 이 언어에는 다양한 최적화가 구현되어 있어 뛰어난 성능을 제공합니다. (자세한 내용은 아래 리소스를 참조하세요.) + +특정 프로그래밍 작업을 위해 종종 서드파티 라이브러리에 의존하는 Python에 비해 Go에는 데브옵스에 필요한 대부분의 기능을 바로 사용할 수 있는 표준 라이브러리가 있습니다. 여기에는 파일 처리, HTTP 웹 서비스, JSON 처리, 동시성 및 병렬 처리를 위한 기본 지원, 심지어 테스트 기능까지 포함됩니다. + +제가 Go를 선택한 이유는 파이썬을 비판하기 위해서가 아니라는 점을 분명히 말씀드리고 싶습니다. 제가 근무하는 회사에서 Go로 소프트웨어를 개발하기 때문에 Go를 사용하는 것이 합리적입니다. + +프로그래밍 언어 하나를 배우면 다른 언어를 배우기가 더 쉬워진다는 말을 들었습니다. 어느 회사에서든 자바스크립트 및 Node.js 애플리케이션을 관리, 설계, 오케스트레이션, 디버깅하게 될 가능성이 있고, 지금 Go를 배워두면 도움이 될 것입니다. + +## 자료 + +- [StackOverflow 2021 Developer Survey](https://insights.stackoverflow.com/survey/2021) +- [Why we are choosing Golang to learn](https://www.youtube.com/watch?v=7pLqIIAqZD4&t=9s) +- [Jake Wright - Learn Go in 12 minutes](https://www.youtube.com/watch?v=C8LgvuEBraI&t=312s) +- [Techworld with Nana - Golang full course - 3 hours 24 mins](https://www.youtube.com/watch?v=yyUHQIec83I) +- [**NOT FREE** Nigel Poulton Pluralsight - Go Fundamentals - 3 hours 26 mins](https://www.pluralsight.com/courses/go-fundamentals) +- [FreeCodeCamp - Learn Go Programming - Golang Tutorial for Beginners](https://www.youtube.com/watch?v=YS4e4q9oBaU&t=1025s) +- [Hitesh Choudhary - Complete playlist](https://www.youtube.com/playlist?list=PLRAV69dS1uWSR89FRQGZ6q9BR2b44Tr9N) + +앞으로 6일 동안 위에서 언급한 자료를 공부하고 매일 진행 상황을 메모할 계획입니다. 전체 과정은 약 3시간 정도 걸리지만, 저는 이 학습에 하루 한 시간씩 할애할 예정입니다. 시간이 여유가 있으신 분들도 함께 하며 깊이 있게 공부하실 수 있도록 전체 리소스 목록을 공유해 드립니다. + +[Day 8](day08.md)에서 봐요! diff --git a/2022/ko/Days/day08.md b/2022/ko/Days/day08.md new file mode 100644 index 0000000..e9c9705 --- /dev/null +++ b/2022/ko/Days/day08.md @@ -0,0 +1,118 @@ +--- +title: '#90DaysOfDevOps - Setting up your DevOps environment for Go & Hello World - Day 8' +published: false +description: 90DaysOfDevOps - Setting up your DevOps environment for Go & Hello World +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048857 +--- + +## Go를 위한 데브옵스 환경 설정 및 Hello World + +Go 언어에 대한 몇 가지 기본 사항을 살펴보기 전에, 먼저 컴퓨터에 Go를 설치하고 모든 "learning programming 101" 모듈에서 가르치는 Hello World 앱을 만들어야 합니다. 이 문서에서는 컴퓨터에 Go를 설치하는 단계를 안내하며, 그림으로 문서화하여 사람들이 쉽게 따라 할 수 있도록 하겠습니다. + +먼저, [go.dev/dl](https://go.dev/dl/)로 이동하면 다운로드할 수 있는 몇 가지 옵션이 나타납니다. + +![](/2022/Days/Images/Day8_Go1.png) + +여기까지 오셨다면, 현재 사용 중인 컴퓨터의 운영 체제를 확인하고 해당하는 다운로드를 선택하여 설치를 시작하시면 됩니다. 제가 사용하는 운영 체제는 Windows입니다. 기본적으로 다음 화면부터는 모든 기본값을 그대로 두어도 됩니다. **(최신 버전이 나오면 스크린샷과 다르게 나올 수도 있으니 참고해주세요.)** + +![](/2022/Days/Images/Day8_Go2.png) + +만약 이전 버전의 Go가 설치되어 있다면, 먼저 해당 버전을 제거해야 합니다. Windows에서는 이를 위한 내장 제거 기능을 제공하며, 이를 통해 이전 버전을 제거하고 하나의 설치 프로그램으로 설치할 수 있습니다. + +작업을 완료한 후 명령 프롬프트/터미널을 열어서 Go가 설치되어 있는지 확인해야 합니다. 만약 아래와 같은 출력이 표시되지 않았다면, Go가 설치되지 않은 것이므로 단계를 되짚어봐야 합니다. + +`go version` + +![](/2022/Days/Images/Day8_Go3.png) + +다음으로 Go 환경변수를 확인하겠습니다. 작업 디렉토리가 올바르게 구성되었는지 항상 확인하는 것이 좋으므로, 아래 디렉토리가 시스템에 있는지 확인해야 합니다. + +![](/2022/Days/Images/Day8_Go4.png) + +확인하셨나요? 지금까지 잘 따라오고 있나요? 해당 디렉토리로 이동하면 아래와 같은 메시지가 나타납니다. + +![](/2022/Days/Images/Day8_Go5.png) + +그럼 PowerShell 터미널에서 mkdir 명령어를 사용하여 디렉토리를 만들어 보겠습니다. 또한, 아래에서 보이듯이 Go 폴더 내에 3개의 폴더를 생성해야 합니다. + +![](/2022/Days/Images/Day8_Go6.png) + +이제 Go를 설치하고 작업 디렉토리를 준비했습니다. 이제 통합 개발 환경(IDE)이 필요합니다. 사용 가능한 IDE는 여러 가지가 있지만, 가장 일반적이고 제가 사용하는 것은 VSCode(Visual Studio Code)입니다. IDE에 대한 자세한 내용은 [여기](https://www.youtube.com/watch?v=vUn5akOlFXQ)에서 확인할 수 있습니다. _(엄밀히 말하면 VSCode는 IDE가 아닌 코드 에디터입니다. - 옮긴이)_ + +만약 컴퓨터에 아직 VSCode를 다운로드하고 설치하지 않았다면, [여기](https://code.visualstudio.com/download)로 이동하여 설치할 수 있습니다. 아래에서 확인할 수 있는 것처럼, 다양한 운영체제를 제공됩니다. + +![](/2022/Days/Images/Day8_Go7.png) + +Go 설치와 마찬가지로, 기본값으로 다운로드하여 설치합니다. 설치가 완료되면, 파일 열기를 선택하고 Go 디렉토리를 만들었던 곳으로 이동하여 VSCode를 열 수 있습니다. + +![](/2022/Days/Images/Day8_Go8.png) + +신뢰에 관한 팝업이 표시될 수 있는데, 원한다면 이를 읽고 '예, 작성자를 신뢰합니다'를 누르세요. (나중에 신뢰하지 않는 파일을 열기 시작해도 저는 책임지지 않습니다!) + +이전에 만든 세 개의 폴더를 모두 볼 수 있습니다. 이제 `src` 폴더를 마우스 오른쪽 버튼으로 클릭하고 `Hello`라는 새 폴더를 생성하겠습니다. + +![](/2022/Days/Images/Day8_Go9.png) + +여기까지는 꽤 쉬운 내용이었죠? 이제 다음 단계에서는 아무것도 이해하지 못한 상태에서 첫 번째 Go 프로그램을 만들 것입니다. + +다음으로, `Hello` 폴더에 `main.go` 파일을 생성합니다. `main.go` 파일을 열고 Enter 키를 누르면 Go 확장 프로그램과 패키지를 설치할 것인지 묻는 메시지가 나타납니다. 이전에 만든 빈 `pkg` 폴더를 확인하면 이제 새로운 패키지가 추가된 것을 확인할 수 있습니다. + +![](/2022/Days/Images/Day8_Go10.png) + +이제 Hello World 앱을 실행하고 다음 코드를 새 `main.go` 파일에 복사하여 저장해 보겠습니다. + +```go +package main + +import "fmt" + +func main() { + fmt.Println("Hello #90DaysOfDevOps") +} +``` + +이해가 어려울 수도 있지만, 함수, 패키지 등에 대해 더 자세하게 다룰 예정입니다. 현재는 앱을 실행해보겠습니다. 터미널에서 `Hello` 폴더로 돌아가서 제대로 작동하는지 확인할 수 있습니다. 다음 명령을 사용하여 프로그램이 제대로 작동하는지 확인할 수 있습니다. + +``` +go run main.go +``` + +![](/2022/Days/Images/Day8_Go11.png) + +여기서 끝이 아닙니다. 다른 Windows 컴퓨터에서 이 프로그램을 실행하려면 어떻게 해야 할까요? 다음 명령을 사용하여 바이너리로 빌드하면 됩니다. + +``` +go build main.go +``` + +![](/2022/Days/Images/Day8_Go12.png) +_(Mac 운영체제의 경우 `main` 파일이 생성됩니다. - 옮긴이)_ + +이를 실행한다면 동일한 결과를 볼 수 있습니다: + +```bash +# Windows +$ ./main.exe +Hello #90DaysOfDevOps + +# Mac - 올긴이 +$ ./main +Hello #90DaysOfDevOps +``` + +## 자료 + +- [StackOverflow 2021 Developer Survey](https://insights.stackoverflow.com/survey/2021) +- [Why we are choosing Golang to learn](https://www.youtube.com/watch?v=7pLqIIAqZD4&t=9s) +- [Jake Wright - Learn Go in 12 minutes](https://www.youtube.com/watch?v=C8LgvuEBraI&t=312s) +- [Techworld with Nana - Golang full course - 3 hours 24 mins](https://www.youtube.com/watch?v=yyUHQIec83I) +- [**NOT FREE** Nigel Poulton Pluralsight - Go Fundamentals - 3 hours 26 mins](https://www.pluralsight.com/courses/go-fundamentals) +- [FreeCodeCamp - Learn Go Programming - Golang Tutorial for Beginners](https://www.youtube.com/watch?v=YS4e4q9oBaU&t=1025s) +- [Hitesh Choudhary - Complete playlist](https://www.youtube.com/playlist?list=PLRAV69dS1uWSR89FRQGZ6q9BR2b44Tr9N) + +[Day 9](day09.md)에서 봐요! + +![](/2022/Days/Images/Day8_Go13.png) diff --git a/2022/ko/Days/day09.md b/2022/ko/Days/day09.md new file mode 100644 index 0000000..798d0d8 --- /dev/null +++ b/2022/ko/Days/day09.md @@ -0,0 +1,82 @@ +--- +title: "#90DaysOfDevOps - Let's explain the Hello World code - Day 9" +published: false +description: 90DaysOfDevOps - Let's explain the Hello World code +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1099682 +--- + +## Hello World 코드를 설명해 보겠습니다. + +### Go 작동 방식 + +[Day 8](day08.md)에서는 컴퓨터에 Go를 설치하는 방법을 안내하고, 그 후 첫 번째 Go 애플리케이션을 만들었습니다. + +이 섹션에서는 코드를 더 자세히 살펴보고 Go 언어를 더 잘 이해해보겠습니다. + +### 컴파일이 무엇인가요? + +[Hello World 코드](/2022/Days/Go/hello.go)를 이해하기 전에 컴파일에 대한 이해가 필요합니다. + +파이썬, 자바, Go, C++ 등은 우리가 일반적으로 사용하는 고수준 프로그래밍 언어입니다. 이는 사람이 이해하기 쉽지만, 기계가 실행하기 위해서는 기계가 이해할 수 있는 형태로 변환되어야 합니다. 이러한 변환 작업을 컴파일이라고 합니다. 컴파일은 사람이 작성한 코드를 기계가 이해할 수 있는 코드로 변환하는 과정입니다. + +![](/2022/Days/Images/Day9_Go1.png) + +이전에 [Day 8](day08.md)에서 수행한 작업을 위 그림으로 확인할 수 있습니다. 우선 간단한 Hello World를 출력하는 main.go를 작성하고, 이를 `go build main.go` 명령을 사용하여 실행 파일로 컴파일했습니다. + +### 패키지가 무엇인가요? + +패키지는 같은 디렉토리에 있는 여러 개의 .go 확장자 파일의 모음으로 구성됩니다. 더 간단히 말하면, 패키지는 같은 디렉토리 내에서 함께 컴파일되는 소스 파일들입니다. 또한, 더 복잡한 Go 프로그램에서는 여러 패키지가 폴더1, 폴더2, 폴더3 등에 분산되어 있을 수 있으며, 각 패키지는 서로 다른 .go 파일들로 이루어질 수 있습니다. + +패키지를 사용하면 다른 사람들의 코드를 재사용하여 처음부터 모든 것을 새로 작성할 필요가 없어집니다. 만약 프로그램에서 계산기가 필요하다면, 기존에 Go 언어로 작성된 패키지에서 수학 함수를 가져와 코드에 적용시키면 장기적으로 많은 시간과 노력을 절약할 수 있습니다. + +Go 언어는 코드를 패키지로 구성하여 소스 코드의 재사용성과 유지 보수성을 쉽게 확보할 수 있도록 권장합니다. + +### Hello #90DaysOfDevOps 한 줄 한 줄 + +이제 Hello #90DaysOfDevOps main.go 파일을 살펴보겠습니다. + +![](/2022/Days/Images/Day9_Go2.png) + +Go 언어에서는 모든 .go 파일은 패키지에 속해야 하며, `package something`과 같이 첫 줄에 패키지 이름을 명시해야 합니다. 이때, `package main`은 이 파일이 main 함수를 포함하는 패키지임을 나타냅니다. + +패키지 이름은 원하는 대로 지정할 수 있습니다. 하지만 이 프로그램 시작점에서의 패키지는 `main`으로 지정해야 하며, 이는 규칙입니다. (이 규칙에 대해 추가적인 이해가 필요한가요?) + +![](/2022/Days/Images/Day9_Go3.png) + +코드를 컴파일하고 실행할 때, 시작해야 하는 위치를 컴퓨터에게 알려주어야 합니다. 이를 위해 'main'이라는 함수를 작성합니다. 컴퓨터는 프로그램의 시작점을 찾기 위해 'main' 함수를 찾습니다. + +함수는 특정 작업을 수행하는 코드 블록으로, 프로그램 전체에서 사용할 수 있습니다. + +`func`를 사용하여 함수를 어떤 이름으로든 선언할 수 있지만, 이 경우 코드가 시작되는 곳이므로 `main`이라는 이름을 지정해야 합니다. + +![](/2022/Days/Images/Day9_Go4.png) + +다음으로, 코드의 세 번째 줄인 'import'를 살펴보겠습니다. 이 줄은 메인 프로그램에 다른 패키지를 가져오고자 하는 것을 의미합니다. 'fmt'는 Go에서 제공하는 표준 패키지 중 하나이며, `Println()` 함수를 포함하고 있기 때문에, 이를 'import' 했으므로 여섯 번째 줄에서 이 함수를 사용할 수 있습니다. 프로그램에서 사용하거나 재사용할 수 있는 여러 표준 패키지가 있으므로, 처음부터 작성해야 하는 번거로움을 줄일 수 있습니다. [Go Standard Library](https://pkg.go.dev/std) + +![](/2022/Days/Images/Day9_Go5.png) + +여기에 있는 `Println()`은 실행 파일이 성공적으로 실행됐을 때 터미널에 STDOUT(standard output)을 출력하는 함수입니다. 괄호 안에는 원하는 메시지를 자유롭게 입력할 수 있습니다. + +![](/2022/Days/Images/Day9_Go6.png) + +### TLDR + +- **1행** = 이 파일은 `main` 패키지에 있으며, 프로그램의 진입점을 포함하고 있으므로 `main`으로 불러야 합니다. +- **3행** = `Println()`을 사용하려면 6행에서 'fmt' 패키지를 'import'하여야 합니다. +- **5행** = 프로그램의 실제 시작점은 `main` 함수입니다. +- **6행** = 이렇게 하면 시스템에 "Hello #90DaysOfDevOps"을 출력할 수 있습니다. + +## 자료 + +- [StackOverflow 2021 Developer Survey](https://insights.stackoverflow.com/survey/2021) +- [Why we are choosing Golang to learn](https://www.youtube.com/watch?v=7pLqIIAqZD4&t=9s) +- [Jake Wright - Learn Go in 12 minutes](https://www.youtube.com/watch?v=C8LgvuEBraI&t=312s) +- [Techworld with Nana - Golang full course - 3 hours 24 mins](https://www.youtube.com/watch?v=yyUHQIec83I) +- [**NOT FREE** Nigel Poulton Pluralsight - Go Fundamentals - 3 hours 26 mins](https://www.pluralsight.com/courses/go-fundamentals) +- [FreeCodeCamp - Learn Go Programming - Golang Tutorial for Beginners](https://www.youtube.com/watch?v=YS4e4q9oBaU&t=1025s) +- [Hitesh Choudhary - Complete playlist](https://www.youtube.com/playlist?list=PLRAV69dS1uWSR89FRQGZ6q9BR2b44Tr9N) + +[Day 10](day10.md)에서 봐요! diff --git a/2022/ko/Days/day10.md b/2022/ko/Days/day10.md new file mode 100644 index 0000000..6db4c02 --- /dev/null +++ b/2022/ko/Days/day10.md @@ -0,0 +1,99 @@ +--- +title: '#90DaysOfDevOps - The Go Workspace - Day 10' +published: false +description: 90DaysOfDevOps - The Go Workspace +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048701 +--- + +### Go 워크스페이스 + +[Day 8](day08.md)에서 Go 워크스페이스를 간략히 살펴보고 'Hello #90DaysOfDevOps'의 데모를 실행했습니다. 그러나 Go 워크스페이스에 대해 좀 더 자세히 설명해야 합니다. + +기본값을 선택한 다음 이미 정의된 GOPATH에 Go 폴더가 생성됐지만, 실제로는 이 GOPATH를 원하는 위치로 변경할 수 있습니다. + +다음 명령어를 실행하면 + +``` +echo $GOPATH +``` + +출력은 다음과 유사해야 합니다.(사용자 아이디가 다를 수 있습니다.) + +``` +/home/michael/projects/go +``` + +그런 다음 여기에 3개의 디렉토리를 생성했습니다. **src**, **pkg**, **bin**. + +![](/2022/Days/Images/Day10_Go1.png) + +**src**는 Go 프로그램과 프로젝트를 저장하는 곳으로, 모든 Go 리포지토리의 네임스페이스 패키지 관리를 담당합니다. 컴퓨터에서 Hello #90DaysOfDevOps 프로젝트를 위한 Hello 폴더를 확인할 수 있습니다. + +![](/2022/Days/Images/Day10_Go2.png) + +**pkg**는 프로그램에 설치되거나 설치되었던 패키지의 파일을 저장하는 곳입니다. 이것은 사용 중인 패키지가 수정되었는지 여부에 따라 컴파일 프로세스의 속도를 향상하는 데 도움이 됩니다. + +![](/2022/Days/Images/Day10_Go3.png) + +**bin**은 컴파일된 모든 바이너리가 저장되는 곳입니다. + +![](/2022/Days/Images/Day10_Go4.png) + +Hello #90DaysOfDevOps는 복잡한 프로그램이 아니기 때문에, 다른 훌륭한 리소스인 [GoChronicles](https://gochronicles.com/)에서 가져온 좀 더 복잡한 Go 프로그램의 예시를 소개해 드리겠습니다. + +![](/2022/Days/Images/Day10_Go5.png) + +이 페이지는 [GoChronicles](https://gochronicles.com/project-structure/)에 언급되지 않은 다른 폴더에 대한 자세한 설명과 함께, 레이아웃이 왜 이렇게 구성되었는지에 대해 자세히 설명합니다. + +### 코드 컴파일 및 실행 + +[Day 9](day09.md)에서도 코드 컴파일에 대한 간략한 소개를 다루었지만, 이번에는 더 자세히 살펴보겠습니다. + +코드를 실행하기 위해서는 먼저 코드를 **컴파일**해야 합니다. Go에서 컴파일하는 방법은 세 가지가 있습니다. + +- go build +- go install +- go run + +컴파일을 진행하기 전에 Go를 설치하면 무엇을 얻을 수 있는지 살펴봅시다. + +8일 차에 Go를 설치하는 동안 Go 소스 파일의 빌드 및 처리를 용이하게 하는 다양한 프로그램으로 구성된 Go 도구를 얻었습니다. 이러한 도구 중 하나가 `Go`입니다. + +표준 Go 설치에 포함되지 않은 추가 도구도 설치할 수 있다는 점에 유의하세요. + +Go가 제대로 설치되었는지 확인하려면 명령 프롬프트를 열고 `go`를 입력합니다. 아래 이미지와 비슷한 내용이 표시되고 그 뒤에 "Additional Help Topics"가 표시됩니다. 현재로서는 이것에 대해 생각할 필요는 없습니다. + +![](/2022/Days/Images/Day10_Go6.png) + +8일째인 지금까지 이미 이 도구 중 최소 두 가지를 사용했다는 사실을 기억하실 겁니다. + +![](/2022/Days/Images/Day10_Go7.png) + +자세히 알고 싶은 것은 "build", "install", 그리고 "run"입니다. + +![](/2022/Days/Images/Day10_Go8.png) + +- `go run` - 이 명령은 command line에 지정한 .go 파일로 구성된 기본 패키지를 컴파일하고 실행합니다. 이때, 컴파일된 실행 파일은 임시 폴더에 저장됩니다. +- `go build` - 현재 디렉토리에서 패키지와 종속성을 컴파일합니다. 만약 프로젝트에 `main` 패키지가 포함되어 있다면, 실행 파일이 현재 디렉토리에 생성됩니다. 그렇지 않은 경우, 실행 파일은 `pkg` 폴더에 생성되며, 이후 다른 Go 프로그램에서 가져와서 사용할 수 있습니다. 또한 `go build`를 사용하면 Go가 지원하는 모든 OS 플랫폼에 대해 실행 파일을 빌드할 수 있습니다. +- `go install` - go build와 비슷하지만, 실행 파일을 `bin` 폴더에 저장합니다. + +`go build`과 `go run`을 실행했지만, 원하는 경우 이곳에서 다시 실행할 수 있습니다. `go install`은 실행 파일을 bin 폴더에 넣는 것으로 설명한 대로 수행됩니다. + +![](/2022/Days/Images/Day10_Go9.png) + +이 글을 따라오면서 아래의 재생 목록이나 동영상 중 하나를 시청하시기 바랍니다. 제 목표는 여러분과 함께하는 7일 또는 7시간 동안의 여정에서 제가 발견한 흥미로운 정보들을 공유하는 것이기에 저는 이 모든 자료에서의 핵심 정보를 모아서 Go 언어의 기본 개념을 설명하고자 합니다. 아래 자료들은 여러분이 이해해야 할 필수적인 주제에 대한 이해에 도움을 줄 수 있습니다. + +## 자료 + +- [StackOverflow 2021 Developer Survey](https://insights.stackoverflow.com/survey/2021) +- [Why we are choosing Golang to learn](https://www.youtube.com/watch?v=7pLqIIAqZD4&t=9s) +- [Jake Wright - Learn Go in 12 minutes](https://www.youtube.com/watch?v=C8LgvuEBraI&t=312s) +- [Techworld with Nana - Golang full course - 3 hours 24 mins](https://www.youtube.com/watch?v=yyUHQIec83I) +- [**NOT FREE** Nigel Poulton Pluralsight - Go Fundamentals - 3 hours 26 mins](https://www.pluralsight.com/courses/go-fundamentals) +- [FreeCodeCamp - Learn Go Programming - Golang Tutorial for Beginners](https://www.youtube.com/watch?v=YS4e4q9oBaU&t=1025s) +- [Hitesh Choudhary - Complete playlist](https://www.youtube.com/playlist?list=PLRAV69dS1uWSR89FRQGZ6q9BR2b44Tr9N) + +[Day 11](day11.md)에서 봐요! diff --git a/2022/ko/Days/day11.md b/2022/ko/Days/day11.md new file mode 100644 index 0000000..2bfe879 --- /dev/null +++ b/2022/ko/Days/day11.md @@ -0,0 +1,176 @@ +--- +title: '#90DaysOfDevOps - Variables & Constants in Go - Day 11' +published: false +description: 90DaysOfDevOps - Variables & Constants in Go +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048862 +--- + +오늘의 주제에 들어가기 전에, [Techworld with Nana](https://www.youtube.com/watch?v=yyUHQIec83I)에서 다룬 Go의 기초에 대한 환상적이고 간결한 여정에 대해 큰 박수를 보내고 싶습니다. + +[Day 8](day08.md)에는 환경을 설정하였고, [Day 9](day09.md)에는 Hello #90DaysOfDevOps 코드를 검토하였으며, [Day 10](day10.md)에는 Go 워크스페이스를 살펴보고 코드를 컴파일한 후 실행하는 과정까지 자세히 학습했습니다. + +오늘은 새로운 프로그램을 만들어보면서 변수, 상수 그리고 데이터 타입에 대해 살펴볼 예정입니다. + +## Go의 변수 및 상수 + +우선, 애플리케이션을 계획하는 것으로 시작하겠습니다. #90DaysOfDevOps 챌린지가 얼마나 남았는지 알려주는 프로그램을 만드는 것이 좋을 것 같습니다. + +프로그램을 실행하기 전에 고려해야 할 사항은 앱을 빌드하고 참가자를 환영하며 완료한 일 수에 대한 피드백을 줄 때 "#90DaysOfDevOps"이란 용어를 여러 번 사용할 수 있다는 것입니다. 이것은 프로그램에서 #90DaysOfDevOps를 변수로 사용할 좋은 상황입니다. + +- 변수는 값을 저장하기 위해 사용됩니다. +- 저장된 정보나 값이 담긴 작은 상자와 같은 것입니다. +- 변수는 프로그램 전체에서 사용할 수 있으며, 챌린지나 변수가 변경되더라도 한 곳에서만 변경하면 되는 장점이 있습니다. 즉, 변수 하나만 변경하면 커뮤니티의 다른 챌린지에도 적용할 수 있습니다. + +Go 프로그램에서는 변수를 선언하고 값을 정의하기 위해 **키워드(var, const...)**를 사용합니다. 이러한 변수 선언은 `func main` 코드 블록 내에서 이루어집니다. `키워드`에 대한 자세한 내용은 [여기](https://go.dev/ref/spec#Keywords)에서 확인할 수 있습니다. + +변수 이름이 명시적인지 항상 확인하세요. 변수를 선언하면 반드시 사용해야 하며, 그렇지 않으면 오류가 발생합니다. 이는 사용되지 않는 코드(죽은 코드)를 방지할 수 있습니다. 사용되지 않는 패키지도 마찬가지입니다. + +```go +var challenge = "#90DaysOfDevOps" +``` + +다음 코드 스니펫에서 볼 수 있듯이 위와 같이 선언하면 변수를 사용할 수 있음을 알 수 있습니다. + +```go +package main + +import "fmt" + +func main() { + var challenge = "#90DaysOfDevOps" + fmt.Println("Welcome to", challenge, "") +} +``` + +위 코드 스니펫은 [day11_example1.go](/2022/Days/Go/day11_example1.go)에서 볼 수 있습니다. + +위 예제를 사용하여 코드를 빌드하면 아래와 같이 출력되는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day11_Go1.png) + +이번 챌린지의 기간은 90일이지만, 다음 챌린지에서는 100일이 될 수도 있으므로, 이번 챌린지에서 사용되는 변수가 다음 챌린지에서도 유용하게 사용될 수 있도록 정의하고 싶습니다. 하지만 우리 프로그램에서는 이 변수를 상수로 정의하고자 합니다. 상수는 값을 변경할 수 없지만, 변수와 유사합니다.(이 코드를 사용하여 새로운 앱을 만들 경우 상수를 변경할 수 있지만, 애플리케이션을 실행하는 동안에는 이 90이 변경되지 않습니다.) + +`const` 키워드를 코드에 추가하고, 출력을 위해 다른 코드 라인을 추가합니다. + +```go +package main + +import "fmt" + +func main() { + var challenge = "#90DaysOfDevOps" + const daystotal = 90 + + fmt.Println("Welcome to", challenge, "") + fmt.Println("This is a", daystotal, "challenge") +} +``` + +위 코드 스니펫은 [day11_example2.go](/2022/Days/Go/day11_example2.go)에서 볼 수 있습니다. + +`go build`를 다시 실행하면 아래와 같은 결과를 확인할 수 있습니다. + +![](/2022/Days/Images/Day11_Go2.png) + +이것이 우리 프로그램의 끝은 아니며 [Day 12](day12.md)에서 더 많은 기능을 추가할 예정입니다. 현재 완료한 일 수 외에도 다른 변수를 추가하려고 합니다. + +`dayscomplete` 변수를 추가하였고, 완료한 일 수도 함께 기록하였습니다. + +```go +package main + +import "fmt" + +func main() { + var challenge = "#90DaysOfDevOps" + const daystotal = 90 + var dayscomplete = 11 + + fmt.Println("Welcome to", challenge, "") + fmt.Println("This is a", daystotal, "challenge and you have completed", dayscomplete, "days") + fmt.Println("Great work") +} +``` + +위 코드 스니펫은 [day11_example3.go](/2022/Days/Go/day11_example3.go)에서 볼 수 있습니다. + +`go build`를 다시 실행하거나 `go run`을 실행할 수 있습니다. + +![](/2022/Days/Images/Day11_Go3.png) + +코드를 더 쉽게 읽고 편집하기 위해 몇 가지 다른 예제입니다. 이전에는 `Println`을 사용했지만, `Printf`를 사용하여 코드 줄 끝에 변수를 순서대로 정의하는 `%v`를 사용하면 코드를 간단히 만들 수 있습니다. 또한 줄 바꿈은 `\n`을 사용합니다. + +기본값을 사용하기 때문에 `%v`를 사용하고 있지만, 다른 옵션은 [fmt package documentation](https://pkg.go.dev/fmt)의 코드 예제 [day11_example4.go](/2022/Days/Go/day11_example4.go)에서 확인할 수 있습니다. + +변수를 정의하는 방법 중에는 '변수'와 '타입'을 명시하는 대신 더 간단한 형태로 정의하는 것도 있습니다. 이렇게 코딩하면 코드의 기능은 동일하지만, 더 깔끔하고 간결해집니다. 하지만 이 방법은 변수에만 적용되며 상수에는 적용되지 않습니다. + +```go +func main() { + challenge := "#90DaysOfDevOps" + const daystotal = 90 +``` + +## 데이터 타입 + +예제에서는 변수의 타입을 정의하지 않았습니다. 이는 값을 지정하고 Go가 해당 타입을 유추할 수 있을 만큼 똑똑하거나 저장한 값에 기반하여 타입을 결정할 수 있기 때문입니다. 그러나 사용자가 입력하도록 하려면 특정 타입을 명시해야 합니다. + +지금까지 코드에서는 문자열과 정수를 사용했습니다. 정수는 일 수를, 문자열은 챌린지 이름을 나타내는 데 사용했습니다. + +각 데이터 타입은 서로 다른 작업을 수행하며, 이에 따라 다르게 작동한다는 것을 유의해야 합니다. 예를 들어, 정수는 문자열과는 곱할 수 없습니다. + +총 네 가지 타입이 있습니다: + +- **Basic type**: 숫자, 문자열, 불리언 값이 해당 범주에 속합니다. +- **Aggregate type**: 배열과 구조체가 해당 범주에 속합니다. +- **Reference type**: 포인터, 슬라이스, 맵, 함수, 채널이 해당 범주에 속합니다. +- **Interface type** + +데이터 타입은 프로그래밍에서 매우 중요한 개념입니다. 이는 변수의 크기와 타입을 지정하는 데 사용됩니다. + +Go는 정적으로 타입이 지정되어 있어서 변수의 타입이 정의된 후에는 해당 타입의 데이터만 저장할 수 있습니다. + +Go 언어에는 다음과 같이 세 가지 기본 데이터 타입이 있습니다: + +- **bool**: 참(True) 또는 거짓(False) 값을 나타냅니다. +- **Numeric**: 정수형(integer), 부동 소수점 값(floating-point), 복소수형(complex)을 나타냅니다. +- **string**: 문자열 값을 나타냅니다. + +[Golang by example](https://golangbyexample.com/all-data-types-in-golang-with-examples/)에서 데이터 타입에 대해 매우 자세하게 설명되어 있습니다. + +[Techworld with Nana](https://www.youtube.com/watch?v=yyUHQIec83I&t=2023s)에서도 데이터 타입에 대해 자세히 다루고 있으니 추천해드립니다. + +변수의 타입을 정의해야 하는 경우 다음과 같이 정의할 수 있습니다: + +```go +var TwitterHandle string +var DaysCompleted uint +``` + +Go 언어에서 변수는 값이 할당되는 것을 의미합니다. 따라서 해당 값을 출력하려면 다음과 같이 할 수 있습니다: + +```go +fmt.Printf("challenge is %T, daystotal is %T, dayscomplete is %T\n", conference, daystotal, dayscomplete) +``` + +여러 종류의 정수 및 부동 소수점 타입이 있으며, 앞의 링크들에서 자세한 내용을 확인할 수 있습니다. + +- **int** = 정수 +- **unint** = 양의 정수 +- **floating point types** = 소수점이 있는 실수 + +## 자료 + +- [StackOverflow 2021 Developer Survey](https://insights.stackoverflow.com/survey/2021) +- [Why we are choosing Golang to learn](https://www.youtube.com/watch?v=7pLqIIAqZD4&t=9s) +- [Jake Wright - Learn Go in 12 minutes](https://www.youtube.com/watch?v=C8LgvuEBraI&t=312s) +- [Techworld with Nana - Golang full course - 3 hours 24 mins](https://www.youtube.com/watch?v=yyUHQIec83I) +- [**NOT FREE** Nigel Poulton Pluralsight - Go Fundamentals - 3 hours 26 mins](https://www.pluralsight.com/courses/go-fundamentals) +- [FreeCodeCamp - Learn Go Programming - Golang Tutorial for Beginners](https://www.youtube.com/watch?v=YS4e4q9oBaU&t=1025s) +- [Hitesh Choudhary - Complete playlist](https://www.youtube.com/playlist?list=PLRAV69dS1uWSR89FRQGZ6q9BR2b44Tr9N) + +이제부터는 프로그램에 몇 가지 사용자 입력 기능을 추가해서 완료된 일수를 입력받도록 하겠습니다. + +[Day 12](day12.md)에서 봐요! diff --git a/2022/ko/Days/day12.md b/2022/ko/Days/day12.md new file mode 100644 index 0000000..72f7380 --- /dev/null +++ b/2022/ko/Days/day12.md @@ -0,0 +1,85 @@ +--- +title: '#90DaysOfDevOps - Getting user input with Pointers and a finished program - Day 12' +published: false +description: 90DaysOfDevOps - Getting user input with Pointers and a finished program +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048864 +--- + +## 포인터를 이용하여 사용자 입력을 받아 프로그램 완성하기 + +어제([Day 11](day11.md)) 독립적인 첫 번째 Go 프로그램을 만들 때, 코드 내에서 사용자 입력을 받기 위한 변수를 생성하고 값을 할당했습니다. 이제 사용자에게 입력을 요청하여 최종 메시지 값을 변수에 할당하려고 합니다. + +## 사용자 입력 받기 + +사용자 입력을 받기 전에 애플리케이션을 다시 살펴보고 변수를 점검해보겠습니다. + +어제 우리는 [day11_example4.go](/2022/Days/Go/day11_example4.go) 코드에서 `challenge, daystotal, dayscomplete`를 변수와 상수로 정의했습니다. + +이제 새로운 변수 `TwitterName`을 추가하겠습니다. 이 변수는 [day12_example1.go](/2022/Days/Go/day12_example1.go) 코드에서 찾을 수 있습니다. 코드를 실행하면 아래와 같이 출력됩니다. + +![](/2022/Days/Images/Day12_Go1.png) + +현재 12일째인데, 코드가 하드코딩되어 있다면 매일 `dayscomplete`를 수정하고 매일 코드를 컴파일해야 하기 때문에 효율적이지 않습니다. + +사용자로부터 이름과 수행한 일수를 입력받아야 합니다. 이를 위해서는 `fmt` 패키지 내의 다른 함수를 사용할 수 있습니다. + +`fmt` 패키지는 포맷된 입력 및 출력(I/O)을 위한 다양한 기능을 제공합니다. 이 패키지에 대한 요약은 다음과 같습니다. + +- 메시지 출력 +- 사용자 입력 수집 +- 파일에 쓰기 + +이 방법은 변수에 값을 할당하는 대신 사용자로부터 입력을 요청하는 방식입니다. + +```go +fmt.Scan(&TwitterName) +``` + +변수 앞에 `&`를 사용하는 것도 주목해 주세요. 이것은 포인터라 불리며, 다음 섹션에서 다룰 예정입니다. + +[day12_example2.go](/2022/Days/Go/day12_example2.go) 코드에서는 사용자로부터 `TwitterName`과 `DaysCompleted`라는 두 변수를 입력받고 있습니다. + +프로그램을 실행하면 위의 두 변수 모두에 대한 입력을 받는 걸 볼 수 있습니다. + +![](/2022/Days/Images/Day12_Go2.png) + +사용자 의견을 반영하여 메시지를 출력하는 기능도 좋지만, 챌린지 종료까지 남은 일수를 알려주는 기능도 추가하는 것이 어떨까요? + +이를 위해 `remainingDays`라는 변수를 만들고, `90`이라는 값을 할당하겠습니다. 그리고 `DaysCompleted`로 사용자 입력을 받으면 남은 날짜를 계산하여 `remainingDays`의 값을 변경하겠습니다. 다음과 같이 간단하게 변수를 변경하면 됩니다. + +```go +remainingDays = remainingDays - DaysCompleted +``` + +[day12_example2.go](/2022/Days/Go/day12_example3.go) 코드에서 완성된 프로그램의 모습을 확인할 수 있습니다. + +프로그램을 실행하면, 사용자 입력을 기반으로 `remainingDays` 값을 계산하는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day12_Go3.png) + +## 포인터가 무엇인가요?(특수 변수) + +포인터는 다른 변수의 메모리 주소를 가리키는 (특수)변수입니다. + +이에 대한 자세한 설명은 [geeksforgeeks](https://www.geeksforgeeks.org/pointers-in-golang/)에서 확인할 수 있습니다. + +출력 명령에 `&`를 사용할 때와 사용하지 않은 코드 예시를 통해 포인터의 메모리 주소를 확인해 볼 수 있습니다. [day12_example4.go](/2022/Days/Go/day12_example4.go)에 코드 예제를 추가했습니다. + +아래는 이 코드를 실행한 모습입니다. + +![](/2022/Days/Images/Day12_Go4.png) + +## 자료 + +- [StackOverflow 2021 Developer Survey](https://insights.stackoverflow.com/survey/2021) +- [Why we are choosing Golang to learn](https://www.youtube.com/watch?v=7pLqIIAqZD4&t=9s) +- [Jake Wright - Learn Go in 12 minutes](https://www.youtube.com/watch?v=C8LgvuEBraI&t=312s) +- [Techworld with Nana - Golang full course - 3 hours 24 mins](https://www.youtube.com/watch?v=yyUHQIec83I) +- [**NOT FREE** Nigel Poulton Pluralsight - Go Fundamentals - 3 hours 26 mins](https://www.pluralsight.com/courses/go-fundamentals) +- [FreeCodeCamp - Learn Go Programming - Golang Tutorial for Beginners](https://www.youtube.com/watch?v=YS4e4q9oBaU&t=1025s) +- [Hitesh Choudhary - Complete playlist](https://www.youtube.com/playlist?list=PLRAV69dS1uWSR89FRQGZ6q9BR2b44Tr9N) + +[Day 13](day13.md)에서 봐요! diff --git a/2022/ko/Days/day13.md b/2022/ko/Days/day13.md new file mode 100644 index 0000000..adb7bd4 --- /dev/null +++ b/2022/ko/Days/day13.md @@ -0,0 +1,322 @@ +--- +title: '#90DaysOfDevOps - Tweet your progress with our new App - Day 13' +published: false +description: 90DaysOfDevOps - Tweet your progress with our new App +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048865 +--- + +## 새로운 앱으로 진행 상황을 트윗하세요 + +프로그래밍 언어를 살펴본 마지막 날입니다. 우리는 프로그래밍 언어의 겉 부분만 살짝 살펴봤을 뿐이고 앞으로는 더 큰 흥미와 관심을 가지고 더욱 깊이 파고들어야 합니다. + +최근 며칠간 애플리케이션에 작은 아이디어를 추가하면서 기능을 개선했습니다. 이번 세션에서는 앞서 언급한 패키지를 활용하여 화면에 진행 상황을 업데이트하는 것뿐만 아니라, 챌린지의 세부 정보와 상태를 트윗할 수 있는 기능을 만들어보려고 합니다. + +## 진행 상황을 트윗하는 기능 추가 + +이 기능을 사용하려면 먼저 트위터에서 개발자 API 접근을 설정해야 합니다. + +[Twitter Developer Platform](https://developer.twitter.com)으로 이동하여 내 트위터로 계정으로 로그인하면, 이미 만든 앱이 없는 경우 아래와 같은 화면이 표시됩니다. + +![](/2022/Days/Images/Day13_Go1.png) + +여기에서 Elevated 등급 계정을 요청할 수 있습니다. 시간이 조금 걸릴 수 있지만, 제 경우에는 빠르게 승인이 됐습니다. + +다음으로, 프로젝트 및 앱을 선택하여 앱을 생성합니다. 보유한 계정 액세스 권한에 따라 제한이 있으며, Essential 계정은 하나의 앱과 하나의 프로젝트만, Elevated 계정은 3개의 앱만 만들 수 있습니다. + +![](/2022/Days/Images/Day13_Go2.png) + +애플리케이션의 이름을 지정합니다. + +![](/2022/Days/Images/Day13_Go3.png) + +API token이 제공됩니다. 이를 안전한 장소에 저장해야 합니다.(저는 이후 앱을 삭제했습니다.) 나중에 Go 애플리케이션에서 이 토큰이 필요할 것입니다. + +![](/2022/Days/Images/Day13_Go4.png) + +이제 앱이 생성되었습니다.(스크린샷에 보이는 앱 이름은 이미 생성된 것이기 때문에, 고유해야 하므로 앱 이름을 변경해야 했습니다.) + +![](/2022/Days/Images/Day13_Go5.png) + +"consumer keys"는 이전에 생성한 key를 의미하며, access token과 비밀번호도 필요합니다. 이 정보는 "Keys & Tokens" 탭에서 확인할 수 있습니다. + +![](/2022/Days/Images/Day13_Go6.png) + +트위터 개발자 포털에서 필요한 모든 작업을 마쳤습니다. 나중에 필요하실 수 있으니 key를 안전한 곳에 보관해주세요. + +## Go 트위터 봇 + +애플리케이션을 시작했던 코드인 [day13_example1](/2022/Days/Go/day13_example1.go)를 기억해주세요. 하지만 먼저 올바른 코드로 트윗을 생성할 수 있는지 확인해야 합니다. + +트위터에 메시지나 출력을 트윗 형태로 전달하기 위한 코드를 생각해봐야 합니다. 이를 위해 [go-twitter](https://github.com/dghubble/go-twitter) 라이브러리를 사용할 것입니다. 이 라이브러리는 Go 언어로 작성된 트위터 API 클라이언트 라이브러리입니다. + +메인 애플리케이션에 적용하기 전에 `src` 폴더에 'go-twitter-bot'이라는 새 디렉토리를 만들고, 해당 폴더에서 `go mod init github.com/michaelcade/go-Twitter-bot` 명령을 실행하여 `go.mod` 파일을 생성한 후, 새로운 'main.go' 파일을 작성하여 테스트해 보았습니다. + +트위터 개발자 포털에서 생성한 key, token 및 비밀번호가 필요하며, 이를 환경 변수로 설정해야 합니다. 하지만 이는 실행 중인 운영 체제에 따라 다를 수 있습니다. + +환경 변수와 관련하여 몇 가지 질문이 있어, 블로그 게시물을 소개해드립니다. 해당 게시물은 환경 변수 설정 방법을 더 자세히 설명하고 있습니다. [How To Set Environment Variables](https://www.twilio.com/blog/2017/01/how-to-set-environment-variables.html)를 통해 확인해보세요. + +Windows + +``` +set CONSUMER_KEY +set CONSUMER_SECRET +set ACCESS_TOKEN +set ACCESS_TOKEN_SECRET +``` + +Linux / MacOS + +``` +export CONSUMER_KEY +export CONSUMER_SECRET +export ACCESS_TOKEN +export ACCESS_TOKEN_SECRET +``` + +이 단계에서는 [day13_example2](/2022/Days/Go/day13_example2.go) 코드를 살펴볼 수 있습니다. 이 코드에서는 구조체를 사용하여 key, secret, token을 정의합니다. + +Credentials를 분석하고 트위터 API에 연결하는 `func`가 있습니다. + +이후 성공 여부에 따라 트윗을 전송합니다. + +```go +package main + +import ( + // ... + "fmt" + "log" + "os" + + "github.com/dghubble/go-twitter/twitter" + "github.com/dghubble/oauth1" +) + +// Credentials는 트위터 REST API에 대한 인증에 필요한 +// 모든 access/consumer token과 secret key를 저장합니다. +type Credentials struct { + ConsumerKey string + ConsumerSecret string + AccessToken string + AccessTokenSecret string +} + +// getClient는 인증에 필요한 모든 것을 포함하며, +// 트위터 클라이언트 또는 오류에 대한 포인터를 반환하는 +// Credentials 구조체에 대한 포인터를 받아 나중에 트윗을 보내거나 +// 새 트윗을 스트리밍하는 데 사용할 수 있는 헬퍼 함수입니다. +func getClient(creds *Credentials) (*twitter.Client, error) { + // consumer key(API key)와 consumer secret(API secret)을 전달합니다. + config := oauth1.NewConfig(creds.ConsumerKey, creds.ConsumerSecret) + // access token과 access token secret을 전달합니다. + token := oauth1.NewToken(creds.AccessToken, creds.AccessTokenSecret) + + httpClient := config.Client(oauth1.NoContext, token) + client := twitter.NewClient(httpClient) + + // Credentials 확인 + verifyParams := &twitter.AccountVerifyParams{ + SkipStatus: twitter.Bool(true), + IncludeEmail: twitter.Bool(true), + } + + // 사용자를 검색하고 Credentials가 올바른지 확인할 수 있고, + // 성공적으로 로그인할 수 있는지 확인할 수 있습니다! + user, _, err := client.Accounts.VerifyCredentials(verifyParams) + if err != nil { + return nil, err + } + + log.Printf("User's ACCOUNT:\n%+v\n", user) + return client, nil +} +func main() { + fmt.Println("Go-Twitter Bot v0.01") + creds := Credentials{ + AccessToken: os.Getenv("ACCESS_TOKEN"), + AccessTokenSecret: os.Getenv("ACCESS_TOKEN_SECRET"), + ConsumerKey: os.Getenv("CONSUMER_KEY"), + ConsumerSecret: os.Getenv("CONSUMER_SECRET"), + } + + client, err := getClient(&creds) + if err != nil { + log.Println("Error getting Twitter Client") + log.Println(err) + } + + tweet, resp, err := client.Statuses.Update("A Test Tweet from the future, testing a #90DaysOfDevOps Program that tweets, tweet tweet", nil) + if err != nil { + log.Println(err) + } + log.Printf("%+v\n", resp) + log.Printf("%+v\n", tweet) +} + +``` + +위와 같이 작성하면 상황에 따라 오류가 발생하거나 성공하여 코드에 적힌 메시지가 포함된 트윗이 전송됩니다. + +## 두 가지의 결합 - Go-Twitter-Bot + 우리의 앱 + +이제 이 두 가지를 `main.go`에서 병합해야 합니다. 이 작업을 수행하는 더 좋은 방법이 있을 것이며, 프로젝트에 둘 이상의 `.go` 파일을 가질 수 있으므로 이에 대해 의견을 제시해 주시기 바랍니다. + +[day13_example3](/2022/Days/Go/day13_example3.go)에서 병합된 코드를 볼 수 있지만 아래에서도 보여드리겠습니다. + +```go +package main + +import ( + // ... + "fmt" + "log" + "os" + + "github.com/dghubble/go-twitter/twitter" + "github.com/dghubble/oauth1" +) + +// Credentials는 트위터 REST API에 대한 인증에 필요한 +// 모든 access/consumer token과 secret key를 저장합니다. +Credentials REST API에 대한 인증에 필요한 모든 액세스/소비자 토큰과 비밀 키를 저장합니다. +type Credentials struct { + ConsumerKey string + ConsumerSecret string + AccessToken string + AccessTokenSecret string +} + +// getClient는 인증에 필요한 모든 것을 포함하며, +// 트위터 클라이언트 또는 오류에 대한 포인터를 반환하는 +// Credentials 구조체에 대한 포인터를 받아 나중에 트윗을 보내거나 +// 새 트윗을 스트리밍하는 데 사용할 수 있는 헬퍼 함수입니다. +func getClient(creds *Credentials) (*twitter.Client, error) { + // consumer key(API key)와 consumer secret(API secret)을 전달합니다. + config := oauth1.NewConfig(creds.ConsumerKey, creds.ConsumerSecret) + // access token과 access token secret을 전달합니다. + token := oauth1.NewToken(creds.AccessToken, creds.AccessTokenSecret) + + httpClient := config.Client(oauth1.NoContext, token) + client := twitter.NewClient(httpClient) + + // Verify Credentials + verifyParams := &twitter.AccountVerifyParams{ + SkipStatus: twitter.Bool(true), + IncludeEmail: twitter.Bool(true), + } + + // we can retrieve the user and verify if the credentials + // we have used successfully allow us to log in! + user, _, err := client.Accounts.VerifyCredentials(verifyParams) + if err != nil { + return nil, err + } + + log.Printf("User's ACCOUNT:\n%+v\n", user) + return client, nil +} + +func main() { + creds := Credentials{ + AccessToken: os.Getenv("ACCESS_TOKEN"), + AccessTokenSecret: os.Getenv("ACCESS_TOKEN_SECRET"), + ConsumerKey: os.Getenv("CONSUMER_KEY"), + ConsumerSecret: os.Getenv("CONSUMER_SECRET"), + } + { + const DaysTotal int = 90 + var remainingDays uint = 90 + challenge := "#90DaysOfDevOps" + + fmt.Printf("Welcome to the %v challenge.\nThis challenge consists of %v days\n", challenge, DaysTotal) + + var TwitterName string + var DaysCompleted uint + + // asking for user input + fmt.Println("Enter Your Twitter Handle: ") + fmt.Scanln(&TwitterName) + + fmt.Println("How many days have you completed?: ") + fmt.Scanln(&DaysCompleted) + + // Credentials 확인 + remainingDays = remainingDays - DaysCompleted + + //fmt.Printf("Thank you %v for taking part and completing %v days.\n", TwitterName, DaysCompleted) + //fmt.Printf("You have %v days remaining for the %v challenge\n", remainingDays, challenge) + //fmt.Println("Good luck") + + client, err := getClient(&creds) + if err != nil { + log.Println("Error getting Twitter Client, this is expected if you did not supply your Twitter API tokens") + log.Println(err) + } + + message := fmt.Sprintf("Hey I am %v I have been doing the %v for %v days and I have %v Days left", TwitterName, challenge, DaysCompleted, remainingDays) + tweet, resp, err := client.Statuses.Update(message, nil) + if err != nil { + log.Println(err) + } + log.Printf("%+v\n", resp) + log.Printf("%+v\n", tweet) + } +} +``` + +결과는 트윗으로 표시되어야 하지만, 환경 변수가 제공되지 않은 경우 아래와 같은 오류가 발생해야 합니다. + +![](/2022/Days/Images/Day13_Go7.png) + +만약 이 문제를 해결하거나 트위터 인증을 사용하지 않기로 선택했다면, 어제 작성한 코드를 사용할 수 있습니다. 성공한 경우 터미널 출력은 다음과 유사하게 표시됩니다: + +![](/2022/Days/Images/Day13_Go8.png) + +결과 트윗은 아래와 같이 표시되어야 합니다: + +![](/2022/Days/Images/Day13_Go9.png) + +## 여러 OS에 맞게 컴파일하는 방법 + +"여러 운영체제에서 컴파일하려면 어떻게 해야 할까요?"라는 질문에 대해 다루고자 합니다. Go의 가장 장점 중 하나는 다양한 운영체제에 대해 쉽게 컴파일할 수 있다는 점입니다. 아래 명령어를 실행하면 모든 운영체제 목록을 확인할 수 있습니다: + +``` +go tool dist list +``` + +지금까지 `go build` 명령을 사용하여 HM(host machine)과 빌드 대상을 환경 변수 `GOOS`와 `GOARCH`를 이용하여 결정할 수 있었습니다. 그러나 아래 예제와 같이 다른 바이너리를 생성할 수도 있습니다. + +``` +GOARCH=amd64 GOOS=darwin go build -o ${BINARY_NAME}_0.1_darwin main.go +GOARCH=amd64 GOOS=linux go build -o ${BINARY_NAME}_0.1_linux main.go +GOARCH=amd64 GOOS=windows go build -o ${BINARY_NAME}_0.1_windows main.go +GOARCH=arm64 GOOS=linux go build -o ${BINARY_NAME}_0.1_linux_arm64 main.go +GOARCH=arm64 GOOS=darwin go build -o ${BINARY_NAME}_0.1_darwin_arm64 main.go +``` + +위의 모든 플랫폼에 대한 바이너리가 디렉토리에 생성됩니다. 이후 코드에 새로운 기능을 추가할 때마다, 바이너리로 빌드하기 위해 [makefile](/2022/Days/Go/makefile)을 사용할 수도 있습니다. + +지금 리포지토리에서 볼 수 있는 릴리스를 만드는 데 사용한 [repository](https://github.com/MichaelCade/90DaysOfDevOps/releases)입니다. + +## 자료 + +- [StackOverflow 2021 Developer Survey](https://insights.stackoverflow.com/survey/2021) +- [Why we are choosing Golang to learn](https://www.youtube.com/watch?v=7pLqIIAqZD4&t=9s) +- [Jake Wright - Learn Go in 12 minutes](https://www.youtube.com/watch?v=C8LgvuEBraI&t=312s) +- [Techworld with Nana - Golang full course - 3 hours 24 mins](https://www.youtube.com/watch?v=yyUHQIec83I) +- [**NOT FREE** Nigel Poulton Pluralsight - Go Fundamentals - 3 hours 26 mins](https://www.pluralsight.com/courses/go-fundamentals) +- [FreeCodeCamp - Learn Go Programming - Golang Tutorial for Beginners](https://www.youtube.com/watch?v=YS4e4q9oBaU&t=1025s) +- [Hitesh Choudhary - Complete playlist](https://www.youtube.com/playlist?list=PLRAV69dS1uWSR89FRQGZ6q9BR2b44Tr9N) +- [A great repo full of all things DevOps & exercises](https://github.com/bregman-arie/devops-exercises) +- [GoByExample - Example based learning](https://gobyexample.com/) +- [go.dev/tour/list](https://go.dev/tour/list) +- [go.dev/learn](https://go.dev/learn/) + +7일간의 프로그래밍 언어 학습을 마무리합니다. 앞으로도 더 많은 내용을 다룰 예정이며, 이번 학습을 통해 Go 프로그래밍 언어의 다른 측면도 이해할 수 있었기를 바랍니다. + +다음으로, Linux와 Linux에서 알아야 할 몇 가지 기본 사항에 대해 살펴보겠습니다. + +[Day 14](day14.md)에서 봐요! diff --git a/2022/ko/Days/day14.md b/2022/ko/Days/day14.md new file mode 100644 index 0000000..b5df11b --- /dev/null +++ b/2022/ko/Days/day14.md @@ -0,0 +1,116 @@ +--- +title: '#90DaysOfDevOps - The Big Picture: DevOps and Linux - Day 14' +published: false +description: 90DaysOfDevOps - The Big Picture DevOps and Linux +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049033 +--- + +## 큰 그림: 데브옵스와 Linux + +Linux와 데브옵스는 유사한 문화와 관점을 공유하며, 둘 다 커스터마이징과 확장성에 중점을 둡니다. 이 두 가지 측면은 특히 데브옵스에서 중요한 역할을 합니다. + +특히 소프트웨어 개발이나 인프라 관리와 관련 기술들이 Linux에서 개발되었습니다. + +또한 많은 오픈 소스 프로젝트, 특히 DevOps 도구는 Linux에서 바로 실행되도록 설계되었습니다. + +DevOps나 운영 역할 관점에서는 대부분 Linux를 다룰 가능성이 높습니다. WinOps를 다루는 일도 있지만, 보통은 Linux 서버를 관리하고 배포하는 일이 많을 것입니다. + +저는 몇 년 동안 Linux를 사용해왔지만, 메인 데스크탑 컴퓨터는 주로 macOS나 Windows였습니다. 하지만 클라우드 네이티브 역할로 전환한 후에는 노트북에서 Linux를 기본 운영 체제로 사용하기로 결정했습니다. 일부 오디오 및 비디오 장비는 Linux와 호환되지 않기 때문에 업무 관련 애플리케이션은 여전히 Windows가 필요하지만, 앞으로 7일간은 개념을 더 잘 이해하기 위해 데스크탑에서 Linux를 사용하겠습니다. + +## 시작하기 + +더 쉬운 방법이 있기 때문에 여러분도 저와 똑같이 하라고 권하고 싶지는 않지만, 저처럼 단계를 밟으면 Linux를 더 빨리 배울 수 있다는 걸 알려드리고 싶습니다. + +이번 7일 동안, 저는 Windows에서 VirtualBox를 사용해 가상 머신을 띄울 계획입니다. 데스크탑 버전의 Linux 배포판도 함께 사용할 예정이지만, 여러분이 관리하게 될 대부분의 Linux 서버는 GUI가 없이 shell 기반으로 운영될 것입니다. 하지만, 앞서 90일 동안 학습한 많은 도구들이 Linux에서 시작되었다는 것을 언급했듯이, Linux 데스크탑을 실행해 보는 것도 강력히 추천합니다. + +이 글의 나머지 부분에서는 Virtual Box 환경에서 우분투 데스크탑 가상 머신 실행에 초점을 맞출 것입니다. [Virtual Box](https://www.virtualbox.org/)를 다운로드하고 링크된 사이트에서 최신 [Ubuntu ISO](https://ubuntu.com/download)를 가져와서 데스크탑 환경을 구축할 수도 있지만, 그렇게 하는 것은 데브옵스답지 않겠죠? + +Linux 배포판을 선택한 또 다른 이유는 대부분 무료이며 오픈 소스이기 때문입니다. 또한, 모바일 디바이스와 엔터프라이즈 RedHat Enterprise 서버를 제외하고 가장 널리 배포된 배포판인 우분투를 선택했습니다. 제가 틀렸을 수도 있지만 CentOS의 역사를 살펴보면 우분투가 목록에서 높은 순위에 있으며 매우 간단한 편이라고 생각합니다. + +## HashiCorp Vagrant 소개 + +Vagrant는 CLI 유틸리티로 가상 머신의 수명 주기를 관리합니다. vSphere, Hyper-v, Virtual Box, Docker 등 다양한 플랫폼에서 Vagrant를 사용하여 가상 머신을 생성하고 제거할 수 있습니다. 다른 대안도 있지만, 저는 Virtual Box를 사용할 것입니다. + +먼저 해야 할 일은 Vagrant를 컴퓨터에 설치하는 것입니다. [HashiCorp Vagrant](https://www.vagrantup.com/downloads) 다운로드 페이지에서는 사용 가능한 모든 운영 체제를 볼 수 있습니다. 저는 Windows를 사용 중이기 때문에 시스템용 바이너리를 다운로드하여 설치하였습니다. + +다음으로 [Virtual Box](https://www.virtualbox.org/wiki/Downloads)를 설치해야 합니다. 이 프로그램은 다양한 운영체제에서 실행할 수 있으며, 윈도우, 맥 OS, 또는 리눅스를 실행할 경우 필요합니다. + +두 설치 모두 매우 간단하며, 훌륭한 커뮤니티도 있어서 문제가 발생하면 언제든지 연락하시면 도움을 드릴 수 있습니다. + +## 첫 번째 VAGRANTFILE + +VAGRANTFILE은 배포하려는 가상 머신의 유형을 정의하고, 해당 머신의 구성과 프로비저닝을 설정합니다. + +VAGRANTFILE을 저장하고 정리할 때, 저는 워크스페이스의 폴더에 파일을 저장합니다. 제 시스템에서의 예시를 아래에서 확인하실 수 있습니다. 이 방법을 따라 하면 다른 시스템으로 쉽게 전환할 수 있으며, Linux 데스크탑을 "distro hopping"_(리눅스 사용자들이 사용하는 운영체제를 자주 바꾸는 행위 - 옮긴이)_ 하는 "rabbit hole"_(위험을 대비한 대안을 여러 개 준비하는 행위 - 옮긴이)_ 에도 적합합니다. + +![](/2022/Days/Images/Day14_Linux1.png) + +VAGRANTFILE을 살펴보고 우리가 현재 만들고 있는 것을 확인해 봅시다. + +``` +Vagrant.configure("2") do |config| + + config.vm.box = "chenhan/ubuntu-desktop-20.04" + + config.vm.provider :virtualbox do |v| + + v.memory = 8096 + + v.cpus = 4 + + v.customize ["modifyvm", :id, "--vram", "128"] + +end + +end +``` + +이건 매우 간단한 VAGRANTFILE입니다. 특정 "box"를 원한다는 뜻이며, 이 box는 여러분이 찾고 있는 시스템의 공개 이미지 또는 비공개 빌드일 가능성이 높습니다. 공개적으로 사용 가능한 "box"들의 목록은 [public catalogue of Vagrant boxes](https://app.vagrantup.com/boxes/search)에서 찾을 수 있습니다. + +다음 줄에서는 `VirtualBox`라는 특정한 공급자를 사용하고자 합니다. 또한 컴퓨터의 메모리를 `8GB`로, CPU 수를 `4`로 정의합니다. 제 경험상, 디스플레이 문제가 발생하면 비디오 메모리를 추가하는 것이 좋습니다. 이렇게 하면 비디오 메모리를 `128MB`까지 늘릴 수 있지만 시스템에 따라 다를 수 있습니다. + +``` +v.customize ["modifyvm", :id, "--vram", ""] +``` + +이 vagrant 파일은 [Linux Folder](/2022/Days/Linux/VAGRANTFILE)에서 확인할 수 있습니다. + +## Linux 데스크탑 프로비저닝 + +제 첫 번째 Linux 데스크탑을 시작하고 실행할 준비가 된 상태입니다. 저는 Windows 운영체제에서 PowerShell을 사용하고 있습니다. 프로젝트 폴더로 이동하여 VAGRANTFILE이 위치한 경로로 이동해주세요. 그곳에서 `vagrant up` 명령어를 입력하면 아래와 같은 내용이 표시됩니다. + +![](/2022/Days/Images/Day14_Linux2.png) + +추가해야 할 사항은 이 가상 머신에서 네트워크가 `NAT`로 설정된다는 것입니다. 현재 단계에서는 NAT에 대해 알 필요가 없으며, 네트워킹 세션에서 이에 대해 자세히 설명할 계획입니다. 가상 머신을 홈 네트워크에 연결하는 가장 간단한 방법이기도 하며, Virtual Box의 기본 네트워킹 모드입니다. 추가적인 정보는 [Virtual Box documentation](https://www.virtualbox.org/manual/ch06.html#network_nat)에서 확인할 수 있습니다. + +`vagrant up`이 완료되면 `vagrant ssh`를 사용하여 새 VM의 터미널로 바로 이동할 수 있습니다. + +![](/2022/Days/Images/Day14_Linux3.png) + +앞으로 며칠 동안 이곳에서 대부분의 작업을 진행할 예정입니다. 또한 개발자 워크스테이션에 몇 가지 사용자 지정 기능을 추가하여 일상적인 작업을 훨씬 더 간편하게 만들 계획입니다. 비표준 터미널이 없다면, 스스로를 DevOps 전문가로 여길 수 있을까요? + +확인을 위해 가상 머신을 선택하면 로그인 프롬프트가 표시되어야 합니다. + +![](/2022/Days/Images/Day14_Linux4.png) + +여기까지 읽으셨는데 "Username과 Password가 무엇인가요?"라는 질문이 계속 나오신다면? + +- Username = vagrant + +- Password = vagrant + +내일은 터미널에서의 몇 가지 명령어와 그 명령어들이 하는 일에 대해 알아보도록 하겠습니다. + +## 자료 + +- [Learn the Linux Fundamentals - Part 1](https://www.youtube.com/watch?v=kPylihJRG70) +- [Linux for hackers (don't worry you don't need to be a hacker!)](https://www.youtube.com/watch?v=VbEx7B_PTOE) + +앞으로 더 많은 자원을 확보할 예정이며, Go 언어 자료와 마찬가지로 일반적으로 무료 콘텐츠를 제공하여 모두가 참여하고 배울 수 있도록 할 것입니다. + +다음 글에서는 자주 사용할 수 있는 Linux 환경의 명령어에 대해 살펴볼 것입니다. + +[Day 15](day15.md)에서 봐요! diff --git a/2022/ko/Days/day15.md b/2022/ko/Days/day15.md new file mode 100644 index 0000000..6666d50 --- /dev/null +++ b/2022/ko/Days/day15.md @@ -0,0 +1,195 @@ +--- +title: '#90DaysOfDevOps - Linux Commands for DevOps (Actually everyone) - Day 15' +published: false +description: 90DaysOfDevOps - Linux Commands for DevOps (Actually everyone) +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048834 +--- + +## 데브옵스(실제로는 모든 사용자)를 위한 Linux 명령 + +[어제](day14.md) 터미널에서 몇 가지 명령을 사용하여 작업을 수행하는 데 많은 시간을 할애하게 될 것이라고 언급했습니다. + +또한 vagrant 프로비저닝된 VM을 사용하면 `vagrant ssh`를 사용하여 box에 액세스할 수 있다고도 언급했습니다. 프로비저닝한 디렉토리와 동일한 디렉토리에 있어야 합니다. + +SSH의 경우 username과 password는 필요하지 않으며, 가상 box 콘솔에 로그인하려는 경우에만 필요합니다. + +아래는 우리가 원하는 위치입니다: + +![](/2022/Days/Images/Day15_Linux1.png) + +## 명령어들 + +여기서 다루지 않은 명령어도 있습니다. 이러한 명령어를 다루는 문서 페이지가 있지만, 특정 명령에 대한 옵션을 이해해야 할 때는 `man` 페이지를 사용할 수 있습니다. `man` 페이지를 사용하면 이 글에서 다루는 각 명령어에 대한 더 많은 옵션을 찾을 수 있습니다. `man man`을 실행하면 `man` 페이지에 대한 도움말을 볼 수 있습니다. `Q`를 눌러 매뉴얼 페이지를 종료할 수 있습니다. + +![](/2022/Days/Images/Day15_Linux2.png) +![](/2022/Days/Images/Day15_Linux3.png) + +Windows에서 `관리자 권한으로 실행`을 마우스 오른쪽 버튼으로 클릭으로 하는 것에 익숙하다면, `sudo` 명령어를 비슷하게 생각할 수 있습니다. 이 명령어를 사용하면 명령을 `root` 권한으로 실행하며, 명령 실행 전에 암호를 입력해야 하는 메시지가 표시됩니다. + +![](/2022/Days/Images/Day15_Linux4.png) + +일회성 작업이 아니라 여러 작업을 수행하며 일시적으로 `sudo` 권한을 유지하려면 어떻게 해야 할까요? `sudo su`를 사용하면 `sudo`와 동일한 권한을 가질 수 있습니다. 그러나 이 방법은 보안상 위험할 수 있습니다. `root` 권한을 오랜 시간 동안 유지하는 것은 위험하기 때문입니다. 테스트 VM에서는 문제가 되지 않을 수 있지만 실제 서버에서는 위험할 수 있습니다. 따라서 작업을 마치면 `exit`를 입력하여 `root` 권한을 해제해야 합니다. + +![](/2022/Days/Images/Day15_Linux5.png) + +저는 항상 `clear` 명령어를 사용합니다. 이 명령어는 이전 명령의 출력 화면을 모두 지우고 깔끔한 작업 공간을 제공하기 때문에 프롬프트를 맨 위에 위치시키는 것과 같은 효과를 가집니다. 윈도우 운영체제에서는 이 명령어를 `cls`로 사용할 수 있습니다. + +![](/2022/Days/Images/Day15_Linux6.png) + +이제 시스템 내에서 무언가를 생성한 후에 터미널에서 시각화할 수 있는 몇 가지 명령어를 살펴보겠습니다. 먼저 `mkdir` 명령어를 사용하여 시스템에 폴더를 생성할 수 있습니다. 예를 들어, 홈 디렉토리에 Day15라는 폴더를 생성하려면 `mkdir Day15` 명령어를 사용하면 됩니다. + +![](/2022/Days/Images/Day15_Linux7.png) + +`cd`를 사용하면 디렉토리를 변경할 수 있으므로, 새로운 디렉토리로 이동하려면 `cd D`에서 탭을 사용하여 `cd Day15` 같이 가능한 디렉토리를 자동 완성할 수 있습니다. 시작 위치로 돌아가려면 `cd ..`을 사용하면 됩니다. + +![](/2022/Days/Images/Day15_Linux8.png) + +`rmdir` 명령어를 사용하면 디렉토리를 삭제할 수 있습니다. 예를 들어, `rmdir Day15` 명령어를 실행하면 폴더가 삭제됩니다.(단, 해당 폴더가 비어있을 경우에만 작동합니다.) + +![](/2022/Days/Images/Day15_Linux9.png) + +가끔 파일 시스템의 깊은 곳에서 디렉토리를 찾았지만, 그 위치를 모르는 경우가 있습니다. `pwd` 명령어는 작업 디렉토리의 경로를 출력해주는데, 비밀번호처럼 보이지만 실제로는 "print working directory"의 약자입니다. + +![](/2022/Days/Images/Day15_Linux10.png) + +폴더와 디렉토리를 만드는 방법은 알고 있지만, 파일을 만드는 방법은 어떨까요? 파일을 생성하는 방법 중 하나는 `touch` 명령을 사용하는 것입니다. 예를 들어, `touch Day15` 명령을 실행하면 파일이 생성됩니다. `mkdir` 명령은 이후에 살펴볼 예정이므로, 지금은 무시하셔도 됩니다. + +![](/2022/Days/Images/Day15_Linux11.png) + +현재 디렉토리 내 모든 파일과 폴더를 나열하려면 `ls` 명령을 반복해서 사용해야 할 것입니다. 해당 명령어로 방금 생성한 파일이 있는지 확인해보겠습니다. + +![](/2022/Days/Images/Day15_Linux12.png) + +우리는 리눅스 시스템에서 어떻게 파일을 찾을 수 있을까요? `locate` 명령어를 사용하면 파일 시스템을 검색할 수 있습니다. 만약 `locate Day15`와 같이 입력하면 해당 파일의 위치를 알려줍니다. 또한, 파일이 존재하는데 검색 결과가 없다면 `sudo updatedb` 명령어를 실행하여 파일 시스템의 모든 파일을 인덱싱한 후 다시 `locate` 명령어를 실행하세요. 만약 `locate` 명령어가 없다면 `sudo apt install mlocate` 명령어를 사용하여 설치할 수 있습니다. + +![](/2022/Days/Images/Day15_Linux13.png) + +리눅스 시스템에서 파일을 찾으려면 어떻게 해야 할까요? `mv` 명령어를 사용하면 파일을 이동할 수 있습니다. 예를 들어, `mv Day15 90DaysOfDevOps` 명령어는 Day15 파일을 90DaysOfDevOps 폴더로 이동시킵니다. + +![](/2022/Days/Images/Day15_Linux14.png) + +파일을 옮겼는데, 이름을 변경하고 싶다면 어떻게 해야 할까요? 이름을 변경하려면 `mv` 명령어를 다시 사용하면 됩니다. 예를 들어, 대소문자를 변경하려면 `mv Day15 day15`와 같이 입력하고, 파일 이름을 완전히 바꾸려면 `mv day15 AnotherDay`와 같이 입력하면 됩니다. 변경 후에는 `ls` 명령어를 사용하여 파일이 정상적으로 변경되었는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day15_Linux15.png) + +이제 파일과 디렉토리가 생성되면 디렉토리를 삭제해 보겠습니다. 파일을 삭제하려면 간단히 `rm AnotherDay` 명령어를 사용할 수 있습니다. 폴더를 재귀적으로(하위 폴더까지) 삭제하려면 `rm -R` 명령어를 사용하는 것이 일반적입니다. 또한, `rm -R -f` 명령어를 사용하여 해당 파일을 강제로 삭제할 수도 있습니다. 시스템과 영원한 작별 인사를 하고 싶다면 `sudo rm -R -f /`를 입력하면 됩니다._(주의: 이 명령어는 시스템을 완전히 삭제합니다. - 옮긴이)_ + +![](/2022/Days/Images/Day15_Linux16.png) + +파일 이동에 대해 살펴봤는데, 한 폴더에서 다른 폴더로 파일을 복사하고 싶을 때는 `mv` 명령어 대신 `cp` 명령어를 사용해야 합니다. 이제 `cp Day15 Desktop`으로 파일을 복사할 수 있습니다. + +![](/2022/Days/Images/Day15_Linux17.png) + +폴더와 파일을 만들었지만, 폴더에는 아직 내용이 없습니다. 내용을 추가하는 몇 가지 방법이 있지만, 가장 쉬운 방법은 `echo`를 사용하는 것입니다. `echo`를 사용하면 터미널에서 많은 내용을 출력할 수 있습니다. 저는 시스템 변수가 설정되어 있는지를 확인하기 위해 시스템 변수를 출력할 때 echo를 자주 사용합니다. 파일에 내용을 추가하려면 `echo "Hello #90DaysOfDevOps" > Day15`를 사용할 수 있습니다. 또는 `echo "Commands are fun!" >> Day15`를 사용할 수도 있습니다. + +![](/2022/Days/Images/Day15_Linux18.png) + +`cat`은 매우 자주 사용하는 명령어 중 하나입니다. `cat`은 "concatenate(연결)"의 약어로, `cat Day15` 명령어를 사용하여 파일 내용을 확인할 수 있습니다. 이 명령어는 구성 파일을 빠르게 읽을 때 유용합니다. + +![](/2022/Days/Images/Day15_Linux19.png) + +복잡한 구성 파일에서 모든 줄을 읽는 대신에, 특정한 단어를 찾고 싶거나 찾아야 하는 경우 `grep`을 사용할 수 있습니다. 예를 들면 `cat Day15 | grep "#90DaysOfDevOps"`를 입력하여 파일에서 원하는 단어를 검색할 수 있습니다. 이렇게 하면 빠르게 결과를 얻을 수 있습니다. + +![](/2022/Days/Images/Day15_Linux20.png) + +제가 `clear` 명령을 자주 사용하여 이전에 실행한 일부 명령을 놓칠 수 있기 때문에, `history` 명령을 사용하여 이전에 실행한 모든 명령을 찾을 수 있습니다. `history -c` 명령은 기록을 제거합니다. + +`history`를 실행하고 특정 명령을 선택하려는 경우 `!3`을 사용하여 목록에서 세 번째 명령을 선택할 수 있습니다. + +또한 `history | grep "Command"`를 사용하여 특정 명령을 검색할 수도 있습니다. + +서버에서 명령이 언제 실행되었는지 추적하려면 히스토리 파일의 각 명령에 날짜와 시간을 추가할 수도 있습니다. + +다음 시스템 변수가 이 동작을 제어합니다: + +``` +HISTTIMEFORMAT="%d-%m-%Y %T " +``` + +bash_profile에 쉽게 추가할 수 있습니다: + +```bash +echo 'export HISTTIMEFORMAT="%d-%m-%Y %T "' >> ~/.bash_profile +``` + +히스토리 파일을 더 크게 만들 수도 있습니다: + +```bash +echo 'export HISTSIZE=100000' >> ~/.bash_profile +echo 'export HISTFILESIZE=10000000' >> ~/.bash_profile +``` + +![](/2022/Days/Images/Day15_Linux21.png) + +비밀번호를 변경해야 하나요? `passwd` 명령어를 사용하여 비밀번호를 변경할 수 있습니다. 비밀번호가 숨겨져 있을 때는 이 명령어를 실행해도 `history`에 표시되지 않지만, 명령에 `-p PASSWORD`가 포함되면 `history`에 표시됩니다. + +![](/2022/Days/Images/Day15_Linux22.png) + +새로운 사용자를 시스템에 추가하고 싶을 경우 `sudo` 명령어를 사용하여 `sudo useradd NewUser`를 입력해야 합니다. + +![](/2022/Days/Images/Day15_Linux23.png) + +그룹을 재생성하려면 `sudo` 권한이 필요합니다. `sudo groupadd DevOps` 명령을 사용하여 새로운 사용자를 해당 그룹에 추가하려면 `sudo usermod -a -G DevOps` 명령을 실행하세요. `-a`는 추가를, `-G`는 그룹 이름을 나타냅니다. + +![](/2022/Days/Images/Day15_Linux24.png) + +`sudo` 그룹에 새로운 사용자를 추가하는 것은 드물기는 하지만, 이를 위해서는 `usermod -a -G sudo NewUser` 명령어를 입력하면 됩니다. + +### 권한 + +읽기, 쓰기, 실행 권한은 Linux 시스템의 모든 파일과 폴더에 대한 권한입니다. + +전체 목록입니다: + +- 0 = 없음 `---` +- 1 = 실행만 `--X` +- 2 = 쓰기만 `-W-` +- 3 = 쓰기 및 실행 `-WX` +- 4 = 읽기 전용 `R--` +- 5 = 읽기 & 실행 `R-X` +- 6 = 읽기 및 쓰기 `RW-` +- 7 = 읽기, 쓰기 및 실행 `RWX` + +또한 `777` 또는 `775`로도 표시되며 이는 위 목록과 동일한 숫자를 나타내지만 각각 **User - Group - Everyone**을 나타냅니다. + +파일을 살펴봅시다. `ls -al Day15`를 실행하면 위에서 언급한 3개의 그룹을 볼 수 있으며, 사용자와 그룹은 읽기 및 쓰기 권한을 가지고 있지만 모두 읽기 권한만 있습니다. + +![](/2022/Days/Images/Day15_Linux25.png) + +시스템에서 많은 양의 바이너리를 생성하고 실행할 수 있는 기능을 제공해야 한다면, `chmod`를 사용하여 해당 바이너리에 대한 권한을 변경할 수 있습니다. 예를 들어, `chmod 750 Day15` 명령어를 실행하면 Day15 파일에 대한 권한을 설정할 수 있으며, `ls -al Day15` 명령어로 권한이 설정되었는지 확인할 수 있습니다. 전체 폴더에 대해 이 작업을 실행하려면 `-R` 옵션을 사용하여 재귀적으로(하위 폴더까지) 설정할 수 있습니다. + +![](/2022/Days/Images/Day15_Linux26.png) + +파일 소유자를 변경하는 것은 어떨까요? 이 작업에는 `chown`을 사용할 수 있습니다. `Day15`의 소유권을 사용자 `vagrant`에서 `NewUser`로 변경하려면 `sudo chown NewUser Day15`를 다시 `-R`로 실행할 수 있습니다. + +![](/2022/Days/Images/Day15_Linux27.png) + +특정 데이터만 필요한 출력을 얻을 때, 실제로 사용되는 명령어는 `awk`입니다. 예를 들어, `who`를 실행하면 정보가 포함된 줄을 얻을 수 있지만, 이름만 필요한 경우도 있습니다. 이때는 `who | awk '{print $1}'`를 실행하여 첫 번째 열에 해당하는 이름 목록만 가져올 수 있습니다. + +![](/2022/Days/Images/Day15_Linux28.png) + +데이터 스트림을 표준 입력에서 읽으려면 커맨드라인을 생성하고 실행해야 합니다. 이렇게 하면 명령의 출력을 가져와 다른 명령의 인수로 전달할 수 있습니다. 이러한 사용 사례에 유용한 도구로 `xargs`가 있습니다. 예를 들어, 실행 가능한 시스템에서 모든 Linux 사용자 계정의 목록을 가져오고 싶다면, `cut -d: -f1 < /etc/passwd`를 실행하면 아래와 같은 긴 목록이 생성됩니다. + +![](/2022/Days/Images/Day15_Linux29.png) + +이 목록을 압축하려면 `cut -d: -f1 < /etc/passwd | sort | xargs`와 같은 명령을 사용하면 됩니다. `xargs`를 추가로 사용합니다. + +![](/2022/Days/Images/Day15_Linux30.png) + +이미 언급된 것은 아니지만, `cut` 명령어는 파일에서 각 줄의 섹션을 제거하는 데 사용할 수 있습니다. 이 명령어는 바이트 위치, 문자 또는 필드 단위로 줄의 일부를 잘라내는 데 사용됩니다. 예를 들어, `cut -d " " -f 2 list.txt` 명령어를 사용하면 첫 글자를 제거하고 숫자만 표시할 수 있습니다. 많은 조합이 있기 때문에 수동으로 데이터를 추출하는 것보다 이 명령어를 사용하는 것이 더 빠를 수 있습니다. + +![](/2022/Days/Images/Day15_Linux31.png) + +명령을 입력을 멈추고 때는 컨트롤 + C를 누르면 해당 줄이 취소되고 새로 시작됩니다. + +## 자료 + +- [Learn the Linux Fundamentals - Part 1](https://www.youtube.com/watch?v=kPylihJRG70) +- [Linux for hackers (don't worry you don't need to be a hacker!)](https://www.youtube.com/watch?v=VbEx7B_PTOE) + +[Day 16](day16.md)에서 봐요! + +목록이 꽤 길지만, 리눅스 서버를 관리하거나 리눅스 데스크톱에서 작업하는 등 일상에서 이 명령어를 모두 활용한다고 자신 있게 말할 수 있습니다. Windows나 macOS에서는 UI를 탐색하는 것이 간단하지만, 터미널을 통해 모든 것이 이루어지는 Linux 서버에서는 그렇지 않습니다. diff --git a/2022/ko/Days/day16.md b/2022/ko/Days/day16.md new file mode 100644 index 0000000..a3357f4 --- /dev/null +++ b/2022/ko/Days/day16.md @@ -0,0 +1,166 @@ +--- +title: '#90DaysOfDevOps - Managing your Linux System, Filesystem & Storage - Day 16' +published: false +description: '90DaysOfDevOps - Managing your Linux System, Filesystem & Storage' +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048702 +--- + +## Linux 시스템, 파일 시스템 및 스토리지 관리 + +지금까지 우리는 리눅스와 데브옵스에 대한 간략한 개요를 살펴보았고, [Day 14](day14.md)에서는 실습 환경을 설정하였으며, [Day 15](day15.md)에서는 터미널에서 작업을 수행할 때 자주 사용되는 명령어들을 살펴보았습니다. + +여기서는 업데이트, 소프트웨어 설치, 시스템 폴더의 용도와 스토리지에 대해 살펴보겠습니다. 이는 이해해야 할 핵심 영역 세 가지입니다. + +## 우분투 및 소프트웨어 관리 + +가장 먼저 살펴볼 사항은 운영체제 업데이트 방법입니다. 대부분의 사용자는 Windows OS와 macOS에서 이 프로세스에 익숙할 것이며, Linux 데스크톱과 서버에서는 조금 다릅니다. + +업데이트 및 소프트웨어 설치를 위해 Ubuntu VM에서 사용할 apt 패키지 관리자를 살펴볼 것입니다. + +일반적으로, 개발 워크스테이션에서 소프트웨어를 설치하기 전에 중앙 리포지토리에서 사용 가능한 최신 업데이트가 있는지 확인하기 위해 이 명령을 실행하는 것이 좋습니다. + +`sudo apt-get update` + +![](/2022/Days/Images/Day16_Linux1.png) + +이제 최신 OS 업데이트가 설치된 업데이트된 우분투 가상 머신이 생겼습니다. 이제 여기에 몇 가지 소프트웨어를 설치하려고 합니다. + +텍스트 배너를 생성하는 프로그램인 `figlet`을 선택해 보겠습니다. + +터미널에 `figlet`을 입력하면 시스템에 이 프로그램이 설치되어 있지 않다는 것을 알 수 있습니다. + +![](/2022/Days/Images/Day16_Linux2.png) + +위의 내용을 보면 시도해 볼 수 있는 몇 가지 `apt` 설치 옵션이 제공된다는 것을 알 수 있습니다. 기본 리포지토리에는 figlet이라는 프로그램이 있기 때문입니다. `sudo apt install figlet`을 시도해 보겠습니다. + +![](/2022/Days/Images/Day16_Linux3.png) + +이제 아래에서 볼 수 있듯이 `figlet` 앱을 사용할 수 있습니다. + +![](/2022/Days/Images/Day16_Linux4.png) + +`apt` 패키지 관리자를 사용하여 해당 소프트웨어나 다른 소프트웨어를 제거할 수도 있습니다. + +`sudo apt remove figlet` + +![](/2022/Days/Images/Day16_Linux5.png) + +시스템에 추가할 수 있는 타사 리포지토리도 있는데, 바로 액세스할 수 있는 리포지토리는 Ubuntu 기본 리포지토리입니다. + +Ubuntu 가상 머신에 Vagrant를 설치하려면 현재로서는 불가능합니다. 이를 확인하려면 아래의 첫 번째 명령어를 실행하면 됩니다. 그다음에는 HashiCorp 리포지토리를 신뢰하는 키를 추가하고, 리포지토리를 시스템에 추가해야 합니다. + +![](/2022/Days/Images/Day16_Linux6.png) + +HashiCorp 리포지토리를 추가했으면 이제 `sudo apt install vagrant`를 실행하여 시스템에 vagrant를 설치할 수 있습니다. + +![](/2022/Days/Images/Day16_Linux7.png) + +우분투에는 소프트웨어 설치와 관련하여 내장된 패키지 관리자를 사용할 수 있는 다양한 옵션이 있으며, 스냅을 이용한 소프트웨어 설치도 가능합니다. + +이 글을 통해 Linux에서 OS 및 소프트웨어 설치를 관리하는 방법에 대한 감을 잡으셨기를 바랍니다. + +## 파일 시스템 설명 + +Linux는 구성 파일들로 이루어져 있으며, 변경하고자 하는 내용이 있다면 해당 구성 파일을 수정하면 됩니다. + +Windows 운영체제에서는 C 드라이브가 루트 디렉토리입니다. 반면 Linux 운영체제에서는 `/` 디렉토리가 중요한 위치로, 시스템 내의 여러 폴더를 찾을 수 있는 기본적인 디렉토리입니다. + +![](/2022/Days/Images/Day16_Linux8.png) + +- `/bin` - 바이너리의 줄임말로, 시스템에서 필요한 실행 파일, 도구 및 바이너리가 있는 폴더입니다. + +![](/2022/Days/Images/Day16_Linux9.png) + +- `/boot` - 시스템 부팅에 필요한 모든 파일이 위치합니다. 부팅 방법과 부팅할 드라이브를 찾을 수 있습니다. + +![](/2022/Days/Images/Day16_Linux10.png) + +- `/dev` - 이 폴더에서는 장치 정보를 찾을 수 있으며, 디스크 드라이브에 대한 포인터를 찾을 수 있습니다. 일반적으로 `sda`는 기본 OS 디스크입니다. + +![](/2022/Days/Images/Day16_Linux11.png) + +- `/etc` - 리눅스 시스템에서 가장 중요한 폴더로, 대부분의 구성 파일이 있는 곳입니다. + +![](/2022/Days/Images/Day16_Linux12.png) + +- `/home` - 사용자 폴더와 파일이 위치하는 곳입니다. 이 폴더에는 vagrant 사용자 폴더뿐만 아니라 명령어 섹션에서 작업한 `Document` 및 `Desktop` 폴더 있습니다. + +![](/2022/Days/Images/Day16_Linux13.png) + +- `/lib` - `/bin` 폴더가 바이너리 및 실행 파일을 가지고 있다면, 이 폴더는 이러한 파일들에 대한 공유 라이브러리를 가지고 있는 곳입니다. + +![](/2022/Days/Images/Day16_Linux14.png) + +- `/media` - 이동식 디바이스를 찾을 수 있는 곳입니다. + +![](/2022/Days/Images/Day16_Linux15.png) + +- `/mnt` - 임시 마운트 지점입니다. 스토리지 섹션에서 자세히 다루겠습니다. + +![](/2022/Days/Images/Day16_Linux16.png) + +- `/opt` - 옵션 소프트웨어 패키지가 위치하는 폴더입니다. 이 폴더에는 몇 가지 vagrant 및 가상 머신 패키지가 저장되어 있습니다. + +![](/2022/Days/Images/Day16_Linux17.png) + +- `/proc` - 커널 및 프로세스 정보를 찾을 수 있는 곳으로, `/dev`와 유사합니다. + +![](/2022/Days/Images/Day16_Linux18.png) + +- `/root` - 액세스 권한을 얻으려면 sudo를 사용해야 하는 루트의 홈 폴더입니다. + +![](/2022/Days/Images/Day16_Linux19.png) + +- `/run` - 애플리케이션 상태를 위한 자리 표시자입니다. + +![](/2022/Days/Images/Day16_Linux20.png) + +- `/sbin` - `bin` 폴더와 유사하지만 시스템에서 슈퍼유저 권한이 필요한 도구들이 위치합니다. 즉, `sudo bin`입니다. + +![](/2022/Days/Images/Day16_Linux21.png) + +- `/tmp` - 임시 파일이 위치하는 폴더입니다. + +![](/2022/Days/Images/Day16_Linux22.png) + +- `/usr` - 일반 사용자가 소프트웨어 패키지를 설치한 경우, 일반적으로 `/usr/bin` 위치에 설치됩니다. + +![](/2022/Days/Images/Day16_Linux23.png) + +- `/var` - 애플리케이션은 `bin` 폴더에 설치됩니다. 모든 로그 파일을 저장할 위치가 필요한데, 이 위치가 바로 `/var`입니다. + +![](/2022/Days/Images/Day16_Linux24.png) + +## 스토리지 + +Linux 시스템이나 다른 시스템에서도 사용 가능한 디스크와 해당 디스크의 여유 공간을 확인하는 것은 유용합니다. 아래의 명령어 몇 가지는 스토리지를 식별하고 사용 및 관리하는 데 도움이 됩니다. + +- `lblk`는 블록 장치를 나열합니다. `sda`는 물리적 디스크이고 `sda1, sda2, sda3`는 해당 디스크의 파티션입니다. + +![](/2022/Days/Images/Day16_Linux25.png) + +- `df` 명령어는 파티션 정보, 전체 사용량 및 사용 가능한 용량에 대한 더 자세한 정보를 제공합니다. 다른 플래그를 사용하여 구문 분석할 수 있습니다. 일반적으로 `df -h` 명령어를 사용하여 인간이 읽기 쉬운 출력을 생성합니다. + +![](/2022/Days/Images/Day16_Linux26.png) + +새로운 디스크를 시스템에 추가할 경우, Windows에서와 마찬가지로 디스크 관리에서 디스크를 포맷해야 합니다. 그러나 Linux 터미널에서는 추가된 새 디스크와 관련된 sdb와 함께 `sudo mkfs -t ext4 /dev/sdb` 명령어를 사용하여 포맷할 수 있습니다. + +새로 포맷한 디스크를 사용하기 위해서는 `/mnt` 폴더에서 `sudo mkdir NewDisk` 명령어로 디렉토리를 생성한 후, `sudo mount /dev/sdb NewDisk`를 사용하여 해당 위치에 디스크를 마운트해야 합니다. + +시스템에서 스토리지를 안전하게 마운트 해제해야 할 때도 있고, 구성에서 그냥 가져와야 할 때도 있습니다. 이 작업은 `sudo umount /dev/sdb` 명령어로 수행할 수 있습니다. + +만약에 당신이 해당 디스크를 마운트 해제하고 싶지 않고, 이 디스크를 데이터베이스나 지속적으로 사용할 다른 용도로 사용하려는 경우, 시스템을 재부팅 할 때 그 디스크가 있어야 합니다. 이를 위해, 이 디스크를 `/etc/fstab` 구성 파일에 추가하여 지속성을 유지해야 합니다. 그렇지 않으면 기계가 재부팅될 때 사용할 수 없으며 수동으로 위의 프로세스를 진행해야 합니다. 데이터는 여전히 디스크에 남아 있지만, 이 파일에 구성을 추가하지 않으면 자동으로 마운트되지 않습니다. + +`fstab` 구성 파일을 편집한 후 `sudo mount -a` 명령을 실행하여 작동을 확인할 수 있습니다. 오류가 없다면, 이제 변경 사항이 재시작 시에도 지속됩니다. + +텍스트 편집기를 사용하여 파일을 편집하는 방법은 다음 세션에서 다루겠습니다. + +## 자료 + +- [Learn the Linux Fundamentals - Part 1](https://www.youtube.com/watch?v=kPylihJRG70) +- [Linux for hackers (don't worry you don't need to be a hacker!)](https://www.youtube.com/watch?v=VbEx7B_PTOE) + +[Day 17](day17.md)에서 봐요! diff --git a/2022/ko/Days/day17.md b/2022/ko/Days/day17.md new file mode 100644 index 0000000..50a07f2 --- /dev/null +++ b/2022/ko/Days/day17.md @@ -0,0 +1,86 @@ +--- +title: '#90DaysOfDevOps - Text Editors - nano vs vim - Day 17' +published: false +description: 90DaysOfDevOps - Text Editors - nano vs vim +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048703 +--- + +## 텍스트 편집기 - nano vs vim + +대부분의 Linux 시스템은 서버로 사용되며, 이러한 시스템에는 GUI가 없습니다. 또한 이전 세션에서 언급했듯이, Linux 시스템은 대부분 구성 파일로 구성되어 있어 변경하려면 이러한 구성 파일을 편집하여 시스템의 모든 것을 변경해야 합니다. + +다양한 옵션이 있지만, 가장 일반적으로 사용되는 두 가지 터미널 텍스트 편집기를 소개하고자 합니다. 제 경험상, 빠른 수정 작업에는 `nano`가 더 편리하지만, `vim`은 다양한 기능을 제공하여 더 복잡한 편집 작업을 수행할 수 있습니다. + +### nano + +- 모든 시스템에서 사용할 수 있는 것은 아닙니다. +- 처음 시작할 때 좋습니다. + +`nano 90DaysOfDevOps.txt`를 실행하면 아무 내용도 없는 새 파일이 생성되며, 이 파일에 텍스트를 추가할 수 있습니다. 하단에 도움말 메뉴가 있습니다. + +![](/2022/Days/Images/Day17_Linux1.png) + +이제 `Ctrl X + enter`를 입력한 다음 `ls`를 실행하면 새 텍스트 파일을 볼 수 있습니다. + +![](/2022/Days/Images/Day17_Linux2.png) + +이제 해당 파일을 읽기 위해 `cat` 명령어를 실행할 수 있습니다. 그리고 `nano 90DaysOfDevOps.txt` 명령어를 사용하여 파일에 추가 텍스트를 입력하거나 수정할 수 있습니다. + +제게 있어서 nano는 구성 파일에 작은 변경 사항을 적용하기 매우 편리한 편집기입니다. + +### vim + +1976년에 출시된 UNIX 텍스트 편집기인 vi의 형제 버전인 vim은 다양한 기능을 제공하여 가장 일반적인 텍스트 편집기 중 하나일까요? + +- 대부분의 Linux 배포판에서 지원됩니다. +- vim만 다루는 7시간짜리 강좌를 찾을 수 있다는 것은 매우 놀랍습니다! + +`vim` 명령어를 사용하여 vim 에디터로 이동하거나 새 텍스트 파일을 편집하려면 `vim 90DaysOfDevOps.txt`와 같은 명령어를 실행할 수 있습니다. 그러나 이 경우 하단에 도움말 메뉴가 없음을 확인할 수 있습니다. + +첫 번째 질문은 "vim을 어떻게 종료할까요?"일 수 있습니다. 종료 방법으로는 `ESC` 키가 있으며, 변경 사항이 없다면 `:q`를 입력하면 됩니다. + +![](/2022/Days/Images/Day17_Linux3.png) + +기본적으로 `normal` 모드에서 시작하고 `command, normal, visual, insert` 모드도 있습니다. 텍스트를 추가하려면 `i`를 눌러 `normal` 모드에서 `insert` 모드로 전환해야 합니다. 변경 사항을 저장하고 텍스트를 추가한 후에는 `ESC` 키를 누르고 `:wq`를 입력하면 됩니다. + +![](/2022/Days/Images/Day17_Linux4.png) + +![](/2022/Days/Images/Day17_Linux5.png) + +`cat` 명령으로 변경 사항을 저장했는지 확인할 수 있습니다. + +vim은 단축키만 알고 있다면 작은 작업도 매우 빠르게 수행할 수 있는 멋진 기능이 있습니다. 예를 들어, 반복되는 단어 목록을 추가한 후 이를 변경해야 한다고 가정해 봅시다. 구성 파일에서 네트워크 이름이 반복되는 경우, 이를 빠르게 변경하고 싶을 수 있습니다. 이 예시에서는 'day'라는 단어를 사용하고 있습니다. + +![](/2022/Days/Images/Day17_Linux6.png) + +'day'를 '90DaysOfDevOps'로 변경하려면, `ESC` 키를 누르고 `:%s/Day/90DaysOfDevOps`를 입력하면 됩니다. + +![](/2022/Days/Images/Day17_Linux7.png) + +이제 Enter 키를 누르면 'day'라는 단어가 '90DaysOfDevOps로' 바뀝니다. + +![](/2022/Days/Images/Day17_Linux8.png) + +복사 및 붙여넣기는 저에게 정말 큰 도움이 됐습니다. normal 모드에서는 키보드의 `yy`를 사용하여 복사할 수 있으며, 같은 줄에 `p`를 사용하여 붙여넣기하거나, 새 줄에 `P`를 사용하여 붙여넣기할 수 있습니다. + +특정 줄을 삭제하려면 삭제할 줄 수를 선택한 후 `dd`를 입력하면 됩니다. + +때로는 파일을 검색해야 할 필요가 있습니다. 이전 세션에서 언급한 것처럼 `grep`을 사용할 수 있지만, `/word`를 사용하면 첫 번째 일치 항목을 찾을 수 있으며, `n` 키를 사용하여 다음 항목으로 이동할 수 있습니다. + +제가 드릴 수 있는 가장 큰 조언은 가능한 한 직접 사용해 보라는 것입니다. + +일반적으로 면접에서 물어보는 질문 중 하나는, "Linux에서 가장 좋아하는 텍스트 편집기는 무엇인가요?" 입니다. 이 질문에 대답하려면 적어도 두 가지 이상의 텍스트 편집기를 알고 있어야 하며, nano에 대한 대답도 괜찮습니다. 이 질문에 대답하는 것은 적어도 텍스트 편집기가 무엇인지 이해했음을 보여주는 것입니다. 하지만 더욱 능숙하게 사용하려면 직접 사용해 보는 것이 좋습니다. + +vim에서 방향키로 사용할 수 있는 키는 화살표 키뿐만 아니라 `H,J,K,L`도 사용할 수 있습니다. + +## 자료 + +- [Vim in 100 Seconds](https://www.youtube.com/watch?v=-txKSRn0qeA) +- [Vim tutorial](https://www.youtube.com/watch?v=IiwGbcd8S7I) +- [Learn the Linux Fundamentals - Part 1](https://www.youtube.com/watch?v=kPylihJRG70) +- [Linux for hackers (don't worry you don't need to be a hacker!)](https://www.youtube.com/watch?v=VbEx7B_PTOE) + +[Day 18](day18.md)에서 봐요! diff --git a/2022/ko/Days/day18.md b/2022/ko/Days/day18.md new file mode 100644 index 0000000..9d0e915 --- /dev/null +++ b/2022/ko/Days/day18.md @@ -0,0 +1,213 @@ +--- +title: '#90DaysOfDevOps - SSH & Web Server - Day 18' +published: false +description: 90DaysOfDevOps - SSH & Web Server +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048733 +--- + +## SSH 및 웹 서버 + +앞서 언급한 바와 같이, 여러분은 다수의 원격 Linux 서버를 관리할 가능성이 높습니다. 그러므로 이러한 원격 서버와의 연결이 안전한지 확인하는 것이 중요합니다. 본 섹션에서는 원격 시스템과의 보안 터널 구축을 돕기 위해, 모든 사용자가 알아야 할 SSH의 주요 기본 개념들을 살펴볼 것입니다. + +- SSH로 연결 설정하기 +- 파일 전송하기 +- 개인 키 만들기 + +### SSH 소개 + +- 보안 shell +- 네트워킹 프로토콜 +- 보안 통신 허용 +- 모든 네트워크 서비스를 보호 +- 일반적으로 원격 command line 액세스에 사용 + +사실 우린 이미 vagrant 구성과 자동화를 통해 SSH를 사용하고 있었습니다. `vagrant ssh`만 실행해도 원격 가상 머신에 접근할 수 있었습니다. + +원격 머신이 워크스테이션과 동일한 시스템이 아니라 원격 위치, 클라우드 기반 시스템이거나 인터넷을 통해서만 접근할 수 있는 데이터 센터에서 실행될 경우, 시스템을 안전하게 관리하기 위한 접근 방법이 필요합니다. + +SSH는 클라이언트와 서버 간의 보안 터널을 제공하여 공격자가 정보를 가로챌 수 없게 합니다. + +![](/2022/Days/Images/Day18_Linux1.png) + +서버에는 항상 특정한 TCP 포트(22)에서 실행되어 대기 중인 서버 측 SSH 서비스가 존재합니다. + +올바른 자격증명이나 SSH 키를 가진 클라이언트를 사용하면 해당 서버에 접근할 수 있습니다. + +### 시스템에 브리지 네트워크 어댑터 추가하기 + +현재의 virtual box VM과 함께 사용하려면, 우리 시스템에 브리지 네트워크 어댑터를 추가해야 합니다. + +가상 머신을 종료한 다음, Virtual Box 내의 머신을 마우스 우클릭 후 Settings를 선택합니다. 새 창에서 Network를 선택하세요. + +![](/2022/Days/Images/Day18_Linux2.png) + +이제 가상 머신을 다시 시작하면 로컬 머신에서 IP 주소를 갖게 됩니다. `IP addr` 명령어로 확인할 수 있습니다. + +### SSH 서버 실행 확인 + +우리는 vagrant를 사용해왔기 때문에 SSH가 우리 머신에 이미 설정되어 있다는 것을 알고 있지만, 다음 명령어를 실행하여 확인할 수도 있습니다. + +`sudo systemctl status ssh` + +![](/2022/Days/Images/Day18_Linux3.png) + +시스템에 SSH 서버가 없으면 `sudo apt install OpenSSH-server` 명령어를 사용하여 설치할 수 있습니다. + +방화벽이 실행 중인 경우 SSH가 허용되도록 하려면 `sudo ufw allow ssh`를 사용할 수 있습니다. 하지만 vagrant 프로비저닝을 사용하여 자동화했으므로 이 작업은 필요하지 않습니다. + +### 원격 접속 - SSH password + +이제 SSH 서버가 포트 22에서 들어오는 연결 요청을 수신하도록 설정했고 브리지 네트워킹을 추가했으므로, 로컬 머신의 putty 또는 SSH 클라이언트를 사용하여 SSH로 시스템에 연결할 수 있습니다. + +[# PuTTy installation Guide](https://www.cuit.columbia.edu/putty) + +![](/2022/Days/Images/Day18_Linux4.png) + +Open을 클릭하세요. 이 IP 주소를 통해 처음으로 이 시스템에 연결하는 경우 경고가 표시됩니다. 이 시스템이 우리 것임을 알고 있으므로 Yes를 선택할 수 있습니다. + +![](/2022/Days/Images/Day18_Linux5.png) + +username(vagrant)과 password(기본 - vagrant)를 입력하라는 메시지가 표시됩니다. 아래에서 SSH 클라이언트(PuTTY)를 사용하여 username과 password로 머신에 연결하는 것을 확인할 수 있습니다. + +![](/2022/Days/Images/Day18_Linux6.png) + +이제부터 우리의 원격 클라이언트는 VM에 연결되어 있으며, 시스템에서 명령어를 실행할 수 있습니다. + +### 원격 접속 - SSH 키 + +앞서 설명한 방법으로 시스템에 쉽게 액세스할 수 있지만, username과 password에 의존하고 있습니다. 악의적인 사용자가 이 정보와 시스템의 공용 주소 또는 IP를 알게 되면 쉽게 침입할 수 있습니다. 이 때문에 SSH 키가 선호됩니다. + +SSH 키를 사용하면, 클라이언트와 서버 모두 이 장치가 신뢰할 수 있는 것임을 알 수 있는 키 쌍을 제공합니다. + +키를 생성하는 것은 쉽습니다. 로컬 머신(Windows)에서 다음 명령어를 실행하면 됩니다. 시스템에 SSH 클라이언트가 설치되어 있다면 이 명령어가 작동할 것입니다. + +`ssh-keygen -t ed25519` + +여기에서 `ed25519`가 무엇인지에 대해 자세히 설명하지는 않겠지만, 암호학에 관심이 있다면 [cryptography](https://en.wikipedia.org/wiki/EdDSA#Ed25519)를 참고해보세요. + +![](/2022/Days/Images/Day18_Linux7.png) + +생성된 SSH 키는 `C:\Users\micha/.ssh/`에 저장되어 있습니다. + +하지만 이 키로 Linux VM에 연결하려면 키를 복사해야 합니다. `ssh-copy-id vagrant@192.168.169.135`를 사용하여 이 작업을 수행할 수 있습니다. + +Windows 클라이언트에서 Powershell을 사용하여 키를 생성했지만, Windows에는 `ssh-copy-id`를 실행할 수 없습니다. Windows에서 이 작업을 수행하는 방법이 있으며, 온라인에서 간단한 검색을 통해 대체 방법을 찾을 수 있습니다. 여기서는 Windows 머신에서 git bash를 사용하여 복사하는 것을 보여 드리겠습니다. + +![](/2022/Days/Images/Day18_Linux8.png) + +이제 Powershell로 돌아와 password 없이 SSH 키로 연결이 작동하는지 테스트할 수 있습니다. + +`ssh vagrant@192.168.169.135` + +![](/2022/Days/Images/Day18_Linux9.png) + +필요한 경우 passphrase를 사용하여 더욱 안전하게 만들 수 있습니다. 또한 password 없이 키 쌍만을 사용하여 SSH를 허용하도록 설정할 수 있습니다. 이렇게 하려면 다음 설정 파일에서 수정하면 됩니다. + +`sudo nano /etc/ssh/sshd_config` + +여기에 `#` 주석 처리가 되어있는 `PasswordAuthentication yes`라는 줄이 있고, 이를 주석 처리 해제하고 yes를 no로 변경해야 합니다. 그런 다음 `sudo systemctl reload sshd`를 실행해서 SSH 서비스를 다시 로드해야 합니다. + +## 웹 서버 설정하기 + +위에서 설명한 SSH와는 별개로, 이번에는 웹 서버를 구축하는 방법을 다루고자 합니다. 처음에는 조금 어려워 보일 수 있지만, 실제로는 그렇지 않습니다. + +리눅스 가상 머신을 이미 구축해 두었다고 가정하고, 이 가상 머신에 아파치 웹 서버를 추가하여 내부 네트워크에서 접근할 수 있는 간단한 웹 사이트를 호스팅하려고 합니다. 인터넷에서 접근할 수 있는 웹 사이트는 아니며, 그에 대한 내용은 여기서 다루지 않습니다. + +이 과정은 LAMP 스택이라고도 불립니다. + +- **L**inux 운영 체제 +- **A**pache 웹 서버 +- **M**ySQL 데이터베이스 +- **P**HP + +### Apache2 + +Apache2는 오픈 소스 HTTP 서버입니다. 아래 명령어를 사용하여 Apache2를 설치할 수 있습니다. + +`sudo apt-get install apache2` + +Apache2가 정상적으로 설치되었는지 확인하려면 `sudo service apache2 restart`를 실행합니다. + +SSH 통합 네트워크 주소를 사용하여 브라우저에서 해당 주소로 이동합니다. 예를 들면 `http://192.168.169.135/`와 같습니다. + +![](/2022/Days/Images/Day18_Linux10.png) + +### MySQL + +MySQL은 웹 사이트의 데이터를 저장하는 데이터베이스입니다. `sudo apt-get install mysql-server` 명령어를 사용하여 MySQL을 설치합니다. + +### PHP + +PHP는 서버 측 스크립팅 언어로, MySQL 데이터베이스와 상호 작용하기 위해 사용합니다. PHP 및 종속성을 설치하려면 `sudo apt-get install php libapache2-mod-php php-mysql`을 사용합니다. + +기본적으로 Apache는 index.html을 사용하지만, 대신 index.php를 사용하도록 설정하려고 합니다. + +`sudo nano /etc/apache2/mods-enabled/dir.conf`를 사용하여 index.php를 목록의 첫 번째 항목으로 이동시킵니다. + +![](/2022/Days/Images/Day18_Linux11.png) + +Apache2 서비스를 다시 시작합니다. `sudo systemctl restart apache2` + +이제 PHP가 올바르게 구성되었는지 확인해 보겠습니다. 다음 명령어를 사용하여 새 파일을 생성합니다. + +`sudo nano /var/www/html/90Days.php` + +아래 내용을 복사한 후 Ctrl + X를 눌러 종료하고 파일을 저장합니다. + +```php + +``` + +다음 URL로 이동하여 PHP가 올바르게 구성되었는지 확인합니다. `http://192.168.169.135/90Days.php` 이 주소로 이동하면 PHP가 올바르게 설정되었음을 확인할 수 있는 화면이 표시됩니다. + +![](/2022/Days/Images/Day18_Linux12.png) + +### 워드프레스 설치 + +LAMP 스택에 워드프레스를 설치하기 위해 [How to install WordPress on Ubuntu with LAMP](https://blog.ssdnodes.com/blog/how-to-install-wordpress-on-ubuntu-18-04-with-lamp-tutorial/)을 참고하였습니다. 이 글에 나와 있는 명령어들은 아래와 같습니다. + +`sudo mysql -u root -p` + +`CREATE DATABASE wordpressdb;` + +`CREATE USER 'admin-user'@'localhost' IDENTIFIED BY 'password';` + +`GRANT ALL PRIVILEGES ON wordpressdb.* TO 'admin-user'@'localhost';` + +`FLUSH PRIVILEGES;` + +`EXIT;` + +`sudo apt install php-curl php-gd php-mbstring php-xml php-xmlrpc php-soap php-intl php-zip` + +`sudo systemctl restart apache2` + +`cd /var/www` + +`sudo curl -O https://wordpress.org/latest.tar.gz` + +`sudo tar -xvf latest.tar.gz` + +`sudo rm latest.tar.gz` + +위 링크의 Step 4에 도달했습니다. 워드프레스 디렉토리에 대한 모든 권한이 올바르게 설정되어 있는지 확인해야 합니다. + +내부 네트워크 전용이므로 이 단계에서 "generate security keys"를 할 필요가 없습니다. 아파치 구성을 워드프레스로 변경하는 Step 5로 이동합니다. + +모든 설정이 올바르게 구성되어 있다면, 내부 네트워크 주소를 통해 워드프레스 설치를 진행할 수 있습니다. + +## 자료 + +- [Client SSH GUI - Remmina](https://remmina.org/) +- [The Beginner's guide to SSH](https://www.youtube.com/watch?v=2QXkrLVsRmk) +- [Vim in 100 Seconds](https://www.youtube.com/watch?v=-txKSRn0qeA) +- [Vim tutorial](https://www.youtube.com/watch?v=IiwGbcd8S7I) +- [Learn the Linux Fundamentals - Part 1](https://www.youtube.com/watch?v=kPylihJRG70) +- [Linux for hackers (don't worry you don't need to be a hacker!)](https://www.youtube.com/watch?v=VbEx7B_PTOE) + +[Day 19](day19.md)에서 봐요! diff --git a/2022/ko/Days/day19.md b/2022/ko/Days/day19.md new file mode 100644 index 0000000..4ceb99a --- /dev/null +++ b/2022/ko/Days/day19.md @@ -0,0 +1,310 @@ +--- +title: '#90DaysOfDevOps - Automate tasks with bash scripts - Day 19' +published: false +description: 90DaysOfDevOps - Automate tasks with bash scripts +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048774 +--- + +## bash 스크립팅을 이용한 작업 자동화 + +오늘 사용할 shell은 bash이지만, 내일 ZSH에 대해 다룰 때 다른 shell도 다룰 예정입니다. + +BASH - **B**ourne **A**gain **Sh**ell + +프로그래밍 언어처럼 shell 스크립팅에도 거의 일주일 동안의 섹션을 쓸 수 있습니다. bash는 다른 자동화 도구와 함께 작업하는 기능을 제공합니다. + +여전히 많은 사람들이 복잡한 shell 스크립트를 만들어 무언가를 실행하게 하고, 비즈니스에서 가장 중요한 부분을 이 스크립트에 의존하고 있다고 합니다. 하지만 이런 이유로 shell/bash 스크립팅을 이해해야 한다고 말하는 것은 아닙니다. 자동화 도구와 함께 사용하고 ad-hoc(특별한) 작업을 위해 shell/bash 스크립팅을 배워야 합니다. + +이 섹션에서 사용한 예로, 매주 월요일 아침에 리눅스 VM을 새로 생성하고, 해당 리눅스 기계에 필요한 모든 소프트웨어 스택을 추가하는 등의 작업을 할 수 있는 간단한 bash 스크립트로 VAGRANTFILE을 감쌀 수 있습니다. + +면접에서 스크립팅 경험 관련 질문이 점점 더 많아지고 있다는 소식도 종종 듣고 있습니다. + +### 시작하기 + +이 90일 동안 다루는 많은 것들과 마찬가지로, 진정한 배움은 경험을 통해 알게 됩니다. 실제로 경험을 통해 배우면 기억에 오래 남습니다. + +우선, 텍스트 에디터가 필요합니다. [Day 17](day17.md)에 가장 일반적인 텍스트 에디터 두 가지와 그것들을 어떻게 사용하는지에 대해 다뤘습니다. + +첫 번째 shell 스크립트를 생성해봅시다. + +`touch 90DaysOfDevOps.sh` + +그다음 `nano 90DaysOfDevOps.sh`를 입력하면 nano에서 새로운 빈 shell 스크립트가 열립니다. 여기서 원하는 텍스트 에디터를 선택할 수 있습니다. + +모든 bash 스크립트의 첫 줄은 다음과 같아야 합니다: `#!/usr/bin/bash`(bash 바이너리의 경로입니다.) + +터미널에서 `which bash`를 실행하여 이를 확인해야 합니다. Ubuntu를 사용하지 않는 경우 터미널에서는 `whereis bash`도 시도해 볼 수 있습니다. + +그러나 이미 생성된 shell 스크립트는 다른 경로들이 있을 수도 있습니다: + +- `#!/bin/bash` +- `#!/usr/bin/env bash` + +스크립트의 다음 줄에는 주석을 추가하여 스크립트의 목적이나 스크립트에 대한 정보를 제공합니다. `#`을 사용하면 코드의 특정 줄에 주석을 달고 다가올 명령어가 무엇을 할 것인지 설명할 수 있습니다. 주석을 많이 남길수록 사용자 경험이 향상된다고 생각합니다. 특히 공유할 때 그렇습니다. + +리눅스 섹션에서 설치한 figlet 프로그램을 사용하여 스크립트에서 asci 아트를 만들 때도 있습니다. + +![](/2022/Days/Images/Day19_Linux1.png) + +이 리눅스 섹션에서 앞서 다룬 모든 명령어들([Day 15](day15.md))은 스크립트를 테스트하는 간단한 명령어로 사용할 수 있습니다. + +스크립트에 간단한 코드 블록을 추가해 봅시다. + +```bash +mkdir 90DaysOfDevOps +cd 90DaysOfDevOps +touch Day19 +ls +``` + +텍스트 에디터를 저장하고 종료한 후, `./90DaysOfDevOps.sh`를 실행하면 권한이 거부되었다는 메시지가 표시됩니다. `ls -al` 명령을 사용하여 이 파일의 권한을 확인할 수 있는데 이 파일에 실행 권한이 없음을 확인할 수 있습니다. + +![](/2022/Days/Images/Day19_Linux2.png) + +`chmod +x 90DaysOfDevOps.sh`를 사용하여 이를 변경한 다음 `x`인 것을 봤을 때 스크립트를 실행할 수 있음을 확인할 수 있습니다. + +![](/2022/Days/Images/Day19_Linux3.png) + +`./90DaysOfDevOps.sh`를 사용하여 스크립트를 다시 실행할 수 있습니다. 스크립트를 실행한 후 새 디렉토리가 생성되고 해당 디렉토리로 이동한 다음 새 파일이 생성됩니다. + +![](/2022/Days/Images/Day19_Linux4.png) + +기본적인 것들이지만, 다른 도구를 호출하여 일상적인 작업을 쉽게 만들고 자동화하는 데 사용할 수 있다는 것을 알 수 있습니다. + +### 변수, 조건문 + +이 섹션의 대부분은 Golang을 배울 때 다룬 것과 중복되지만, 여기에서 다시 살펴볼 가치가 있다고 생각합니다. + +- ### 변수 + +변수를 사용하면 스크립트 내에서 반복되는 특정 용어를 한 번만 정의할 수 있습니다. + +스크립트에 변수를 추가하려면 다음과 같이 새로운 줄에 입력하면 됩니다. + +`challenge="90DaysOfDevOps"` + +이렇게 하면 코드에서 `$challenge`를 사용할 때 변수가 변경되면 전체에 반영됩니다. + +![](/2022/Days/Images/Day19_Linux5.png) + +이제 `sh` 스크립트를 실행하면 스크립트에 추가된 출력이 표시됩니다. + +![](/2022/Days/Images/Day19_Linux6.png) + +또한 다음과 같이 사용자 입력을 요청하여 변수를 설정할 수도 있습니다: + +```bash +echo "Enter your name" +read name +``` + +이렇게 하면 입력이 변수 `$name`으로 정의됩니다. 이후에 이를 사용할 수 있습니다. + +- ### 조건문 + +우리는 도전 과제에 참여한 사람과 그들이 완료한 날짜 수를 알아보고 싶을 수도 있습니다. 이를 `if`, `if-else`, `else-if` 조건문을 사용해 정의할 수 있습니다. 아래 스크립트에 이를 정의한 것을 확인할 수 있습니다. + +```bash +#!/bin/bash +# ___ ___ ____ ___ __ ____ ___ +# / _ \ / _ \| _ \ __ _ _ _ ___ / _ \ / _| _ \ _____ __/ _ \ _ __ ___ +#| (_) | | | | | | |/ _` | | | / __| | | | |_| | | |/ _ \ \ / / | | | '_ \/ __| +# \__, | |_| | |_| | (_| | |_| \__ \ |_| | _| |_| | __/\ V /| |_| | |_) \__ \ +# /_/ \___/|____/ \__,_|\__, |___/\___/|_| |____/ \___| \_/ \___/| .__/|___/ +# |___/ |_| +# +# 이 스크립트는 bash 스크립팅을 시연하기 위한 것입니다! + +# 정의할 변수 + +ChallengeName=#90DaysOfDevOps +TotalDays=90 + +# 사용자 입력 + +echo "Enter Your Name" +read name +echo "Welcome $name to $ChallengeName" +echo "How Many Days of the $ChallengeName challenge have you completed?" +read DaysCompleted + +if [ $DaysCompleted -eq 90 ] +then + echo "You have finished, well done" +elif [ $DaysCompleted -lt 90 ] +then + echo "Keep going you are doing great" +else + echo "You have entered the wrong amount of days" +fi +``` + +다음 단계로 이동하기 위해 값을 비교하거나 확인하는 과정을 위에서 볼 수 있습니다. 여기서 주목할 만한 다양한 옵션이 있습니다. + +- `eq` - 두 값이 같으면 TRUE 반환 +- `ne` - 두 값이 같지 않으면 TRUE 반환 +- `gt` - 첫 번째 값이 두 번째 값보다 크면 TRUE 반환 +- `ge` - 첫 번째 값이 두 번째 값보다 크거나 같으면 TRUE 반환 +- `lt` - 첫 번째 값이 두 번째 값보다 작으면 TRUE 반환 +- `le` - 첫 번째 값이 두 번째 값보다 작거나 같으면 TRUE 반환 + +파일 및 폴더에 대한 정보를 결정하기 위해 bash 스크립팅을 사용할 수도 있습니다. 이를 파일 조건이라고 합니다. + +- `-d file` 파일이 디렉토리인 경우 True +- `-e file` 파일이 존재하는 경우 True +- `-f file` 제공된 문자열이 파일인 경우 True +- `-g file` 파일에 그룹 ID가 설정된 경우 True +- `-r file` 파일이 읽을 수 있는 경우 True +- `-s file` 파일의 크기가 0이 아닌 경우 True + +```bash +FILE="90DaysOfDevOps.txt" +if [ -f "$FILE" ] +then + echo "$FILE is a file" +else + echo "$FILE is not a file" +fi +``` + +![](/2022/Days/Images/Day19_Linux7.png) + +디렉토리에 파일이 아직 있다면 첫 번째 echo를 반환해야 합니다. 그러나 파일을 제거하면 두 번째 echo를 반환하게 됩니다. + +![](/2022/Days/Images/Day19_Linux8.png) + +특정 항목을 시스템에서 검색할 때 시간을 절약하는 데 사용할 수 있는 방법을 확인하실 수 있습니다. + +GitHub에서 놀라운 저장소를 발견했습니다. 많은 스크립트를 가진 것 같습니다. [DevOps Bash Tools](https://github.com/HariSekhon/DevOps-Bash-tools/blob/master/README.md) + +### 예제 + +**시나리오**: 우리 회사는 "90DaysOfDevOps"라는 이름을 가지고 있으며, 이제 확장할 때가 왔습니다. 1인 팀에서 다음 몇 주 동안 더 많은 사람으로 늘리려고 합니다. 지금까지 나만이 온보딩 과정을 알고 있으므로, 이러한 작업 중 일부를 자동화하여 병목 현상을 줄이고자 합니다. + +**요구 사항**: + +- 사용자 이름이 커맨드 라인 인수로 전달될 수 있습니다. +- 커맨드 라인 인수의 이름으로 사용자가 생성됩니다. +- password가 커맨드 라인 인수로 전달될 수 있습니다. +- 사용자의 password가 설정됩니다. +- 계정 생성이 성공적으로 이루어졌음을 나타내는 메시지가 표시됩니다. + +먼저 `touch create_user.sh`를 사용하여 shell 스크립트를 생성합시다. + +계속 진행하기 전에, `chmod +x create_user.sh`를 사용하여 이를 실행 가능하게 만들어줍시다. + +그런 다음 `nano create_user.sh`를 사용하여 설정한 시나리오에 대한 스크립트 편집을 시작하겠습니다. + +첫 번째 요구 사항인 "사용자 이름이 커맨드 라인 인수로 전달될 수 있습니다."는 다음과 같이 사용할 수 있습니다. + +```bash +#! /usr/bin/bash + +# 사용자 이름이 커맨드 라인 인수로 전달될 수 있습니다. +echo "$1" +``` + +![](/2022/Days/Images/Day19_Linux9.png) + +이를 실행하려면 `./create_user.sh Michael`을 사용하십시오. Michael 대신에 당신의 이름을 사용하세요. + +![](/2022/Days/Images/Day19_Linux10.png) + +다음으로 두 번째 요구 사항인 "커맨드 라인 인수의 이름으로 사용자가 생성됩니다."를 처리할 수 있습니다. 이는 `useradd` 명령어를 사용하여 수행할 수 있습니다. `-m` 옵션은 사용자 홈 디렉토리를 /home/username으로 생성하기 위한 것입니다. + +```bash +#! /usr/bin/bash + +# 사용자 이름이 커맨드 라인 인수로 전달될 수 있습니다. +echo "$1 user account being created." + +# 커맨드 라인 인수의 이름으로 사용자가 생성됩니다. +sudo useradd -m "$1" +``` + +경고: 사용자 계정 이름을 제공하지 않으면 `$1` 변수가 채워지지 않아 오류가 발생합니다. + +계정이 생성되었는지 확인하려면 `awk -F: '{ print $1}' /etc/passwd` 명령을 사용합니다. + +![](/2022/Days/Images/Day19_Linux11.png) + +다음 요구 사항은 "password가 커맨드 라인 인수로 전달될 수 있습니다."입니다. 먼저, 이는 실제 환경에서는 절대 사용하지 않는 것이 좋습니다. 이는 단지 연습을 위한 것이며, 이를 통해 요구 사항을 이해할 수 있습니다. + +```bash +#! /usr/bin/bash + +# 사용자 이름이 커맨드 라인 인수로 전달될 수 있습니다. +echo "$1 user account being created." + +# 커맨드 라인 인수의 이름으로 사용자가 생성됩니다. +sudo useradd -m "$1" + +# password가 커맨드 라인 인수로 전달될 수 있습니다. +sudo chpasswd <<< "$1":"$2" +``` + +두 개의 파라미터로 이 스크립트를 실행하려면 `./create_user.sh 90DaysOfDevOps password`를 사용하세요. + +아래 이미지에서 스크립트를 실행하여 사용자와 password를 생성한 다음, 수동으로 해당 사용자로 전환하고 `whoami` 명령으로 확인했다는 것을 알 수 있습니다. + +![](/2022/Days/Images/Day19_Linux12.png) + +마지막 요구 사항은 "계정 생성이 성공적으로 이루어졌음을 나타내는 메시지가 표시됩니다."입니다. 우리는 이미 코드의 첫 번째 줄에 이를 포함하고 있으며, 위의 스크린샷에서 `90DaysOfDevOps user account being created`라는 메시지가 표시되는 것을 볼 수 있습니다. 이는 `$1` 매개변수로 테스트할 때 남겨진 것입니다. + +이제 이 스크립트를 사용하여 리눅스 시스템에 새 사용자를 빠르게 온보딩하고 설정할 수 있습니다. 하지만 기존 사용자 중 몇 명이 이 과정을 거쳐 다른 사람들에게 새 사용자 이름이나 password를 알려주는 대신 앞서 다룬 사용자 입력을 추가하여 변수를 수집할 수 있습니다. + +```bash +#! /usr/bin/bash + +echo "What is your intended username?" +read username +echo "What is your password" +read password + +# 사용자 이름이 커맨드 라인 인수로 전달될 수 있습니다. +echo "$username user account being created." + +# 커맨드 라인 인수의 이름으로 사용자가 생성됩니다. +sudo useradd -m $username + +# password가 커맨드 라인 인수로 전달될 수 있습니다. +sudo chpasswd <<< $username:$password +``` + +단계를 더욱 인터랙티브하게 만들면 + +![](/2022/Days/Images/Day19_Linux14.png) + +마무리하기 위해, 새 사용자 계정이 생성되었다는 성공적인 출력을 원할 수도 있습니다. + +![](/2022/Days/Images/Day19_Linux15.png) + +한 가지 눈에 띄는 점은 입력 시 비밀번호가 표시된다는 점인데, 코드 `read -s password`에서의 `-s` 플래그를 사용하여 이를 숨길 수 있습니다. + +![](/2022/Days/Images/Day19_Linux16.png) + +실험 목적으로 생성한 사용자를 삭제하려면 `sudo userdel test_user`를 사용할 수 있습니다. + +[예제 스크립트](/2022/Days/Linux/create-user.sh) + +한 번 더 강조하고 싶은 바는, 이것은 shell 스크립팅이 유연하게 활용될 수 있는 다양한 용도를 갖는다는 것을 강조하기 위해 만들어진 것이라는 것입니다. + +매일, 매주, 매월 반복되는 작업이 어떤 것이 있는지 생각해보고, 그것을 어떻게 더 잘 자동화할 수 있을지 생각해보세요. 첫 번째 옵션은 주로 bash 스크립트를 사용하는 것이며, 그 이후에는 더 복잡한 영역으로 이동할 수 있습니다. + +저는 제 로컬 머신에서 minikube를 사용하여 쿠버네티스 클러스터를 빠르게 생성하고 데이터 서비스 및 Kasten K10을 사용하여 데이터 관리에 대한 요구 사항과 필요성을 보여주기 위한 매우 간단한 [bash 파일](https://github.com/MichaelCade/project_pace/blob/main/singlecluster_demo.sh)을 생성했습니다만, 아직 쿠버네티스를 다루지 않았기 때문에 여기서 다루는 것이 적절하지 않다고 생각합니다. + +## 자료 + +- [Bash in 100 seconds](https://www.youtube.com/watch?v=I4EWvMFj37g) +- [Bash script with practical examples - Full Course](https://www.youtube.com/watch?v=TPRSJbtfK4M) +- [Client SSH GUI - Remmina](https://remmina.org/) +- [The Beginner's guide to SSH](https://www.youtube.com/watch?v=2QXkrLVsRmk) +- [Vim in 100 Seconds](https://www.youtube.com/watch?v=-txKSRn0qeA) +- [Vim tutorial](https://www.youtube.com/watch?v=IiwGbcd8S7I) +- [Learn the Linux Fundamentals - Part 1](https://www.youtube.com/watch?v=kPylihJRG70) +- [Linux for hackers (don't worry you don't need to be a hacker!)](https://www.youtube.com/watch?v=VbEx7B_PTOE) + +[Day 20](day20.md)에서 봐요! diff --git a/2022/ko/Days/day20.md b/2022/ko/Days/day20.md new file mode 100644 index 0000000..8bd14e8 --- /dev/null +++ b/2022/ko/Days/day20.md @@ -0,0 +1,166 @@ +--- +title: '#90DaysOfDevOps - Dev workstation setup - All the pretty things - Day 20' +published: false +description: 90DaysOfDevOps - Dev workstation setup - All the pretty things +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048734 +--- + +## 개발 워크스테이션 설정 - 예쁜 모든 것들 + +이 내용은 Linux 서버를 설정하는 것과 혼동되지 않도록 주의해야 하며, Linux 데스크톱의 선택성 및 유연성을 보여주고자 합니다. + +저는 거의 일 년 동안 Linux 데스크톱을 사용해 왔고, 외관과 느낌 측면에서 원하는 대로 구성했습니다. Ubuntu VM과 Virtual Box를 이용하여 사용자 지정 맞춤 구성을 해봅시다. + +더 쉽게 따라 할 수 있는 분들을 위해 설명 외의 부분에 대한 YouTube 동영상을 준비했습니다. + +[![Click to access YouTube Video](/2022/Days/Images/Day20_YouTube.png)](https://youtu.be/jeEslAtHfKc) + +기본적으로 시스템은 아래와 같이 표시됩니다. + +![](/2022/Days/Images/Day20_Linux1.png) + +기본 bash shell은 아래에서 볼 수 있습니다. + +![](/2022/Days/Images/Day20_Linux2.png) + +이 중 많은 부분이 dotfiles와 관련이 있으며, 이 시리즈의 마지막 Linux 세션에서 다루게 됐습니다. + +### dotfiles + +먼저 dotfiles에 대해 알아보고 싶습니다. 리눅스가 구성 파일로 구성되어 있다고 이전에 언급했습니다. 이 dotfiles는 리눅스 시스템과 응용 프로그램의 구성 파일입니다. + +또한 dotfiles는 데스크톱을 꾸미고 예쁘게 만드는 데 사용되는 것뿐만 아니라 생산성을 돕는 구성 변경 및 설정이 있다고 덧붙입니다. + +앞서 언급했듯이 많은 소프트웨어 프로그램들이 이 dotfiles에 구성을 저장합니다. 이 dotfiles는 기능 관리를 돕습니다. + +각 dotfile은 `.`으로 시작합니다. 이름이 어떻게 지어졌는지 짐작할 수 있을 것입니다. + +지금까지 우리는 shell로서 bash를 사용해 왔으므로 홈 폴더에 .bashrc와 .bash_profile이 있을 것입니다. 아래에서 시스템에 있는 몇 가지 dotfiles를 볼 수 있습니다. + +![](/2022/Days/Images/Day20_Linux3.png) + +우리는 shell을 변경할 것이므로, 나중에 새로운 `.zshrc` dotfile을 볼 수 있습니다. + +dotfiles은 구성 파일임을 알 수 있습니다. 우리는 이것들을 사용하여 명령 프롬프트에 별칭을 추가하거나 다른 위치로 경로를 추가할 수 있습니다. 일부 사람들은 자신의 dotfiles를 공개적으로 사용할 수 있도록 게시합니다. 제 dotfiles는 [MichaelCade/dotfiles](https://github.com/MichaelCade/dotfiles)에서 찾을 수 있습니다. 여기에는 저의 맞춤형 `.zshrc` 파일, 제가 선택한 터미널인 terminator의 구성 파일이 폴더에 있고, 그리고 일부 배경 옵션이 있습니다. + +### ZSH + +앞에서 언급했듯이, 지금까지의 상호 작용에서 우리는 기본 shell인 Ubuntu와 함께 제공되는 bash shell을 사용했습니다. ZSH는 매우 유사하지만, bash보다 몇 가지 이점이 있습니다. + +Zsh에는 대화형 탭 완성, 자동 파일 검색, 정규식 통합, 명령 범위를 정의하는 고급 단축어 및 풍부한 테마 엔진과 같은 기능이 있습니다. + +우리는 `apt` 패키지 관리자를 사용하여 시스템에 zsh를 설치할 수 있습니다. bash 터미널에서 `sudo apt install zsh`를 실행해 봅시다. 이 작업은 VM 콘솔 내에서 수행할 예정이며 SSH를 통해 연결하는 대신에 진행합니다. + +설치 명령이 완료되면 터미널 내에서 `zsh`를 실행할 수 있으며, 이렇게 하면 shell 구성 스크립트가 시작됩니다. + +![](/2022/Days/Images/Day20_Linux4.png) + +위 질문에 대해 `1`을 선택했고, 이제 더 많은 옵션을 볼 수 있습니다. + +![](/2022/Days/Images/Day20_Linux5.png) + +이 메뉴에서 몇 가지 기본 제공 편집을 통해 필요에 따라 ZSH를 구성할 수 있음을 알 수 있습니다. + +`0`으로 종료한 다음 `ls -al | grep .zshrc`를 사용하면 새로운 구성 파일이 있는 것을 확인할 수 있습니다. + +이제 우리는 터미널을 열 때마다 zsh를 기본 shell로 사용하려고 합니다. 이를 위해 shell을 변경하는 `chsh -s $(which zsh)` 명령을 실행할 수 있습니다. 그런 다음 로그아웃하고 다시 로그인하여 변경 사항이 적용되도록 해야 합니다. + +로그인 후 터미널을 열면 아래와 같이 보일 것입니다. 또한 `which $SHELL`을 실행하여 shell이 변경되었음을 확인할 수 있습니다. + +![](/2022/Days/Images/Day20_Linux6.png) + +일반적으로 저는 각 Ubuntu 데스크톱에서 이 단계를 수행하며, 이 외에도 zsh shell이 bash보다 약간 빠르다고 느낍니다. + +### OhMyZSH + +다음으로 터미널 내에서 조금 더 나은 모습과 추가 기능을 제공하고자 합니다. + +OhMyZSH는 zsh 구성을 관리하기 위한 무료 오픈 소스 프레임워크입니다. 플러그인, 테마 등 많은 것들이 있어 zsh shell과 상호 작용하는 것이 훨씬 재밌습니다. + +[ohmyzsh](https://ohmyz.sh/)에 대한 자세한 정보를 확인해보세요. + +Oh My ZSH를 설치합시다. `curl`, `wget` 또는 `fetch` 중에서 선택할 수 있는데, 첫 번째 두 가지는 시스템에서 사용 가능하지만, `curl`로 시작하겠습니다. + +`sh -c "$(curl -fsSL https://raw.githubusercontent.com/ohmyzsh/ohmyzsh/master/tools/install.sh)"` + +위 명령을 실행하면 아래와 같은 출력을 볼 수 있습니다. + +![](/2022/Days/Images/Day20_Linux7.png) + +이제 우리의 경험을 위한 테마를 시작할 수 있습니다. Oh My ZSH에는 100개 이상의 테마가 포함되어 있지만, 저의 모든 애플리케이션과 모든 것에 대한 기본값은 Dracula 테마입니다. + +또한 Oh My ZSH를 사용할 때 다음 두 가지 플러그인을 반드시 사용해야 한다고 강조하고 싶습니다. + +`git clone https://github.com/zsh-users/zsh-autosuggestions.git $ZSH_CUSTOM/plugins/zsh-autosuggestions` + +`git clone https://github.com/zsh-users/zsh-syntax-highlighting.git $ZSH_CUSTOM/plugins/zsh-syntax-highlighting` + +`nano ~/.zshrc` + +플러그인을 편집하여 이제 `plugins=(git zsh-autosuggestions zsh-syntax-highlighting)`를 포함하도록 합니다. + +### Gnome Extensions + +저는 Gnome Extensions도 사용하며, 특히 아래 목록을 사용합니다. + +[Gnome extensions](https://extensions.gnome.org) + + - Caffeine + - CPU Power Manager + - Dash to Dock + - Desktop Icons + - User Themes + +## 소프트웨어 설치 + +`apt`를 사용하여 제 컴퓨터에 설치한 프로그램 목록입니다. + + - VSCode + - azure-cli + - containerd.io + - docker + - docker-ce + - google-cloud-sdk + - insomnia + - packer + - terminator + - terraform + - vagrant + +### Dracula 테마 + +[Dracula Theme](https://draculatheme.com/)는 제가 유일하게 사용하는 테마입니다. 깔끔하고 명확한 모습이며 모든 것이 훌륭해 보입니다. 이 사이트에서는 컴퓨터에서 사용하는 다양한 프로그램을 지원합니다. + +위 링크에서 zsh를 검색하면 최소 두 가지 옵션을 찾을 수 있습니다. + +수동 설치 또는 git을 사용하여 설치할 수 있는 지침을 따릅니다. 그런 다음 아래와 같이 `.zshrc` 구성 파일을 편집해야 합니다. + +![](/2022/Days/Images/Day20_Linux8.png) + +다음으로 [Gnome Terminal Dracula theme](https://draculatheme.com/gnome-terminal)를 원하게 될 텐데, 여기에 모든 지침이 나와 있습니다. + +모든 단계를 문서화하는 데 오랜 시간이 걸릴 것이므로, 저는 과정을 동영상으로 제공했습니다.(아래 이미지를 클릭하세요) + +[![](/2022/Days/Images/Day20_YouTube.png)](https://youtu.be/jeEslAtHfKc) + +여기까지 왔다면, 이제 #90DaysOfDevOps의 Linux 섹션을 완료했습니다. 다시 한번, 피드백과 추가 자료에 대해서는 언제든지 환영입니다. + +여기에 적는 것보다 동영상을 통해 많은 단계를 보여드리는 것이 더 쉬울거라고 생각했는데, 이에 대해 어떻게 생각하시나요? 저는 이 글을 다시 읽어보고 가능하면 동영상 연습을 만들어서 우리가 다룬 내용들을 더 잘 설명하고 보여줄 수 있도록 하고자 합니다. 어떻게 생각하시나요? + +## 자료 + +- [Bash in 100 seconds](https://www.youtube.com/watch?v=I4EWvMFj37g) +- [Bash script with practical examples - Full Course](https://www.youtube.com/watch?v=TPRSJbtfK4M) +- [Client SSH GUI - Remmina](https://remmina.org/) +- [The Beginner's guide to SSH](https://www.youtube.com/watch?v=2QXkrLVsRmk) +- [Vim in 100 Seconds](https://www.youtube.com/watch?v=-txKSRn0qeA) +- [Vim tutorial](https://www.youtube.com/watch?v=IiwGbcd8S7I) +- [Learn the Linux Fundamentals - Part 1](https://www.youtube.com/watch?v=kPylihJRG70) +- [Linux for hackers (don't worry you don't need to be a hacker!)](https://www.youtube.com/watch?v=VbEx7B_PTOE) + +내일부터 7일간 네트워킹에 대해 알아보는 시간을 가지며, 데브옵스와 관련된 네트워킹에 대한 기초적인 지식과 이해를 쌓을 것입니다. + +[Day 21](day21.md)에서 봐요! diff --git a/2022/ko/Days/day21.md b/2022/ko/Days/day21.md new file mode 100644 index 0000000..180b1f9 --- /dev/null +++ b/2022/ko/Days/day21.md @@ -0,0 +1,115 @@ +--- +title: '#90DaysOfDevOps - The Big Picture: DevOps and Networking - Day 21' +published: false +description: 90DaysOfDevOps - The Big Picture DevOps and Networking +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048761 +--- + +## 큰 그림: 데브옵스와 네트워킹 + +모든 섹션과 마찬가지로 공개 및 무료 교육 자료를 사용하고 있으며 많은 콘텐츠가 다른 사람의 저작물일 수 있습니다. 네트워킹 섹션의 경우, 표시된 콘텐츠의 대부분은 [Practical Networking](https://www.practicalnetworking.net/)의 무료 [Networking Fundamentals series](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi)에서 가져온 것입니다. 리소스에도 링크와 함께 언급되어 있지만 커뮤니티의 관점에서 특정 기술 분야에 대한 이해를 돕기 위해 이 과정을 활용했기 때문에 이 점을 강조하는 것이 적절합니다. 이 저장소는 제 메모를 저장하고 커뮤니티가 이 과정과 나열된 리소스로부터 혜택을 받을 수 있도록 하는 저장소입니다. + +21일 차에 오신 것을 환영합니다! 앞으로 7일 동안 네트워킹과 데브옵스가 가장 중요한 주제이지만, 네트워킹의 기본에 대해서도 살펴볼 필요가 있을 것입니다. + +궁극적으로 앞서 말씀드렸듯이 데브옵스는 조직 내 문화와 프로세스 변화에 관한 것으로, 앞서 논의한 것처럼 가상 머신, 컨테이너 또는 Kubernetes가 될 수도 있지만 네트워크가 될 수도 있습니다. 데브옵스 관점에서 네트워크를 더 많이 포함해야 하는 인프라에 이러한 데브옵스 원칙을 사용한다면 사용 가능한 다양한 Topology 및 네트워킹 도구와 스택에서와 같이 네트워크에 대해서도 알아야 합니다. + +저는 코드로 인프라스트럭처의 네트워킹 디바이스를 구성하고 가상 머신처럼 모든 것을 자동화해야 한다고 주장하지만, 그렇게 하려면 무엇을 자동화할지 잘 이해해야 합니다. + +### 넷데브옵스 | 네트워크 데브옵스란 무엇인가요? + +네트워크 데브옵스 또는 넷데브옵스라는 용어를 들어보셨을 수도 있습니다. 이미 네트워크 엔지니어이고 인프라 내의 네트워크 구성 요소를 잘 파악하고 있다면 DHCP, DNS, NAT 등과 같은 네트워킹에 사용되는 요소를 이해하고 있을 것입니다. 또한 하드웨어 또는 소프트웨어 정의 네트워킹 옵션, 스위치, 라우터 등에 대해서도 잘 이해하고 있을 것입니다. + +하지만 네트워크 엔지니어가 아니라면 네트워크 데브옵스의 최종 목표를 이해하려면 이러한 영역 중 일부에 대한 전반적인 기초 지식이 필요할 수 있습니다. + +그러나 이러한 용어와 관련하여 NetDevOps 또는 네트워크 데브옵스를 네트워크에 데브옵스 원칙과 관행을 적용하고 버전 제어 및 자동화 도구를 네트워크 생성, 테스트, 모니터링 및 배포에 적용하는 것으로 생각할 수 있습니다. + +네트워크 데브옵스를 자동화가 필요한 것으로 생각한다면, 앞서 데브옵스가 팀 간의 사일로를 허무는 것에 대해 언급했습니다. 네트워킹 팀이 유사한 모델과 프로세스로 변경하지 않으면 병목 현상이 발생하거나 전체적으로 장애가 발생할 수 있습니다. + +프로비저닝, 구성, 테스트, 버전 제어 및 배포와 관련된 자동화 원칙을 사용하는 것이 좋은 출발점입니다. 자동화는 전반적으로 배포 속도, 네트워킹 인프라의 안정성, 지속적인 개선을 가능하게 할 뿐만 아니라 테스트가 완료되면 여러 환경에서 프로세스를 공유할 수 있습니다. 예를 들어 한 환경에서 완전히 테스트 된 네트워크 정책은 이전에는 수동으로 작성된 프로세스와 달리 코드로 되어 있기 때문에 다른 위치에서도 빠르게 사용할 수 있습니다. +이러한 사고에 대한 좋은 관점과 개요는 여기에서 찾을 수 있습니다. [Network DevOps](https://www.thousandeyes.com/learning/techtorials/network-devops) + +## 네트워킹 기본 사항 + +여기서는 데브옵스 측면은 잠시 접어두고 이제 네트워킹의 기본 사항에 대해 간략히 살펴보겠습니다. + +### 네트워크 장치 + +이 콘텐츠를 동영상으로 보고 싶으시다면 Practical Networking에서 다음 동영상을 확인하세요: + +- [Network Devices - Hosts, IP Addresses, Networks - Networking Fundamentals - Lesson 1a](https://www.youtube.com/watch?v=bj-Yfakjllc&list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi&index=1) +- [Network Devices - Hub, Bridge, Switch, Router - Networking Fundamentals - Lesson 1b](https://www.youtube.com/watch?v=H7-NR3Q3BeI&list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi&index=2) + +**호스트**는 트래픽을 보내거나 받는 모든 장치입니다. + +![](/2022/Days/Images/Day21_Networking1.png) + +**IP 주소**는 각 호스트의 신원입니다. + +![](/2022/Days/Images/Day21_Networking2.png) + +**네트워크**는 호스트 간에 트래픽을 전송하는 역할을 합니다. 네트워크가 없다면 데이터를 수동으로 많이 이동해야 할 것입니다! + +비슷한 연결이 필요한 호스트의 논리적 그룹입니다. + +![](/2022/Days/Images/Day21_Networking3.png) + +**스위치**는 네트워크 내에서 통신을 촉진합니다. 스위치는 호스트 간에 데이터 패킷을 전달합니다. 스위치는 호스트에 직접 패킷을 보냅니다. + +- 네트워크: 유사한 연결이 필요한 호스트들의 그룹. +- 네트워크의 호스트는 동일한 IP 주소 공간을 공유합니다. + +![](/2022/Days/Images/Day21_Networking4.png) + +**라우터**는 네트워크 간의 통신을 용이하게 합니다. 앞서 스위치가 네트워크 내의 통신을 관리한다고 말했듯이 라우터는 이러한 네트워크를 함께 연결하거나 최소한 허용되는 경우 서로에 대한 액세스 권한을 부여할 수 있게 해줍니다. + +라우터는 트래픽 제어 지점(보안, 필터링, 리디렉션)을 제공할 수 있습니다. 최근에는 이러한 기능 중 일부를 제공하는 스위치도 점점 더 많아지고 있습니다. + +라우터는 자신이 연결된 네트워크를 학습합니다. 이를 라우트라고 하며 라우팅 테이블은 라우터가 알고 있는 모든 네트워크입니다. + +라우터는 연결된 네트워크에 IP 주소를 가지고 있습니다. 이 IP는 게이트웨이라고도 하는 각 호스트가 로컬 네트워크에서 나가는 통로가 되기도 합니다. + +라우터는 또한 앞서 언급한 네트워크에서 계층 구조를 생성합니다. + +![](/2022/Days/Images/Day21_Networking5.png) + +## 스위치 대 라우터 + +**라우팅**은 네트워크 간에 데이터를 이동하는 프로세스입니다. + +- 라우터는 라우팅을 주요 목적으로 하는 장치입니다. + +**스위칭**은 네트워크 내에서 데이터를 이동하는 프로세스입니다. + +- 스위치는 스위칭을 주목적으로 하는 장치입니다. + +다음과 같이 다양한 네트워크 장치가 있다는 것을 알고 있으므로 이는 장치에 대한 기본적인 개요입니다: + +- 액세스 포인트 +- 방화벽 +- 로드 밸런서 +- 레이어 3 스위치 +- IDS/IPS +- 프록시 +- 가상 스위치 +- 가상 라우터 + +이러한 모든 장치는 라우팅 및/또는 스위칭을 수행합니다. + +앞으로 며칠 동안 이 목록에 대해 조금 더 자세히 알아보도록 하겠습니다. + +- OSI 모델 +- 네트워크 프로토콜 +- DNS(도메인 이름 시스템) +- NAT +- DHCP +- 서브넷 + +## 자료 + +- [Networking Fundamentals](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) + +[Day 22](day22.md)에서 봐요! diff --git a/2022/ko/Days/day22.md b/2022/ko/Days/day22.md new file mode 100644 index 0000000..7814c7d --- /dev/null +++ b/2022/ko/Days/day22.md @@ -0,0 +1,111 @@ +--- +title: '#90DaysOfDevOps - The OSI Model - The 7 Layers - Day 22' +published: false +description: 90DaysOfDevOps - The OSI Model - The 7 Layers +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049037 +--- + +아래 콘텐츠는 대부분 실용적인 네트워킹의 [Networking Fundamentals series](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi)에서 가져온 것입니다. 이 콘텐츠를 동영상으로 보고 싶으시다면 다음 두 동영상을 확인해 보세요: + +- [The OSI Model: A Practical Perspective - Layers 1 / 2 / 3](https://www.youtube.com/watch?v=LkolbURrtTs&list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi&index=3) +- [The OSI Model: A Practical Perspective - Layers 4 / 5+](https://www.youtube.com/watch?v=0aGqGKrRE0g&list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi&index=4) + +## OSI 모델 - 7개의 Layers + +산업으로서 네트워킹의 전반적인 목적은 두 호스트가 데이터를 공유할 수 있도록 하는 것입니다. 네트워킹 이전에는 이 호스트에서 이 호스트로 데이터를 가져오려면 이 호스트에 무언가를 꽂고 다른 호스트에 가서 다른 호스트에 꽂아야 했습니다. + +네트워킹을 사용하면 호스트가 유선을 통해 데이터를 자동으로 공유할 수 있으므로 이 작업을 자동화할 수 있으며, 이 작업을 수행하려면 호스트가 일련의 규칙을 따라야 합니다. + +이는 모든 언어와 다르지 않습니다. 영어에는 두 명의 영어 사용자가 따라야 하는 일련의 규칙이 있습니다. 스페인어에도 고유한 규칙이 있습니다. 프랑스어에는 고유한 규칙이 있으며, 네트워킹에도 고유한 규칙이 있습니다. + +네트워킹에 대한 규칙은 7가지 계층으로 나뉘며, 이러한 계층을 OSI 모델이라고 합니다. + +### OSI 모델 소개 + +OSI 모델(개방형 시스템 상호 연결 모델)은 네트워킹 시스템의 기능을 설명하는 데 사용되는 프레임워크입니다. OSI 모델은 서로 다른 제품과 소프트웨어 간의 상호 운용성을 지원하기 위해 컴퓨팅 기능을 보편적인 규칙과 요구 사항으로 특성화합니다. OSI 참조 모델에서 컴퓨팅 시스템 간의 통신은 7가지 추상화 계층으로 나뉩니다: **물리적, 데이터 링크, 네트워크, 전송, 세션, 프레젠테이션 및 애플리케이션**. + +![](/2022/Days/Images/Day22_Networking1.png) + +### 물리적 + +OSI 모델에서 Layer 1은 물리적이라고 하며, 물리적 케이블 등 수단을 통해 한 호스트에서 다른 호스트로 데이터를 전송할 수 있다는 전제하에 이 Layer에서도 Wi-Fi를 고려할 수 있습니다. 또한 한 호스트에서 다른 호스트로 데이터를 전송하기 위해 허브와 중계기 주변에서 더 많은 레거시 하드웨어를 볼 수 있습니다. + +![](/2022/Days/Images/Day22_Networking2.png) + +### 데이터 링크 + +Layer 2의 데이터 링크는 데이터가 프레임으로 패키지화되는 노드 간 전송을 가능하게 합니다. 또한 물리 계층에서 발생했을 수 있는 오류를 수정하는 수준도 있습니다. 또한 이 단계에서 MAC 주소가 도입되거나 처음 등장합니다. + +네트워킹 첫날인 [Day 21](day21.md) +에서 다룬 스위치에 대한 첫 번째 언급도 여기에서 볼 수 있습니다. + +![](/2022/Days/Images/Day22_Networking3.png) + +### 네트워크 + +Layer 3 스위치 또는 Layer 2 스위치라는 용어를 들어보셨을 것입니다. OSI 모델인 Layer 3에서 네트워크는 End to End 전송을 목표로 하며, 첫날 개요에서 언급한 IP 주소가 있는 곳입니다. + +라우터와 호스트는 Layer 3에 존재하며, 라우터는 여러 네트워크 간에 라우팅하는 기능이라는 점을 기억하세요. IP가 있는 모든 것은 Layer 3으로 간주할 수 있습니다. + +![](/2022/Days/Images/Day22_Networking4.png) + +그렇다면 왜 Layer 2와 3 모두에 주소 체계가 필요할까요? (MAC 주소와 IP 주소) + +한 호스트에서 다른 호스트로 데이터를 전송하는 것을 생각해 보면, 각 호스트에는 IP 주소가 있지만 그사이에는 여러 개의 스위치와 라우터가 있습니다. 각 장치에는 Layer 2 MAC 주소가 있습니다. + +Layer 2 MAC 주소는 호스트에서 스위치/라우터로만 이동하며 hop에 중점을 두는 반면, Layer 3 IP 주소는 데이터 패킷이 최종 호스트에 도달할 때까지 해당 패킷을 유지합니다. (End to End) + +IP 주소 - Layer 3 = End to End 전송 + +MAC 주소 - Layer 2 = Hop to Hop 전송 + +이제 Layer3와 Layer2 주소를 연결하는 ARP(주소 확인 프로토콜)라는 네트워크 프로토콜이 있지만 오늘은 다루지 않겠습니다. + +### 전송 + +서비스 간 전송, Layer 4는 데이터 스트림을 구분하기 위해 존재합니다. Layer 3과 Layer 2에 주소 체계가 있는 것과 마찬가지로 Layer 4에는 포트가 있습니다. + +![](/2022/Days/Images/Day22_Networking5.png) + +### 세션, 프레젠테이션, 애플리케이션 + +Layers 5,6,7의 구분이 다소 모호해졌습니다. + +보다 최근의 이해를 돕기 위해 [TCP IP Model](https://www.geeksforgeeks.org/tcp-ip-model/)을 살펴보는 것이 좋습니다. + +이제 이 네트워킹 스택을 사용하여 호스트가 서로 통신할 때 어떤 일이 일어나는지 설명해 보겠습니다. 이 호스트에는 다른 호스트로 전송할 데이터를 생성하는 애플리케이션이 있습니다. + +소스 호스트는 캡슐화 프로세스라고 하는 과정을 거치게 됩니다. 이 데이터는 먼저 Layer 4로 전송됩니다. + +Layer 4는 해당 데이터에 헤더를 추가하여 서비스 간 전송이라는 Layer 4의 목표를 용이하게 할 수 있습니다. 이 헤더는 TCP 또는 UDP를 사용하는 포트가 될 것입니다. 또한 소스 포트와 대상 포트도 포함됩니다. + +이를 세그먼트(데이터 및 포트)라고도 합니다. + +이 세그먼트는 OSI 스택을 통해 네트워크 계층인 Layer 3으로 전달되고, 네트워크 계층은 이 데이터에 또 다른 헤더를 추가합니다. +이 헤더는 End to End 전송이라는 Layer 3의 목표를 달성하기 위한 것으로, 이 헤더에는 소스 IP 주소와 대상 IP가 있으며, 헤더와 데이터를 합쳐 패킷이라고도 합니다. + +그러면 Layer 3이 해당 패킷을 받아 Layer 2로 전달하고, Layer 2는 다시 한번 해당 데이터에 또 다른 헤더를 추가하여 Layer 2의 목표인 Hop to Hop 전송을 달성하게 되는데, 이 헤더에는 소스 및 대상 맥 주소가 포함됩니다. +Layer 2 헤더와 데이터가 있을 때 이를 프레임이라고 합니다. + +그런 다음 이 프레임은 1과 0으로 변환되어 Layer 1 물리적 케이블 또는 Wi-Fi를 통해 전송됩니다. + +![](/2022/Days/Images/Day22_Networking6.png) + +위에서 헤더와 데이터의 각 Layer에 대한 네이밍에 대해 언급했지만, 이것도 그려보기로 했습니다. + +![](/2022/Days/Images/Day22_Networking7.png) + +데이터를 전송하는 애플리케이션은 어딘가로 데이터를 전송하고 있으므로 수신은 스택을 거슬러 올라가 수신 호스트에 전달하기 위해 다소 역방향으로 이루어집니다. + +![](/2022/Days/Images/Day22_Networking8.png) + +## 자료 + +- [Networking Fundamentals](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi) + +* [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) + +[Day 23](day23.md)에서 봐요! diff --git a/2022/ko/Days/day23.md b/2022/ko/Days/day23.md new file mode 100644 index 0000000..dea0573 --- /dev/null +++ b/2022/ko/Days/day23.md @@ -0,0 +1,122 @@ +--- +title: '#90DaysOfDevOps - Network Protocols - Day 23' +published: false +description: 90DaysOfDevOps - Network Protocols +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048704 +--- + +아래 콘텐츠는 대부분 실용적인 네트워킹의 [Networking Fundamentals series](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi)에서 가져온 것입니다. 이 콘텐츠를 동영상으로 보고 싶으시다면 이 동영상을 확인해보세요: + +- [Network Protocols - ARP, FTP, SMTP, HTTP, SSL, TLS, HTTPS, DNS, DHCP](https://www.youtube.com/watch?v=E5bSumTAHZE&list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi&index=12) + +## 네트워크 프로토콜 + +인터넷 표준을 구성하는 일련의 규칙과 메시지입니다. + +- ARP - 주소 확인 프로토콜 + +ARP에 대해 자세히 알고 싶으시다면 여기에서 인터넷 표준을 읽어보세요. [RFC 826](https://datatracker.ietf.org/doc/html/rfc826) + +Layer 2 네트워크에서 IP 주소를 고정된 물리적 컴퓨터 주소(MAC 주소라고도 함)에 연결합니다. + +![](/2022/Days/Images/Day23_Networking1.png) + +- FTP - 파일 전송 프로토콜 + +소스에서 대상으로 파일을 전송할 수 있습니다. 일반적으로 이 프로세스는 인증되지만, 익명 액세스를 사용하도록 구성한 경우 사용할 수 있습니다. 이제 더 나은 보안을 위해 클라이언트에서 FTP 서버로 SSL/TLS 연결을 제공하는 FTPS를 더 자주 보게 될 것입니다. 이 프로토콜은 OSI 모델의 애플리케이션 계층에서 찾을 수 있습니다. + +![](/2022/Days/Images/Day23_Networking2.png) + +- SMTP - 단순 메일 전송 프로토콜 + +전자 메일 전송에 사용되는 메일 서버는 SMTP를 사용하여 메일 메시지를 보내고 받습니다. Microsoft 365를 사용하더라도 SMTP 프로토콜이 동일한 용도로 사용된다는 것을 알 수 있습니다. + +![](/2022/Days/Images/Day23_Networking3.png) + +- HTTP - 하이퍼 텍스트 전송 프로토콜 + +HTTP는 인터넷과 콘텐츠 탐색의 기초입니다. 우리가 즐겨 찾는 웹사이트에 쉽게 액세스할 수 있게 해줍니다. HTTP는 여전히 많이 사용되고 있지만, 대부분의 즐겨 찾는 사이트에서는 HTTPS가 더 많이 사용되고 있거나 사용되어야 합니다. + +![](/2022/Days/Images/Day23_Networking4.png) + +- SSL - 보안 소켓 계층 | TLS - 전송 계층 보안 + +SSL의 뒤를 이어 등장한 TLS는 네트워크를 통해 안전한 통신을 제공하는 **암호화 프로토콜**입니다. 메일, 인스턴트 메시징 및 기타 애플리케이션에서 찾을 수 있지만 가장 일반적으로 HTTPS를 보호하는 데 사용됩니다. + +![](/2022/Days/Images/Day23_Networking5.png) + +- HTTPS - SSL/TLS로 보호되는 HTTP + +네트워크를 통한 보안 통신에 사용되는 HTTP의 확장인 HTTPS는 위에서 언급한 것처럼 TLS로 암호화됩니다. 호스트 간에 데이터가 교환되는 동안 인증, 개인 정보 보호 및 무결성을 제공하는 데 중점을 두었습니다. + +![](/2022/Days/Images/Day23_Networking6.png) + +- DNS - 도메인 이름 시스템 + +DNS는 인간 친화적인 도메인 이름을 매핑하는 데 사용됩니다. 예를 들어 우리가 모두 알고 있는 [google.com](https://google.com)은 브라우저를 열고 [8.8.8.8](https://8.8.8.8)을 입력하면 우리가 거의 알고 있는 Google이 표시됩니다. 하지만 모든 웹사이트의 IP 주소를 모두 기억하기란 쉽지 않으며, 일부 웹사이트는 정보를 찾기 위해 구글을 사용하기도 합니다. + +호스트, 서비스 및 기타 리소스에 연결할 수 있도록 하는 DNS의 역할이 바로 여기에 있습니다. + +모든 호스트에서 인터넷 연결이 필요한 경우 해당 도메인 이름을 확인할 수 있도록 DNS가 있어야 합니다. DNS는 며칠 또는 몇 년을 투자하여 학습할 수 있는 영역입니다. 또한 경험상 네트워킹과 관련된 모든 오류의 일반적인 원인은 대부분 DNS라고 말하고 싶습니다. 하지만 네트워크 엔지니어가 동의할지는 모르겠습니다. + +![](/2022/Days/Images/Day23_Networking7.png) + +- DHCP - 동적 호스트 구성 프로토콜 + +인터넷에 액세스하거나 서로 간에 파일을 전송하는 등 호스트가 작동하는 데 필요한 프로토콜에 대해 많이 논의했습니다. + +이 두 가지 작업을 모두 수행하기 위해 모든 호스트에 필요한 4가지 사항이 있습니다. + +- IP 주소 +- 서브넷 마스크 +- 기본 게이트웨이 +- DNS + +IP 주소는 호스트가 위치한 네트워크에서 호스트의 고유 주소로, 집 번호라고 생각하시면 됩니다. + +서브넷 마스크는 곧 다루겠지만 우편번호나 우편번호로 생각하시면 됩니다. + +기본 게이트웨이는 일반적으로 네트워크에서 Layer 3 연결을 제공하는 라우터의 IP입니다. 이를 우리 동네를 빠져나갈 수 있는 하나의 도로라고 생각할 수 있습니다. + +그리고 방금 설명한 DNS는 복잡한 공인 IP 주소를 보다 적합하고 기억하기 쉬운 도메인 이름으로 변환하는 데 도움을 줍니다. 어쩌면 이것을 올바른 게시물을 얻기 위한 거대한 분류 사무실이라고 생각할 수 있습니다. + +각 호스트마다 이 네 가지가 필요하다고 말씀드렸듯이 호스트가 1,000개 또는 10,000개라면 이 네 가지를 개별적으로 결정하는 데 매우 오랜 시간이 걸릴 것입니다. 이때 DHCP가 등장하여 네트워크의 범위를 결정하면 이 프로토콜이 네트워크에서 사용 가능한 모든 호스트에 배포됩니다. + +또 다른 예로 커피숍에 가서 커피를 마시고 노트북이나 휴대폰을 들고 앉았다고 가정해 봅시다. 호스트를 커피숍 와이파이에 연결하면 인터넷에 접속할 수 있고, 메시지와 메일이 핑을 받기 시작하며, 웹 페이지와 소셜 미디어를 탐색할 수 있습니다. 커피숍 와이파이에 연결했을 때 컴퓨터는 전용 DHCP 서버 또는 DHCP를 처리하는 라우터에서 DHCP 주소를 선택했을 것입니다. + +![](/2022/Days/Images/Day23_Networking8.png) + +### 서브넷 + +서브넷은 IP 네트워크의 논리적 세분화입니다. + +서브넷은 대규모 네트워크를 더 효율적으로 실행할 수 있는 더 작고 관리하기 쉬운 네트워크로 나눕니다. + +각 서브넷은 더 큰 네트워크의 논리적 세분화입니다. 충분한 서브넷을 가진 연결된 장치는 공통 IP 주소 식별자를 공유하여 서로 통신할 수 있습니다. + +라우터는 서브넷 간의 통신을 관리합니다. + +서브넷의 크기는 연결 요구 사항과 사용되는 네트워크 기술에 따라 달라집니다. + +조직은 사용 가능한 주소 공간의 한도 내에서 서브넷의 수와 크기를 결정할 책임이 있습니다. +사용 가능한 주소 공간의 한도 내에서 서브넷의 수와 크기를 결정할 책임이 있으며, 세부 사항은 해당 조직에 로컬로 유지됩니다. 서브넷은 지점 간 링크 또는 몇 개의 디바이스를 지원하는 서브네트워크와 같이 더 작은 서브넷으로 세분화할 수도 있습니다. + +무엇보다도 대규모 네트워크를 서브넷으로 세분화하면 +네트워크를 서브넷으로 분할하면 IP 주소 +재할당을 가능하게 하고 네트워크 혼잡, 간소화, 네트워크 통신 및 효율성을 완화합니다. + +서브넷은 네트워크 보안도 향상시킬 수 있습니다. +네트워크의 한 섹션이 손상되면 해당 섹션을 격리하여 악의적인 공격자가 더 큰 네트워크에서 이동하기 어렵게 만들 수 있습니다. + +![](/2022/Days/Images/Day23_Networking9.png) + +## 자료 + +- [Networking Fundamentals](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi) +- [Subnetting Mastery](https://www.youtube.com/playlist?list=PLIFyRwBY_4bQUE4IB5c4VPRyDoLgOdExE) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) + +[Day 24](day24.md)에서 봐요! diff --git a/2022/ko/Days/day24.md b/2022/ko/Days/day24.md new file mode 100644 index 0000000..7823780 --- /dev/null +++ b/2022/ko/Days/day24.md @@ -0,0 +1,147 @@ +--- +title: '#90DaysOfDevOps - Network Automation - Day 24' +published: false +description: 90DaysOfDevOps - Network Automation +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048805 +--- + +## 네트워크 자동화 + +### 네트워크 자동화의 기본 사항 + +네트워크 자동화의 주요 동인 + +- 민첩성 달성 +- 비용 절감 +- 오류 제거 +- 규정 준수 보장 +- 중앙 집중식 관리 + +자동화 도입 프로세스는 각 비즈니스에 따라 다릅니다. 자동화를 배포하는 데 있어 모든 것에 적합한 방법은 없으며, 조직에 가장 적합한 접근 방식을 파악하고 수용하는 능력은 보다 민첩한 환경을 유지하거나 만드는 데 매우 중요하며, 항상 비즈니스 가치와 최종 사용자 경험에 초점을 맞춰야 합니다. (처음에 DevOps 전체와 문화 변화 및 이로 인한 자동화된 프로세스와 관련하여 비슷한 내용을 말씀드렸습니다.) + +이를 세분화하려면 자동화하려는 작업이나 프로세스가 최종 사용자 경험 또는 비즈니스 가치를 어떻게 달성하고 개선할 수 있는지 파악하고 단계별 체계적인 접근 방식을 따라야 합니다. + +"어디로 가는지 모르면 어떤 길이라도 그곳에 도달할 수 있습니다." + +달성하고자 하는 프레임워크 또는 설계 구조를 통해 최종 목표가 무엇인지 파악한 다음, 비즈니스 결과를 기반으로 다양한 단계에서 자동화 성공 여부를 측정하면서 목표 달성을 위해 단계적으로 작업하세요. + +기존 애플리케이션을 중심으로 모델링된 개념 구축 자동화는 애플리케이션, 서비스, 인프라에 적용해야 하기 때문에 거창하게 개념을 설계할 필요가 없으므로 기존 인프라, 즉 기존 애플리케이션을 중심으로 모델링하여 개념을 구축하기 시작하세요. + +### 네트워킹 자동화에 대한 접근 방식 + +작업을 식별하고 네트워크 변경 요청에 대한 검색을 수행하여 솔루션을 자동화할 가장 일반적인 이슈와 문제를 파악해야 합니다. + +- 현재 수동으로 처리하고 있는 모든 변경 요청과 워크플로우의 목록을 작성합니다. +- 가장 일반적이고 시간이 오래 걸리며 오류가 발생하기 쉬운 활동을 파악하세요. +- 비즈니스 중심 접근 방식을 취하여 요청의 우선순위를 정하세요. +- 이는 자동화 프로세스를 구축하기 위한 프레임워크이며, 자동화해야 하는 작업과 자동화하지 않아야 하는 작업을 구분합니다. + +그런 다음 작업을 나누고 서로 다른 네트워크 기능이 어떻게 작동하고 상호 작용하는지 분석해야 합니다. + +- 인프라/네트워크 팀은 애플리케이션을 배포하기 위해 여러 계층에서 변경 티켓을 받습니다. +- 네트워크 서비스를 기반으로 여러 영역으로 나누고 서로 어떻게 상호 작용하는지 이해합니다. + - 애플리케이션 최적화 + - ADC(애플리케이션 전송 컨트롤러) + - 방화벽 + - DDI(DNS, DHCP, IPAM 등) + - 라우팅 + - 기타 +- 다양한 종속성을 파악하여 비즈니스 및 문화적 차이를 해결하고 팀 간 협업을 유도하세요. + +재사용 가능한 정책, 재사용 가능한 서비스 작업, 프로세스 및 입출력을 정의하고 단순화하세요. + +- 다양한 서비스, 프로세스 및 입출력을 위한 오퍼링을 정의하세요. +- 배포 프로세스를 간소화하면 신규 워크로드와 기존 워크로드 모두의 시장 출시 시간을 단축할 수 있습니다. +- 표준 프로세스가 마련되면, 멀티스레드 접근 방식과 제공을 위해 개별 요청에 따라 프로세스를 순서화 및 조정할 수 있습니다. + +정책을 비즈니스별 활동과 결합하세요. 이 정책을 구현하면 비즈니스에 어떤 도움이 되나요? 시간이 절약되나요? 비용이 절감되나요? 더 나은 비즈니스 결과를 제공하나요? + +- 서비스 작업이 상호 운용 가능한지 확인하세요. +- 증분 서비스 작업을 연결하여 비즈니스 서비스를 만들 수 있도록 정렬하세요. +- 필요에 따라 서비스 작업을 연결하고 다시 연결할 수 있는 유연성을 제공하세요. +- 셀프 서비스 기능을 배포하고 운영 효율성을 개선할 수 있는 기반을 마련하세요. +- 감독 및 규정 준수에 지속적으로 기여할 수 있도록 다양한 기술 스킬셋을 허용합니다. + +가용성과 서비스를 유지하면서 정책과 프로세스를 **반복**하여 추가하고 개선하세요. + +- 기존 작업을 자동화하여 작게 시작하세요. +- 자동화 프로세스에 익숙해져서 자동화를 통해 이점을 얻을 수 있는 다른 영역을 식별할 수 있습니다. +- 자동화 이니셔티브를 반복하여 필요한 가용성을 유지하면서 민첩성을 점진적으로 추가합니다. +- 점진적인 접근 방식을 취하면 성공의 길을 열 수 있습니다! + +네트워크 서비스를 오케스트레이션하세요! + +- 애플리케이션을 신속하게 제공하려면 배포 프로세스의 자동화가 필요합니다. +- 민첩한 서비스 환경을 구축하려면 기술 전반에 걸쳐 관리해야 할 다양한 요소가 필요합니다. +- 자동화와 배포 순서를 제어할 수 있는 End To End 오케스트레이션을 준비하세요. + +## 네트워크 자동화 도구 + +여기서 좋은 소식은 대부분의 경우 네트워크 자동화에 사용하는 도구는 다른 자동화 영역에 사용하거나 지금까지 이미 다룬 내용 또는 향후 세션에서 다룰 내용과 동일하다는 것입니다. + +운영 체제 - 이번 챌린지 내내 그랬듯이 저는 대부분의 학습을 Linux OS로 하는 데 집중하고 있으며, 그 이유는 Linux 섹션에서 설명했지만, 크로스 OS 플랫폼이긴 하지만 오늘 다룰 거의 모든 도구는 처음부터 모두 Linux 기반 애플리케이션 또는 도구로 시작되었습니다. + +통합 개발 환경(IDE) - 다양한 언어에서 사용할 수 있는 광범위한 플러그인을 기반으로 Visual Studio Code를 IDE로 추천한다는 것 외에는 여기서 더 이상 설명할 것이 없습니다. + +구성 관리 - 아직 구성 관리 섹션은 다루지 않았지만, 이 영역에서 구성 관리 및 자동화를 위해 Ansible이 가장 선호되는 것은 분명합니다. Ansible은 Python으로 작성되었지만, Python을 알 필요는 없습니다. + +- 에이전트리스 +- SSH만 필요 +- 대규모 지원 커뮤니티 +- 다양한 네트워크 모듈 +- 푸시 전용 모델 +- YAML로 구성 +- 오픈 소스! + +[Link to Ansible Network Modules](https://docs.ansible.com/ansible/2.9/modules/list_of_network_modules.html) + +구성 관리 섹션에서 **Ansible Tower**에 대해서도 다룰 예정이며, 이를 Ansible의 GUI로 보시면 됩니다. + +CI/CD - 이와 관련된 개념과 도구에 대해서는 다시 다룰 예정이지만, 네트워킹뿐만 아니라 서비스 및 플랫폼의 모든 프로비저닝에 걸쳐 있기 때문에 최소한 여기서 언급하는 것이 중요합니다. + +특히 Jenkins는 네트워크 자동화를 위한 인기 있는 도구를 제공하거나 제공하는 것으로 보입니다. + +- 변경사항이 있는지 git 리포지토리를 모니터링한 다음 변경을 시작합니다. + +버전 관리 - 이 역시 나중에 자세히 살펴볼 내용입니다. + +- Git은 로컬 디바이스에서 코드의 버전 제어를 제공합니다 - 크로스 플랫폼 +- GitHub, GitLab, BitBucket 등은 리포지토리를 정의하고 코드를 업로드할 수 있는 온라인 웹사이트입니다. + +언어 | 스크립팅 - 우리가 아직 다루지 않은 Python입니다. 상황에 따라 프로그래밍 언어로 Go를 사용하기로 결정했는데, Golang과 Python이 박빙의 승부를 펼쳤으며 네트워크 자동화에는 Python이 승자가 된 것 같습니다. + +- 여기서 언급해야 할 것이 바로 파이썬으로 작성된 자동화 프레임워크인 Nornir입니다. 이것은 Ansible의 역할을 하는 것으로 보이지만 특히 네트워크 자동화를 중심으로 합니다. [Nornir documentation](https://nornir.readthedocs.io/en/latest/) + +API 분석 - Postman은 RESTful API를 분석하기 위한 훌륭한 도구입니다. API를 빌드, 테스트 및 수정하는 데 도움이 됩니다. + +- POST >>> 리소스 객체를 생성합니다. +- GET >>> 리소스를 검색합니다. +- PUT >>> 리소스를 생성하거나 교체합니다. +- PATCH >>> 리소스 오브젝트를 생성하거나 업데이트합니다. +- DELETE >>> 리소스를 삭제합니다. + +[Postman tool Download](https://www.postman.com/downloads/) + +### 기타 언급할 도구 + +[Cisco NSO (Network Services Orchestrator)](https://www.cisco.com/c/en/us/products/cloud-systems-management/network-services-orchestrator/index.html) + +[NetYCE - Simplify Network Automation](https://netyce.com/) + +[Network Test Automation](https://pubhub.devnetcloud.com/media/genie-feature-browser/docs/#/) + +앞으로 3일 동안은 지금까지 다룬 내용 중 몇 가지를 좀 더 실습해보고 Python과 네트워크 자동화에 관한 작업을 해볼 계획입니다. + +지금까지 네트워킹 주제를 모두 다루지는 못했지만, 아래에 추가하는 리소스를 통해 계속 학습하면서 따라갈 수 있을 정도로 폭넓게 다루고자 합니다. + +## 자료 + +- [3 Necessary Skills for Network Automation](https://www.youtube.com/watch?v=KhiJ7Fu9kKA&list=WL&index=122&t=89s) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) +- [Practical Networking](http://www.practicalnetworking.net/) +- [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) + +[Day 25](day25.md)에서 봐요! diff --git a/2022/ko/Days/day25.md b/2022/ko/Days/day25.md new file mode 100644 index 0000000..ec612c7 --- /dev/null +++ b/2022/ko/Days/day25.md @@ -0,0 +1,175 @@ +--- +title: '#90DaysOfDevOps - Python for Network Automation - Day 25' +published: false +description: 90DaysOfDevOps - Python for Network Automation +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049038 +--- + +## 네트워크 자동화를 위한 Python + +Python은 자동화된 네트워크 운영에 사용되는 표준 언어입니다. + +네트워크 자동화뿐만 아니라 리소스를 찾을 때 어디에나 있는 것 같고, 앞서 언급했듯이 파이썬이 아니라면 일반적으로 파이썬으로도 작성된 Ansible입니다. + +이미 언급한 것 같지만 '프로그래밍 언어 배우기' 섹션에서 제가 파이썬 대신 Go를 선택한 이유는 회사에서 Go로 개발 중이어서 배울 수 있는 좋은 이유였지만, 그렇지 않았다면 파이썬을 배우는 데 시간이 더 걸렸을 것입니다. + +- 가독성 및 사용 편의성 - 파이썬은 그냥 말이 되는 것 같습니다. 코드에서 블록을 시작하고 끝내기 위해 `{}`에 대한 요구 사항이 없는 것 같습니다. 여기에 VS Code와 같은 강력한 IDE를 결합하면 파이썬 코드를 실행할 때 매우 쉽게 시작할 수 있습니다. + +여기서 언급할 만한 또 다른 IDE는 Pycharm일 수 있습니다. + +- 라이브러리 - 파이썬의 확장성은 네트워크 자동화뿐만 아니라 실제로 모든 종류의 장치와 구성을 위한 라이브러리가 많이 있다는 점을 앞서 언급했습니다. 여기에서 방대한 양을 확인할 수 있습니다. [PyPi](https://pypi.python.org/pypi) + +라이브러리를 워크스테이션에 다운로드하려면 `pip`라는 도구를 사용하여 PyPI에 연결하고 로컬로 다운로드하면 됩니다. Cisco, 주니퍼, 아리스타와 같은 네트워크 벤더는 자사 디바이스에 쉽게 액세스할 수 있도록 라이브러리를 개발했습니다. + +- 강력하고 효율적 - Go 파트에서 "Hello World" 시나리오를 진행하면서 6줄 정도의 코드를 작성했던 것을 기억하시나요? Python에서는 + +```python +print('hello world') +``` + +위의 모든 사항을 종합하면 자동화 작업 시 파이썬이 언급되는 이유를 쉽게 알 수 있을 것입니다. + +몇 년 전에도 네트워크 장치와 상호 작용하여 구성 백업을 자동화하거나 장치에 대한 로그 및 기타 인사이트를 수집하는 스크립트가 있었을 가능성이 있다는 점에 유의하는 것이 중요하다고 생각합니다. 여기서 말하는 자동화는 조금 다른데, 이는 전반적인 네트워킹 환경이 이러한 사고방식에 더 잘 맞도록 변화하여 더 많은 자동화를 가능하게 했기 때문입니다. + +- 소프트웨어 정의 네트워크 - SDN 컨트롤러는 네트워크의 모든 디바이스에 컨트롤 플레인 구성을 제공하는 책임을 지므로 네트워크 변경에 대한 단일 접점만 있으면 더 이상 모든 디바이스에 텔넷 또는 SSH로 접속할 필요가 없으며, 사람이 이 작업을 수행해야 하므로 실패 또는 구성 오류의 가능성이 반복적으로 발생할 수 있습니다. + +- 높은 수준의 오케스트레이션 - 이러한 SDN 컨트롤러에서 한 단계 더 올라가면 서비스 수준을 오케스트레이션 할 수 있으며, 이 오케스트레이션 계층을 원하는 플랫폼(VMware, Kubernetes, 퍼블릭 클라우드 등)에 통합할 수 있습니다. + +- 정책 기반 관리 - 무엇을 원하시나요? 원하는 상태는 무엇인가요? 이를 설명하면 시스템에서 원하는 상태가 되기 위한 모든 세부 사항을 파악합니다. + +## 실습 환경 설정하기 + +모든 사람이 실제 라우터, 스위치 및 기타 네트워킹 장치에 액세스할 수 있는 것은 아닙니다. + +저는 앞서 언급한 몇 가지 도구를 살펴보면서 네트워크 구성을 자동화하는 방법을 직접 실습하고 배울 수 있도록 하고 싶었습니다. + +옵션에 관해서는 몇 가지를 선택할 수 있습니다. + +- [GNS3 VM](https://www.gns3.com/software/download-vm) +- [Eve-ng](https://www.eve-ng.net/) +- [Unimus](https://unimus.net/) 실험실 환경은 아니지만 흥미로운 개념입니다. + +앞서 언급했듯이 [Eve-ng](https://www.eve-ng.net/)를 사용하여 랩을 구축할 예정입니다. 가상 환경은 다양한 시나리오를 테스트할 수 있는 샌드박스 환경을 가질 수 있다는 것을 의미하며, 다양한 디바이스와 Topology로 실행 수 있다는 점도 흥미로울 수 있습니다. + +저희는 커뮤니티 에디션을 통해 EVE-NG의 모든 것을 보여드리려고 합니다. + +### 시작하기 + +[커뮤니티 에디션](https://www.eve-ng.net/index.php/download/)은 ISO 및 OVF 형식으로 제공됩니다. + +저희는 OVF 다운로드를 사용할 예정이지만, ISO를 사용하면 하이퍼바이저 없이 베어메탈 서버에서 빌드할 수 있습니다. + +![](/2022/Days/Images/Day25_Networking1.png) + +여기서는 vExpert를 통해 라이선스가 있는 VMware Workstation을 사용하지만, [documentation](https://www.eve-ng.net/index.php/documentation/installation/system-requirement/)에 언급된 다른 옵션이나 VMware Player도 동일하게 사용할 수 있습니다. 안타깝게도 이전에 사용하던 가상 박스는 사용할 수 없습니다! + +가상 박스가 지원되기는 하지만 GNS3에서 문제가 발생했던 부분이기도 합니다. + +[Download VMware Workstation Player - FREE](https://www.vmware.com/uk/products/workstation-player.html) + +[VMware Workstation PRO](https://www.vmware.com/uk/products/workstation-pro.html) 역시 무료 평가판 기간이 있다고 합니다! + +### VM웨어 워크스테이션 프로에 설치하기 + +이제 하이퍼바이저 소프트웨어 다운로드 및 설치가 완료되었고, EVE-NG OVF가 다운로드되었습니다. VMware Player를 사용 중이시라면 이 과정이 동일한지 알려주시기 바랍니다. + +이제 구성할 준비가 되었습니다. + +VMware 워크스테이션을 열고 `file`과 `open`를 선택합니다. + +![](/2022/Days/Images/Day25_Networking2.png) + +EVE-NG OVF 이미지를 다운로드하면 압축 파일 안에 들어 있습니다. 해당 폴더에 내용을 압축을 풀면 다음과 같은 모양이 됩니다. + +![](/2022/Days/Images/Day25_Networking3.png) + +EVE-NG OVF 이미지를 다운로드한 위치로 이동하여 가져오기를 시작합니다. + +알아볼 수 있는 이름을 지정하고 시스템 어딘가에 가상 머신을 저장합니다. + +![](/2022/Days/Images/Day25_Networking4.png) + +가져오기가 완료되면 프로세서 수를 4개로 늘리고 할당된 메모리를 8GB로 늘립니다. (최신 버전으로 가져온 후 그렇지 않은 경우 VM 설정을 편집해야 합니다.) + +또한 Intel VT-x/EPT 또는 AMD-V/RVI 가상화 확인란이 활성화되어 있는지 확인합니다. 이 옵션은 VMware 워크스테이션이 가상화 플래그를 게스트 OS에 전달하도록 지시합니다(중첩 가상화). CPU가 이를 허용함에도 불구하고 가상 박스가 있는 GNS3에서 이 문제가 발생했습니다. + +![](/2022/Days/Images/Day25_Networking5.png) + +### 전원 켜기 및 액세스 + +사이드노트 & Rabbit hole: 가상박스에서는 작동하지 않는다고 말씀드린 것을 기억하세요! 네, VM웨어 워크스테이션과 EVE-NG에서도 같은 문제가 발생했지만, 가상화 플랫폼의 잘못은 아니었습니다! + +Windows 머신에서 WSL2를 실행 중이며 이로 인해 환경 내부에 중첩된 모든 것을 실행할 수 있는 기능이 제거된 것 같습니다. WSL2를 사용할 때 CPU의 인텔 VT-d 가상화 측면이 제거되는 것처럼 보이는데 왜 우분투 VM이 실행되는지 혼란스럽습니다. + +이 문제를 해결하려면 Windows 시스템에서 다음 명령을 실행하고 시스템을 재부팅 할 수 있으며, 이 명령이 꺼져 있는 동안에는 WSL2를 사용할 수 없다는 점에 유의하세요. + +`bcdedit /set hypervisorlaunchtype off` + +다시 돌아가서 WSL2를 사용하려면 이 명령을 실행하고 재부팅 해야 합니다. + +`bcdedit /set hypervisorlaunchtype auto` + +이 두 명령은 모두 관리자 권한으로 실행해야 합니다! + +다시 돌아와서, 이제 VMware Workstation에 전원이 켜진 머신이 있어야 하며 다음과 유사한 프롬프트가 표시되어야 합니다. + +![](/2022/Days/Images/Day25_Networking6.png) + +위의 프롬프트에서 다음을 사용할 수 있습니다: + +username = root +password = eve + +그러면 루트 password를 다시 입력하라는 메시지가 표시되며, 이 password는 나중에 호스트에 SSH할 때 사용됩니다. + +그런 다음 호스트 이름을 변경할 수 있습니다. + +![](/2022/Days/Images/Day25_Networking7.png) + +다음으로 DNS 도메인 이름을 정의합니다. 저는 아래 이름을 사용했지만, 나중에 변경해야 할지는 아직 모르겠습니다. + +![](/2022/Days/Images/Day25_Networking8.png) + +그런 다음 네트워킹을 구성하고, 재부팅 후에도 주어진 IP 주소가 영구적으로 유지되도록 정적을 선택합니다. + +![](/2022/Days/Images/Day25_Networking9.png) + +마지막 단계로 워크스테이션에서 연결할 수 있는 네트워크의 고정 IP 주소를 제공합니다. + +![](/2022/Days/Images/Day25_Networking10.png) + +여기에는 네트워크, 기본 게이트웨이 및 DNS에 대한 서브넷 마스크를 제공해야 하는 몇 가지 추가 단계가 있습니다. + +완료되면 재부팅되고 백업이 완료되면 고정 IP 주소를 가져와 브라우저에 입력할 수 있습니다. + +![](/2022/Days/Images/Day25_Networking11.png) + +GUI의 기본 username은 `admin`이고 password는 `eve`이며, SSH의 기본 username은 `root`이고 password는 `eve`이지만 설정 중에 변경한 경우 변경되었을 수 있습니다. + +![](/2022/Days/Images/Day25_Networking12.png) + +다른 콘솔을 탐색할 때 브라우저에 새 탭이 열리므로 콘솔과 네이티브에 대해 HTML5를 선택했습니다. + +다음 단계는 다음과 같습니다: + +- EVE-NG 클라이언트 팩 설치 +- 일부 네트워크 이미지를 EVE-NG에 로드합니다. +- 네트워크 Topology 빌드 +- 노드 추가하기 +- 노드 연결하기 +- 파이썬 스크립트 빌드 시작 +- telnetlib, Netmiko, Paramiko, Pexpect 살펴보기 + +## 자료 + +- [Free Course: Introduction to EVE-NG](https://www.youtube.com/watch?v=g6B0f_E0NMg) +- [EVE-NG - Creating your first lab](https://www.youtube.com/watch?v=9dPWARirtK8) +- [3 Necessary Skills for Network Automation](https://www.youtube.com/watch?v=KhiJ7Fu9kKA&list=WL&index=122&t=89s) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) +- [Practical Networking](http://www.practicalnetworking.net/) +- [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) + +[Day 26](day26.md)에서 봐요! diff --git a/2022/ko/Days/day26.md b/2022/ko/Days/day26.md new file mode 100644 index 0000000..5835e85 --- /dev/null +++ b/2022/ko/Days/day26.md @@ -0,0 +1,121 @@ +--- +title: '#90DaysOfDevOps - Building our Lab - Day 26' +published: false +description: 90DaysOfDevOps - Building our Lab +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048762 +--- + +## 실험실 구축 + +EVE-NG를 사용하여 에뮬레이트된 네트워크를 계속 설정한 다음 몇 가지 디바이스를 배포하고 이러한 디바이스의 구성을 자동화할 수 있는 방법에 대해 생각해 보겠습니다. [Day 25](day25.md)에서는 VMware Workstation을 사용하여 머신에 EVE-NG를 설치하는 방법을 다루었습니다. + +### EVE-NG 클라이언트 설치하기 + +장치에 SSH를 할 때 사용할 애플리케이션을 선택할 수 있는 클라이언트 팩도 있습니다. 또한 링크 간 패킷 캡처를 위해 Wireshark를 설정합니다. 사용 중인 OS(윈도우, 맥OS, 리눅스)에 맞는 클라이언트 팩을 다운로드할 수 있습니다. + +[EVE-NG Client Download](https://www.eve-ng.net/index.php/download/) + +![](/2022/Days/Images/Day26_Networking1.png) + +빠른 팁: Linux를 클라이언트로 사용하는 경우 이 [client pack](https://github.com/SmartFinn/eve-ng-integration)이 있습니다. + +설치는 간단하며, 기본값을 그대로 두는 것이 좋습니다. + +### 네트워크 Images 가져오기 + +이 단계는 어려웠습니다. 마지막에 링크할 몇 가지 동영상을 통해 라우터 및 스위치 이미지를 업로드하는 방법과 위치를 알려주면서 몇 가지 리소스와 다운로드 링크를 제공합니다. + +저는 모든 것을 교육 목적으로 사용한다는 점에 유의하는 것이 중요합니다. 네트워크 공급업체에서 공식 이미지를 다운로드하는 것이 좋습니다. + +[Blog & Links to YouTube videos](https://loopedback.com/2019/11/15/setting-up-eve-ng-for-ccna-ccnp-ccie-level-studies-includes-multiple-vendor-node-support-an-absolutely-amazing-study-tool-to-check-out-asap/) + +[How To Add Cisco VIRL vIOS image to Eve-ng](https://networkhunt.com/how-to-add-cisco-virl-vios-image-to-eve-ng/) + +전반적으로 단계가 조금 복잡하고 훨씬 더 쉬울 수도 있지만 위의 블로그와 동영상은 EVE-NG 박스에 이미지를 추가하는 과정을 안내합니다. + +저는 FileZilla를 사용하여 SFTP를 통해 qcow2를 VM으로 전송했습니다. + +실습에는 Cisco vIOS L2(스위치)와 Cisco vIOS(라우터)가 필요합니다. + +### 실습 만들기 + +EVE-NG 웹 인터페이스 내에서 새로운 네트워크 Topology를 생성하겠습니다. 외부 네트워크에 대한 게이트웨이 역할을 할 스위치 4개와 라우터 1개가 있습니다. + +| Node | IP Address | +| ------- | ------------ | +| Router | 10.10.88.110 | +| Switch1 | 10.10.88.111 | +| Switch2 | 10.10.88.112 | +| Switch3 | 10.10.88.113 | +| Switch4 | 10.10.88.114 | + +#### EVE-NG에 노드 추가하기 + +EVE-NG에 처음 로그인하면 아래와 같은 화면이 표시되며, 첫 번째 랩을 생성하는 것부터 시작하겠습니다. + +![](/2022/Days/Images/Day26_Networking2.png) + +랩 이름을 지정하고 다른 필드는 선택 사항입니다. + +![](/2022/Days/Images/Day26_Networking3.png) + +그러면 네트워크 생성을 시작할 수 있는 빈 캔버스가 표시됩니다. 캔버스를 마우스 오른쪽 버튼으로 클릭하고 노드 추가를 선택합니다. + +여기에서 긴 노드 옵션 목록이 표시되며, 위의 과정을 따라 했다면 아래 표시된 파란색 두 개가 선택되어 있고 나머지는 회색으로 표시되어 선택할 수 없습니다. + +![](/2022/Days/Images/Day26_Networking4.png) + +실습에 다음을 추가하려고 합니다: + +- Cisco vIOS 라우터 1대 +- Cisco vIOS 스위치 4개 + +간단한 마법사를 실행하여 실습에 추가하면 다음과 같은 화면이 나타납니다. + +![](/2022/Days/Images/Day26_Networking5.png) + +#### 노드 연결하기 + +이제 라우터와 스위치 사이에 연결을 추가해야 합니다. 장치 위로 마우스를 가져가면 아래와 같이 연결 아이콘이 표시되고 이를 연결하려는 장치에 연결하면 아주 쉽게 연결할 수 있습니다. + +![](/2022/Days/Images/Day26_Networking6.png) + +환경 연결이 완료되면 마우스 오른쪽 클릭 메뉴에서 찾을 수 있는 상자나 원을 사용하여 물리적 경계나 위치를 정의하는 방법을 추가할 수도 있습니다. 실험실의 이름이나 IP 주소를 정의하고 싶을 때 유용한 텍스트를 추가할 수도 있습니다. + +저는 아래와 같이 실험실을 만들었습니다. + +![](/2022/Days/Images/Day26_Networking7.png) + +위의 실습은 모두 전원이 꺼져 있으며, 모든 것을 선택하고 마우스 오른쪽 버튼을 클릭한 후 선택된 시작을 선택하면 실습을 시작할 수 있습니다. + +![](/2022/Days/Images/Day26_Networking8.png) + +실습을 시작하고 실행하면 각 장치에 콘솔을 연결할 수 있으며, 이 단계에서는 아무 구성도 하지 않은 상태로 매우 멍청한 상태임을 알 수 있습니다. 각 터미널에서 직접 복사하거나 생성하여 각 노드에 구성을 추가할 수 있습니다. + +참조를 위해 리포지토리의 네트워킹 폴더에 구성을 남겨두겠습니다. + +| Node | Configuration | +| ------- | -------------------------------- | +| Router | [R1](/2022/Days/Networking/R1) | +| Switch1 | [SW1](/2022/Days/Networking/SW1) | +| Switch2 | [SW2](/2022/Days/Networking/SW2) | +| Switch3 | [SW3](/2022/Days/Networking/SW3) | +| Switch4 | [SW4](/2022/Days/Networking/SW4) | + +## 자료 + +- [Free Course: Introduction to EVE-NG](https://www.youtube.com/watch?v=g6B0f_E0NMg) +- [EVE-NG - Creating your first lab](https://www.youtube.com/watch?v=9dPWARirtK8) +- [3 Necessary Skills for Network Automation](https://www.youtube.com/watch?v=KhiJ7Fu9kKA&list=WL&index=122&t=89s) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) +- [Practical Networking](http://www.practicalnetworking.net/) +- [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) + +저는 네트워크 엔지니어가 아니기 때문에 여기서 사용하는 대부분의 예제는 무료는 아니지만 네트워크 자동화를 이해하는 데 도움이 되는 시나리오 중 일부를 이 방대한 책에서 가져온 것입니다. + +- [Hands-On Enterprise Automation with Python (Book)](https://www.packtpub.com/product/hands-on-enterprise-automation-with-python/9781788998512) + +[Day 27](day27.md)에서 봐요! diff --git a/2022/ko/Days/day27.md b/2022/ko/Days/day27.md new file mode 100644 index 0000000..ae79ffe --- /dev/null +++ b/2022/ko/Days/day27.md @@ -0,0 +1,139 @@ +--- +title: '#90DaysOfDevOps - Getting Hands-On with Python & Network - Day 27' +published: false +description: 90DaysOfDevOps - Getting Hands-On with Python & Network +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048735 +--- + +## 파이썬 및 네트워크 실습하기 + +네트워킹 기초의 마지막 섹션에서는 [Day 26](day26.md)에 만든 실습 환경으로 몇 가지 자동화 작업과 도구를 다뤄보겠습니다. + +클라이언트 vs telnet에서 장치에 연결하기 위해 SSH 터널을 사용할 것입니다. 클라이언트와 기기 사이에 생성된 SSH 터널은 암호화됩니다. [Day 18](day18.md)의 Linux 섹션에서도 SSH에 대해 다루었습니다. + +## 가상 에뮬레이트 환경에 액세스하기 + +스위치와 상호 작용하려면 EVE-NG 네트워크 내부에 워크스테이션이 필요하거나 Python이 설치된 Linux 박스를 배포하여 자동화를 수행할 수 있습니다([Resource for setting up Linux inside EVE-NG](https://www.youtube.com/watch?v=3Qstk3zngrY)) 또는 저처럼 워크스테이션에서 액세스할 수 있는 클라우드를 정의할 수 있습니다. + +![](/2022/Days/Images/Day27_Networking3.png) + +이를 위해 캔버스를 마우스 오른쪽 버튼으로 클릭하고 네트워크를 선택한 다음 "Management(Cloud0)"를 선택하면 홈 네트워크에 연결됩니다. + +![](/2022/Days/Images/Day27_Networking4.png) + +하지만 이 네트워크 내부에는 아무것도 없으므로 새 네트워크에서 각 장치로 연결을 추가해야 합니다. (제 네트워킹 지식이 더 필요한데, 다음 단계로 최상위 라우터에 이 작업을 수행한 다음, 이 하나의 케이블을 통해 나머지 네트워크에 연결할 수 있을 것 같나요?) + +그런 다음 각 장치에 로그온하고 클라우드가 들어오는 위치에 적용되는 인터페이스에 대해 다음 명령을 실행했습니다. + +``` +enable +config t +int gi0/0 +IP add DHCP +no sh +exit +exit +sh ip int br +``` + +마지막 단계에서는 홈 네트워크의 DHCP 주소를 제공합니다. 내 장치 네트워크 목록은 다음과 같습니다: + +| Node | IP Address | Home Network IP | +| ------- | ------------ | --------------- | +| Router | 10.10.88.110 | 192.168.169.115 | +| Switch1 | 10.10.88.111 | 192.168.169.178 | +| Switch2 | 10.10.88.112 | 192.168.169.193 | +| Switch3 | 10.10.88.113 | 192.168.169.125 | +| Switch4 | 10.10.88.114 | 192.168.169.197 | + +### 네트워크 장치에 SSH + +위의 설정이 완료되었으므로 이제 워크스테이션을 사용하여 홈 네트워크의 장치에 연결할 수 있습니다. 저는 Putty를 사용하고 있지만 장치에 SSH를 할 수 있는 git bash와 같은 다른 터미널에도 액세스할 수 있습니다. + +아래에서 라우터 장치에 대한 SSH 연결을 확인할 수 있습니다. (R1) + +![](/2022/Days/Images/Day27_Networking5.png) + +### 파이썬을 사용하여 장치에서 정보 수집하기 + +Python을 활용하는 첫 번째 예는 모든 장치에서 정보를 수집하는 것이며, 특히 각 장치에 연결하여 간단한 명령을 실행하여 인터페이스 구성 및 설정을 제공할 수 있기를 원합니다. 이 스크립트를 여기에 저장해 두었습니다. [netmiko_con_multi.py](/2022/Days/Networking/netmiko_con_multi.py) + +이제 이 스크립트를 실행하면 모든 장치에서 각 포트 구성을 볼 수 있습니다. + +![](/2022/Days/Images/Day27_Networking6.png) + +다양한 장치를 많이 사용하는 경우 이 스크립트를 작성하면 한 곳에서 모든 구성을 중앙에서 빠르게 제어하고 이해할 수 있어 편리합니다. + +### Python을 사용하여 디바이스 구성하기 + +위의 내용은 유용하지만 Python을 사용하여 장치를 구성하는 것은 어떻습니까? 시나리오에서 `SW1`과 `SW2` 사이에 트렁크 포트가 있습니다. 이 작업을 여러 개의 동일한 스위치에서 자동화하고 각 스위치에 수동으로 연결하여 구성을 변경할 필요가 없다고 다시 상상해 보겠습니다. + +이를 위해 [netmiko_sendchange.py](/2022/Days/Networking/netmiko_sendchange.py)를 사용할 수 있습니다. 이렇게 하면 SSH를 통해 연결되고 `SW1`에서 해당 변경을 수행하여 `SW2`로 변경됩니다. + +![](/2022/Days/Images/Day27_Networking7.png) + +이제 코드를 보면 `sending configuration to device`이라는 메시지가, 이것이 발생했는지 확인되지 않은 경우 스크립트에 추가 코드를 추가하여 스위치에서 해당 확인 및 유효성 검사를 수행하거나 이전에 스크립트를 수정하여 이를 표시할 수 있습니다. [netmiko_con_multi_vlan.py](/2022/Days/Networking/netmiko_con_multi_vlan.py) + +![](/2022/Days/Images/Day27_Networking8.png) + +### 디바이스 구성 백업하기 + +또 다른 사용 사례는 네트워크 구성을 캡처하여 백업하는 것이지만, 네트워크에 있는 모든 장치에 연결하고 싶지는 않으므로 [backup.py](/2022/Days/Networking/backup.py)를 사용하여 이 작업을 자동화할 수도 있습니다. 또한 백업하려는 IP 주소로 [backup.txt](/2022/Days/Networking/backup.txt)를 채워야 합니다. + +스크립트를 실행하면 아래와 같은 내용이 표시됩니다. + +![](/2022/Days/Images/Day27_Networking9.png) + +파이썬으로 간단한 인쇄 스크립트를 작성했기 때문에 백업 파일도 함께 보여드릴 수 있습니다. + +![](/2022/Days/Images/Day27_Networking10.png) + +### Paramiko + +SSH를 위해 널리 사용되는 Python 모듈입니다. 자세한 내용은 [공식 GitHub 링크](https://github.com/paramiko/paramiko)에서 확인할 수 있습니다. + +이 모듈은 `pip install paramiko` 명령어를 사용하여 설치할 수 있습니다. + +![](/2022/Days/Images/Day27_Networking1.png) + +파이썬 셸에 들어가서 Paramiko 모듈을 가져와서 설치가 완료되었는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day27_Networking2.png) + +### Netmiko + +Netmiko 모듈은 네트워크 디바이스만을 대상으로 하지만, Paramiko는 SSH 연결 전반을 처리하는 더 광범위한 도구입니다. + +위에서 Paramiko와 함께 사용한 Netmiko는 `pip install netmiko`를 사용하여 설치할 수 있습니다. + +Netmiko는 다양한 네트워크 벤더와 디바이스를 지원하며, 지원 디바이스 목록은 [GitHub Page](https://github.com/ktbyers/netmiko#supports)에서 확인할 수 있습니다. + +### 기타 모듈 + +우리가 살펴볼 기회가 없었지만, 네트워크 자동화와 관련하여 훨씬 더 많은 기능을 제공하는 몇 가지 다른 모듈도 언급할 가치가 있습니다. + +`netaddr`은 IP 주소 작업 및 조작에 사용되며, 설치는 `pip install netaddr`로 간단합니다. + +스위치 구성을 엑셀 스프레드시트에 많이 저장하고 싶을 때, `xlrd`를 사용하면 스크립트가 엑셀 통합 문서를 읽고 행과 열을 행렬로 변환할 수 있습니다. `pip install xlrd`를 실행하면 모듈을 설치할 수 있습니다. + +제가 미처 살펴보지 못한 네트워크 자동화를 사용할 수 있는 더 많은 사용 사례는 [여기](https://github.com/ktbyers/pynet/tree/master/presentations/dfwcug/examples)에서 확인할 수 있습니다. + +네트워킹은 제가 한동안 다루지 않았던 분야이고 다뤄야 할 내용이 훨씬 더 많지만, 제가 작성한 노트와 이 글에서 공유한 리소스가 누군가에게 도움이 되기를 바랍니다. + +## 자료 + +- [Free Course: Introduction to EVE-NG](https://www.youtube.com/watch?v=g6B0f_E0NMg) +- [EVE-NG - Creating your first lab](https://www.youtube.com/watch?v=9dPWARirtK8) +- [3 Necessary Skills for Network Automation](https://www.youtube.com/watch?v=KhiJ7Fu9kKA&list=WL&index=122&t=89s) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) +- [Practical Networking](http://www.practicalnetworking.net/) +- [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) + +저는 네트워크 엔지니어가 아니기 때문에 여기서 사용하는 대부분의 예제는 무료는 아니지만 네트워크 자동화를 이해하는 데 도움이 되는 시나리오 중 일부를 이 방대한 책에서 가져온 것입니다. + +- [Hands-On Enterprise Automation with Python (Book)](https://www.packtpub.com/product/hands-on-enterprise-automation-with-python/9781788998512) + +클라우드 컴퓨팅에 대해 알아보고 주제에 대한 이해와 기초 지식을 쌓을 수 있는 [Day 28](day28.md)에서 봐요! diff --git a/2022/ko/Days/day28.md b/2022/ko/Days/day28.md new file mode 100644 index 0000000..41dcf99 --- /dev/null +++ b/2022/ko/Days/day28.md @@ -0,0 +1,105 @@ +--- +title: '#90DaysOfDevOps - The Big Picture: DevOps & The Cloud - Day 28' +published: false +description: 90DaysOfDevOps - The Big Picture DevOps & The Cloud +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048737 +--- + +## 큰 그림: 데브옵스와 클라우드 + +클라우드 컴퓨팅과 제공되는 서비스는 데브옵스 정신 및 프로세스와 매우 잘 어울립니다. 클라우드 컴퓨팅은 기술과 서비스를 제공하는 것으로 생각할 수 있지만, 앞서 여러 번 언급했듯이 데브옵스는 프로세스와 프로세스 개선에 관한 것입니다. + +그러나 클라우드 학습 여정은 가파른 여정이며 모든 요소를 알고 이해하거나 적절한 가격대에 가장 적합한 서비스를 선택하는 것은 혼란스러운 일입니다. + +![](/2022/Days/Images/Day28_Cloud1.png) + +퍼블릭 클라우드에 데브옵스 마인드셋이 필요한가요? 제 대답은 '아니다'이지만, 클라우드 컴퓨팅을 제대로 활용하고 많은 사람이 겪었던 막대한 클라우드 비용을 피하려면 클라우드 컴퓨팅과 데브옵스를 함께 생각하는 것이 중요합니다. + +퍼블릭 클라우드의 의미를 40,000피트 상공에서 보면, 관리형 서비스에 대한 책임을 일부 제거하여 여러분과 여러분의 팀이 애플리케이션과 최종 사용자라는 더 중요한 측면에 집중할 수 있도록 하는 것입니다. 결국 퍼블릭 클라우드는 다른 사람의 컴퓨터일 뿐입니다. + +![](/2022/Days/Images/Day28_Cloud2.png) + +이 첫 번째 섹션에서는 퍼블릭 클라우드가 무엇인지, 그리고 전체적으로 퍼블릭 클라우드라고 불리는 몇 가지 구성 요소에 대해 조금 더 자세히 설명하고자 합니다. + +### SaaS + +첫 번째로 다룰 영역은 서비스로서의 소프트웨어로, 이 서비스는 온-프레미스에서 실행하던 서비스의 거의 모든 관리 오버헤드를 제거합니다. 이메일용 Microsoft Exchange를 예로 들어 보겠습니다. 예전에는 데이터 센터나 계단 아래 찬장에 있는 물리적 상자였습니다. 이 서버에 먹이를 주고 물을 주어야 했습니다. 즉, 서버 하드웨어를 구입하고, 운영 체제를 설치하고, 필요한 애플리케이션을 설치한 다음 패치를 유지해야 하며, 문제가 발생하면 문제를 해결하고 다시 실행해야 합니다. + +또한 데이터를 백업하고 있는지 확인해야 하지만, 대부분의 경우 SaaS를 사용한다고 해서 달라지지는 않습니다. + +SaaS의 기능, 특히 Microsoft 365의 경우 앞서 Exchange를 언급했듯이 관리 오버헤드를 없애고 메일을 통해 Exchange 기능뿐만 아니라 다른 많은 생산성(Office 365) 및 저장소 옵션(OneDrive)을 제공하는 서비스를 제공하여 전반적으로 최종 사용자에게 훌륭한 경험을 제공합니다. + +Salesforce, SAP, Oracle, Google, Apple과 같은 다른 SaaS 애플리케이션도 널리 채택되고 있습니다. 모두 더 많은 스택을 관리해야 하는 부담을 덜어줍니다. + +DevOps와 SaaS 기반 애플리케이션에 대한 이야기가 있을 거라고 확신하지만, 그 내용을 파악하는 데 어려움을 겪고 있습니다. Azure DevOps에 Microsoft 365와의 훌륭한 통합 기능이 있다는 것을 알고 있으므로 살펴보고 다시 보고할 수 있습니다. + +![](/2022/Days/Images/Day28_Cloud3.png) + +### 퍼블릭 클라우드 + +다음은 퍼블릭 클라우드입니다. 대부분의 사람들은 퍼블릭 클라우드를 몇 가지 다른 방식으로 생각할 수 있으며, 일부는 Microsoft Azure, Google Cloud Platform 및 AWS와 같은 하이퍼 스케일러로만 볼 수 있습니다. + +![](/2022/Days/Images/Day28_Cloud4.png) + +또한 퍼블릭 클라우드를 이러한 하이퍼 스케일러뿐만 아니라 전 세계 수천 개의 MSP를 포함하는 훨씬 더 광범위한 서비스로 보는 사람도 있을 것입니다. 이 글에서는 하이퍼 스케일러와 MSP를 포함한 퍼블릭 클라우드를 고려할 예정이지만, 나중에 하이퍼 스케일러 중 하나 이상을 구체적으로 살펴봄으로써 기초적인 지식을 얻도록 하겠습니다. + +![](/2022/Days/Images/Day28_Cloud5.png) +_수천 개의 더 많은 회사가 이 서비스를 이용할 수 있지만, 저는 제가 함께 일했고 알고 있는 로컬, 지역, 통신사 및 글로벌 브랜드 중에서 골랐을 뿐입니다_. + +앞서 SaaS 섹션에서 클라우드가 시스템의 일부를 관리해야 하는 책임이나 부담을 덜어준다고 언급했습니다. SaaS의 경우 물리적 시스템, 네트워크, 스토리지, 운영 체제, 애플리케이션 등 많은 추상화 계층이 어느 정도 제거되었습니다. 클라우드의 경우 요구 사항에 따라 제거하거나 유지할 수 있는 추상화 수준이 다양합니다. + +이미 SaaS에 대해 언급했지만, 퍼블릭 클라우드와 관련하여 최소 두 가지를 더 언급할 수 있습니다. + +IaaS(Infrastructure as a Service) - 이 계층을 가상 머신으로 생각할 수 있지만, 온프레미스에서는 클라우드의 물리적 계층을 관리해야 하는 반면, 클라우드에서는 물리적 계층은 클라우드 제공업체의 책임이며 운영 체제, 데이터, 실행하려는 애플리케이션을 관리 및 운영하게 됩니다. + +PaaS(Platform as a Service) - 계층의 책임이 계속 제거되며, 사용자가 데이터와 애플리케이션을 제어하지만, 기반이 되는 하드웨어나 운영 체제에 대해 걱정할 필요가 없습니다. + +다른 많은 aaS 제품이 있지만, 이 두 가지가 기본입니다. 스토리지 계층을 제공하지만, 그 밑에 있는 하드웨어에 대해 걱정할 필요가 없는 StaaS(Storage as a service) 관련 제품을 볼 수 있습니다. 또는 컨테이너를 위한 CaaS에 대해 들어보셨을 수도 있고, 앞으로 7일 동안 다룰 또 다른 aaS는 시스템을 항상 가동할 필요가 없고 필요할 때만 함수를 실행하기를 원하는 경우에 사용할 수 있는 FaaS(Functions as a Service입니다. + +퍼블릭 클라우드는 사용자가 원하는 제어 계층의 추상화 계층을 제공하고 비용을 지불할 수 있는 여러 가지 방법이 있습니다. + +![](/2022/Days/Images/Day28_Cloud6.png) + +### 프라이빗 클라우드 + +자체 데이터 센터를 보유하는 것은 과거의 일이 아닙니다. 퍼블릭 클라우드를 사용하는 것만으로는 기술뿐만 아니라 운영 비용 모델을 관리하기 어렵다는 것을 알게 된 많은 기업들 사이에서 다시 부상하고 있다고 생각합니다. + +여기서 주목해야 할 중요한 점은 퍼블릭 클라우드는 이제 기업의 책임이 될 가능성이 높으며, 온프레미스 환경이 될 것이라는 점입니다. + +가상화 시대와 온프레미스 인프라 환경을 지배했던 VMware뿐만 아니라 이 분야에서도 흥미로운 일들이 일어나고 있습니다. 퍼블릭 클라우드의 온프레미스 버전을 제공하는 하이퍼 스케일러도 있습니다. + +![](/2022/Days/Images/Day28_Cloud7.png) + +### 하이브리드 클라우드 + +앞서 언급한 퍼블릭 클라우드와 프라이빗 클라우드에 이어서, 퍼블릭 클라우드에서 제공되는 서비스를 활용하면서 온프레미스 환경의 기능을 활용하거나 규제에 따라 데이터를 로컬에 저장해야 하는 경우 두 환경 간에 유연성을 제공할 수 있는 하이브리드 클라우드도 있습니다. + +![](/2022/Days/Images/Day28_Cloud8.png) + +이 모든 것을 종합하면 워크로드를 저장하고 실행하는 위치에 대한 선택의 폭이 넓어집니다. + +![](/2022/Days/Images/Day28_Cloud9.png) + +구체적인 하이퍼스케일에 들어가기 전에 트위터의 힘에 우리가 어디로 가야 할지를 물어봤습니다. + +![](/2022/Days/Images/Day28_Cloud10.png) + +[트위터 설문조사 링크](https://twitter.com/MichaelCade1/status/1486814904510259208?s=20&t=x2n6QhyOXSUs7Pq0itdIIQ) + +어느 쪽이 가장 높은 비율을 얻든 제품에 대해 더 자세히 살펴볼 것이지만, 중요한 것은 모든 서비스의 서비스가 상당히 유사하다는 점이며, 제가 하나부터 시작하라고 말하는 이유는 하나의 기초와 가상 머신 생성, 네트워킹 설정 방법 등을 알기 때문이라고 생각하기 때문입니다. 다른 서비스로 이동하여 해당 영역에서 빠르게 성장할 수 있었습니다. + +어느 쪽이든, 저는 세 가지 하이퍼 스케일러를 모두 다루는 훌륭한 **무료** 리소스를 공유하려고 합니다. + +또한 다른 섹션에서 그랬던 것처럼 시나리오를 작성하여 며칠 동안 진행하면서 무언가를 구축 할 수 있습니다. + +## 자료 + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +[Day 29](day29.md)에서 봐요! diff --git a/2022/ko/Days/day29.md b/2022/ko/Days/day29.md new file mode 100644 index 0000000..527b151 --- /dev/null +++ b/2022/ko/Days/day29.md @@ -0,0 +1,141 @@ +--- +title: '#90DaysOfDevOps - Microsoft Azure Fundamentals - Day 29' +published: false +description: 90DaysOfDevOps - Microsoft Azure Fundamentals +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048705 +--- + +## Microsoft Azure 기초 + +시작하기 전에 트위터 투표의 승자는 Microsoft Azure였으며, 따라서 페이지의 제목도 그렇게 정해졌습니다. 박빙의 승부가 펼쳐졌고 24시간 동안의 결과가 꽤 흥미로웠습니다. + +![](/2022/Days/Images/Day29_Cloud1.png) + +이 주제를 다루면서 Microsoft Azure에서 사용할 수 있는 서비스에 대해 더 잘 이해하고 업데이트할 수 있다는 측면에서 저는 오늘 하루는 Amazon AWS에 기대고 있습니다. 하지만 세 가지 주요 클라우드 제공업체 모두에 대해 준비해 둔 리소스를 남겨 두었습니다. + +설문조사에는 이 세 가지 서비스만 포함되었고 특히 오라클 클라우드에 대한 의견도 몇 개 있었습니다. 실제 사용 중인 다른 클라우드 제공업체에 대한 의견을 더 듣고 싶습니다. + +### 기본 사항 + +- 퍼블릭 클라우드 서비스 제공 +- 지리적으로 분산되어 있음(전 세계 60개 이상의 지역) +- 인터넷 및/또는 개인 연결을 통해 액세스 +- 멀티 테넌트 모델 +- 사용량 기반 청구 - (종량제 및 사용량 증가에 따른 과금) +- 다양한 요구 사항에 맞는 다양한 서비스 유형 및 제품. + +- [Microsoft Azure 글로벌 인프라](https://infrastructuremap.microsoft.com/explore) + +SaaS 및 하이브리드 클라우드에 대해 많이 이야기했지만 여기서는 해당 주제를 다루지 않을 계획입니다. + +시작하고 따라 하는 가장 좋은 방법은 링크를 클릭하여 [Microsoft Azure 무료 계정](https://azure.microsoft.com/en-gb/free/)을 생성하는 것입니다. + +### 지역 + +위의 인터랙티브 지도를 링크했는데, 아래 이미지에서 전 세계 Microsoft Azure 플랫폼에서 제공되는 다양한 지역을 확인할 수 있습니다. + +![](/2022/Days/Images/Day29_Cloud2.png) +[Microsoft 문서](https://docs.microsoft.com/en-us/azure/networking/microsoft-global-network)에서 가져온 이미지 - _01/05/2021_ + +또한 다른 지역과 연결되지 않거나 다른 지역과 대화할 수 없음을 의미하는 여러 "sovereign" 클라우드를 볼 수 있는데, 예를 들어 `AzureUSGovernment`, `AzureChinaCloud` 등과 같은 정부와 관련된 클라우드가 있습니다. + +Microsoft Azure 내에서 서비스를 배포할 때 거의 모든 것에 대해 지역을 선택합니다. 하지만 모든 지역에서 모든 서비스를 이용할 수 있는 것은 아니라는 점에 유의해야 합니다. 이 글을 쓰는 시점에 [지역별 사용 가능한 제품](https://azure.microsoft.com/en-us/global-infrastructure/services/?products=all)을 보면 미국 중서부 지역에서는 Azure Databricks을 사용할 수 없다는 것을 알 수 있습니다. + +또한 위에서 "거의 모든 것"이라고 언급했는데, Azure Bot Services, Bing Speech, Azure Virtual Desktop, Static Web Apps 등과 같이 지역과 연결된 특정 서비스가 있습니다. + +이면에서는 region이 둘 이상의 데이터 센터로 구성될 수 있습니다. 이를 가용 영역이라고 합니다. + +아래 이미지에서 볼 수 있듯이 이 이미지는 Microsoft 공식 문서에서 가져온 것으로, region이란 무엇이며 region이 가용 영역으로 어떻게 구성되는지 설명합니다. 그러나 모든 지역에 가용 영역이 여러 개 있는 것은 아닙니다. + +![](/2022/Days/Images/Day29_Cloud3.png) + +Microsoft 설명서는 매우 훌륭하며 [여기](https://docs.microsoft.com/en-us/azure/availability-zones/az-overview)에서 지역 및 가용 영역에 대한 자세한 내용을 읽을 수 있습니다. + +### 구독 + +Microsoft Azure는 모든 주요 클라우드 공급자가 이 모델을 따르는 소비 모델 클라우드라고 언급했음을 기억하세요. + +엔터프라이즈인 경우 회사에서 이러한 Azure 서비스를 사용할 수 있도록 Microsoft와 엔터프라이즈 계약을 원하거나 이미 설정했을 수 있습니다. + +저와 같이 교육용으로 Microsoft Azure를 사용하는 경우 몇 가지 다른 옵션이 있습니다. + +일반적으로 일정 기간 동안 Azure에서 사용할 수 있는 몇 가지 무료 클라우드 크레딧을 제공하는 [Microsoft Azure 무료 계정](https://azure.microsoft.com/en-gb/free/)이 있습니다. + +또한 Visual Studio 연간 구독과 함께 매달 몇 가지 무료 크레딧을 제공하는 [Visual Studio](https://azure.microsoft.com/en-us/pricing/member-offers/credit-for-visual-studio-subscribers/) 구독을 사용할 수도 있습니다(몇 년 전에는 일반적으로 MSDN으로 알려짐). + +마지막으로 신용카드를 건네고 [종량제](https://azure.microsoft.com/en-us/pricing/purchase-options/pay-as-you-go/) 모델을 사용하는 방법이 있습니다. + +구독은 잠재적으로 비용 중심이지만 완전히 다른 환경을 가진 서로 다른 구독 간의 경계로 볼 수 있습니다. 구독은 리소스가 생성되는 곳입니다. + +### 관리 그룹 + +관리 그룹을 사용하면 Azure AD(Active Directory) 또는 테넌트 환경 전반에서 제어를 분리할 수 있습니다. 관리 그룹을 통해 정책, RBAC(역할 기반 액세스 제어) 및 예산을 제어할 수 있습니다. + +구독은 이러한 관리 그룹에 속하므로 Azure AD 테넌트에 많은 구독을 보유할 수 있으며, 이러한 구독은 정책, RBAC 및 예산도 제어할 수 있습니다. + +### 리소스 관리자 및 리소스 그룹 + +#### Azure 리소스 관리자 + +- 리소스 공급자를 기반으로 구축된 JSON 기반 API입니다. +- 리소스는 리소스 그룹에 속하며 공통 수명 주기를 공유합니다. +- 병렬 처리 +- JSON 기반 배포는 선언적이고 비독립적이며 리소스 간의 종속성을 이해하여 생성 및 순서를 관리합니다. + +#### 리소스 그룹 + +- 모든 Azure Resource Manager 리소스는 하나의 리소스 그룹에만 존재합니다! +- 리소스 그룹은 지역 외부의 리소스를 포함할 수 있는 지역에서 만들어집니다. +- 리소스 그룹 간에 리소스 이동 가능 +- 리소스 그룹은 다른 리소스 그룹과 차단되지 않으며, 리소스 그룹 간에 통신할 수 있습니다. +- 리소스 그룹은 정책, RBAC 및 예산도 제어할 수 있습니다. + +### 실습 + +이제 연결하여 **Subscription**을 사용할 수 있는지 확인해 보겠습니다. 기본 제공되는 간단한 **Management Group**을 확인한 다음, 원하는 **Region**에 새로운 전용 **Resource Group**을 만들 수 있습니다. + +[Azure 포털](https://portal.azure.com/#home)에 처음 로그인하면 상단에 리소스, 서비스 및 문서를 검색할 수 있는 기능이 표시됩니다. + +![](/2022/Days/Images/Day29_Cloud4.png) + +먼저 구독을 살펴보겠습니다. 여기에서는 매달 무료 크레딧을 제공하는 Visual Studio Professional 구독을 사용하고 있음을 알 수 있습니다. + +![](/2022/Days/Images/Day29_Cloud5.png) + +더 넓은 화면으로 이동하여 구독으로 어떤 일이 일어나고 있는지 또는 무엇을 할 수 있는지 살펴보면 왼쪽에 IAM 액세스 제어를 정의할 수 있는 제어 기능과 함께 청구 정보를 볼 수 있으며 더 아래로 내려가면 더 많은 리소스를 사용할 수 있습니다. + +![](/2022/Days/Images/Day29_Cloud6.png) + +여러 개의 구독이 있고 이를 모두 하나의 구독으로 관리하려는 시나리오가 있을 수 있는데, 이때 관리 그룹을 사용하여 책임 그룹을 분리할 수 있습니다. 아래 제 경우에는 구독이 있는 테넌트 루트 그룹만 있는 것을 볼 수 있습니다. + +또한 이전 이미지에서 상위 관리 그룹이 테넌트 루트 그룹에 사용된 아이디와 동일한 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day29_Cloud7.png) + +다음으로 리소스 그룹이 있는데, 여기에서 리소스를 결합하여 한 곳에서 쉽게 관리할 수 있습니다. 저는 다른 여러 프로젝트를 위해 몇 개를 만들었습니다. + +![](/2022/Days/Images/Day29_Cloud8.png) + +앞으로 며칠 동안 할 작업을 위해 리소스 그룹을 만들고 싶습니다. 이 콘솔에서 이전 이미지의 생성 옵션을 누르면 쉽게 할 수 있습니다. + +![](/2022/Days/Images/Day29_Cloud9.png) + +유효성 검사 단계가 수행된 후 생성한 내용을 검토한 다음 생성할 수 있습니다. 또한 하단에 "Download a template for automation"가 표시되는데, 이를 통해 JSON 형식을 가져와서 나중에 원할 경우, 이 간단한 작업을 자동화 방식으로 수행할 수 있으며, 이에 대해서도 나중에 다룰 것입니다. + +![](/2022/Days/Images/Day29_Cloud10.png) + +생성 버튼을 누르면 리소스 그룹 목록에 다음 세션에서 수행할 작업을 위한 "90DaysOfDevOps" 그룹이 준비됩니다. + +![](/2022/Days/Images/Day29_Cloud11.png) + +## 자료 + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +[Day 30](day30.md)에서 봐요! diff --git a/2022/ko/Days/day30.md b/2022/ko/Days/day30.md new file mode 100644 index 0000000..0eeab29 --- /dev/null +++ b/2022/ko/Days/day30.md @@ -0,0 +1,175 @@ +--- +title: '#90DaysOfDevOps - Microsoft Azure Security Models - Day 30' +published: false +description: 90DaysOfDevOps - Microsoft Azure Security Models +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049039 +--- + +## Microsoft Azure 보안 모델 + +Microsoft Azure 개요에 이어서 Azure 보안부터 시작하여 일상적인 업무에 어떤 도움이 될 수 있는지 살펴보겠습니다. 대부분의 경우 기본 제공 역할로도 충분하지만, 다양한 인증 및 구성 영역을 만들고 작업할 수 있다는 것을 알게 되었습니다. 다른 퍼블릭 클라우드에 비해 Microsoft Azure의 Active Directory 배경이 상당히 발전되어 있다는 것을 알았습니다. + +Microsoft Azure가 다른 퍼블릭 클라우드 공급자와 다르게 작동하는 것처럼 보이는 영역 중 하나는 Azure에는 항상 Azure AD가 있다는 것입니다. + +### 디렉토리 서비스 + +- Azure Active Directory는 Microsoft Azure 및 기타 Microsoft 클라우드 서비스에서 사용하는 보안 원칙을 호스팅합니다. +- 인증은 SAML, WS-Federation, OpenID Connect 및 OAuth2와 같은 프로토콜을 통해 수행됩니다. +- 쿼리는 Microsoft Graph API라는 REST API를 통해 수행됩니다. +- 테넌트는 tenant.onmicrosoft.com을 기본 이름으로 사용하지만 사용자 지정 도메인 이름을 사용할 수도 있습니다. +- 구독은 Azure Active Directory 테넌트와 연결됩니다. + +AWS와 비교하기 위해 AWS를 생각해보면 여전히 매우 다르지만, AWS IAM(ID 및 액세스 관리)이 동등한 오퍼링이 될 것입니다. + +Azure AD Connect는 AD에서 Azure AD로 계정을 복제하는 기능을 제공합니다. 여기에는 그룹과 때로는 개체가 포함될 수도 있습니다. 이는 세분화 및 필터링할 수 있습니다. 여러 포리스트 및 도메인을 지원합니다. + +Microsoft Azure AD(Active Directory)에서 클라우드 계정을 만들 수 있지만 대부분의 조직은 이미 온-프레미스에 있는 자체 Active Directory에서 사용자를 계정화하고 있습니다. + +Azure AD Connect를 사용하면 Windows AD 서버뿐만 아니라 다른 Azure AD, Google 및 기타 서버도 볼 수 있습니다. 또한 외부 사람 및 조직과 공동 작업할 수 있는 기능을 제공하는데, 이를 Azure B2B라고 합니다. + +액티브 디렉토리 도메인 서비스와 Microsoft Azure 액티브 디렉토리 간의 인증 옵션은 암호 해시와 ID 동기화를 통해 모두 가능합니다. + +![](/2022/Days/Images/Day30_Cloud1.png) + +암호 해시 전달은 선택 사항이며, 암호 해시를 사용하지 않는 경우 통과 인증이 필요합니다. + +아래에 링크된 비디오에서 패스스루 인증에 대해 자세히 설명합니다. + +[Azure Active Directory 패스스루 인증을 사용한 사용자 로그인](https://docs.microsoft.com/en-us/azure/active-directory/hybrid/how-to-connect-pta) + +![](/2022/Days/Images/Day30_Cloud2.png) + +### 페더레이션 + +Microsoft 365, Microsoft Dynamics 및 온-프레미스 Active Directory를 사용하는 경우 페더레이션을 위해 Azure AD를 이해하고 통합하는 것은 매우 쉽습니다. 하지만 Microsoft 에코시스템 외부의 다른 서비스를 사용하고 있을 수도 있습니다. + +Azure AD는 이러한 다른 타사 앱 및 기타 디렉토리 서비스에 대한 페더레이션 브로커 역할을 할 수 있습니다. + +이는 Azure 포털에서 다양한 옵션이 있는 엔터프라이즈 애플리케이션으로 표시됩니다. + +![](/2022/Days/Images/Day30_Cloud3.png) + +엔터프라이즈 애플리케이션 페이지에서 아래로 스크롤 하면 추천 애플리케이션의 긴 목록을 볼 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud4.png) + +이 옵션을 사용하면 개발 중인 애플리케이션이나 갤러리 이외의 애플리케이션을 "직접 가져와서" 통합할 수도 있습니다. + +이전에 이 기능을 살펴본 적은 없지만 다른 클라우드 제공업체 및 기능과 비교할 때 상당한 기능 집합이라는 것을 알 수 있습니다. + +### 역할 기반 액세스 제어 + +여기서 다룰 범위는 이미 [Day 29](day29.md)에서 다뤘으며, 이러한 영역 중 하나에 따라 역할 기반 액세스 제어를 설정할 수 있습니다. + +- 구독 +- 관리 그룹 +- 리소스 그룹 +- 리소스 + +역할은 세 가지로 나눌 수 있으며, Microsoft Azure에는 많은 기본 제공 역할이 있습니다. 이 세 가지 역할은 다음과 같습니다: + +- 소유자 +- 기여자 +- 리더 + +소유자와 기여자는 범위가 매우 유사하지만, 소유자가 권한을 변경할 수 있습니다. + +다른 역할은 특정 유형의 Azure 리소스 및 사용자 지정 역할에 따라 다릅니다. + +그룹과 사용자에 대한 사용 권한 할당에 중점을 두어야 합니다. + +사용 권한은 상속됩니다. + +다시 돌아가서 우리가 만든 "90DaysOfDevOps" 리소스 그룹을 살펴보고 그 안의 액세스 제어(IAM)를 확인하면 기여자 목록과 고객 사용자 액세스 관리자 목록이 있고 소유자 목록이 있는 것을 볼 수 있습니다(하지만 이 목록은 표시할 수 없습니다). + +![](/2022/Days/Images/Day30_Cloud5.png) + +또한 여기에서 할당된 역할이 빌트인 역할인지 여부와 해당 역할이 어떤 카테고리에 속하는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud6.png) + +이 리소스 그룹에 대해 계정을 확인하고 해당 액세스 권한을 갖고자 하는 계정에 올바른 권한이 있는지 확인하거나 사용자가 너무 많은 액세스 권한을 갖고 있는지 확인하려는 경우 액세스 확인 탭을 사용할 수도 있습니다. + +![](/2022/Days/Images/Day30_Cloud7.png) + +### 클라우드용 Microsoft Defender + +- 클라우드용 Microsoft Defender(이전의 Azure Security Center)는 전체 Azure 환경의 보안에 대한 인사이트를 제공합니다. + +- 단일 대시보드를 통해 모든 Azure 및 비 Azure 리소스의 전반적인 보안 상태를 파악할 수 있으며(Azure Arc를 통해) 보안 강화 지침을 제공합니다. + +- 프리티어에는 지속적인 평가 및 보안 권장 사항이 포함됩니다. + +- 보호되는 리소스 유형(예: Servers, AppService, SQL, Storage, Containers, KeyVault)에 대한 유료 플랜. + +다른 구독으로 전환하여 Azure 보안 센터를 확인했으며, 여기에서 몇 가지 리소스를 기반으로 한 곳에서 몇 가지 권장 사항을 확인할 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud8.png) + +### Azure 정책 + +- Azure Policy는 조직 표준을 적용하고 대규모로 규정 준수를 평가하는 데 도움이 되는 Azure 기본 서비스입니다. + +- 클라우드용 Microsoft Defender에 통합됩니다. Azure Policy는 규정을 준수하지 않는 리소스를 감사하고 수정 사항을 적용합니다. + +- 리소스 일관성, 규정 준수, 보안, 비용 및 관리 표준을 관리하는 데 일반적으로 사용됩니다. + +- JSON 형식을 사용하여 평가 로직을 저장하고 리소스의 규정 준수 여부와 규정 미준수 시 취할 조치(예: 감사, AuditIfNotExists, 거부, 수정, DeployIfNotExists)를 결정합니다. + +- 무료로 사용할 수 있습니다. 단, Azure 정책 게스트 구성 사용량에 대해 서버/월당 청구되는 Azure Arc 연결 리소스는 예외입니다. + +### 실습 + +www.90DaysOfDevOps.com 도메인을 구입했는데 이 도메인을 내 Azure Active Directory 포털에 추가하고 싶습니다. [Azure Active Directory 포털을 사용하여 사용자 지정 도메인 이름 추가](https://docs.microsoft.com/en-us/azure/active-directory/fundamentals/add-custom-domain) + +![](/2022/Days/Images/Day30_Cloud9.png) + +이제 새 Active Directory 도메인에 새 사용자를 만들 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud10.png) + +이제 모든 새로운 90DaysOfDevOps 사용자를 하나의 그룹으로 묶는 그룹을 만들고 싶습니다. 아래와 같이 그룹을 만들 수 있으며, Azure AD가 사용자 계정을 쿼리하여 동적으로 추가하는 "Dynamic User"와 수동으로 사용자를 그룹에 추가하는 "Assigned"를 사용하고 있음을 알 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud11.png) + +쿼리를 작성할 때 많은 옵션이 있지만, 저는 단순히 대표 이름을 찾아 이름에 @90DaysOfDevOps.com이 포함되어 있는지 확인하려고 합니다. + +![](/2022/Days/Images/Day30_Cloud12.png) + +이제 michael.cade@90DaysOfDevOps.com 에 대한 사용자 계정을 이미 만들었으므로 규칙이 작동하는지 확인할 수 있습니다. 비교를 위해 다른 도메인에 연결한 다른 계정도 여기에 추가했는데, 이 규칙으로 인해 사용자가 이 그룹에 속하지 않는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud13.png) + +그 후 user1@90DaysOfDevOps.com 을 새로 추가했고 그룹을 확인하면 회원을 볼 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud14.png) + +이 요구 사항이 많아진다면, 콘솔에서 이 모든 작업을 수행하지 않고 대량 옵션을 사용하여 사용자를 만들고, 초대하고, 삭제하거나 PowerShell을 사용하여 자동화된 확장 방식을 사용하고 싶을 것입니다. + +이제 리소스 그룹으로 이동하여 90DaysOfDevOps 리소스 그룹에서 소유자가 방금 만든 그룹이 되도록 지정할 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud15.png) + +마찬가지로 여기로 이동하여 리소스 그룹에 대한 할당 액세스를 거부할 수도 있습니다. + +이제 새 사용자 계정으로 Azure Portal에 로그인하면 액세스 권한이 없기 때문에 이전 그림에서 볼 수 있는 다른 리소스 그룹에는 액세스 권한이 없고 90DaysOfDevOps 리소스 그룹에만 액세스 권한이 있는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day30_Cloud16.png) + +모든 사용자가 포털을 알고 있을 필요는 없지만, 액세스 권한을 확인하기 위해 [앱 포털](https://myapps.microsoft.com/)을 사용하여 테스트할 수 있는 싱글 사인온 포털입니다. + +![](/2022/Days/Images/Day30_Cloud17.png) + +이 포털을 브랜딩으로 사용자 지정할 수 있으며, 이 부분은 나중에 다시 다룰 수 있습니다. + +## 자료 + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +[Day 31](day31.md)에서 봐요! diff --git a/2022/ko/Days/day31.md b/2022/ko/Days/day31.md new file mode 100644 index 0000000..f0cf7e2 --- /dev/null +++ b/2022/ko/Days/day31.md @@ -0,0 +1,114 @@ +--- +title: '#90DaysOfDevOps - Microsoft Azure Compute Models - Day 31' +published: false +description: 90DaysOfDevOps - Microsoft Azure Compute Models +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049040 +--- + +## Microsoft Azure 컴퓨팅 모델 + +어제 Microsoft Azure의 보안 모델에 대한 기본 사항을 다룬 데 이어 오늘은 Azure에서 사용할 수 있는 다양한 컴퓨팅 서비스에 대해 살펴보겠습니다. + +### 서비스 가용성 옵션 + +이 섹션은 데이터 관리에서 제 역할을 고려할 때 제 마음에 와닿는 부분입니다. 온-프레미스와 마찬가지로 서비스의 가용성을 보장하는 것이 중요합니다. + +- 고가용성(지역 내 보호) +- 재해 복구(지역 간 보호) +- 백업(특정 시점으로부터의 복구) + +Microsoft는 지정학적 경계 내에 여러 지역을 배포합니다. + +서비스 가용성을 위한 Azure의 두 가지 개념엔 Sets와 영역이 있습니다. + +가용성 Sets - 데이터 센터 내에서 복원력 제공 + +가용성 영역 - 지역 내 데이터 센터 간에 복원력을 제공합니다. + +### 가상 머신 + +퍼블릭 클라우드의 시작점일 가능성이 높습니다. + +- 다양한 기능을 갖춘 다양한 계열 및 [크기](https://docs.microsoft.com/en-us/azure/virtual-machines/sizes)의 가상 머신을 제공합니다(때로는 압도적일 수 있음). +- 고성능, 짧은 지연 시간, 높은 메모리 옵션의 VM에 이르기까지 다양한 옵션과 초점이 있는 VM을 제공합니다. +- 또한 B-Series에서 찾을 수 있는 burstable VM 유형도 있습니다. 이는 대부분의 경우 CPU 요구 사항이 낮지만, 한 달에 한 번 정도 성능 급증이 필요한 워크로드에 적합합니다. +- 가상 머신은 모든 네트워크에 연결을 제공할 수 있는 가상 네트워크에 배치됩니다. +- Windows 및 Linux 게스트 OS 지원. +- 특정 Linux 배포판의 경우 [Azure 튜닝된 커널](https://docs.microsoft.com/en-us/azure/virtual-machines/linux/endorsed-distros#azure-tuned-kernels)도 있습니다. + +### 템플릿 + +앞서 마이크로소프트 애저의 이면이나 밑에 있는 모든 것이 JSON이라고 언급했습니다. + +리소스를 생성하는 데 사용할 수 있는 여러 가지 관리 포털과 콘솔이 있지만, 가장 선호하는 경로는 JSON 템플릿을 통한 것입니다. + +증분 또는 전체 모드, 즉 반복 가능한 원하는 상태의 무동력 배포. + +배포된 리소스 정의를 내보낼 수 있는 다양한 템플릿이 있습니다. 저는 이 템플릿 기능을 AWS CloudFormation과 같은 것에 적용하거나 멀티클라우드 옵션을 위한 Terraform이 될 수 있다고 생각하고 있습니다. Terraform에 대해서는 IaC 섹션에서 자세히 다루겠습니다. + +### 스케일링 + +자동 확장은 사용하지 않는 리소스를 스핀다운 하거나 필요할 때 스핀업할 수 있는 퍼블릭 클라우드의 큰 기능입니다. + +Azure에는 IaaS용 VMSS(Virtual Machine Scale Sets)라는 것이 있습니다. 이를 통해 일정 및 메트릭을 기반으로 골드 스탠다드 이미지를 자동으로 생성하고 확장할 수 있습니다. + +이는 윈도우를 업데이트하는 데 이상적이므로 이미지를 업데이트하고 최소한의 영향을 미치면서 배포할 수 있습니다. + +Azure 앱 서비스와 같은 다른 서비스에는 자동 확장 기능이 내장되어 있습니다. + +### 컨테이너 + +컨테이너를 사용 사례로 다루지 않았고 DevOps 학습 여정에서 컨테이너가 필요한 이유와 방법을 다루지 않았지만, Azure에는 몇 가지 특정 컨테이너 중심 서비스가 있다는 점을 언급할 필요가 있습니다. + +Azure Kubernetes Service(AKS) - 기반 클러스터 관리의 control plane이나 관리에 대해 걱정할 필요가 없는 관리형 Kubernetes 솔루션을 제공합니다. 나중에 Kubernetes에 대해 자세히 알아보세요. + +Azure Container Instances - 초당 과금 방식의 서비스형 컨테이너. 컨테이너 오케스트레이션이 필요 없이 이미지를 실행하고 가상 네트워크와 통합할 수 있습니다. + +Service Fabric - 많은 기능을 제공하지만, 컨테이너 인스턴스에 대한 오케스트레이션이 포함되어 있습니다. + +Azure에는 Docker 이미지, Helm 차트, OCI 아티팩트 및 이미지에 대한 비공개 레지스트리를 제공하는 컨테이너 레지스트리도 있습니다. 이에 대해서는 컨테이너 섹션에서 다시 자세히 설명하겠습니다. + +또한 많은 컨테이너 서비스가 실제로 컨테이너를 내부적으로 활용할 수도 있지만 이는 관리 요구 사항에서 추상화되어 있다는 점도 언급해야 합니다. + +앞서 언급한 컨테이너 중심 서비스는 다른 모든 퍼블릭 클라우드에서도 비슷한 서비스를 찾을 수 있습니다. + +### 애플리케이션 서비스 + +- Azure Application Services는 서비스를 쉽게 설정할 수 있는 애플리케이션 호스팅 솔루션을 제공합니다. +- 자동 배포 및 확장. +- Windows 및 Linux 기반 솔루션을 지원합니다. +- 서비스는 유형과 크기가 지정된 앱 서비스 플랜에서 실행됩니다. +- 웹 앱, API 앱, 모바일 앱 등 다양한 서비스를 지원합니다. +- 안정적인 테스트 및 홍보를 위한 배포 슬롯 지원. + +### 서버리스 컴퓨팅 + +저에게 서버리스는 더 배우고 싶은 흥미진진한 다음 단계입니다. + +서버리스의 목표는 함수의 런타임에 대해서만 비용을 지불하고 가상 머신이나 PaaS 애플리케이션을 항상 실행할 필요가 없다는 것입니다. 필요할 때 함수를 실행하기만 하면 사라집니다. + +Azure Functions - 서버리스 코드를 제공합니다. 퍼블릭 클라우드에 대해 처음 살펴본 것을 기억한다면 관리의 추상화 계층을 기억할 수 있는데, 서버리스 함수를 사용하면 코드만 관리하게 됩니다. + +대규모의 이벤트 기반은 나중에 실습을 하게 되면 무언가를 구축할 계획이 있습니다. + +많은 Azure 및 타사 서비스에 대한 입력 및 출력 바인딩을 제공합니다. + +다양한 프로그래밍 언어를 지원합니다. (C#, NodeJS, Python, PHP, batch, bash, Golang 및 Rust. 또는 모든 실행 파일) + +Azure Event Grid를 사용하면 서비스 및 이벤트에서 로직을 트리거할 수 있습니다. + +Azure Logic App은 그래픽 기반 워크플로 및 통합을 제공합니다. + +또한 일관된 관리 및 예약을 통해 Windows 및 Linux 노드 모두에서 대규모 작업을 실행할 수 있는 Azure Batch도 살펴볼 수 있습니다. + +## 자료 + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +[Day 32](day32.md)에서 봐요! diff --git a/2022/ko/Days/day32.md b/2022/ko/Days/day32.md new file mode 100644 index 0000000..8d3f91d --- /dev/null +++ b/2022/ko/Days/day32.md @@ -0,0 +1,191 @@ +--- +title: '#90DaysOfDevOps - Microsoft Azure Storage Models - Day 32' +published: false +description: 90DaysOfDevOps - Microsoft Azure Storage Models +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048775 +--- + +## Microsoft Azure 스토리지 모델 + +### 스토리지 서비스 + +- Azure 스토리지 서비스는 스토리지 계정으로 제공됩니다. +- 스토리지 계정은 주로 REST API를 통해 액세스합니다. +- 스토리지 계정은 DNS 이름(`.core.windows.net`)의 일부인 고유한 이름을 가져야 합니다. +- 다양한 복제 및 암호화 옵션. +- 리소스 그룹 내에 위치 + +Azure Portal 상단의 검색 창에서 저장소 그룹을 검색하여 저장소 그룹을 만들 수 있습니다. + +![](/2022/Days/Images/Day32_Cloud1.png) + +그런 다음 이 이름은 고유해야 하며 공백 없이 모두 소문자이어야 하지만 숫자를 포함할 수 있다는 점을 기억하고 스토리지 계정을 만들기 위한 단계를 실행할 수 있습니다. + +![](/2022/Days/Images/Day32_Cloud2.png) + +또한 스토리지 계정과 여기에 저장하는 모든 항목에 대해 원하는 중복성 수준을 선택할 수 있습니다. 목록에서 아래로 내려갈수록 옵션은 더 비싸지만, 데이터는 더 많이 분산됩니다. + +기본 중복 옵션조차도 데이터의 사본 3개를 제공합니다. + +[Azure 스토리지 이중화](https://docs.microsoft.com/en-us/azure/storage/common/storage-redundancy) + +위 링크의 요약은 아래와 같습니다: + +- **Locally-redundant storage** - 기본 지역의 단일 데이터 센터 내에서 데이터를 세 번 복제합니다. +- **Geo-redundant storage** - LRS를 사용하여 기본 지역의 단일 물리적 위치 내에서 데이터를 세 번 동기식으로 복사합니다. +- **Zone-redundant storage** - 기본 지역의 Azure 가용성 영역 3개에 걸쳐 Azure 스토리지 데이터를 동기식으로 복제합니다. +- **Geo-zone-redundant storage** - 가용성 영역 간 중복으로 제공되는 고가용성과 지리적 복제를 통해 제공되는 지역 중단으로부터의 보호를 결합합니다. GZRS 스토리지 계정의 데이터는 기본 지역의 Azure 가용 영역 3개에 복사되며, 지역 재해로부터 보호하기 위해 두 번째 지리적 영역에도 복제됩니다. + +![](/2022/Days/Images/Day32_Cloud3.png) + +다시 성능 옵션으로 이동합니다. 스탠다드와 프리미엄 중에서 선택할 수 있습니다. 여기서는 스탠다드를 선택했지만, 프리미엄은 몇 가지 구체적인 옵션을 제공합니다. + +![](/2022/Days/Images/Day32_Cloud4.png) + +드롭다운에서 다음 세 가지 옵션 중에서 선택할 수 있습니다. + +![](/2022/Days/Images/Day32_Cloud5.png) + +스토리지 계정에 사용할 수 있는 고급 옵션은 훨씬 더 많지만, 지금은 이러한 영역에 대해 자세히 설명할 필요가 없습니다. 이러한 옵션은 암호화와 데이터 보호에 관한 것입니다. + +### 관리 디스크 + +몇 가지 방법으로 스토리지에 액세스할 수 있습니다. + +인증된 액세스를 통한 액세스: + +- 전체 제어를 위한 공유키. +- 위임된 세분화된 액세스를 위한 공유 액세스 서명. +- Azure Active Directory(사용 가능한 경우) + +공용 액세스: + +- 공용 액세스를 부여하여 HTTP를 통한 익명 액세스를 활성화할 수도 있습니다. +- 예를 들어 기본 콘텐츠와 파일을 블록 블롭에 호스팅하여 브라우저가 이 데이터를 보고 다운로드할 수 있도록 할 수 있습니다. + +다른 Azure 서비스에서 스토리지에 액세스하는 경우 트래픽은 Azure 내에 유지됩니다. + +스토리지 성능에는 두 가지 유형이 있습니다: + +- **Standard** - 최대 IOPS 수 +- **Premium** - 보장된 IOPS 수 + +IOPS => 초당 입/출력 작업 수. + +작업에 적합한 스토리지를 선택할 때 고려해야 할 비관리형 디스크와 관리형 디스크의 차이점도 있습니다. + +### 가상 머신 스토리지 + +- 가상 머신 OS 디스크는 일반적으로 persistent 스토리지에 저장됩니다. +- 일부 상태 비저장 워크로드에는 persistent 스토리지가 필요하지 않으며 레이턴시 감소가 더 큰 이점이 됩니다. +- 노드-로컬 스토리지에 생성되는 임시 OS 관리 디스크를 지원하는 VM이 있습니다. + - 이러한 디스크는 VM 스케일 세트와 함께 사용할 수도 있습니다. + +관리 디스크는 Azure Virtual 머신과 함께 사용할 수 있는 내구성 있는 블록 스토리지입니다. Ultra Disk Storage, Premium SSD, Standard SSD 또은 Standard HDD를 사용할 수 있습니다. 또한 몇 가지 특징이 있습니다. + +- 스냅샷 및 이미지 지원 +- SKU 간 간단한 이동 +- 가용성 세트와 결합하여 가용성 향상 +- 사용한 스토리지가 아닌 디스크 크기를 기준으로 요금이 청구됩니다. + +## 아카이브 스토리지 + +- **Cool Tier** - 블롭을 차단하고 추가할 수 있는 쿨 티어 스토리지를 사용할 수 있습니다. + - 스토리지 비용 절감 + - 트랜잭션 비용이 더 높습니다. +- **Archive Tier** - 블록 블롭에 아카이브 스토리지를 사용할 수 있습니다. + - 이것은 블롭 단위로 구성됩니다. + - 더 저렴한 비용, 더 긴 데이터 검색 대기 시간. + - 일반 Azure 스토리지와 동일한 데이터 내구성. + - 필요에 따라 사용자 지정 데이터 계층화를 사용하도록 설정할 수 있습니다. + +### 파일 공유 + +위에서 스토리지 계정을 만들었으므로 이제 파일 공유를 만들 수 있습니다. + +![](/2022/Days/Images/Day32_Cloud6.png) + +이렇게 하면 Azure에서 SMB2.1 및 3.0 파일 공유가 제공됩니다. + +Azure 내부에서 사용할 수 있으며 인터넷에 연결된 SMB3 및 포트 445를 통해 외부에서도 사용할 수 있습니다. + +Azure에서 공유 파일 스토리지를 제공합니다. + +REST API 외에 표준 SMB 클라이언트를 사용하여 매핑할 수 있습니다. + +[Azure NetApp Files](https://vzilla.co.uk/vzilla-blog/azure-netapp-files-how)(SMB 및 NFS)도 참조하세요. + +### 캐싱 및 미디어 서비스 + +Azure 콘텐츠 전송 네트워크는 전 세계에 위치한 정적 웹 콘텐츠의 캐시를 제공합니다. + +Azure 미디어 서비스는 재생 서비스 외에 미디어 트랜스코딩 기술을 제공합니다. + +## Microsoft Azure 데이터베이스 모델 + +지난 [Day 28](day28.md)에서 다양한 서비스 옵션에 대해 다뤘습니다. 그중 하나는 많은 양의 인프라와 운영 체제를 추상화하고 애플리케이션 또는 이 경우 데이터베이스 모델만 제어할 수 있는 PaaS(서비스형 플랫폼)였습니다. + +### 관계형 데이터베이스 + +Azure SQL 데이터베이스는 Microsoft SQL Server를 기반으로 하는 서비스로서의 관계형 데이터베이스를 제공합니다. + +이는 특정 기능 버전이 필요한 경우 데이터베이스 호환성 수준을 사용할 수 있는 최신 SQL 브랜치를 실행하는 SQL입니다. + +이를 구성하는 방법에는 몇 가지 옵션이 있는데, 인스턴스에서 하나의 데이터베이스를 제공하는 단일 데이터베이스를 제공할 수 있으며, 탄력적 풀을 사용하면 용량 풀을 공유하고 집합적으로 확장하는 여러 데이터베이스를 사용할 수 있습니다. + +이러한 데이터베이스 인스턴스는 일반 SQL 인스턴스처럼 액세스할 수 있습니다. + +MySQL, PostgreSQL 및 MariaDB를 위한 추가 관리형 제품. + +![](/2022/Days/Images/Day32_Cloud7.png) + +### NoSQL 솔루션 + +Azure Cosmos DB는 스키마에 구애받지 않는 NoSQL 구현입니다. + +99.99% SLA + +자동 유도를 통해 전 세계 어디서나 99번째 백분위수에서 한 자릿수 지연 시간을 제공하는 전 세계에 분산된 데이터베이스입니다. + +데이터의 partitioning/sharding/distribution에 파티션 키를 활용합니다. + +다양한 데이터 모델 지원(documents, key-value, graph, column-friendly) + +다양한 API 지원(DocumentDB SQL, MongoDB, Azure Table Storage, Gremlin) + +![](/2022/Days/Images/Day32_Cloud9.png) + +[CAP 정리](https://en.wikipedia.org/wiki/CAP_theorem)를 기반으로 다양한 정합성 모델을 제공합니다. + +![](/2022/Days/Images/Day32_Cloud8.png) + +### 캐싱 + +Redis와 같은 캐싱 시스템에 대한 자세한 설명은 생략하고 Microsoft Azure에는 Azure Cache for Redis라는 서비스가 있다는 점을 말씀드리고 싶었습니다. + +Azure Cache for Redis는 Redis 소프트웨어를 기반으로 하는 인메모리 데이터 저장소를 제공합니다. + +- 이 서비스는 오픈 소스 Redis Cache를 구현한 것입니다. + - 호스팅된 보안 Redis 캐시 인스턴스입니다. + - 다양한 티어를 사용할 수 있습니다. + - 캐시를 활용하려면 애플리케이션을 업데이트해야 합니다. + - 쓰기에 비해 읽기 요구 사항이 높은 애플리케이션을 대상으로 합니다. + - 키-값 저장소 기반. + +![](/2022/Days/Images/Day32_Cloud10.png) + +지난 며칠 동안 Microsoft Azure에 대해 많은 메모를 하고 이론을 공부했지만, 이러한 구성 요소가 어떻게 결합되고 작동하는지에 대한 실무적인 측면으로 들어가기 전에 기본 구성 요소를 다루고 싶었습니다. + +시나리오 기반 서비스 배포를 시작하고 실행하기 전에 네트워킹과 관련된 이론이 한 가지 더 남아 있습니다. 또한 지금까지 사용하던 포털을 사용할 때와 Microsoft Azure와 상호 작용할 수 있는 몇 가지 다른 방법도 살펴보고자 합니다. + +## 자료 + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +[Day 33](day33.md)에서 봐요! diff --git a/2022/ko/Days/day33.md b/2022/ko/Days/day33.md new file mode 100644 index 0000000..1d702eb --- /dev/null +++ b/2022/ko/Days/day33.md @@ -0,0 +1,190 @@ +--- +title: '#90DaysOfDevOps - Microsoft Azure Networking Models + Azure Management - Day 33' +published: false +description: 90DaysOfDevOps - Microsoft Azure Networking Models + Azure Management +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048706 +--- + +## Microsoft Azure 네트워킹 모델 + Azure 관리 + +오늘이 Microsoft Azure의 12번째 생일을 기념하는 날인 것 같습니다! (2022년 2월 1일) 아무튼, 이번 포스팅에서는 Microsoft Azure 내의 네트워킹 모델과 Azure 관리 옵션에 대해 알아보려고 합니다. 지금까지는 Azure 포털만 사용했지만, 플랫폼 내에서 리소스를 구동하고 생성하는 데 사용할 수 있는 다른 영역에 대해서도 언급했습니다. + +## Azure 네트워크 모델 + +### 가상 네트워크 + +- 가상 네트워크는 Azure에서 생성된 구조입니다. +- 가상 네트워크에는 하나 이상의 IP 범위가 할당됩니다. +- 가상 네트워크는 지역 내 구독 내에 존재합니다. +- 가상 서브넷은 네트워크 범위를 분할하기 위해 가상 네트워크에 생성됩니다. +- 가상 머신은 가상 서브넷에 배치됩니다. +- 가상 네트워크 내의 모든 가상 머신은 통신할 수 있습니다. +- 가상 네트워크당 65,536개의 프라이빗 IP. +- 리전으로부터의 송신 트래픽에 대해서만 비용을 지불합니다. (리전을 벗어나는 데이터) +- IPv4 및 IPv6 지원. + - 퍼블릭 대면 및 가상 네트워크 내 IPv6. + +Azure 가상 네트워크는 AWS VPC에 비유할 수 있습니다. 하지만 몇 가지 주의해야 할 차이점이 있습니다: + +- AWS에서는 기본 VNet이 생성되지만 Microsoft Azure에서는 그렇지 않으므로 요구 사항에 맞게 첫 번째 가상 네트워크를 생성해야 합니다. +- Azure의 모든 가상 머신은 기본적으로 인터넷에 대한 NAT 액세스 권한을 갖습니다. AWS에 따른 NAT 게이트웨이가 없습니다. +- Microsoft Azure에는 사설 또는 공용 서브넷의 개념이 없습니다. +- 공용 IP는 vNIC 또는 로드 밸런서에 할당할 수 있는 리소스입니다. +- 가상 네트워크와 서브넷에는 서브넷 수준 위임을 가능하게 하는 자체 ACL이 있습니다. +- AWS에서는 가용 영역별로 서브넷이 있는 반면, 가상 네트워크에서는 가용 영역 전체에 걸쳐 서브넷이 있습니다. + +또한 가상 네트워크 피어링도 있습니다. 이를 통해 테넌트 및 리전 전반의 가상 네트워크를 Azure 백본을 사용하여 연결할 수 있습니다. 전이되지는 않지만, 허브 가상 네트워크의 Azure 방화벽을 통해 활성화할 수 있습니다. 게이트웨이 트랜짓을 사용하면 피어링된 가상 네트워크가 연결된 네트워크에 연결할 수 있으며, 그 예로 ExpressRoute to On-Premises를 들 수 있습니다. + +### 액세스 제어 + +- Azure는 네트워크 보안 그룹을 활용하며, 이는 stateful합니다. +- 규칙을 만든 다음 네트워크 보안 그룹에 할당할 수 있습니다. +- 네트워크 보안 그룹은 서브넷 또는 VM에 적용됩니다. +- 서브넷에 적용되는 경우에도 가상 머신 NIC에서는 여전히 "Edge" 디바이스가 아닌 것으로 적용됩니다. + +![](/2022/Days/Images/Day33_Cloud1.png) + +- 규칙은 네트워크 보안 그룹에 결합됩니다. +- 우선순위에 따라 유연한 구성이 가능합니다. +- 우선순위 숫자가 낮을수록 우선순위가 높습니다. +- 대부분의 로직은 IP 주소로 구축되지만, 일부 태그와 레이블도 사용할 수 있습니다. + +| Description | Priority | Source Address | Source Port | Destination Address | Destination Port | Action | +| ---------------- | -------- | ------------------ | ----------- | ------------------- | ---------------- | ------ | +| Inbound 443 | 1005 | \* | \* | \* | 443 | Allow | +| ILB | 1010 | Azure LoadBalancer | \* | \* | 10000 | Allow | +| Deny All Inbound | 4000 | \* | \* | \* | \* | DENY | + +또한 애플리케이션 보안 그룹(ASG)도 있습니다. + +- NSG가 성장하는 환경에서 유지 관리가 어려울 수 있는 IP 주소 범위에 초점을 맞추는 경우. +- ASG를 사용하면 다양한 애플리케이션 역할(웹서버, DB 서버, WebApp1 등)에 대한 실제 이름(Monikers)을 정의할 수 있습니다. +- 가상 머신 NIC는 하나 이상의 ASG의 멤버가 됩니다. + +그런 다음 ASG는 네트워크 보안 그룹의 일부인 규칙에서 통신 흐름을 제어하는 데 사용할 수 있으며 서비스 태그와 같은 NSG 기능을 계속 사용할 수 있습니다. + +| Action | Name | Source | Destination | Port | +| ------ | ------------------ | ---------- | ----------- | ------------ | +| Allow | AllowInternettoWeb | Internet | WebServers | 443(HTTPS) | +| Allow | AllowWebToApp | WebServers | AppServers | 443(HTTPS) | +| Allow | AllowAppToDB | AppServers | DbServers | 1443 (MSSQL) | +| Deny | DenyAllinbound | Any | Any | Any | + +### 로드 밸런싱 + +Microsoft Azure에는 두 가지 로드 밸런싱 솔루션이 있습니다. (퍼스트 파티, Azure 마켓플레이스에서 사용할 수 있는 타사도 있습니다.) 두 솔루션 모두 외부 또는 내부 엔드포인트에서 작동할 수 있습니다. + +- Load Balancer (Layer 4)는 해시 기반 배포 및 포트 포워딩을 지원합니다. +- App Gateway (Layer 7)는 SSL offload, 쿠키 기반 세션 선호도, URL 기반 콘텐츠 라우팅과 같은 기능을 지원합니다. + +또한 앱 게이트웨이를 사용하면 선택적으로 웹 애플리케이션 방화벽 구성 요소를 사용할 수 있습니다. + +## Azure 관리 도구 + +대부분의 이론 시간을 Azure 포털을 살펴보는 데 할애했는데, 데브옵스 문화를 따르고 이러한 작업, 특히 프로비저닝과 관련된 많은 작업을 처리할 때 API 또는 커맨드라인 도구를 통해 수행한다고 제안하고 싶습니다. Azure 환경의 프로비저닝을 자동화할 때 이를 알아야 하므로 사용할 수 있는 다른 관리 도구 몇 가지를 언급하고 싶었습니다. + +### Azure 포털 + +Microsoft Azure Portal은 커맨드라인 도구의 대안을 제공하는 웹 기반 콘솔입니다. Azure 포털에서 구독을 관리할 수 있습니다. 간단한 웹 앱부터 복잡한 클라우드 배포까지 모든 것을 빌드, 관리 및 모니터링할 수 있습니다. 포털 내에서 찾을 수 있는 또 다른 것은 이러한 이동 경로이며, 앞서 언급했듯이 JSON은 모든 Azure 리소스의 기반이며, 포털에서 시작하여 기능, 서비스 및 기능을 이해한 다음 나중에 자동화된 워크플로우에 통합하기 위해 그 아래에 있는 JSON을 이해할 수 있습니다. + +![](/2022/Days/Images/Day33_Cloud2.png) + +Azure Preview Portal도 있으며, 이 포털을 사용하여 새로운 서비스 및 향후 개선 사항을 보고 테스트할 수 있습니다. + +![](/2022/Days/Images/Day33_Cloud3.png) + +### PowerShell + +Azure PowerShell을 살펴보기 전에 PowerShell에 대해 먼저 소개할 필요가 있습니다. PowerShell은 작업 자동화 및 구성 관리 프레임워크, 커맨드라인 셸 및 스크립팅 언어입니다. Linux 섹션에서 셸 스크립팅에 대해 다룬 것과 비슷하다고 감히 말할 수 있습니다. PowerShell은 Windows OS에서 처음 발견되었지만, 이제는 크로스 플랫폼입니다. + +Azure PowerShell은 PowerShell 커맨드라인에서 직접 Azure 리소스를 관리하기 위한 cmdlets의 집합입니다. + +아래에서 PowerShell 명령 `Connect-AzAccount`를 사용하여 구독에 연결할 수 있음을 확인할 수 있습니다. + +![](/2022/Days/Images/Day33_Cloud4.png) + +그런 다음 Azure VM과 관련된 특정 명령을 찾으려면 다음 명령을 실행하면 됩니다. 이 PowerShell 프로그래밍 언어에 대해 더 많이 배우고 이해하는 데 몇 시간을 투자할 수 있습니다. + +![](/2022/Days/Images/Day33_Cloud5.png) + +[여기](https://docs.microsoft.com/en-us/powershell/azure/get-started-azureps?view=azps-7.1.0)에서 PowerShell에서 서비스를 시작하고 프로비저닝하는 방법에 대한 Microsoft의 훌륭한 빠른 시작 가이드를 확인하세요. + +### Visual Studio Code + +많은 분들께서 보셨듯이 제가 자주 사용하는 IDE는 Visual Studio Code입니다. + +Visual Studio Code는 Microsoft에서 Windows, Linux 및 macOS용으로 만든 무료 소스 코드 편집기입니다. + +아래에서 Visual Studio Code에 내장된 많은 통합 및 도구를 사용하여 Microsoft Azure 및 그 안의 서비스와 상호 작용할 수 있음을 확인할 수 있습니다. + +![](/2022/Days/Images/Day33_Cloud6.png) + +### Cloud Shell + +Azure Cloud Shell은 Azure 리소스를 관리하기 위한 대화형, 인증된 브라우저 액세스 가능 셸입니다. 작업 방식에 가장 적합한 셸 환경을 선택할 수 있는 유연성을 제공합니다. + +![](/2022/Days/Images/Day33_Cloud7.png) + +아래에서 볼 수 있듯이 포털 내에서 Cloud Shell을 처음 실행하면 Bash와 PowerShell 중에서 선택할 수 있습니다. + +![](/2022/Days/Images/Day33_Cloud8.png) + +Cloud Shell을 사용하려면 구독에 약간의 저장 공간을 제공해야 합니다. + +Cloud Shell을 사용하도록 선택하면 머신이 스핀업되며, 이러한 머신은 일시적이지만 파일은 디스크 이미지와 마운트된 파일 공유를 통해 두 가지 방식으로 유지됩니다. + +![](/2022/Days/Images/Day33_Cloud9.png) + +- Cloud Shell은 세션별, 사용자별로 제공되는 임시 호스트에서 실행됩니다. +- 대화형 활동이 없으면 20분 후에 Cloud Shell이 시간 초과됨 +- Cloud Shell을 사용하려면 Azure 파일 공유를 마운트해야 함 +- Cloud Shell은 Bash와 PowerShell 모두에 동일한 Azure 파일 공유를 사용합니다. +- Cloud Shell은 사용자 계정당 하나의 머신이 할당됨 +- Cloud Shell은 파일 공유에 보관된 5GB 이미지를 사용하여 $HOME을 유지합니다. +- 권한은 Bash에서 일반 Linux 사용자로 설정됨 + +위 내용은 [Cloud Shell 개요](https://docs.microsoft.com/en-us/azure/cloud-shell/overview)에서 복사한 것입니다. + +### Azure CLI + +마지막으로 Azure CLI에 대해 알아보겠습니다. Azure CLI는 윈도우, 리눅스, 맥OS에서 설치할 수 있습니다. 설치가 완료되면 `az`를 입력한 후 다른 명령어를 입력해 Azure 리소스를 생성, 업데이트, 삭제, 조회할 수 있습니다. + +처음 Azure 학습에 들어갔을 때 Azure PowerShell과 Azure CLI가 있어서 약간 혼란스러웠습니다. + +이에 대한 커뮤니티의 피드백이 있으면 좋겠습니다. 하지만 제가 알기로 Azure PowerShell은 Windows PowerShell 또는 PowerShell Core에 추가된 모듈(다른 OS에서도 사용 가능하지만 전부는 아님)인 반면, Azure CLI는 Azure에 연결하여 해당 명령을 실행하는 크로스 플랫폼 커맨드라인 프로그램이라고 알고 있습니다. + +이 두 옵션 모두 구문은 다르지만, 제가 보기에는 매우 유사한 작업을 수행할 수 있습니다. + +예를 들어 PowerShell에서 가상 머신을 만들려면 `New-AzVM` cmdlet을 사용하는 반면, Azure CLI는 `az VM create`를 사용합니다. + +앞서 시스템에 Azure PowerShell 모듈이 설치되어 있고 Windows 컴퓨터에서 PowerShell을 통해 호출할 수 있는 Azure CLI도 설치되어 있는 것을 보았습니다. + +![](/2022/Days/Images/Day33_Cloud10.png) + +이미 언급했듯이 여기서 중요한 점은 올바른 도구를 선택하는 것입니다. Azure는 자동화를 기반으로 실행됩니다. 포털 내에서 수행하는 모든 작업은 리소스를 읽거나, 만들거나, 수정하거나, 삭제하기 위해 실행되는 코드로 변환됩니다. + +Azure CLI + +- Windows, macOS, Linux에 설치할 수 있는 크로스 플랫폼 커맨드라인 인터페이스 +- Windows PowerShell, Cmd, Bash 및 기타 Unix 셸에서 실행됩니다. + +Azure PowerShell + +- 크로스 플랫폼 PowerShell 모듈, Windows, macOS, Linux에서 실행됨 +- Windows PowerShell 또는 PowerShell 필요 + +사용 중인 환경에서 PowerShell을 사용할 수 없지만 .mdor bash를 사용할 수 있는 경우 Azure CLI를 선택하는 것이 좋습니다. + +다음으로 지금까지 살펴본 모든 이론을 바탕으로 몇 가지 시나리오를 만들어 Azure에서 실습해 보겠습니다. + +## 자료 + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +[Day 34](day34.md)에서 봐요! diff --git a/2022/ko/Days/day34.md b/2022/ko/Days/day34.md new file mode 100644 index 0000000..6a5fac5 --- /dev/null +++ b/2022/ko/Days/day34.md @@ -0,0 +1,197 @@ +--- +title: '#90DaysOfDevOps - Microsoft Azure Hands-On Scenarios - Day 34' +published: false +description: 90DaysOfDevOps - Microsoft Azure Hands-On Scenarios +tags: 'DevOps, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048763 +--- + +## Microsoft Azure 실습 시나리오 + +지난 6일 동안 Microsoft Azure와 퍼블릭 클라우드 전반에 대해 집중적으로 살펴봤는데요, Azure의 빌딩 블록을 이해하기 위해서는 많은 이론이 필요했지만, 다른 주요 클라우드 제공업체에도 잘 적용될 수 있을 것입니다. + +처음에 퍼블릭 클라우드에 대한 기초 지식을 얻고 최소한 한 공급자를 선택하는 것에 대해 언급했는데, 여러 클라우드를 얕게 다룰 경우 길을 잃기 쉽지만, 한 공급자를 선택한 후 기본 사항을 이해하면 다른 클라우드로 이동하여 학습을 가속화하는 것이 매우 쉽다고 생각됩니다. + +이번 마지막 세션에서는 Microsoft에서 만든 참고 자료로 [AZ-104 Microsoft Azure Administrator](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/) 시험 준비에 사용되는 이 페이지에서 실습 시나리오를 골라보겠습니다. + +여기에는 컨테이너와 쿠버네티스와 같이 아직 자세히 다루지 않은 내용도 있으므로 아직은 여기에 뛰어들지 않겠습니다. + +이전 포스팅에서 Module 1,2,3의 대부분을 만들었습니다. + +### 가상 네트워킹 + +[Module 04](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_04-Implement_Virtual_Networking.html) 따라 하기: + +위의 내용을 살펴보고 #90DaysOfDevOps의 이름을 몇 가지 변경했습니다. 또한 클라우드 셸을 사용하는 대신 Windows 머신에서 Azure CLI를 사용하여 전날 생성한 새 사용자로 로그인했습니다. + +브라우저를 열고 계정에 인증할 수 있는 `az login`을 사용하여 이 작업을 수행할 수 있습니다. + +그런 다음 아래 작업 중 일부를 빌드하는 데 사용할 PowerShell 스크립트와 Module에서 몇 가지 참조를 만들었습니다. 관련 파일은 이 폴더에서 찾을 수 있습니다. +(/2022/Days/Cloud/01VirtualNetworking) + +스크립트의 파일 위치를 사용자 환경에 맞게 변경해야 합니다. + +첫 번째 단계에서는 환경에 가상 네트워크나 가상 머신이 생성되어 있지 않고 리소스 그룹에 클라우드 셸 스토리지 위치만 구성되어 있습니다. + +먼저 [PowerShell 스크립트](/2022/Days/Cloud/01VirtualNetworking/Module4_90DaysOfDevOps.ps1)를 실행합니다. + +![](/2022/Days/Images/Day34_Cloud1.png) + +- Task 1: 가상 네트워크 생성 및 구성 + +![](/2022/Days/Images/Day34_Cloud2.png) + +- Task 2: 가상 네트워크에 가상 머신 배포 + +![](/2022/Days/Images/Day34_Cloud3.png) + +- Task 3: Azure VM의 프라이빗 및 퍼블릭 IP 주소 구성 + +![](/2022/Days/Images/Day34_Cloud4.png) + +- Task 4: 네트워크 보안 그룹 구성 + +![](/2022/Days/Images/Day34_Cloud5.png) +![](/2022/Days/Images/Day34_Cloud6.png) + +- Task 5: 내부 이름 확인을 위한 Azure DNS 구성 + +![](/2022/Days/Images/Day34_Cloud7.png) +![](/2022/Days/Images/Day34_Cloud8.png) + +### 네트워크 트래픽 관리 + +[Module 06](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_06-Implement_Network_Traffic_Management.html)에 이어서 + +다음 단계에서는 지난번 리소스 그룹으로 이동하여 리소스를 삭제했는데, 저처럼 사용자 계정을 해당 리소스 그룹에만 접근하도록 설정하지 않았다면 Module 이름을 '90Days\*'로 변경하여 모든 리소스와 리소스 그룹을 삭제할 수 있습니다. 이것이 다음 실습 각각에 대한 제 프로세스입니다. + +이 실습에서는 아래 작업 중 일부를 구축하는 데 사용할 Module의 일부 참조와 PowerShell 스크립트도 만들었습니다. 관련 파일은 이 폴더에서 찾을 수 있습니다. +(/2022/Days/Cloud/02TrafficManagement) + +- Task 1: 실습 환경 프로비저닝 + +먼저 [PowerShell 스크립트](/2022/Days/Cloud/02TrafficManagement/Mod06_90DaysOfDevOps.ps1)를 실행합니다. + +![](/2022/Days/Images/Day34_Cloud9.png) + +- Task 2: 허브 및 스포크 네트워크 Topology 구성 + +![](/2022/Days/Images/Day34_Cloud10.png) + +- Task 3: 가상 네트워크 피어링의 전이성 테스트 + +이 작업의 경우 90DaysOfDevOps 그룹은 권한 때문에 네트워크 감시자에 액세스할 수 없었는데, 이는 네트워크 감시자가 리소스 그룹에 묶여 있지 않은 리소스 중 하나이기 때문인 것으로 예상됩니다(이 사용자에 대해 RBAC이 적용된 곳). 미국 동부 네트워크 감시자 기여자 역할을 90DaysOfDevOps 그룹에 추가했습니다. + +![](/2022/Days/Images/Day34_Cloud11.png) +![](/2022/Days/Images/Day34_Cloud12.png) +![](/2022/Days/Images/Day34_Cloud13.png) + +두 개의 스포크 가상 네트워크가 서로 피어링되지 않기 때문에 예상되는 현상입니다(가상 네트워크 피어링은 전이적이지 않음). + +- Task 4: 허브 및 스포크 Topology에서 라우팅 구성하기 + +여기서 제 계정이 90DaysOfDevOps 그룹 내에서 제 사용자로 스크립트를 실행할 수 없는 또 다른 문제가 있었는데, 잘 모르겠으므로 다시 기본 관리자 계정으로 이동했습니다. 90DaysOfDevOps 그룹은 90DaysOfDevOps 리소스 그룹의 모든 소유자이므로 VM 내에서 명령을 실행할 수 없는 이유를 알고 싶습니다. + +![](/2022/Days/Images/Day34_Cloud14.png) +![](/2022/Days/Images/Day34_Cloud15.png) + +그런 다음 michael.cade@90DaysOfDevOps.com 계정으로 돌아가서 이 섹션을 계속할 수 있었습니다. 여기서 동일한 테스트를 다시 실행하고 있지만 이제 결과에 도달할 수 있습니다. + +![](/2022/Days/Images/Day34_Cloud16.png) + +- Task 5: Azure 로드밸런싱 장치 구현하기 + +![](/2022/Days/Images/Day34_Cloud17.png) +![](/2022/Days/Images/Day34_Cloud18.png) + +- Task 6: Azure 애플리케이션 게이트웨이 구현 + +![](/2022/Days/Images/Day34_Cloud19.png) +![](/2022/Days/Images/Day34_Cloud20.png) + +### Azure 스토리지 + +[Module 07](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_07-Manage_Azure_Storage.html)에 이어서 진행합니다: + +이 실습에서는 아래 작업 중 일부를 빌드하는 데 사용할 PowerShell 스크립트와 Module의 일부 참조도 만들었습니다. 관련 파일은 이 폴더에서 찾을 수 있습니다. +(/2022/Days/Cloud/03Storage) + +- Task 1: 실습 환경 프로비저닝 + +먼저 [PowerShell 스크립트](/2022/Days/Cloud/03Storage/Mod07_90DaysOfDeveOps.ps1)를 실행합니다. + +![](/2022/Days/Images/Day34_Cloud21.png) + +- Task 2: Azure Storage 계정 만들기 및 구성 + +![](/2022/Days/Images/Day34_Cloud22.png) + +- Task 3: 블롭 스토리지 관리 + +![](/2022/Days/Images/Day34_Cloud23.png) + +- Task 4: Azure 스토리지에 대한 인증 및 권한 부여 관리 + +![](/2022/Days/Images/Day34_Cloud24.png) +![](/2022/Days/Images/Day34_Cloud25.png) + +이 기능이 허용되기를 기다리는 동안 조금 조바심이 났지만 결국 작동했습니다. + +![](/2022/Days/Images/Day34_Cloud26.png) + +- Task 5: Azure 파일 공유 만들기 및 구성하기 + +실행 명령에서 michael.cade@90DaysOfDevOps.com 에서는 작동하지 않아서 승격된 계정을 사용했습니다. + +![](/2022/Days/Images/Day34_Cloud27.png) +![](/2022/Days/Images/Day34_Cloud28.png) +![](/2022/Days/Images/Day34_Cloud29.png) + +- Task 6: Azure 스토리지에 대한 네트워크 액세스 관리 + +![](/2022/Days/Images/Day34_Cloud30.png) + +### 서버리스(웹 앱 구현) + +[Module 09a](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_09a-Implement_Web_Apps.html)를 따릅니다: + +- Task 1: Azure 웹 앱 만들기 + +![](/2022/Days/Images/Day34_Cloud31.png) + +- Task 2: 스테이징 배포 슬롯 만들기 + +![](/2022/Days/Images/Day34_Cloud34.png) + +- Task 3: 웹 앱 배포 설정 구성 + +![](/2022/Days/Images/Day34_Cloud33.png) + +- Task 4: 스테이징 배포 슬롯에 코드 배포 + +![](/2022/Days/Images/Day34_Cloud32.png) + +- Task 5: 스테이징 슬롯 교체 + +![](/2022/Days/Images/Day34_Cloud35.png) + +- Task 6: Azure 웹 앱의 자동 확장 구성 및 테스트 + +제가 사용하는 이 스크립트는 (/2022/Days/Cloud/04Serverless)에서 찾을 수 있습니다. + +![](/2022/Days/Images/Day34_Cloud36.png) + +이것으로 Microsoft Azure와 퍼블릭 클라우드 전반에 대한 섹션을 마무리합니다. 이 시나리오를 작업하는 것이 매우 즐거웠다고 말씀드리고 싶습니다. + +## 자료 + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +다음으로 버전 관리 시스템, 특히 git과 코드 저장소 개요에 대해 살펴볼 것이며, 제가 선호하는 옵션인 GitHub를 선택하겠습니다. + +[Day 35](day35.md)에서 봐요! diff --git a/2022/ko/Days/day35.md b/2022/ko/Days/day35.md new file mode 100644 index 0000000..e06fd8c --- /dev/null +++ b/2022/ko/Days/day35.md @@ -0,0 +1,140 @@ +--- +title: '#90DaysOfDevOps - The Big Picture: Git - Version Control - Day 35' +published: false +description: 90DaysOfDevOps - The Big Picture Git - Version Control +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049041 +--- + +## 큰 그림: Git - 버전 관리 + +Git을 시작하기 전에 버전 관리가 무엇이며 왜 필요한지 이해해야 하나요? 이번 Git 시작 단계에서는 버전 관리가 무엇인지, 그리고 Git의 기본 사항에 대해 살펴보겠습니다. + +### 버전 제어란 무엇인가요? + +Git이 유일한 버전 관리 시스템은 아니므로 여기서는 버전 관리와 관련하여 어떤 옵션과 방법론을 사용할 수 있는지 살펴보고자 합니다. + +버전 관리의 가장 분명하고 큰 장점은 프로젝트의 이력을 추적할 수 있다는 것입니다. 우리는 `git log`를 사용하여 이 리포지토리를 되돌아보고 많은 커밋과 많은 코멘트가 있으며 프로젝트에서 지금까지 무슨 일이 일어났는지 확인할 수 있습니다. 명령어에 대해서는 나중에 설명할 테니 걱정하지 마세요. 이제 이것이 소스 코드로 가득 찬 실제 소프트웨어 프로젝트이고 여러 사람이 서로 다른 시간에 소프트웨어에 커밋하고, 다른 작성자와 검토자가 모두 여기에 기록되어 무슨 일이 언제, 누가, 누가 검토했는지 알 수 있다고 생각해보세요. + +![](/2022/Days/Images/Day35_Git1.png) + +과거 버전 제어는 변경을 하기 전에 수동으로 버전 복사본을 만드는 것과 같은 방식이었을 것입니다. 또한 혹시 모른다는 생각으로 쓸모없는 오래된 코드를 주석 처리했을 수도 있습니다. + +![](/2022/Days/Images/Day35_Git2.png) + +저는 소스 코드뿐만 아니라 거의 모든 프로젝트에 버전 관리를 사용하기 시작했고, 이와 같은 프로젝트에 대해 이야기합니다(90DaysOfDevOps). 진행된 모든 것을 롤백하고 기록하는 기능을 받아들이는 것은 어떨까요? + +그러나 **버전 제어는 백업이 아닙니다!** + +버전 관리의 또 다른 이점은 프로젝트의 여러 버전을 관리할 수 있다는 점입니다. 예를 들어 모든 운영 체제에서 사용할 수 있는 무료 앱이 있고 모든 운영 체제에서 사용할 수 있는 유료 앱이 있다고 가정해 봅시다. 대부분의 코드는 두 애플리케이션 간에 공유됩니다. 각 앱에 코드를 복사하여 붙여 넣을 수도 있지만, 개발 인원이 한 명 이상으로 늘어나면 매우 지저분해지고 실수도 발생할 수 있습니다. + +프리미엄 앱에는 추가 기능을 프리미엄 커밋이라고 부르고 무료 버전에는 일반 커밋만 포함할 수 있습니다. + +버전 관리에서 이를 달성하는 방법은 branch를 사용하는 것입니다. + +![](/2022/Days/Images/Day35_Git3.png) + +branch를 사용하면 위에서 설명한 것처럼 동일한 앱에 대해 두 개의 코드 스트림을 사용할 수 있습니다. 하지만 소스 코드가 없는 버전에 포함된 새로운 기능이 프리미엄 버전에 포함되기를 원하며, 이를 위해 Merge라는 기능을 사용합니다. + +![](/2022/Days/Images/Day35_Git4.png) + +무료 버전에서 작업하는 팀과 프리미엄 유료 버전에서 작업하는 팀이 있을 수 있고, 둘 다 전체 코드의 일부에 영향을 주는 코드를 변경하면 어떻게 될지 모르기 때문에 merge는 복잡할 수 있습니다. 변수가 업데이트되어 무언가를 망가뜨릴 수도 있습니다. 그러면 기능 중 하나가 중단되는 충돌이 발생합니다. 버전 관리로는 이러한 충돌을 해결할 수 없습니다. 하지만 버전 제어를 사용하면 이를 쉽게 관리할 수 있습니다. + +지금까지 버전 관리를 선택하지 않았다면 일반적으로 가장 큰 이유는 공동 작업 기능입니다. 개발자 간에 코드를 공유할 수 있는 기능, 그리고 앞서 말씀드린 대로 코드라고 하면 동료와 함께 작업하는 공동 프레젠테이션이나 프로젝트 전반에 걸쳐 커뮤니티가 수정 및 업데이트를 제공하는 90DaysOfDevOps 챌린지 등 다른 이유로 소스 제어를 사용하는 사례가 점점 더 많아지고 있습니다. + +버전 관리가 없다면 소프트웨어 개발자 팀은 어떻게 이런 일을 처리할 수 있을까요? 저는 프로젝트를 진행하면서 상황을 추적하는 것만으로도 충분히 힘들다는 것을 느낍니다. 저는 그들이 코드를 각 기능 모듈로 분리할 것이라고 예상합니다. 아마도 퍼즐 조각을 한데 모은 다음 릴리스하기 전에 문제와 이슈를 파악했을 것입니다. + +버전 관리를 통해 우리는 단일 소스를 확보할 수 있습니다. 여전히 서로 다른 모듈에서 작업할 수 있지만 협업이 더 잘 이루어질 수 있습니다. + +![](/2022/Days/Images/Day35_Git5.png) + +여기서 한 가지 더 언급할 것은 버전 관리의 이점을 누릴 수 있는 것은 개발자뿐만 아니라 모든 팀원이 가시성을 확보할 수 있을 뿐만 아니라 프로젝트 관리 도구도 여기에 연결하여 작업을 추적할 수 있다는 것입니다. 다른 모듈에서 다룰 Jenkins와 같은 빌드 머신도 있을 수 있습니다. 시스템을 빌드하고 패키징하여 배포 테스트와 메트릭을 자동화하는 도구입니다. + +### Git이란 무엇인가요? + +Git은 소스 코드 또는 모든 파일의 변경 사항을 추적하는 도구이며, 오픈소스 분산 버전 관리 시스템이라고도 할 수 있습니다. + +시스템에서 Git을 사용할 수 있는 방법은 여러 가지가 있는데, 가장 일반적으로는 커맨드라인에서 사용하는 것이 가장 일반적이지만, GUI와 Visual Studio Code와 같은 도구에서도 Git을 인식하는 작업을 활용할 수 있습니다. + +이제 로컬 머신에 Git을 설치하기 전에 개략적인 개요를 살펴보겠습니다. + +앞서 만든 폴더를 살펴보겠습니다. + +![](/2022/Days/Images/Day35_Git2.png) + +이 폴더를 버전 제어에 사용하려면 먼저 `git init` 명령을 사용하여 이 디렉토리를 초기화해야 합니다. 지금은 이 명령이 디렉토리를 컴퓨터 어딘가에 있는 데이터베이스의 리포지토리로 저장한다고 생각하면 됩니다. + +![](/2022/Days/Images/Day35_Git6.png) + +이제 몇 가지 파일과 폴더를 만들 수 있으며 소스 코드가 시작될 수도 있고 이미 여기에 무언가가 있을 수도 있습니다. 우리는 `git add .` 명령을 사용하여 디렉토리의 모든 파일과 폴더를 스냅샷에 넣을 수 있지만 아직 해당 데이터베이스에 아무것도 커밋하지 않았습니다. 우리는 단지 `.`가 있는 모든 파일을 추가할 준비가 되었다고 말하는 것입니다. + +![](/2022/Days/Images/Day35_Git7.png) + +이제 파일을 커밋하고 싶으면 `git commit -m "My First Commit"` 명령으로 이 작업을 수행합니다. 커밋에 대한 설명을 할 수 있으며 각 커밋에 대해 무슨 일이 일어났는지 알 수 있도록 도와줍니다. + +![](/2022/Days/Images/Day35_Git8.png) + +이제 프로젝트의 히스토리에서 어떤 일이 일어났는지 확인할 수 있습니다. `git log` 명령어를 사용합니다. + +![](/2022/Days/Images/Day35_Git9.png) + +`samplecode.ps1`라는 파일을 추가로 생성하면 상태가 달라집니다. 또한 `git status`를 사용하여 리포지토리의 상태를 확인할 수 있는데, 커밋할 항목이 없음을 보여주며 samplecode.ps1이라는 새 파일을 추가할 수 있습니다. 그런 다음 동일한 `git status`를 실행하면 커밋할 파일이 있는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day35_Git10.png) + +`git add samplecode.ps1`명령을 사용하여 새 파일을 추가한 다음`git status`를 다시 실행하면 파일이 커밋될 준비가 된 것을 확인할 수 있습니다. + +![](/2022/Days/Images/Day35_Git11.png) + +그런 다음 `git commit -m "My Second Commit"` 명령을 실행합니다. + +![](/2022/Days/Images/Day35_Git12.png) + +`git status`를 한 번 더 입력하면, 모든 것이 다시 깨끗해졌음을 확인할 수 있습니다. + +![](/2022/Days/Images/Day35_Git13.png) + +이제 최신 변경 사항과 첫 번째 커밋을 보여주는 `git log` 명령을 사용할 수 있습니다. + +![](/2022/Days/Images/Day35_Git14.png) + +커밋 사이의 변경 사항, 즉 어떤 파일이 추가되거나 수정되었는지 확인하려면 `git diff b8f8 709a`를 사용하면 됩니다. + +![](/2022/Days/Images/Day35_Git15.png) + +그러면 새 파일을 추가한 경우 변경된 내용이 표시됩니다. + +![](/2022/Days/Images/Day35_Git16.png) + +나중에 더 자세히 설명하겠지만 커밋을 이동하면서 시간 여행을 할 수 있습니다! 커밋 번호를 사용하면 `git checkout 709a` 명령을 사용하여 새 파일을 잃지 않고 시간을 거슬러 올라갈 수 있습니다. + +![](/2022/Days/Images/Day35_Git17.png) + +마찬가지로 커밋 번호와 같은 방법으로 앞으로 이동하고 싶을 수도 있고, 여기서 `git switch -` 명령을 사용하여 작업을 취소할 수도 있습니다. + +![](/2022/Days/Images/Day35_Git18.png) + +TLDR; + +- 프로젝트 히스토리 추적하기 +- 프로젝트의 여러 버전 관리 +- 개발자 및 더 넓은 범위의 팀과 도구 간에 코드 공유 +- 팀워크 조정 +- 아, 그리고 시간 여행! + +너무 많은 내용을 설명한 것 같지만, 어떤 명령어를 사용하는지 몰라도 버전 관리의 큰 그림을 이해할 수 있기를 바랍니다. + +다음에는 로컬 머신에 Git을 설치 및 설정하고 Git을 통해 얻을 수 있는 다른 사용 사례와 명령어에 대해 좀 더 자세히 살펴보겠습니다. + +## 자료 + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) + +[Day 36](day36.md)에서 봐요! diff --git a/2022/ko/Days/day36.md b/2022/ko/Days/day36.md new file mode 100644 index 0000000..39ba8fd --- /dev/null +++ b/2022/ko/Days/day36.md @@ -0,0 +1,154 @@ +--- +title: '#90DaysOfDevOps - Installing & Configuring Git - Day 36' +published: false +description: 90DaysOfDevOps - Installing & Configuring Git +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048738 +--- + +## Git 설치 및 구성 + +Git은 버전 관리를 위한 오픈 소스 크로스 플랫폼 도구입니다. 저처럼 우분투 또는 대부분의 Linux 환경을 사용하는 경우 이미 Git이 설치되어 있을 수 있지만 설치 및 구성 과정을 살펴보겠습니다. + +시스템에 이미 git이 설치되어 있더라도 최신 버전인지 확인하는 것도 좋은 방법입니다. + +### Git 설치하기 + +이미 언급했듯이 Git은 크로스 플랫폼이므로 Windows와 Linux를 통해 실행할 것이지만 [여기](https://git-scm.com/book/en/v2/Getting-Started-Installing-Git)에서 macOS도 찾을 수 있습니다. + +[Windows](https://git-scm.com/download/win)의 경우 공식 사이트에서 설치할 수 있습니다. + +Windows 컴퓨터에서 `winget`을 사용할 수도 있는데, 이것을 Windows 애플리케이션 패키지 관리자라고 생각하면 됩니다. + +설치하기 전에 Windows 머신에 어떤 버전이 있는지 확인해 보겠습니다. PowerShell 창을 열고 `git --version`을 실행합니다. + +![](/2022/Days/Images/Day36_Git1.png) + +WSL 우분투 버전의 Git도 확인할 수 있습니다. + +![](/2022/Days/Images/Day36_Git2.png) + +이 글을 쓰는 시점에 최신 Windows 릴리스는 `2.35.1`이므로 업데이트해야 할 사항이 몇 가지 있는데 이를 살펴보겠습니다. 리눅스도 마찬가지일 것으로 예상합니다. + +저는 최신 설치 프로그램을 다운로드하고 마법사를 실행했으며 여기에 이를 문서화할 것입니다. 주의해야 할 중요한 점은 최신 버전을 설치하기 전에 git이 이전 버전을 제거한다는 것입니다. + +즉, 아래에 표시된 프로세스도 대부분 git을 사용하지 않고 설치하는 것과 동일한 프로세스입니다. + +매우 간단한 설치입니다. 다운로드가 완료되면 두 번 클릭하고 시작하세요. GNU 라이선스 계약을 읽어보세요. 하지만 이 소프트웨어는 무료 오픈소스 소프트웨어라는 점을 기억하세요. + +![](/2022/Days/Images/Day36_Git3.png) + +이제 추가로 설치할 컴포넌트를 선택해 git과 연결할 수 있습니다. 저는 Windows에서 bash 스크립트를 실행할 수 있는 Git Bash를 항상 설치합니다. + +![](/2022/Days/Images/Day36_Git4.png) + +그런 다음 사용할 SSH 실행 파일을 선택할 수 있습니다. 리눅스 섹션에서 보셨을 번들 OpenSSH를 그대로 두겠습니다. + +![](/2022/Days/Images/Day36_Git5.png) + +그다음에는 실험적인 기능을 활성화할 수 있는데, 저는 필요하지 않으므로 활성화하지 않고 나중에 설치를 통해 돌아와서 언제든지 활성화할 수 있습니다. + +![](/2022/Days/Images/Day36_Git6.png) + +설치가 완료되었으므로 이제 Git Bash 및 최신 릴리스 노트를 열도록 선택할 수 있습니다. + +![](/2022/Days/Images/Day36_Git7.png) + +마지막 확인은 PowerShell 창에서 현재 어떤 버전의 git이 있는지 살펴보는 것입니다. + +![](/2022/Days/Images/Day36_Git8.png) + +매우 간단하며 이제 최신 버전을 사용하고 있습니다. 리눅스 머신에서는 업데이트가 조금 늦은 것 같아서 업데이트 과정을 안내해 드리겠습니다. + +`sudo apt-get install git` 명령을 실행하기만 하면 됩니다. + +![](/2022/Days/Images/Day36_Git9.png) + +다음을 실행하여 소프트웨어 설치를 위한 git 저장소를 추가할 수도 있습니다. + +``` +sudo add-apt-repository ppa:git-core/ppa -y +sudo apt-get update +sudo apt-get install git -y +git --version +``` + +### Git 구성하기 + +처음 git을 사용할 때는 몇 가지 설정을 정의해야 합니다, + +- Name +- Email +- 기본 에디터 +- Line Ending + +이 설정은 세 가지 수준에서 수행할 수 있습니다. + +- System = 모든 사용자 +- Global = 현재 사용자의 모든 리포지토리 +- Local = 현재 리포지토리 + +예제 +`git config --global user.name "Michael Cade"` +`git config --global user.email Michael.Cade@90DaysOfDevOPs.com"` +운영 체제에 따라 기본 텍스트 편집기가 결정됩니다. 다음 명령을 설정하지 않은 제 우분투 머신에서는 Nano를 사용하고 있습니다. 아래 명령은 이를 비주얼 스튜디오 코드로 변경합니다. + +`git config --global core.editor "code --wait"` + +이제 모든 git 구성을 보려면 다음 명령을 사용하면 됩니다. + +`git config --global -e` + +![](/2022/Days/Images/Day36_Git10.png) + +어떤 머신에서든 이 파일의 이름은 `.gitconfig`입니다. 제 Windows 머신에서는 사용자 계정 디렉토리에서 이 파일을 찾을 수 있습니다. + +![](/2022/Days/Images/Day36_Git11.png) + +### Git 이론 + +어제 포스트에서 다른 버전 관리 유형이 있으며 이를 두 가지 유형으로 나눌 수 있다고 언급했습니다. 하나는 "클라이언트-서버"이고 다른 하나는 "분산"입니다. + +### 클라이언트-서버 버전 제어 + +git이 등장하기 전에는 클라이언트-서버가 버전 관리를 위한 사실상 유일한 방법이었다. 그 예로 2000년에 설립된 오픈소스 버전 관리 시스템인 [Apache Subversion](https://subversion.apache.org/)을 들 수 있습니다. + +이 클라이언트-서버 버전 제어 모델에서는 개발자가 서버에서 소스 코드와 실제 파일을 다운로드하는 것이 첫 번째 단계입니다. 이렇게 한다고 해서 충돌이 예방되는 것은 아니지만 충돌의 복잡성과 해결 방법이 예방됩니다. + +![](/2022/Days/Images/Day36_Git12.png) + +예를 들어 두 명의 개발자가 같은 파일을 작업하고 있는데 한 개발자가 새로운 변경 사항을 먼저 커밋하거나 서버에 파일을 다시 업로드한다고 가정해 보겠습니다. 두 번째 개발자가 업데이트를 하려고 할 때 충돌이 발생합니다. + +![](/2022/Days/Images/Day36_Git13.png) + +이때, 첫 번째 개발자의 코드 변경 사항을 가져와서 자신의 작업과 충돌하는 부분을 모두 처리한 다음, 커밋해야 합니다. + +![](/2022/Days/Images/Day36_Git15.png) + +### 분산 버전 제어 + +Git이 유일한 분산 버전 제어 시스템은 아닙니다. 하지만 사실상 거의 유일한 시스템입니다. + +Git의 주요 이점은 다음과 같습니다: + +- 빠름 +- 스마트 +- 유연함 +- 안전 및 보안 + +클라이언트-서버 버전 제어 모델과 달리 각 개발자는 커밋 히스토리, 모든 branch 등을 의미하는 소스 리포지토리를 다운로드합니다. + +![](/2022/Days/Images/Day36_Git16.png) + +## 자료 + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) + +[Day 37](day37.md)에서 봐요! diff --git a/2022/ko/Days/day37.md b/2022/ko/Days/day37.md new file mode 100644 index 0000000..cc069f8 --- /dev/null +++ b/2022/ko/Days/day37.md @@ -0,0 +1,170 @@ +--- +title: '#90DaysOfDevOps - Gitting to know Git - Day 37' +published: false +description: 90DaysOfDevOps - Gitting to know Git +tags: 'DevOps, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048707 +--- + +## Gitting to know Git(Git에 대해 알아보기) + +제목과 글 전체에 끔찍한 말장난이 들어가서 죄송합니다. Git을 아재 개그로 바꾼 사람이 제가 처음은 아닐 겁니다! + +지난 두 번의 포스팅에서 버전 관리 시스템과 버전 관리 시스템으로서의 Git의 기본적인 워크플로우에 대해 배웠고, [Day 35](day35.md)에서는 시스템에 Git을 설치하고 업데이트와 구성을 했습니다. 또한 클라이언트-서버 버전 관리 시스템과 분산 버전 관리 시스템인 Git [Day 36](day36.md) 사이의 이론에 대해 조금 더 자세히 알아보았습니다. + +이제 Git에서 흔히 볼 수 있는 몇 가지 명령어와 사용 사례를 살펴보겠습니다. + +### git은 어디에서 도움을 받을 수 있나요? + +git으로 작업을 완료하는 데 필요한 명령이 기억나지 않거나 모를 때가 있을 것입니다. 도움이 필요할 것입니다. + +Google이나 검색 엔진이 도움을 찾을 때 가장 먼저 찾을 수 있는 곳일 것입니다. + +두 번째는 공식 git 사이트와 문서입니다. [git-scm.com/docs](http://git-scm.com/docs) 여기에서 사용 가능한 모든 명령어에 대한 확실한 정보뿐만 아니라 다양한 리소스를 찾을 수 있습니다. + +![](/2022/Days/Images/Day37_Git1.png) + +터미널에 연결할 수 없는 경우에도 동일한 문서에 액세스할 수 있어 매우 유용합니다. 예를 들어 `git add` 명령어를 선택했다면 `git add --help`를 실행하면 아래에 설명서가 표시됩니다. + +![](/2022/Days/Images/Day37_Git2.png) + +셸에서 `git add -h`를 사용하면 사용 가능한 옵션에 대한 요약을 볼 수 있습니다. + +![](/2022/Days/Images/Day37_Git3.png) + +### Git을 둘러싼 오해 + +"Git에는 액세스 제어 기능이 없다." - 리더에게 소스 코드를 유지 관리할 수 있는 권한을 부여할 수 있습니다. + +"Git은 너무 무겁다." - Git은 대규모 프로젝트의 경우 기록을 줄여주는 얕은(shallow) 저장소를 제공할 수 있습니다. + +### 실제 단점 + +바이너리 파일에는 적합하지 않습니다. 소스 코드에는 적합하지만 실행 파일이나 동영상 등에는 적합하지 않습니다. + +도구의 명령어와 기능에 대해 설명하는 데 시간을 할애해야 한다는 점이 사용자 친화적이지 않다는 것을 보여주는 대표적인 예입니다. + +하지만 전반적으로 Git은 배우기는 어렵지만 사용하기는 쉽습니다. + +### git 생태계 + +여기서는 git과 관련된 생태계를 간략하게 다루되 일부 영역에 대해 깊이 있게 다루지는 않겠지만 개략적인 수준에서 알아두는 것이 중요하다고 생각합니다. + +거의 모든 최신 개발 도구는 Git을 지원합니다. + +- 개발자 도구 - 이미 비주얼 스튜디오 코드에 대해 언급했지만, 서브블룸 텍스트 및 기타 텍스트 편집기 및 IDE에 대한 git 플러그인 및 통합을 찾을 수 있습니다. +- 팀 도구 - CI/CD 관점에서의 Jenkins, 메시징 프레임워크의 Slack, 프로젝트 관리 및 이슈 추적을 위한 Jira와 같은 도구에 대해서도 언급했습니다. +- 클라우드 제공업체 - 모든 대형 클라우드 제공업체는 git, Microsoft Azure, Amazon AWS 및 Google Cloud Platform을 지원합니다. +- Git 기반 서비스 - 나중에 더 자세히 다룰 GitHub, GitLab 및 BitBucket이 있습니다. 이러한 서비스는 코드를 위한 소셜 네트워크입니다! + +### Git 치트시트 + +대부분의 명령어를 다루지는 않았지만, 온라인에서 제공되는 몇 가지 치트 시트를 살펴본 후 몇 가지 git 명령어와 그 용도를 문서화하고 싶었습니다. 이 명령어들을 모두 기억할 필요는 없으며, 더 많은 실습과 사용을 통해 최소한 git 기본 명령어 정도는 익힐 수 있을 것입니다. + +[Atlassian](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet)에서 가져온 것이지만, 적어두고 설명을 읽어보면 명령이 무엇인지 알 수 있을 뿐만 아니라 일상적인 작업에서 실습을 해볼 수 있는 좋은 방법입니다. + +### Git 기본 사항 + +| Command | Example | Description | +| ------------- | --------------------------- | --------------------------------------------------------------------------------------------------------------------------- | +| git init | `git init ` | 지정한 디렉토리에 빈 git 리포지토리를 만듭니다. | +| git clone | `git clone ` | \에 있는 리포지토리를 로컬 머신에 복제합니다. | +| git config | `git config user.name` | 현재 리포지토리 `system`, `global`, `local` 플래그의 모든 commit에 사용할 작성자 이름을 정의하여 구성 옵션을 설정합니다. | +| git add | `git add ` | 다음 commit을 위해 \의 모든 변경 사항을 스테이징합니다. 모든 항목에 대해 \와 \<.>을 추가할 수도 있습니다. | +| git commit -m | `git commit -m ""` | 스테이징된 스냅샷을 commit하고, \를 사용하여 commit되는 내용을 자세히 설명합니다. | +| git status | `git status` | 스테이징된 파일, 스테이징되지 않은 파일 및 추적되지 않은 파일을 나열합니다. | +| git log | `git log` | 기본 형식을 사용하여 모든 commit 기록을 표시합니다. 이 명령에는 추가 옵션이 있습니다. | +| git diff | `git diff` | 인덱스와 작업 디렉토리 사이의 스테이징되지 않은 변경 내용을 표시합니다. | + +### Git 변경사항 되돌리기 + +| Command | Example | Description | +| ---------- | --------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| git revert | `git revert ` | \의 모든 변경 사항을 취소하는 새 commit을 만든 다음 현재 branch에 적용합니다. | +| git reset | `git reset ` | 스테이징 영역에서 \을 제거하지만 작업 디렉토리는 변경하지 않고 그대로 둡니다. 이렇게 하면 변경 내용을 덮어쓰지 않고 파일을 스테이징 해제할 수 있습니다. | +| git clean | `git clean -n` | 작업 디렉토리에서 어떤 파일을 제거할지 표시합니다. clean을 실행하려면 `-n` 대신 `-f`를 사용해야 합니다. | + +### Git 수정 기록 + +| Command | Example | Description | +| ---------- | -------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | +| git commit | `git commit --amend` | 마지막 commit을 단계적 변경 사항과 마지막 commit을 결합한 것으로 바꿉니다. 아무것도 준비하지 않은 상태에서 사용하면 마지막 commit의 메시지를 편집할 수 있습니다. | +| git rebase | `git rebase ` | 현재 branch를 \로 rebase합니다. \는 commit ID, branch 이름, 태그 또는 HEAD에 대한 레퍼런스가 될 수 있습니다. | +| git reflog | `git reflog` | 로컬 리포지토리의 HEAD에 대한 변경 로그를 표시합니다. 날짜 정보를 표시하려면 --relative-date 플래그를 추가해야 하고, 모든 레퍼런스를 표시하려면 --all을 추가해야 합니다. | + +### Git Branchs + +| Command | Example | Description | +| ------------ | -------------------------- | ---------------------------------------------------------------------------------------------------------------- | +| git branch | `git branch` | 리포지토리에 있는 모든 branch를 나열합니다. \ 인수를 추가하여 \라는 이름의 새 branch를 만듭니다. | +| git checkout | `git checkout -b ` | \라는 이름의 새 branch를 생성하고 checkout합니다. 기존 branch를 checkout하려면 -b 플래그를 지웁니다. | +| git merge | `git merge ` | \를 현재 branch에 merge합니다. | + +### Git 원격 리포지토리 + +| Command | Example | Description | +| -------------- | ----------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------- | +| git remote add | `git remote add ` | 원격 리포지토리에 대한 새 연결을 생성합니다. 리모트를 추가한 후 \을 다른 명령에서 \에 대한 바로 가기로 사용할 수 있습니다. | +| git fetch | `git fetch ` | 리포지토리에서 특정 \를 가져옵니다. 모든 원격 레퍼런스를 가져오려면 \를 생략하세요. | +| git pull | `git pull ` | 지정된 리모트의 현재 branch 복사본을 가져와서 로컬 복사본에 즉시 merge합니다. | +| git push | `git push ` | branch를 필요한 commit 및 오브젝트와 함께 \로 push합니다. 원격 리포지토리에 이름이 지정된 branch가 없는 경우 branch를 생성합니다. | + +### Git Diff + +| Command | Example | Description | +| ----------------- | ------------------- | ----------------------------------------------------- | +| git diff HEAD | `git diff HEAD` | 작업 디렉토리와 마지막 commit의 diff를 표시합니다. | +| git diff --cached | `git diff --cached` | 단계적 변경 사항과 마지막 commit의 diff를 표시합니다. | + +### Git Config + +| Command | Example | Description | +| ------------------------------------------------------ | ----------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------ | +| git config --global user.name \ | `git config --global user.name ` | 현재 사용자가 모든 commit에 사용할 작성자 이름을 정의합니다. | +| git config --global user.email \ | `git config --global user.email ` | 현재 사용자가 모든 commit에 사용할 작성자 이메일을 정의합니다. | +| git config --global alias \ \ | `git config --global 별칭 ` | git 명령에 대한 단축어를 만듭니다. | +| git config --system core.editor \ | `git config --system core.editor ` | 컴퓨터의 모든 사용자에 대한 명령에서 사용할 텍스트 편집기를 설정합니다. \ 인수는 원하는 편집기를 실행하는 명령이어야 합니다. | +| git config --global --edit | `git config --global --edit ` | 수동 편집을 위해 텍스트 편집기에서 전역 구성 파일을 엽니다. | + +### Git Rebase + +| Command | Example | Description | +| --------------------- | ---------------------- | -------------------------------------------------------------------------------------------------------------------------- | +| git rebase -i \ | `git rebase -i ` | 현재 branch를 \로 rebase합니다. 편집기를 사용하여 각 commit을 새 저장소로 옮기는 방법에 대한 명령을 입력해야 합니다. | + +### Git Pull + +| Command | Example | Description | +| --------------------------- | ---------------------------- | ------------------------------------------------------------------------------------------------------------------------------- | +| git pull --rebase \ | `git pull --rebase ` | 현재 branch의 리모트 복사본을 가져와서 로컬 복사본으로 rebase합니다. branch를 통합하기 위해 merge 대신 git rebase를 사용합니다. | + +### Git Reset + +| Command | Example | Description | +| -------------------------- | --------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------- | +| git reset | `git reset` | 스테이징 영역을 가장 최근 commit과 일치하도록 reset하되 작업 디렉토리는 변경하지 않습니다. | +| git reset --hard | `git reset --hard` | 스테이징 영역과 작업 디렉토리를 가장 최근 commit과 일치하도록 reset하고 작업 디렉토리의 모든 변경 내용을 덮어씁니다. | +| git reset \ | `git reset ` | 현재 branch 끝을 \ 뒤로 이동하고 스테이징 영역을 일치하도록 reset하되 작업 디렉토리는 그대로 둡니다 | +| git reset --hard \ | `git reset --hard ` | 이전과 동일하지만 스테이징 영역과 작업 디렉토리를 모두 일치하도록 reset합니다. commit되지 않은 변경 사항과 \ 이후의 모든 commit을 삭제합니다. | + +### Git Push + +| Command | Example | Description | +| -------------------------- | --------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------- | +| git push \ --force | `git push --force` | non-fast-forward merge가 아닌 경우에도 git push를 강제로 수행합니다. 자신이 무엇을 하고 있는지 확실하지 않으면 --force 플래그를 사용하지 말아야 합니다. | +| git push \ --all | `git push --all` | 모든 로컬 branch를 지정한 리모트로 push 합니다. | +| git push \ --tags | `git push --tags` | branch를 push하거나 --all 플래그를 사용하면 태그가 자동으로 push되지 않습니다. tags 플래그는 모든 로컬 태그를 원격 리포지토리에 보냅니다. | + +## 자료 + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [Git cheatsheet](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) + +[Day 38](day38.md)에서 봐요! diff --git a/2022/ko/Days/day38.md b/2022/ko/Days/day38.md new file mode 100644 index 0000000..1e63b6a --- /dev/null +++ b/2022/ko/Days/day38.md @@ -0,0 +1,127 @@ +--- +title: '#90DaysOfDevOps - Staging & Changing - Day 38' +published: false +description: 90DaysOfDevOps - Staging & Changing +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049042 +--- + +## 스테이징 및 변경 + +이미 몇 가지 기본 사항을 다뤘지만, 이렇게 연습을 해보면 어떻게 그리고 왜 이런 방식으로 작업하는지 더 잘 이해하고 배울 수 있습니다. GitHub와 같은 git 기반 서비스에 들어가기 전에 로컬 워크스테이션에서 활용할 수 있는 git의 강력한 기능을 살펴봅시다. + +git 세션을 시작할 때 만든 프로젝트 폴더를 가지고 git으로 할 수 있는 몇 가지 간단한 예제를 보여드리겠습니다. 로컬 머신에 폴더를 생성하고 `git init` 명령으로 초기화했습니다. + +![](/2022/Days/Images/Day38_Git1.png) + +이제 폴더를 초기화했으므로 디렉토리에 숨겨진 폴더가 있는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day38_Git2.png) + +이 폴더에는 branch 및 커밋에 관한 정보뿐만 아니라 git 저장소의 세부 정보가 저장됩니다. + +### 스테이징 파일 + +그런 다음 빈 폴더에서 작업을 시작하고 작업 첫날에 소스 코드를 추가할 수 있습니다. README.md 파일을 생성하면 디렉토리에서 해당 파일을 볼 수 있고, 다음으로 `git status`를 확인하면 새 README.md 파일이 보이지만, 아직 그 파일을 커밋하지는 않은 상태입니다. + +![](/2022/Days/Images/Day38_Git3.png) + +이제 `git add README.md` 명령으로 README.md 파일을 스테이징하면 이전에 없던 변경 사항과 초록색으로 표시되는 새 파일을 커밋할 수 있는 상태가 됩니다. + +![](/2022/Days/Images/Day38_Git4.png) + +다음으로 프로젝트의 첫 번째 커밋 또는 첫 번째 스냅샷인 이 파일을 커밋하고 싶습니다. 각 커밋에 대해 변경된 내용을 쉽게 확인할 수 있도록 `git commit -m "의미 있는 메시지"` 명령을 사용하여 이 작업을 수행할 수 있습니다. 또한 노란색 십자가가 이제 녹색 체크 표시로 바뀐 것을 확인할 수 있습니다. 이것은 제가 터미널에서 사용하는 테마로, 리눅스 섹션에서 다룬 내용입니다. + +![](/2022/Days/Images/Day38_Git5.png) + +### 변경 사항 커밋 + +파일을 더 추가하거나 디렉토리에 있는 파일을 변경하고 싶을 때가 많습니다. 위에서 이미 첫 번째 커밋을 했습니다. 하지만 이제 더 많은 세부 사항으로 더 많은 파일을 추가하겠습니다. + +이전 프로세스를 반복하여 파일을 만들거나 수정한 다음 `git add .`를 실행하여 모든 파일을 스테이징 영역에 추가한 다음 `git commit -m "의미 있는 메시지"`를 실행하면 정상적으로 작동할 수 있습니다. 그러나 커밋에 변경된 내용에 대한 의미 있는 메시지를 제공하려면 `git commit -m "음, 일부 코드가 작동하지 않아서 변경했으며, 이를 수정할 때 모든 사람이 사용자 경험에 대해 알 수 있도록 README.md에 새로운 내용을 추가했습니다."`와 같이 설명적인 내용을 작성하는 것도 가능하지만 여기서는 텍스트 편집기를 사용하여 추가하는 것이 더 바람직할 수 있습니다. + +`git add`를 실행한 후 `git commit`을 실행하면 기본 텍스트 편집기(여기서는 nano)가 열립니다. 다음은 파일에 몇 가지 변경 사항을 추가하기 위해 수행한 단계이며, `git status`를 실행하여 스테이징된 항목과 스테이징되지 않은 항목을 표시합니다. 그런 다음 `git add`를 사용하여 파일을 스테이징 영역에 추가한 다음 `git commit`을 실행하여 nano를 열었습니다. + +![](/2022/Days/Images/Day38_Git6.png) + +Nano가 열리면 설명을 추가한 다음 파일을 저장할 수 있습니다. + +![](/2022/Days/Images/Day38_Git7.png) + +### 커밋 모범 사례 + +커밋 시기와 커밋 횟수 사이에는 균형이 필요합니다. 프로젝트가 끝날 때까지 기다렸다가 커밋하는 것은 바람직하지 않으며, 각 커밋은 의미가 있어야 하고 서로 관련 없는 작업들은 함께 커밋해서는 안 됩니다. 버그 수정과 오타를 해결한 경우, 두 가지 커밋을 분리하여 커밋하는 것이 좋습니다. + +커밋 메시지에 의미를 부여하세요. + +문구 측면에서, 팀이나 본인이 각 커밋에 대해 동일한 문구를 사용해야 합니다. + +### 스테이징 영역 건너뛰기 + +변경 사항을 커밋하기 전에 항상 스테이징해야 할까요? + +정답은 '예'이지만, 롤백할 스냅샷이 필요하지 않다는 것을 100% 확신해야 하며, 이는 위험할 수 있습니다. + +![](/2022/Days/Images/Day38_Git8.png) + +### 파일 제거 + +프로젝트에서 파일을 제거하는 것은 어떨까요? 디렉토리에 커밋했지만 이제 프로젝트에 더 이상 필요하지 않거나 사용하지 않는 다른 파일이 있는 경우, 파일을 제거해야 합니다. + +디렉토리에서 파일을 제거해도 git은 여전히 이 파일을 인식하므로 리포지토리에서도 파일을 제거해야 합니다. 아래에서 이를 위한 워크플로우를 확인할 수 있습니다. + +![](/2022/Days/Images/Day38_Git9.png) + +이동하는 파일과 폴더가 많은 대규모 프로젝트의 경우 기억하거나 처리하는 것이 다소 번거로울 수 있습니다. 이 작업은 `git rm oldcode.ps1` 명령 하나로 수행할 수 있습니다. + +![](/2022/Days/Images/Day38_Git10.png) + +### 파일 이름 바꾸기 또는 이동 + +운영 체제 내에서 파일 이름을 바꾸고 이동할 수 있습니다. 프로젝트에서 때때로 이 작업을 해야 할 때가 있을 것입니다. 2단계 프로세스가 있지만 제거와 유사하게, OS에서 파일을 변경한 다음 스테이징 영역이나 파일이 올바르게 추가되었는지 수정하고 확인해야 합니다. 단계는 다음과 같습니다: + +![](/2022/Days/Images/Day38_Git11.png) + +그러나 운영 체제에서 파일을 제거한 다음 git 리포지토리에서 파일을 제거하는 것과 마찬가지로 git 명령을 사용하여 이름 변경을 할 수 있습니다. + +![](/2022/Days/Images/Day38_Git12.png) + +### 파일 무시하기 + +프로젝트 내 로컬에서만 사용 중이거나 전체 프로젝트에 공유되면 공간 낭비일 수 있는 파일이나 폴더를 무시해야 하는 경우가 있는데, 그 좋은 예로 로그를 들 수 있습니다. 또한 공개적으로 또는 팀 간에 공유하고 싶지 않은 비밀에 대해서도 이 기능을 사용할 수 있다고 생각합니다. + +프로젝트 디렉토리의 `.gitignore` 파일에 폴더나 파일을 추가하여 파일을 무시할 수 있습니다. + +![](/2022/Days/Images/Day38_Git13.png) + +`.gitignore` 파일을 열면 logs/ 디렉토리가 있는 것을 확인할 수 있습니다. 여기에 무시할 파일과 폴더를 추가할 수도 있습니다. + +![](/2022/Days/Images/Day38_Git14.png) + +이제 `git status`를 보고 어떤 일이 일어났는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day38_Git15.png) + +로그 폴더를 이미 공유했지만, 나중에 공유하면 안 된다는 것을 깨달았을 때 파일과 폴더를 무시해야 하는 경우도 있습니다. 이전에 추적한 폴더가 있지만 이제 무시하고 싶은 경우 `git rm --cached`를 사용하여 스테이징 영역에서 파일과 폴더를 제거해야 합니다. + +### 간략한 status + +준비 영역에 무엇이 있고 무엇이 없는지 파악하기 위해 `git status`를 많이 사용해왔는데, 이 명령은 매우 포괄적이고 세부적인 내용을 담고 있습니다. 대부분의 경우 무엇이 수정되었는지 또는 무엇이 새로운 것인지 알고 싶을 것입니다. 이 세부 사항에 대한 간단한 상태를 확인하려면 `git status -s`를 사용할 수 있습니다. 저는 보통 시스템에서 단축어로 설정하여 더 자세한 명령 대신 `git status -s`만 사용하도록 합니다. + +![](/2022/Days/Images/Day38_Git16.png) + +내일 포스트에서는 이러한 일반적인 git 명령에 대한 간략한 예제를 계속 살펴보겠습니다. + +## 자료 + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [Git cheatsheet](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) + +[Day 39](day39.md)에서 봐요! diff --git a/2022/ko/Days/day39.md b/2022/ko/Days/day39.md new file mode 100644 index 0000000..116e7f0 --- /dev/null +++ b/2022/ko/Days/day39.md @@ -0,0 +1,212 @@ +--- +title: '#90DaysOfDevOps - Viewing, unstaging, discarding & restoring - Day 39' +published: false +description: '90DaysOfDevOps - Viewing, unstaging, discarding & restoring' +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048827 +--- + +## 보기, 스테이징 해제, 삭제 및 복원 + +어제에 이어서 git에서 사용할 수 있는 몇 가지 명령어와 프로젝트에서 git을 활용하는 방법에 대해 알아보겠습니다. 아직 GitHub나 다른 git 기반 서비스에 대해서는 다루지 않았지만, 지금은 로컬에서 프로젝트를 제어하는 데 도움이 되는 내용이며, 향후 해당 도구에 통합되기 시작하면 모두 유용하게 사용할 수 있을 것입니다. + +### 스테이징된 변경 사항과 스테이징되지 않은 변경 사항 보기 + +commit하기 전에 스테이징된 코드와 스테이징되지 않은 코드를 확인하는 것이 좋습니다. 다음 `git diff --staged` 명령을 실행하면 됩니다. + +![](/2022/Days/Images/Day39_Git1.png) + +그러면 우리가 수행한 모든 변경 사항과 추가하거나 삭제한 모든 새 파일이 표시됩니다. + +수정한 파일의 변경 사항은 `---` 또는 `+++`로 표시되며, 아래에서 방금 + 추가한 텍스트는 새로운 줄임을 의미합니다. + +![](/2022/Days/Images/Day39_Git2.png) + +또한 `git diff`를 실행하여 스테이징 영역과 작업 디렉토리를 비교할 수 있습니다. 새로 추가한 code.txt 파일을 변경하고 몇 줄의 텍스트를 추가하면 다음과 같습니다. + +![](/2022/Days/Images/Day39_Git3.png) + +그런 다음 `git diff`를 실행하면 아래와 같은 출력을 비교하여 확인할 수 있습니다. + +![](/2022/Days/Images/Day39_Git4.png) + +### 시각적 Diff 도구 + +저는 위의 방법이 혼란스럽다고 생각하기 때문에 시각적 도구를 사용하는 편이 낫습니다, + +몇 가지 시각적 Diff 도구를 소개합니다: + +- KDiff3 +- P4Merge +- WinMerge (Windows 전용) +- VSCode + +git에서 설정하려면 다음 명령 `git config --global diff.tool vscode`를 실행합니다. + +위의 명령어를 실행하고 VScode를 시작할 때 몇 가지 매개 변수를 설정하겠습니다. + +![](/2022/Days/Images/Day39_Git5.png) + +또한 `git config --global -e`로 설정을 확인할 수 있습니다. + +![](/2022/Days/Images/Day39_Git6.png) + +이제 `git difftool`을 사용하여 Diff 시각화 도구를 열 수 있습니다. + +![](/2022/Days/Images/Day39_Git7.png) + +이제 Diff 페이지에서 VScode 에디터를 열고 두 파일을 비교하면, 아무것도 없는 상태에서 오른쪽에 코드 한 줄을 추가한 파일 하나만 수정했습니다. + +![](/2022/Days/Images/Day39_Git8.png) + +이 방법은 변경 사항을 추적하기가 훨씬 쉬우며, GitHub와 같은 Git 기반 서비스를 살펴볼 때 보게 될 것과 비슷한 방식입니다. + +또한 `git difftool --staged`를 사용하여 commit된 파일과 스테이지를 비교할 수 있습니다. + +![](/2022/Days/Images/Day39_Git9.png) + +그러면 commit하기 전에 변경된 파일들을 확인할 수 있게 됩니다. + +![](/2022/Days/Images/Day39_Git10.png) + +저는 IDE로 VScode를 사용하고 있으며 대부분의 IDE와 마찬가지로 이미 내장되어 있는 명령어이므로 터미널에서 직접 실행해야 하는 경우는 매우 드물지만, 어떤 이유로 IDE가 설치되어 있지 않은 경우 유용합니다. + +### 히스토리 보기 + +앞서 리포지토리에서 수행한 모든 commit을 종합적으로 볼 수 있는 `git log`에 대해 살펴봤습니다. + +![](/2022/Days/Images/Day39_Git11.png) + +각 commit에는 리포지토리에 고유한 16진수 문자열이 있습니다. 여기에서 작업 중인 branch와 작성자, 날짜, commit 메시지를 확인할 수 있습니다. + +또한 `git log --oneline`을 사용하면 다른 `diff` 명령에서 사용할 수 있는 훨씬 더 작은 버전의 16진수 문자열을 얻을 수 있습니다. 또한 한 줄 설명 또는 commit 메시지만 있습니다. + +![](/2022/Days/Images/Day39_Git12.png) + +`git log --oneline --reverse`를 실행하면 페이지 상단에 첫 번째 commit이 표시됩니다. + +![](/2022/Days/Images/Day39_Git13.png) + +### commit 보기 + +commit 메시지를 볼 수 있는 것은 모범 사례를 따르고 의미 있는 commit 메시지를 추가한 경우 매우 유용하지만, commit을 검사하고 볼 수 있는 `git show` 명령도 있습니다. + +우리는 `git log --oneline --reverse`를 사용하여 commit 목록을 가져올 수 있습니다. 그런 다음 이를 가져와서 `git show `를 실행할 수 있습니다. + +![](/2022/Days/Images/Day39_Git14.png) + +이 명령의 출력은 commit, 작성자 및 변경된 내용에 대한 세부 정보와 함께 아래와 같이 표시됩니다. + +![](/2022/Days/Images/Day39_Git15.png) + +`git show HEAD~1`을 사용할 수도 있습니다. 여기서 1은 현재 버전에서 몇 단계 뒤로 돌아가려는지 나타냅니다. + +이 방법은 파일에 대한 세부 정보를 원하지만, 전체 스냅샷 디렉토리에 대한 트리의 모든 파일을 나열하려는 경우에 유용합니다. 마지막 commit에서 다시 한 스냅샷을 거슬러 올라가는 `git ls-tree HEAD~1` 명령을 사용하면 이 작업을 수행할 수 있습니다. 아래에서 두 개의 blob이 있는 것을 볼 수 있는데, blob은 파일을 나타내고 트리는 디렉토리를 나타냅니다. 이 정보에서 commit과 태그도 볼 수 있습니다. + +![](/2022/Days/Images/Day39_Git16.png) + +이제 위의 내용을 사용하여 `git show` 명령을 사용하여 파일(blob)의 내용을 자세히 확인할 수 있습니다. + +![](/2022/Days/Images/Day39_Git17.png) + +그러면 특정 버전의 파일 내용이 표시됩니다. + +![](/2022/Days/Images/Day39_Git18.png) + +### 파일 스테이징 해제 + +`git add .`를 사용했지만 아직 해당 스냅샷에 commit하고 싶지 않은 파일이 있는 경우가 있을 수 있습니다. 아래 예제에서는 스테이징 영역에 newfile.txt를 추가했지만, 이 파일을 commit할 준비가 되지 않았으므로 `git restore --staged newfile.txt`를 사용하여 `git add` 단계를 실행 취소하겠습니다. + +![](/2022/Days/Images/Day39_Git19.png) + +위 그림에서 수정된 파일(예: main.js)에 대해서도 동일한 작업을 수행하여 commit의 스테이징을 해제할 수 있습니다. + +![](/2022/Days/Images/Day39_Git20.png) + +저는 이 명령어가 90DaysOfDevOps 기간 동안 매우 유용하다는 것을 알았습니다. 다음 날을 위한 메모를 작성하고 싶지만, 공개 GitHub 리포지토리에 commit하고 push하고 싶지 않은 날을 앞두고 작업하는 경우가 종종 있기 때문입니다. + +### 로컬 변경 사항 삭제하기 + +때때로 우리는 변경을 했지만, 그 변경이 마음에 들지 않아서 버리고 싶을 때가 있습니다. 다시 `git restore` 명령을 사용하여 스냅샷 또는 이전 버전에서 파일을 복원할 수 있습니다. 디렉토리에 대해 `git restore .`를 실행하면 스냅샷에서 모든 것을 복원할 수 있지만 추적되지 않은 파일이 여전히 존재한다는 것을 알 수 있습니다. 추적 중인 이전 파일은 newfile.txt라는 파일이 없습니다. + +![](/2022/Days/Images/Day39_Git21.png) + +이제 새로운 파일 txt 또는 추적되지 않은 파일을 제거합니다. 우리는 `git clean`을 사용하면 경고만 받을 수 있습니다. + +![](/2022/Days/Images/Day39_Git22.png) + +또는 결과를 알고 있다면 `git clean -fd`를 실행하여 모든 디렉토리를 강제로 제거할 수 있습니다. + +![](/2022/Days/Images/Day39_Git23.png) + +### 파일을 이전 버전으로 복원하기 + +앞서 언급했듯이 Git의 큰 장점 중 하나는 스냅샷에서 파일 사본을 복원할 수 있다는 점입니다(백업은 아니지만 매우 빠른 복원 방법입니다). 백업 솔루션을 사용하여 코드 사본을 다른 위치에도 저장하는 것을 추천드립니다. + +예시로 디렉토리에서 가장 중요한 파일을 삭제해 보겠습니다. 디렉토리에서 이 파일을 제거하기 위해 git 명령이 아닌 Unix 기반 명령을 사용하고 있음을 알 수 있습니다. + +![](/2022/Days/Images/Day39_Git24.png) + +이제 작업 디렉토리에 readme.md가 없습니다. `git rm readme.md`를 사용하면 git 데이터베이스에 반영될 수 있습니다. 완전히 제거된 것을 시뮬레이션하기 위해 여기서도 삭제해 보겠습니다. + +![](/2022/Days/Images/Day39_Git25.png) + +이제 이 내용을 메시지와 함께 commit하고 작업 디렉토리 또는 스테이징 영역에 더 이상 아무것도 없음을 증명해 보겠습니다. + +![](/2022/Days/Images/Day39_Git26.png) + +실수가 있었으니 이제 이 파일을 되돌릴 필요가 있습니다! + +`git undo` 명령을 사용하여 마지막 commit을 취소할 수 있지만, 오래된 commit이라면 어떻게 해야 할까요? `git log` 명령을 사용하여 commit 기록을 찾을 수 있습니다. 파일이 마지막 commit에 포함되어 있다는 것을 확인했지만, 모든 commit을 취소하고 싶지는 않습니다. 이 경우 `git restore --source=HEAD~1 README.md` 명령을 사용하여 특정 파일을 찾고 스냅샷에서 복원할 수 있습니다. + +이 프로세스를 통해 파일을 작업 디렉토리에 다시 가져온 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day39_Git27.png) + +이제 추적되지 않은 새 파일이 생겼으며 앞서 언급한 명령을 사용하여 파일과 변경 사항을 추적, 스테이징 및 commit할 수 있습니다. + +### Rebase와 Merge + +git 리포지토리에서 언제 rebase를 사용해야 하는지, 언제 merge를 사용해야 하는지가 가장 골치 아픈 문제인 것 같습니다. + +가장 먼저 알아야 할 것은 `git rebase`와 `git merge`이 모두 같은 문제를 해결한다는 것입니다. 둘 다 한 branch의 변경 내용을 다른 branch에 통합하는 것입니다. 하지만 다른 방식으로 이 작업을 수행합니다. + +새로운 feature branch로 새로운 기능을 만들어보겠습니다. main branch는 새로운 commit이 계속 추가되고 있습니다. + +![](/2022/Days/Images/Day39_Git28.png) + +여기서 쉬운 옵션은 `git merge feature main`을 사용하여 main branch를 feature branch에 merge하는 것입니다. + +![](/2022/Days/Images/Day39_Git29.png) + +merge는 비파괴적이기 때문에 간단합니다. 기존 branch는 어떤 방식으로도 변경되지 않습니다. 하지만 feature branch에 업스트림 변경 사항을 통합해야 할 때마다 관련 없는 merge commit이 발생하게 됩니다. main branch가 매우 바쁘거나 활성 상태인 경우 feature branch 히스토리를 오염시킬 수도 있습니다. + +다른 옵션으로, feature branch를 main branch에 rebase하는 방법도 있습니다. + +``` +git checkout feature +git rebase main +``` + +이렇게 하면 feature branch(전체 feature branch)가 main branch에 모든 새 commit을 효과적으로 통합합니다. 그러나 merge commit을 사용하는 대신 rebase는 원래 branch에 있는 각 commit에 대해 새로운 commit을 생성하여 프로젝트 기록을 다시 작성하게 됩니다. + +![](/2022/Days/Images/Day39_Git30.png) + +rebase의 가장 큰 장점은 프로젝트 히스토리가 훨씬 깔끔해진다는 것입니다. 또한 불필요한 merge commit을 제거하며, 마지막 두 이미지를 비교하면 훨씬 더 깔끔한 선형 프로젝트 히스토리를 따라갈 수 있습니다. + +아직 확실한 결론은 아니지만, 더 깔끔한 히스토리를 선택하는 것도 장단점이 있는데, [rebase의 황금률](https://www.atlassian.com/git/tutorials/merging-vs-rebasing#the-golden-rule-of-rebasing)을 따르지 않는다면 프로젝트 히스토리를 다시 작성하는 것은 협업 워크플로에 치명적일 수 있습니다. 그리고 더 중요한 것은 rebase를 하면 merge commit이 제공하는 컨텍스트가 사라져 업스트림 변경 사항이 언제 feature에 통합되었는지 알 수 없다는 것입니다. + +## 자료 + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [Git cheatsheet](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) +- [Exploring the Git command line – A getting started guide](https://veducate.co.uk/exploring-the-git-command-line/) + +[Day 40](day40.md)에서 봐요! diff --git a/2022/ko/Days/day40.md b/2022/ko/Days/day40.md new file mode 100644 index 0000000..ccb0738 --- /dev/null +++ b/2022/ko/Days/day40.md @@ -0,0 +1,210 @@ +--- +title: '#90DaysOfDevOps - Social Network for code - Day 40' +published: false +description: 90DaysOfDevOps - Social Network for code +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049044 +--- + +## 코드를 위한 소셜 네트워크 + +GitHub 살펴보기 | GitLab | BitBucket + +오늘은 우리 모두가 들어봤을 법한, 그리고 우리도 매일 사용할 것으로 예상되는 몇 가지 git 기반 서비스를 다루고자 합니다. + +그런 다음 이전 세션에서 배운 지식을 사용하여 데이터의 사본을 각 주요 서비스로 이동해 보겠습니다. + +이 섹션을 "코드를 위한 소셜 네트워크"라고 부른 이유를 설명해드릴까요? + +### GitHub + +적어도 저에게 가장 일반적인 것은 GitHub입니다. GitHub는 Git을 위한 웹 기반 호스팅 서비스입니다. 소프트웨어 개발자가 코드를 저장하는 데 가장 일반적으로 사용합니다. git 버전 관리 기능뿐만 아니라 다양한 추가 기능을 통해 소스 코드를 관리할 수 있습니다. 팀이나 오픈 컨트리뷰터가 쉽게 소통할 수 있으며 코딩에 소셜 측면을 제공합니다. (따라서 소셜 네트워킹이라는 제목을 붙였습니다.) 2018년부터 GitHub는 Microsoft의 일부가 되었습니다. + +GitHub는 2007/2008년에 설립되어 꽤 오래전부터 존재해 왔습니다. 현재 4천만 명 이상의 사용자가 이 플랫폼을 사용하고 있습니다. + +GitHub 주요 기능 + +- 코드 리포지토리 +- Pull Requests +- 프로젝트 관리 도구 세트 - Issues +- CI/CD 파이프라인 - GitHub Actions + +가격 측면에서 GitHub는 사용자에 따라 다양한 수준의 가격을 책정합니다. 자세한 내용은 [가격](https://github.com/pricing)에서 확인할 수 있습니다. + +여기서는 프리티어를 다루겠습니다. + +이 안내에서는 이미 생성한 GitHub 계정을 사용할 예정이므로 계정이 없는 경우, GitHub 시작 페이지에서 가입 옵션과 몇 가지 간단한 단계를 통해 설정할 수 있습니다. + +### GitHub 시작 페이지 + +GitHub 계정에 처음 로그인하면 다양한 위젯이 포함된 페이지가 표시되어 어디에서 무엇을 보고 싶고 무엇을 할 것인지에 대한 옵션을 제공합니다. 먼저 "All Activity"를 통해 리포지토리에서 어떤 일이 일어나고 있는지 또는 조직이나 계정과 관련된 일반적인 활동을 살펴볼 수 있습니다. + +![](/2022/Days/Images/Day40_Git1.png) + +다음으로, 자체 리포지토리 또는 최근에 상호 작용한 리포지토리가 있는 코드 리포지토리가 있습니다. 새 리포지토리나 검색 리포지토리를 빠르게 생성할 수도 있습니다. + +![](/2022/Days/Images/Day40_Git2.png) + +최근 활동은 제가 최근에 만들었거나 기여한 issues와 pull requests입니다. + +![](/2022/Days/Images/Day40_Git3.png) + +페이지 오른쪽에는 최근 활동 또는 자체 프로젝트를 기반으로 관심을 가질 만한 리포지토리에 대한 추천이 있습니다. + +![](/2022/Days/Images/Day40_Git4.png) + +솔직히 저는 방금 보고 설명한 홈페이지에 거의 들어가지 않지만, 특정 프로젝트에서 커뮤니티와 좀 더 잘 소통하는 데 이 피드가 정말 유용할 수 있다는 것을 깨달았습니다. + +다음으로 GitHub 프로필로 이동하려면 오른쪽 상단 모서리로 이동하면 이미지에 계정을 탐색할 수 있는 드롭다운이 있습니다. 여기에서 프로필에 액세스하려면 "Your Profile"을 선택합니다. + +![](/2022/Days/Images/Day40_Git5.png) + +다음으로 프로필 페이지가 표시되는데, 기본적으로 설정을 변경하지 않는 한 내가 가진 것을 볼 수 없으며, [vZilla](https://vzilla.co.uk)의 최근 블로그 게시물과 내 [YouTube](https://m.youtube.com/c/MichaelCade1) 채널의 최신 동영상을 보여주는 기능을 추가했습니다. + +프로필을 보는 데 많은 시간을 할애하지는 않겠지만, 현재 진행 중인 멋진 프로젝트를 볼 수 있도록 네트워크에 공유하기에 좋은 프로필 페이지입니다. + +![](/2022/Days/Images/Day40_Git6.png) + +이제 GitHub의 빌딩 블록인 리포지토리를 자세히 살펴볼 수 있습니다. 여기에서 리포지토리를 볼 수 있으며 비공개 리포지토리가 있는 경우 이 긴 목록에 해당 리포지토리도 표시됩니다. + +![](/2022/Days/Images/Day40_Git7.png) + +리포지토리는 GitHub에서 매우 중요하기 때문에 최근에 많이 사용된 리포지토리를 선택하여 로컬 시스템에서 git으로 "코드"를 편집할 때 이미 사용하고 있는 모든 기능 외에 여기서 사용할 수 있는 핵심 기능 몇 가지를 살펴보겠습니다. + +우선, 이전 창에서 90DaysOfDevOps 리포지토리를 선택했더니 다음과 같은 보기가 표시됩니다. 이 보기에서 많은 정보를 볼 수 있으며, 리포지토리에 저장된 파일과 폴더를 보여주는 기본 코드 구조가 있습니다. 맨 아래에는 README.md이 표시됩니다. 페이지 오른쪽에는 리포지토리에 대한 설명과 목적이 있는 정보 섹션이 있습니다. 그리고 그 아래에는 얼마나 많은 사람들이 프로젝트에 참여하고, folk하고, 봤는지 보여주는 많은 정보가 있습니다. + +![](/2022/Days/Images/Day40_Git8.png) + +조금 더 아래로 스크롤하면 릴리즈가 있는 것을 볼 수 있는데, 이는 챌린지의 Go 언어 부분에서 나온 것입니다. 우리 프로젝트에는 패키지가 없으며 여기에 기여자가 나열되어 있습니다. (오타와 사실 확인에 도움을 주신 커뮤니티에 감사드립니다.) 그런 다음 챌린지의 다른 섹션에서 다시 사용된 언어가 있습니다. + +![](/2022/Days/Images/Day40_Git9.png) + +페이지 상단에 탭 목록이 표시됩니다. 탭은 다양할 수 있으며 필요한 탭만 표시하도록 수정할 수 있습니다. 이 탭들을 모두 사용하지 않으므로 전체 리포지토리를 깔끔하게 정리하려면 이 탭들을 제거해야 한다는 것을 알 수 있습니다. + +먼저 방금 설명한 코드 탭이 있는데, 이 탭은 리포지토리를 탐색할 때 항상 사용할 수 있으므로 섹션 사이를 빠르고 쉽게 이동할 수 있어 매우 유용합니다. 다음으로 issues 탭이 있습니다. + +issues를 사용하면 개발이 이루어지는 GitHub에서 작업을 추적할 수 있습니다. 이 특정 리포지토리에는 다이어그램이나 오타를 추가하는 데 중점을 둔 몇 가지 issues가 있지만 중국어 버전의 리포지토리에 대한 필요성 또는 요구 사항을 명시하는 issues도 있음을 알 수 있습니다. + +이 리포지토리가 코드 리포지토리라면 유지 관리자에게 우려 사항이나 문제를 제기하기에 좋은 곳이지만, 보고하는 내용을 염두에 두고 가능한 한 자세하게 설명해야 함을 잊지 마세요. + +![](/2022/Days/Images/Day40_Git10.png) + +다음 탭은 pull requests이며, pull requests를 사용하면 리포지토리의 branch에 push한 변경 사항을 다른 사람에게 알릴 수 있습니다. 누군가 리포지토리를 folk하여 버그 수정이나 기능 개선 등의 변경을 하거나 이 리포지토리의 많은 경우, 오타를 수정했을 수 있습니다. + +folk에 대해서는 나중에 다루겠습니다. + +![](/2022/Days/Images/Day40_Git11.png) + +다음 탭은 꽤 새로운 탭이라고 생각되죠? #90DaysOfDevOps와 같은 프로젝트에서는 이 탭이 콘텐츠 여정을 안내하는 데 도움이 될 뿐만 아니라 커뮤니티가 학습 여정을 걸어가는 데도 도움이 될 수 있다고 생각했습니다. 챌린지의 각 섹션에 대한 토론 그룹을 만들어 사람들이 참여하여 토론할 수 있도록 했습니다. + +![](/2022/Days/Images/Day40_Git12.png) + +Actions 탭을 사용하면 GitHub 내에서 바로 코드를 빌드, 테스트 및 배포하는 등 다양한 작업을 수행할 수 있습니다. GitHub 작업은 챌린지의 CI/CD 섹션에서 다루겠지만, 여기에서 몇 가지 구성을 설정하여 단계를 자동화할 수 있습니다. + +제 기본 GitHub 프로필에서는 GitHub Actions를 사용하여 최신 블로그 게시물과 YouTube 동영상을 가져와 홈 화면에 최신 정보를 표시하고 있습니다. + +![](/2022/Days/Images/Day40_Git13.png) + +위에서 GitHub가 단순한 소스 코드 리포지토리가 아니라 프로젝트 관리 도구라고 말씀드렸는데, Projects 탭에서는 프로젝트 테이블을 칸반 형식의 보드로 구성하여 issues와 PR을 연결하여 프로젝트에 대한 협업을 개선하고 해당 작업에 대한 가시성을 확보할 수 있습니다. + +![](/2022/Days/Images/Day40_Git14.png) + +issues가 기능 요청을 기록하기에 좋은 곳인 것 같고 실제로도 그렇지만 Wiki 페이지를 사용하면 프로젝트에 대한 포괄적인 로드맵을 현재 상태와 함께 설명할 수 있고 일반적으로 문제 해결 또는 방법 유형 콘텐츠 등 프로젝트에 대한 문서화를 더 잘 할 수 있습니다. + +![](/2022/Days/Images/Day40_Git15.png) + +이 프로젝트에는 해당되지 않지만, Security 탭은 기여자가 특정 작업을 처리하는 방법을 알 수 있도록 하기 위한 탭으로, 여기에서 정책을 정의할 수 있을 뿐만 아니라 코드 검사 애드온을 사용하여 코드에 비밀 환경 변수가 포함되어 있지 않은지 확인할 수도 있습니다. + +![](/2022/Days/Images/Day40_Git16.png) + +Insight 탭은 리포지토리의 활동량부터 commit 및 issues에 이르기까지 리포지토리에 대한 많은 정보를 제공할 뿐만 아니라 리포지토리에 대한 트래픽도 보고해줘서 매우 유용합니다. 왼쪽에 리포지토리의 메트릭에 대해 자세히 살펴볼 수 있는 목록이 표시됩니다. + +![](/2022/Days/Images/Day40_Git17.png) + +마지막으로 Settings 탭이 있는데, 여기서 리포지토리를 실행하는 방법에 대한 세부 정보를 확인할 수 있으며, 현재 리포지토리의 유일한 관리자는 저이지만, 여기서 다른 사람에게 권한을 부여할 수 있습니다. 여기에서 통합 및 기타 작업을 정의할 수 있습니다. + +![](/2022/Days/Images/Day40_Git18.png) + +지금까지 GitHub에 대한 간략한 개요를 살펴봤는데, 좀 더 자세히 설명해야 할 부분이 몇 가지 더 있을 것 같습니다. 앞서 언급했듯이 GitHub에는 수백만 개의 리포지토리가 있으며, 대부분 소스 코드가 저장되어 있고 공개 또는 비공개로 액세스할 수 있습니다. + +### Folk + +내일 세션에서 오픈소스에 대해 더 자세히 다룰 예정이지만, 코드 리포지토리의 가장 큰 장점은 커뮤니티와 협업할 수 있다는 점입니다. 리포지토리에 몇 가지 변경을 하고 싶어서, 버그를 수정하고 싶어서, 또는 원래 코드 관리자가 의도한 사용 사례가 아닌 다른 사용 사례에 사용하기 위해 무언가를 변경하고 싶어서 리포지토리의 복사본을 원하는 시나리오를 생각해 봅시다. 이를 리포지토리 folk라고 합니다. folk는 리포지토리의 복사본입니다. 리포지토리를 folk하면 원래 프로젝트에 영향을 주지 않고 자유롭게 변경 사항을 실험할 수 있습니다. + +로그인 후 시작 페이지로 돌아가서 추천 리포지토리 중 하나를 살펴보겠습니다. + +![](/2022/Days/Images/Day40_Git19.png) + +해당 리포지토리를 클릭하면 방금 살펴본 90DaysOfDevOps 리포지토리와 동일한 모습을 볼 수 있습니다. + +![](/2022/Days/Images/Day40_Git20.png) + +아래에서 3가지 옵션이 있음을 알 수 있습니다. Watch, Folk, Star가 있습니다. + +- Watch - 리포지토리에 어떤 일이 발생하면 업데이트합니다. +- Folk - 리포지토리의 복사본. +- Star - "프로젝트가 멋진 것 같아요" + +![](/2022/Days/Images/Day40_Git21.png) + +이 리포지토리의 복사본을 작업하고 싶다는 시나리오를 고려할 때, folk 옵션을 사용하겠습니다. 여러 조직의 구성원인 경우, folk가 발생할 위치를 선택해야 하는데, 저는 제 프로필을 선택하겠습니다. + +![](/2022/Days/Images/Day40_Git22.png) + +이제 우리는 자유롭게 작업하고 필요에 따라 변경할 수 있는 리포지토리 사본을 갖게 되었습니다. 이것이 앞서 잠깐 언급했던 pull requests 프로세스의 시작이지만 내일 더 자세히 다루겠습니다. + +![](/2022/Days/Images/Day40_Git23.png) + +이 리포지토리와 코드가 웹사이트에 있는 경우, 웹사이트에 가서 편집할 수는 있지만 로컬 시스템에서 좋아하는 색상 테마로 좋아하는 IDE를 사용하는 것과는 다를 것입니다. 로컬 시스템에서 이 리포지토리의 복사본을 얻으려면 리포지토리의 복제를 수행합니다. 이렇게 하면 로컬에서 작업한 다음 변경 사항을 folk된 리포지토리 사본에 다시 push할 수 있습니다. + +아래에서 볼 수 있듯이 이 코드의 복사본을 얻는 데는 몇 가지 옵션이 있습니다. + +변경 사항을 추적하고 로컬과 GitHub 간에 변경 사항을 push 및 pull할 수 있는 시각적 데스크톱 애플리케이션을 제공하는 GitHub Desktop의 로컬 버전이 있습니다. + +이 작은 데모에서는 여기에 표시된 HTTPS URL을 사용하겠습니다. + +![](/2022/Days/Images/Day40_Git24.png) + +이제 로컬 컴퓨터에서 이 리포지토리를 다운로드할 디렉토리로 이동한 다음 `git clone url`을 실행하겠습니다. + +![](/2022/Days/Images/Day40_Git25.png) + +이제 VScode로 가져가서 몇 가지 변경을 할 수 있습니다. + +![](/2022/Days/Images/Day40_Git26.png) + +이제 몇 가지 변경을 해보겠습니다. 모든 링크를 변경하고 다른 것으로 바꾸고 싶습니다. + +![](/2022/Days/Images/Day40_Git27.png) + +이제 GitHub를 다시 확인하고 해당 리포지토리에서 README.md을 찾으면 파일에 몇 가지 변경한 내용을 볼 수 있을 것입니다. + +![](/2022/Days/Images/Day40_Git28.png) + +이 단계에서는 이 작업이 완료되고 우리만 새로운 변경 사항을 사용할 것이므로 변경 사항에 만족할 수도 있지만, 버그 변경일 수도 있으며 이 경우, pull requests를 통해 기여하여 원래 리포지토리 관리자에게 변경 사항을 알리고 변경 사항을 수락하는지 확인하고 싶을 것입니다. + +아래 강조 표시된 기여 버튼을 사용하여 이 작업을 수행할 수 있습니다. 내일 오픈소스 워크플로우를 살펴보면서 이에 대해 더 자세히 다루겠습니다. + +![](/2022/Days/Images/Day40_Git29.png) + +오랜 시간 동안 GitHub를 살펴봤는데 다른 옵션은 없는지 궁금해하시는 분들도 계실 것 같습니다! + +글쎄요, 그런 옵션도 있고 그중 일부에 대한 기본 사항을 다루는 몇 가지 리소스를 찾아보려고 합니다. 앞으로 GitLab과 BitBucket을 만나게 될 텐데, 이 두 서비스는 git 기반 서비스이긴 하지만 차이점이 있습니다. + +또한 호스팅 옵션도 있습니다. 호스팅 버전인 GitLab과 무료 호스팅 GitHub도 있을 거라고 생각하지 않으신가요? + +## 자료 + +- [Learn GitLab in 3 Hours | GitLab Complete Tutorial For Beginners](https://www.youtube.com/watch?v=8aV5AxJrHDg) +- [BitBucket Tutorials Playlist](https://www.youtube.com/watch?v=OMLh-5O6Ub8&list=PLaD4FvsFdarSyyGl3ooAm-ZyAllgw_AM5) +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [Git cheatsheet](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) + +[Day 41](day41.md)에서 봐요! diff --git a/2022/ko/Days/day41.md b/2022/ko/Days/day41.md new file mode 100644 index 0000000..739c195 --- /dev/null +++ b/2022/ko/Days/day41.md @@ -0,0 +1,127 @@ +--- +title: '#90DaysOfDevOps - The Open Source Workflow - Day 41' +published: false +description: 90DaysOfDevOps - The Open Source Workflow +tags: 'DevOps, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048806 +--- + +## 오픈 소스 워크플로 + +지난 7회에 걸친 Git 섹션을 통해 Git이 무엇인지, 그리고 GitHub와 같은 Git 기반 서비스가 어떻게 소스 코드 저장소를 제공할 뿐만 아니라 더 많은 커뮤니티가 함께 코드와 프로젝트를 협업할 수 있는 방법을 제공하는지 더 잘 이해하셨기를 바랍니다. + +GitHub의 기본 사항을 살펴볼 때 임의의 프로젝트를 fork하고 로컬 리포지토리를 변경하는 과정을 거쳤습니다. 여기서는 한 단계 더 나아가 오픈소스 프로젝트에 기여하고자 합니다. 기여는 반드시 버그 수정이나 코딩 기능일 필요는 없으며 문서화일 수도 있다는 점을 기억하세요. 작은 도움이라도 모두 의미 있으며, 지금까지 다룬 몇 가지 git 기능을 직접 사용해 볼 수 있습니다. + +## 프로젝트 fork하기 + +가장 먼저 해야 할 일은 우리가 기여할 수 있는 프로젝트를 찾는 것입니다. 저는 최근 [Kanister 프로젝트](https://github.com/kanisterio/kanister)에서 발표를 하고 있는데, 현재 유튜브에 올라와 있는 프레젠테이션을 프로젝트의 메인 README.md 파일에 공유하고자 합니다. + +우선 프로젝트를 fork해야 합니다. 그 과정을 살펴보겠습니다. 위에서 공유한 링크로 이동하여 리포지토리를 fork하겠습니다. + +![](/2022/Days/Images/Day41_Git1.png) + +이제 전체 리포지토리의 복사본을 얻었습니다. + +![](/2022/Days/Images/Day41_Git2.png) + +참고로 README.md 파일에 나열된 원본 프레젠테이션은 이 두 개뿐이므로 프로세스를 통해 이 문제를 해결해야 합니다. + +![](/2022/Days/Images/Day41_Git3.png) + +## 로컬 머신에 복제 + +이제 fork를 로컬로 가져와서 파일에 대한 편집을 시작할 수 있습니다. 리포지토리의 코드 버튼을 사용하여 URL을 가져온 다음 리포지토리를 배치하려는 디렉토리에 `git clone url`을 사용하면 됩니다. + +![](/2022/Days/Images/Day41_Git4.png) + +## 변경하기 + +프로젝트가 로컬에 있으므로 VSCode 또는 원하는 IDE 또는 텍스트 편집기를 열어 수정 사항을 추가할 수 있습니다. + +![](/2022/Days/Images/Day41_Git5.png) + +READEME.md 파일은 마크다운 언어로 작성되었으며, 다른 사람의 프로젝트를 수정하고 있으므로 기존 프로젝트 형식을 따라 콘텐츠를 추가하겠습니다. + +![](/2022/Days/Images/Day41_Git6.png) + +## 변경 사항 테스트하기 + +코드 변경 후에도 애플리케이션이 계속 작동하는지 확인하려면 변경 사항을 테스트하는 것이 가장 좋은 방법이며, 문서 형식이 올바르게 지정되어 있는지 확인해야 합니다. + +VSCode에서는 많은 플러그인을 추가할 수 있는데, 그중 하나가 마크다운 페이지를 미리 볼 수 있는 기능입니다. + +![](/2022/Days/Images/Day41_Git7.png) + +## 변경 사항을 fork된 리포지토리로 push하기 + +변경 사항을 Kanister 리포지토리로 직접 push할 수 있는 권한이 없으므로 이 경로를 사용해야 합니다. 이제 변경 사항에 만족하므로 이제 잘 알려진 몇 가지 git 명령을 실행할 수 있습니다. + +![](/2022/Days/Images/Day41_Git8.png) + +이제 GitHub로 돌아가서 변경 사항을 다시 한번 확인한 다음 마스터 프로젝트에 다시 기여합니다. + +좋아 보이네요. + +![](/2022/Days/Images/Day41_Git9.png) + +이제 Kanister의 fork된 리포지토리 상단으로 돌아가서 kanisterio:master branch보다 commit이 1개 앞선 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day41_Git10.png) + +다음으로 위에 강조 표시된 기여 버튼을 누릅니다. "Open Pull Request" 옵션이 표시됩니다. + +![](/2022/Days/Images/Day41_Git11.png) + +## Open Pull Request + +다음 이미지에서 꽤 많은 일이 진행되고 있습니다. 왼쪽 위에는 이제 원본 또는 마스터 리포지토리에 있는 것을 볼 수 있습니다. 그리고 비교 대상인 원본 마스터 리포지토리와 fork된 리포지토리를 볼 수 있습니다. 이제 Create Pull Request 버튼이 있는데, 곧 다시 설명하겠습니다. 단일 commit이 있지만 변경 사항이 더 많으면 여기에 여러 개의 commit이 있을 수 있습니다. 그러면 README.md 파일에 변경 사항이 있습니다. + +![](/2022/Days/Images/Day41_Git12.png) + +위의 변경 사항을 검토했으며 녹색 버튼을 눌러 pull requests를 생성할 준비가 되었습니다. + +그런 다음 프로젝트 관리자가 리포지토리에 pull requests 기능을 어떻게 설정했는지에 따라 관리자가 보고자 하는 내용을 알려주는 템플릿이 있을 수도 있고 없을 수도 있습니다. + +여기서도 자신이 한 일에 대해 명확하고 간결하면서도 충분히 상세하게 의미 있는 설명을 작성해야 합니다. 간단한 변경 개요를 작성하고 문서화를 체크한 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day41_Git13.png) + +## Create Pull Request + +이제 pull requests를 만들 준비가 되었습니다. 페이지 상단의 "Create Pull Request"를 누르면 pull requests에 대한 요약이 표시됩니다. + +![](/2022/Days/Images/Day41_Git14.png) + +아래로 스크롤하면 일부 자동화가 진행 중인 것을 볼 수 있는데, 이 경우 검토가 필요하며 몇 가지 확인이 진행 중입니다. Travis CI가 진행 중이고 빌드가 시작되었음을 알 수 있으며, 업데이트를 확인하여 merge하기 전에 추가한 내용이 손상되지 않았는지 확인합니다. + +![](/2022/Days/Images/Day41_Git15.png) + +위 스크린샷에서 보이는 빨간색은 약간 위협적으로 보일 수 있으며, 마치 실수를 저질렀다고 생각할 수 있습니다. 걱정하지 마세요, 아무것도 망가뜨린 것이 없습니다. 여기서 가장 중요한 팁은 이 과정이 당신과 프로젝트 관리자를 돕기 위한 것이라는 것입니다. 혹시 실수를 저질렀다면 제 경험에 따르면 관리자가 연락하여 다음에 무엇을 해야 할지 조언해줄 것입니다. + +이 pull requests는 이제 모든 사람이 볼 수 있도록 공개되었습니다 [added Kanister presentation/resource #1237](https://github.com/kanisterio/kanister/pull/1237). + +merge 및 pull requests가 수락되기 전에 이 글을 게시하려고 합니다. 따라서 여전히 관심을 가지고 있는 사람들에게 성공적인 PR의 사진을 추가할 수 있는 작은 보상을 제공할 수 있을 것입니다. + +1. 이 저장소를 귀하의 GitHub 계정으로 folk하세요. +2. 사진과 함께 텍스트를 추가해 주세요. +3. 변경 사항을 folk된 저장소에 push하세요. +4. 제가 볼 수 있고 승인할 수 있는 PR을 생성하세요. +5. 일종의 보상을 생각해 볼게요. + +이것으로 Git과 GitHub에 대해 살펴본 내용을 마무리하고, 다음에는 컨테이너를 어떻게, 왜 사용하는지에 대한 큰 그림부터 시작하여 가상화에 대해 살펴보고 여기까지 오게 된 과정을 살펴볼 것입니다. + +## 자료 + +- [Learn GitLab in 3 Hours | GitLab Complete Tutorial For Beginners](https://www.youtube.com/watch?v=8aV5AxJrHDg) +- [BitBucket Tutorials Playlist](https://www.youtube.com/watch?v=OMLh-5O6Ub8&list=PLaD4FvsFdarSyyGl3ooAm-ZyAllgw_AM5) +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [Git cheatsheet](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) + +[Day 42](day42.md)에서 봐요! diff --git a/2022/ko/Days/day42.md b/2022/ko/Days/day42.md new file mode 100644 index 0000000..17a9ed9 --- /dev/null +++ b/2022/ko/Days/day42.md @@ -0,0 +1,136 @@ +--- +title: '#90DaysOfDevOps - The Big Picture: Containers - Day 42' +published: false +description: 90DaysOfDevOps - The Big Picture Containers +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048826 +--- + +## 큰 그림: 컨테이너 + +이제 다음 섹션을 시작하겠습니다. 이번 섹션에서는 컨테이너, 특히 컨테이너에 대해 더 많이 이해하기 위해 몇 가지 핵심 영역에 대해 살펴보는 Docker를 중점적으로 다룰 것입니다. + +또한 이 섹션뿐만 아니라 챌린지 후반부의 다음 섹션에서도 사용할 수 있는 컨테이너를 만들기 위한 실습도 해보려고 합니다. + +언제나 그렇듯이 이번 첫 번째 포스팅에서는 우리가 어떻게 여기까지 왔는지, 그리고 이 모든 것이 무엇을 의미하는지에 대한 큰 그림에 초점을 맞출 것입니다. + +플랫폼 및 애플리케이션 개발의 역사 가상화 및 컨테이너화에 대해 이야기하고 싶습니다. + +### 왜 애플리케이션을 실행하는 다른 방법일까요? + +가장 먼저 살펴봐야 할 것은 소프트웨어나 애플리케이션을 실행하는 다른 방법이 필요한 이유입니다. 다양한 형태로 애플리케이션을 실행할 수 있기 때문입니다. 물리적 하드웨어에 운영 체제와 단일 애플리케이션이 배포된 애플리케이션을 볼 수도 있고, 가상 머신 또는 클라우드 기반 IaaS 인스턴스가 애플리케이션을 실행한 다음 다시 가상 머신의 데이터베이스에 통합되거나 퍼블릭 클라우드의 PaaS 제품으로 통합되는 것을 볼 수도 있습니다. 또는 애플리케이션이 컨테이너에서 실행되는 것을 볼 수도 있습니다. + +위의 옵션 중 어느 것도 틀린 것도, 옳은 것도 아니지만 각 옵션이 존재해야 하는 이유가 있으며, 저는 이 중 어느 것도 사라지지 않을 것이라고 굳게 믿습니다. 컨테이너와 가상 머신을 비교하는 콘텐츠를 많이 봤는데, 이는 사과와 배를 비교하는 것과 같이 둘 다 과일(애플리케이션을 실행하는 방법)이지만 같은 과일이 아니기 때문에 논쟁을 해서는 안 됩니다. + +또한 애플리케이션을 개발 중이라면 나중에 이러한 영역 중 일부를 다루겠지만 효율성, 속도 및 크기에 관한 것이므로 컨테이너에 기대야 한다고 말씀드리고 싶습니다. 하지만 여기에는 대가가 따르는데, 컨테이너에 대해 전혀 모른다면 그 이유를 이해하고 그 사고방식에 익숙해지려면 학습 곡선을 밟아야 할 것입니다. 애플리케이션을 특정 방식으로 개발했거나 그린필드 환경이 아니라면 컨테이너를 고려하기 전에 해결해야 할 문제가 더 많을 수 있습니다. + +특정 소프트웨어를 다운로드할 때 사용할 수 있는 운영 체제가 다양하기 때문에 선택의 폭이 넓어집니다. 그리고 애플리케이션을 설치하기 위해 수행해야 하는 작업에 대한 구체적인 지침도 있습니다. + +![](/2022/Days/Images/Day42_Containers1.png) + +최근에는 예전에는 전체 서버 OS, 가상 머신, 물리적 또는 클라우드 인스턴스가 필요했던 애플리케이션이 이제 컨테이너 기반 버전의 소프트웨어를 출시하는 경우가 점점 더 많아지고 있습니다. 이는 애플리케이션 개발자에게만 초점을 맞추는 것이 아니라 모든 사람에게 컨테이너와 쿠버네티스의 세계를 열어준다는 점에서 흥미롭습니다. + +![](/2022/Days/Images/Day42_Containers2.png) + +앞서 말씀드렸듯이, 저는 컨테이너가 정답이라고 주장하지는 않겠습니다. 하지만 애플리케이션을 배포할 때 고려해야 할 또 다른 옵션이 컨테이너라는 점을 말씀드리고 싶습니다. + +![](/2022/Days/Images/Day42_Containers4.png) + +최근 10년 동안, 특히 지난 5년간 컨테이너 기술이 인기를 얻은 이유는 무엇일까요? 이미 수십 년 동안 컨테이너 기술이 존재해 왔습니다. 이 문제는 컨테이너와 이미지라는 용어를 두고, 소프트웨어 배포 방식의 도전 과제로 귀결됩니다. 만약 단순히 컨테이너 기술만을 가지고 있다면, 여전히 소프트웨어 관리에 있어서 겪었던 여러 문제들이 계속 발생할 것입니다. + +docker를 도구로 생각하면, docker가 성공할 수 있었던 이유는 쉽게 찾고 사용할 수 있는 이미지 에코시스템 때문입니다. 시스템에 설치하고 실행하는 것이 간단합니다. 그중 가장 중요한 부분은 소프트웨어에서 직면하는 다양한 과제에 대한 전체 공간의 일관성입니다. MongoDB든 nodeJS든 상관없이 두 가지를 모두 실행하는 프로세스는 동일합니다. 중단하는 과정도 마찬가지입니다. 이러한 모든 문제는 여전히 존재하겠지만, 좋은 점은 좋은 컨테이너와 이미지 기술을 함께 사용하면 이러한 다양한 문제를 모두 해결하는 데 도움이 되는 단일 도구 세트를 갖게 된다는 것입니다. 이러한 문제 중 일부는 다음과 같습니다: + +- 먼저 인터넷에서 소프트웨어를 찾아야 합니다. +- 그런 다음, 이 소프트웨어를 다운로드해야 합니다. +- 소스를 신뢰할 수 있는가? +- 라이선스가 필요한가요? 어떤 라이선스가 필요한가요? +- 다른 플랫폼과 호환되는가? +- 패키지는 무엇인가요? 바이너리인가요? 실행 파일인가요? 패키지 관리자? +- 소프트웨어를 어떻게 구성하나요? +- 종속성은 무엇인가요? 전체 다운로드에 포함되어 있나요, 아니면 추가로 필요한가요? +- 종속성의 종속성? +- 애플리케이션을 어떻게 시작하나요? +- 애플리케이션을 어떻게 중지하나요? +- 자동으로 다시 시작되나요? +- 부팅 시 시작되나요? +- 리소스 충돌? +- 충돌하는 라이브러리? +- 포트 충돌 +- 소프트웨어 보안? +- 소프트웨어 업데이트? +- 소프트웨어를 제거하려면 어떻게 해야 하나요? + +위의 내용을 소프트웨어의 복잡성 중 컨테이너와 이미지가 도움이 되는 세 가지 영역으로 나눌 수 있습니다. + +| Distribution | Installation | Operation | +| ------------ | ------------- | ------------------ | +| Find | Install | Start | +| Download | Configuration | Security | +| License | Uninstall | Ports | +| Package | Dependencies | Resource Conflicts | +| Trust | Platform | Auto-Restart | +| Find | Libraries | Updates | + +컨테이너와 이미지는 다른 소프트웨어와 애플리케이션에서 겪을 수 있는 이러한 문제 중 일부를 제거하는 데 도움이 될 것입니다. + +높은 수준에서 설치와 운영을 동일한 목록으로 옮길 수 있으며, 이미지는 배포 관점에서, 컨테이너는 설치와 운영에 도움이 될 것입니다. + +좋아요, 멋지고 흥미진진하게 들리겠지만 컨테이너가 무엇인지 이해할 필요가 있고 이제 이미지를 언급했으니 다음에는 그 부분을 다루겠습니다. + +소프트웨어 개발용 컨테이너에 대해 이야기할 때 많이 보셨을 또 다른 것은 선적 컨테이너와 함께 사용되는 비유입니다. 선적 컨테이너는 대형 선박을 사용하여 바다를 가로질러 다양한 물품을 운송하는 데 사용됩니다. + +![](/2022/Days/Images/Day42_Containers5.png) + +이것이 컨테이너라는 주제와 어떤 관련이 있을까요? 소프트웨어 개발자가 작성하는 코드를 생각해 보세요. 특정 코드를 한 컴퓨터에서 다른 컴퓨터로 어떻게 전송할 수 있을까요? + +앞서 소프트웨어 배포, 설치 및 운영에 대해 다룬 내용을 이제 환경 비주얼로 구축하기 시작하면 다음과 같습니다. 여러 애플리케이션을 실행할 하드웨어와 운영 체제가 있습니다. 예를 들어 nodejs에는 특정 종속성이 있고 특정 라이브러리가 필요합니다. 그런 다음 MySQL을 설치하려면 필요한 라이브러리와 종속성이 필요합니다. 각 소프트웨어 애플리케이션에는 해당 라이브러리와 종속성이 있습니다. 운이 좋아서 특정 라이브러리와 종속성이 충돌하여 문제를 일으키는 애플리케이션 간에 충돌이 발생하지 않을 수도 있지만, 애플리케이션이 많을수록 충돌의 가능성이나 위험은 높아집니다. 그러나 소프트웨어 애플리케이션을 모두 수정한 후 업데이트하면 이러한 충돌이 발생할 수도 있습니다. + +![](/2022/Days/Images/Day42_Containers6.png) + +컨테이너는 이 문제를 해결하는 데 도움이 될 수 있습니다. 컨테이너는 애플리케이션을 **구축**하고, 애플리케이션을 **배송**하고, 이러한 애플리케이션을 독립적으로 쉽게 **배포**하고 **확장**할 수 있도록 도와줍니다. 아키텍처를 살펴보면 하드웨어와 운영체제가 있고 그 위에 나중에 다룰 docker(docker)와 같은 컨테이너 엔진이 있습니다. 컨테이너 엔진 소프트웨어는 라이브러리와 종속성을 함께 패키징하는 컨테이너를 생성하는 데 도움이 되므로 라이브러리와 종속성이 컨테이너 패키지의 일부로 제공되므로 라이브러리와 종속성에 대한 걱정 없이 이 컨테이너를 한 시스템에서 다른 시스템으로 원활하게 이동할 수 있으므로 이 컨테이너는 애플리케이션이 실행하는 데 필요한 기본 종속성에 대한 걱정 없이 시스템 간에 이동이 가능합니다. +애플리케이션이 실행하는 데 필요한 모든 것이 컨테이너로 패키징되어 있기 때문에 +컨테이너로 패키징되어 있기 때문입니다. + +![](/2022/Days/Images/Day42_Containers7.png) + +### 컨테이너의 장점 + +- 컨테이너는 컨테이너 내의 모든 종속성을 패키징하고 격리할 수 있습니다. + +- 컨테이너를 쉽게 관리할 수 있습니다. + +- 한 시스템에서 다른 시스템으로 이동할 수 있습니다. + +- 컨테이너는 소프트웨어를 패키징하는 데 도움이 되며 중복 작업 없이 쉽게 배포할 수 있습니다. + +- 컨테이너는 쉽게 확장할 수 있습니다. + +컨테이너를 사용하면 독립적인 컨테이너를 확장하고 로드 밸런서를 사용할 수 있습니다. +또는 트래픽을 분할하는 데 도움이 되는 서비스를 사용하여 애플리케이션을 수평적으로 확장할 수 있습니다. 컨테이너는 애플리케이션 관리 방식에 있어 많은 유연성과 편의성을 제공합니다. + +### 컨테이너란 무엇인가요? + +컴퓨터에서 애플리케이션을 실행할 때 이 글을 읽는 데 사용하고 있는 웹 브라우저나 VScode가 컨테이너일 수 있습니다. 해당 애플리케이션은 프로세스로 실행되거나 프로세스라고 하는 것으로 알려져 있습니다. 노트북이나 시스템에서는 여러 개의 애플리케이션 또는 프로세스를 실행하는 경향이 있습니다. 새 애플리케이션을 열거나 애플리케이션 아이콘을 클릭하면 이 애플리케이션은 우리가 실행하려는 애플리케이션이며, 때로는 이 애플리케이션이 백그라운드에서 실행하려는 서비스일 수도 있으며, 운영 체제는 백그라운드에서 실행되는 서비스로 가득 차 있어 시스템에서 얻을 수 있는 사용자 경험을 제공합니다. + +이 애플리케이션 아이콘은 파일 시스템 어딘가에 있는 실행 파일에 대한 링크를 나타내며, 운영 체제는 해당 실행 파일을 메모리에 로드합니다. 흥미롭게도 프로세스에 대해 이야기할 때 이 실행 파일을 이미지라고 부르기도 합니다. + +컨테이너는 프로세스로, 컨테이너는 코드와 모든 종속성을 패키징하여 애플리케이션이 한 컴퓨팅 환경에서 다른 컴퓨팅 환경으로 빠르고 안정적으로 실행되도록 하는 소프트웨어의 표준 단위입니다. + +컨테이너화된 소프트웨어는 인프라에 관계없이 항상 동일하게 실행됩니다. 컨테이너는 소프트웨어를 환경으로부터 분리하여 개발 환경과 스테이징 환경 간의 차이에도 불구하고 소프트웨어가 균일하게 작동하도록 보장합니다. + +지난 섹션에서 컨테이너와 이미지의 결합이 어떻게 그리고 왜 우리 에코시스템에서 컨테이너가 인기를 얻게 되었는지에 관해 이미지를 언급했습니다. + +### 이미지란 무엇인가요? + +컨테이너 이미지는 경량의 독립형 실행형 소프트웨어 패키지입니다. + +## 자료 + +- [TechWorld with Nana - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=3c-iBn73dDE) +- [Programming with Mosh - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=pTFZFxd4hOI) +- [Docker Tutorial for Beginners - What is Docker? Introduction to Containers](https://www.youtube.com/watch?v=17Bl31rlnRM&list=WL&index=128&t=61s) +- [Introduction to Container By Red Hat](https://www.redhat.com/en/topics/containers) + +[Day 43](day43.md)에서 봐요! diff --git a/2022/ko/Days/day43.md b/2022/ko/Days/day43.md new file mode 100644 index 0000000..7cf95f3 --- /dev/null +++ b/2022/ko/Days/day43.md @@ -0,0 +1,88 @@ +--- +title: '#90DaysOfDevOps - What is Docker & Getting installed - Day 43' +published: false +description: 90DaysOfDevOps - What is Docker & Getting installed +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048739 +--- + +## Docker를 알아보고 설치하기 + +이전 포스팅에서 docker에 대해 한 번쯤은 언급했는데, 그 이유는 docker가 컨테이너가 오래전부터 사용되어 왔음에도 불구하고 대중화될 수 있었던 혁신적인 기술이기 때문입니다. + +여기서는 docker를 사용하고 설명할 예정이지만, 벤더 종속의 위험을 피하면서 혁신을 장려하는 산업 표준 조직인 [Open Container Initiative(OCI)](https://www.opencontainers.org/)에 대해서도 언급해야 합니다. OCI 덕분에 컨테이너 툴체인을 선택할 때 Docker, [CRI-O](https://cri-o.io/), [Podman](http://podman.io/), [LXC](https://linuxcontainers.org/) 등을 선택할 수 있게 되었습니다. + +docker는 컨테이너를 빌드, 실행 및 관리하기 위한 소프트웨어 프레임워크입니다. "docker"라는 용어는 도구(명령어 및 데몬) 또는 Dockerfile 파일 형식을 지칭할 수 있습니다. + +여기서는 (교육 및 학습용으로) 무료인 Docker Personal을 사용하겠습니다. 여기에는 컨테이너와 도구에 대한 지식의 기초를 다지기 위해 다루어야 할 모든 필수 사항이 포함됩니다. + +우리가 사용할 몇 가지 "docker" 도구와 그 용도를 세분화해 볼 가치가 있을 것입니다. docker라는 용어는 개발자와 관리자가 애플리케이션을 개발, 배포 및 실행하기 위한 플랫폼인 docker 프로젝트 전반을 지칭할 수 있습니다. 또한 이미지와 컨테이너를 관리하는 호스트에서 실행되는 docker 데몬 프로세스를 지칭할 수도 있으며, Docker Engine이라고도 합니다. + +### Docker Engine + +Docker Engine은 애플리케이션을 빌드하고 컨테이너화하기 위한 오픈소스 컨테이너화 기술입니다. Docker Engine은 클라이언트-서버 애플리케이션으로 작동합니다: + +- 장기 실행 데몬 프로세스인 dockerd가 있는 서버. +- API는 프로그램이 Docker 데몬과 대화하고 지시하는 데 사용할 수 있는 인터페이스를 지정합니다. +- 커맨드라인 인터페이스(CLI) 클라이언트 docker입니다. + +위의 내용은 공식 docker 문서와 특정 [Docker Engine 개요](https://docs.docker.com/engine/)에서 발췌한 것입니다. + +### Docker Desktop + +저희는 Windows와 macOS 시스템 모두를 위한 Docker Desktop을 제공합니다. 설치하기 쉬운 경량 docker 개발 환경입니다. 호스트 운영 체제의 가상화 기능을 활용하는 네이티브 OS 애플리케이션입니다. + +Windows 또는 macOS에서 docker화된 애플리케이션을 빌드, 디버그, 테스트, 패키징 및 출시하려는 경우 가장 적합한 솔루션입니다. + +Windows에서는 WSL2와 Microsoft Hyper-V도 활용할 수 있습니다. WSL2의 몇 가지 이점은 차근차근 살펴보도록 하겠습니다. + +호스트 운영 체제의 하이퍼바이저 기능과 통합되어 있기 때문에 docker는 리눅스 운영 체제에서 컨테이너를 실행할 수 있는 기능을 제공합니다. + +### Docker Compose + +Docker Compose는 여러 컨테이너에서 더 복잡한 앱을 실행할 수 있는 도구입니다. 단일 파일과 명령을 사용하여 애플리케이션을 스핀업할 수 있다는 이점이 있습니다. + +### Docker Hub + +docker와 그 구성 요소로 작업하기 위한 중앙 집중식 리소스입니다. 가장 일반적으로는 docker 이미지를 호스팅하는 레지스트리로 알려져 있습니다. 그러나 여기에는 부분적으로 자동화와 함께 사용하거나 보안 검사뿐만 아니라 GitHub에 통합할 수 있는 많은 추가 서비스가 있습니다. + +### Dockerfile + +Dockerfile은 일반적으로 docker 이미지를 빌드하기 위해 수동으로 실행하는 명령이 포함된 텍스트 파일입니다. docker는 Dockerfile에 있는 지침을 읽어 이미지를 자동으로 빌드할 수 있습니다. + +## Docker Desktop 설치 + +[Docker 문서](https://docs.docker.com/engine/install/)는 매우 훌륭하며, 이제 막 docker에 입문하는 분이라면 꼭 한 번 읽어보시기 바랍니다. 여기서는 WSL2가 설치된 Windows에서 Docker Desktop을 사용하겠습니다. 여기서 사용하는 머신에 이미 설치를 완료했습니다. + +![](/2022/Days/Images/Day43_Containers1.png) + +설치를 진행하기 전에 시스템 요구 사항을 참고하시기 바라며, [윈도우에 Docker Desktop 설치하기](https://docs.docker.com/desktop/windows/install/)를 참고하시고, M1 기반 CPU 아키텍처를 포함한 맥OS를 사용하시는 경우 [맥OS에 docker Desktop 설치하기](https://docs.docker.com/desktop/mac/install/)도 참고하시면 됩니다. + +다른 윈도우 머신에서 윈도우용 docker Desktop 설치를 실행하고 그 과정을 아래에 기록해 보겠습니다. + +### Windows + +- 장치의 운영 체제로 Windows를 선택합니다. + + +- 인스톨러를 저장할 폴더로 이동하여 저장합니다. + +- 인스톨러를 실행하고 몇 초간 기다린 후 WSL에 대한 액세스 권한을 부여합니다. + + +- 확인을 클릭하면 설치가 시작됩니다. + + +- Docker Desktop이 장치에 성공적으로 설치되었습니다. 이제 터미널에서 "docker" 명령을 실행하여 설치가 성공적으로 완료되었는지 확인할 수 있습니다. + + +## 자료 + +- [TechWorld with Nana - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=3c-iBn73dDE) +- [Programming with Mosh - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=pTFZFxd4hOI) +- [Docker Tutorial for Beginners - What is Docker? Introduction to Containers](https://www.youtube.com/watch?v=17Bl31rlnRM&list=WL&index=128&t=61s) +- [WSL 2 with Docker getting started](https://www.youtube.com/watch?v=5RQbdMn04Oc) + +[Day 44](day44.md)에서 봐요! diff --git a/2022/ko/Days/day44.md b/2022/ko/Days/day44.md new file mode 100644 index 0000000..0db6106 --- /dev/null +++ b/2022/ko/Days/day44.md @@ -0,0 +1,141 @@ +--- +title: '#90DaysOfDevOps - Docker Images & Hands-On with Docker Desktop - Day 44' +published: false +description: 90DaysOfDevOps - Docker Images & Hands-On with Docker Desktop +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048708 +--- + +## Docker 이미지 및 Docker Desktop 실습하기 + +이제 시스템에 Docker Desktop을 설치했습니다. (Linux를 실행하는 경우 여전히 옵션은 있지만 GUI는 없지만 Docker는 Linux에서 작동합니다.)[우분투에 Docker Engine 설치](https://docs.docker.com/engine/install/ubuntu/) (다른 배포판도 사용할 수 있습니다.) + +이 글에서는 몇 가지 이미지를 우리 환경에 배포하는 작업을 시작하겠습니다. Docker 이미지에 대한 요약 - Docker 이미지는 Docker 컨테이너에서 코드를 실행하는 데 사용되는 파일입니다. Docker 이미지는 템플릿처럼 Docker 컨테이너를 빌드하기 위한 일련의 지침 역할을 합니다. 또한 Docker 이미지는 Docker를 사용할 때 시작점 역할을 하기도 합니다. + +지금 바로 [Docker Hub](https://hub.docker.com/)에서 계정을 생성하세요. + +![](/2022/Days/Images/Day44_Containers1.png) + +Docker Hub는 Docker 및 그 구성 요소로 작업하기 위한 중앙 집중식 리소스입니다. 가장 일반적으로는 docker 이미지를 호스팅하는 레지스트리로 알려져 있습니다. 그러나 여기에는 부분적으로 자동화와 함께 사용하거나 보안 검사뿐만 아니라 GitHub에 통합할 수 있는 많은 추가 서비스가 있습니다. + +로그인한 후 아래로 스크롤하면 컨테이너 이미지 목록이 표시되며, MySQL, hello-world 등의 데이터베이스 이미지가 표시될 수 있습니다. 데이터베이스 이미지가 필요하거나 직접 만들 필요가 없는 경우 공식 이미지를 사용하는 것이 가장 좋습니다. + +![](/2022/Days/Images/Day44_Containers2.png) + +사용 가능한 이미지 보기를 더 자세히 살펴보고 카테고리, 운영 체제 및 아키텍처에 따라 검색할 수 있습니다. 아래에서 강조 표시한 것은 공식 이미지로, 이 컨테이너 이미지의 출처에 대해 안심할 수 있습니다. + +![](/2022/Days/Images/Day44_Containers3.png) + +특정 이미지를 검색할 수도 있습니다. 예를 들어 워드프레스가 좋은 기본 이미지가 될 수 있으므로 상단에 있는 이미지를 검색하여 워드프레스와 관련된 모든 컨테이너 이미지를 찾을 수 있습니다. 아래는 확인된 퍼블리셔에 대한 공지사항입니다. + +- 공식 이미지 - Docker 공식 이미지는 엄선된 Docker 오픈 소스 및 "drop-in" 솔루션 리포지토리 집합입니다. + +- 검증된 퍼블리셔 - 검증된 퍼블리셔의 고품질 Docker 콘텐츠입니다. 이러한 제품은 상업적 주체가 직접 게시하고 유지 관리합니다. + +![](/2022/Days/Images/Day44_Containers4.png) + +### Docker Desktop 살펴보기 + +저희 시스템에는 Docker Desktop이 설치되어 있으며, 이 파일을 열면 이미 설치되어 있지 않다면 아래 이미지와 비슷한 것을 볼 수 있을 것입니다. 보시다시피 컨테이너가 실행되고 있지 않고 Docker Engine이 실행되고 있습니다. + +![](/2022/Days/Images/Day44_Containers5.png) + +새로 설치한 것이 아니기 때문에 이미 다운로드하여 시스템에 사용할 수 있는 이미지가 몇 개 있습니다. 여기에는 아무것도 표시되지 않을 것입니다. + +![](/2022/Days/Images/Day44_Containers6.png) + +원격 리포지토리 아래에서 Docker Hub에 저장한 컨테이너 이미지를 찾을 수 있습니다. 아래에서 볼 수 있듯이 이미지가 없습니다. + +![](/2022/Days/Images/Day44_Containers7.png) + +Docker Hub 사이트에서도 리포지토리가 없음을 확인할 수 있습니다. + +![](/2022/Days/Images/Day44_Containers8.png) + +다음으로 Volumes 탭이 있는데, 지속성이 필요한 컨테이너가 있는 경우 여기에서 로컬 파일 시스템이나 공유 파일 시스템에 이러한 Volumes를 추가할 수 있습니다. + +![](/2022/Days/Images/Day44_Containers9.png) + +이 글을 쓰는 시점에 Environments 탭도 있는데, 이 탭은 다른 git branch 사이를 이동하지 않고 팀과 협업하는 데 도움이 될 것입니다. 여기서는 다루지 않겠습니다. + +![](/2022/Days/Images/Day44_Containers10.png) + +첫 번째 탭으로 돌아가면 시작 컨테이너를 실행할 수 있는 명령이 있음을 알 수 있습니다. 터미널에서 `docker run -d -p 80:80 docker/getting-started`를 실행해 보겠습니다. + +![](/2022/Days/Images/Day44_Containers11.png) + +Docker Desktop 창을 다시 확인하면 컨테이너가 실행 중인 것을 확인할 수 있습니다. + +![](/2022/Days/Images/Day44_Containers12.png) + +WSL2를 사용하고 있다는 것을 눈치채셨을 텐데요, 이를 사용하려면 설정에서 이 기능이 활성화되어 있는지 확인해야 합니다. + +![](/2022/Days/Images/Day44_Containers13.png) + +이제 Images 탭으로 다시 이동하여 확인하면 이제 사용 중인 이미지인 docker/getting-started를 볼 수 있습니다. + +![](/2022/Days/Images/Day44_Containers14.png) + +Containers/Apps 탭으로 돌아가서 실행 중인 컨테이너를 클릭합니다. 기본적으로 로그가 표시되고 상단에 선택할 수 있는 몇 가지 옵션이 있는데, 이 컨테이너에서 실행 중인 웹 페이지가 될 것이 확실하므로 브라우저에서 열기를 선택하겠습니다. + +![](/2022/Days/Images/Day44_Containers15.png) + +위의 버튼을 누르면 로컬호스트로 연결되는 웹 페이지가 열리고 아래와 비슷한 내용이 표시됩니다. + +이 컨테이너에는 컨테이너와 이미지에 대한 자세한 내용도 있습니다. + +![](/2022/Days/Images/Day44_Containers16.png) +이제 첫 번째 컨테이너를 실행했습니다. 아직은 쉽습니다. 컨테이너 이미지 중 하나를 Docker Hub에서 가져오고 싶다면 어떻게 해야 할까요? 아마도 우리가 사용할 수 있는 `hello world` docker 컨테이너가 있을 것입니다. + +시작 컨테이너는 리소스를 많이 차지하기 때문이 아니라 몇 가지 단계를 더 진행하면서 깔끔하게 정리하기 위해 중단했습니다. + +터미널로 돌아와서 `docker run hello-world`를 실행하고 어떤 일이 일어나는지 살펴봅시다. + +로컬에 이미지가 없었기 때문에 이미지를 끌어내렸고, 컨테이너 이미지에 시작 및 실행에 대한 몇 가지 정보와 참조 지점에 대한 링크가 포함된 메시지가 표시되는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day44_Containers17.png) + +그러나 이제 Docker Desktop을 살펴보면 실행 중인 컨테이너는 없지만, hello-world 메시지를 사용한 종료된 컨테이너, 즉 시작되어 메시지를 전달한 후 종료된 컨테이너는 있습니다. + +![](/2022/Days/Images/Day44_Containers18.png) + +마지막으로 Images 탭을 확인해보면 시스템에 로컬로 새로운 hello-world 이미지가 있는 것을 확인할 수 있습니다. 즉, 터미널에서 `docker run hello-world` 명령을 다시 실행해도 버전이 변경되지 않는 한 아무것도 가져올 필요가 없습니다. + +![](/2022/Days/Images/Day44_Containers19.png) + +'hello-world' 컨테이너에서 온 메시지로 인해 조금 더 야심찬 도전을 하고 싶어졌습니다. + +도전! + +![](/2022/Days/Images/Day44_Containers20.png) + +터미널에서 `docker run -it ubuntu bash`를 실행할 때 우리는 운영 체제의 전체 복사본이 아닌 우분투의 컨테이너화된 버전을 실행할 것입니다. 이 특정 이미지에 대한 자세한 내용은 [Docker Hub](https://hub.docker.com/_/ubuntu)에서 확인할 수 있습니다. + +아래 명령어를 실행하면 대화형 프롬프트(`-it`)가 나타나고 컨테이너에 bash 셸이 생성되는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day44_Containers21.png) + +bash 셸이 있지만 그 이상은 없기 때문에 이 컨테이너 이미지는 30MB 미만입니다. + +![](/2022/Days/Images/Day44_Containers22.png) + +하지만 여전히 이 이미지를 사용할 수 있고, apt package manager를 사용하여 소프트웨어를 설치할 수 있으며, 컨테이너 이미지를 업데이트하고 업그레이드할 수도 있습니다. + +![](/2022/Days/Images/Day44_Containers23.png) + +또는 컨테이너에 일부 소프트웨어를 설치하고 싶을 수도 있습니다. pinta는 이미지 편집기이고 200MB가 넘기 때문에 여기서는 정말 나쁜 예를 선택했지만 제가 이걸로 무엇을 하려는지 이해하시길 바랍니다. 이렇게 하면 컨테이너의 크기가 상당히 커지지만, 여전히 GB가 아닌 MB 단위로 사용할 것입니다. + +![](/2022/Days/Images/Day44_Containers24.png) + +이 글에서는 사용 사례를 통해 Docker Desktop과 컨테이너의 세계에 대한 개요를 간단하고 접근하기 쉬운 방식으로 제공하고자 합니다. 그러나 컨테이너 이미지를 다운로드하고 사용하는 것 외에도 네트워킹, 보안 및 기타 사용 가능한 옵션에 대해서도 다뤄야 합니다. 이 섹션의 궁극적인 목표는 무언가를 만들어서 Docker Hub 리포지토리에 업로드하고 배포하는 것입니다. + +## 자료 + +- [TechWorld with Nana - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=3c-iBn73dDE) +- [Programming with Mosh - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=pTFZFxd4hOI) +- [Docker Tutorial for Beginners - What is Docker? Introduction to Containers](https://www.youtube.com/watch?v=17Bl31rlnRM&list=WL&index=128&t=61s) +- [WSL 2 with Docker getting started](https://www.youtube.com/watch?v=5RQbdMn04Oc) + +[Day 45](day45.md)에서 봐요! diff --git a/2022/ko/Days/day45.md b/2022/ko/Days/day45.md new file mode 100644 index 0000000..1269584 --- /dev/null +++ b/2022/ko/Days/day45.md @@ -0,0 +1,119 @@ +--- +title: '#90DaysOfDevOps - The anatomy of a Docker Image - Day 45' +published: false +description: 90DaysOfDevOps - The anatomy of a Docker Image +tags: 'DevOps, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048777 +--- + +## Docker 이미지의 구조 + +지난 세션에서는 Docker Hub와 결합된 Docker Desktop을 사용하여 몇 가지 검증된 이미지를 배포하고 실행하는 방법에 대한 몇 가지 기본 사항을 다루었습니다. 이미지가 무엇인지에 대한 요약을 계속 언급하면 잊어버리지 않을 것입니다. + +Docker 이미지는 Docker 플랫폼에서 실행할 수 있는 컨테이너를 만들기 위한 일련의 지침이 포함된 읽기 전용 템플릿입니다. 애플리케이션과 사전 구성된 서버 환경을 패키징하여 개인적으로 사용하거나 다른 Docker 사용자와 공개적으로 공유할 수 있는 편리한 방법을 제공합니다. 또한 Docker 이미지는 Docker를 처음 사용하는 모든 사용자에게 시작점이 됩니다. + +자체 Docker 이미지를 만들려면 어떻게 해야 하나요? 이를 위해서는 Dockerfile을 생성해야 합니다. 우분투 컨테이너 이미지를 가져와서 소프트웨어를 추가하면 원하는 소프트웨어가 포함된 컨테이너 이미지를 갖게 되고 모든 것이 좋지만, 컨테이너가 종료되거나 폐기되면 모든 소프트웨어 업데이트와 설치가 사라져 반복할 수 있는 버전이 없습니다. 따라서 컨테이너를 실행할 때마다 동일한 소프트웨어 세트가 설치된 여러 환경에 걸쳐 이미지를 전송하는 데는 도움이 되지 않습니다. + +### Dockerfile이란? + +Dockerfile은 일반적으로 docker 이미지를 빌드하기 위해 수동으로 실행하는 명령이 포함된 텍스트 파일입니다. docker는 Dockerfile에 있는 지침을 읽어 이미지를 자동으로 빌드할 수 있습니다. + +docker 이미지를 구성하는 각 파일을 레이어라고 하며, 이러한 레이어는 단계적으로 서로 위에 빌드되는 일련의 이미지를 형성합니다. 각 레이어는 바로 아래 레이어에 종속됩니다. 레이어의 순서는 docker 이미지의 라이프사이클 관리 효율성의 핵심입니다. + +가장 자주 변경되는 레이어는 가능한 한 스택에서 가장 높은 곳에 구성해야 하는데, 이는 이미지의 레이어를 변경하면 Docker가 해당 레이어뿐만 아니라 해당 레이어에서 빌드된 모든 레이어를 다시 빌드하기 때문입니다. 따라서 맨 위에 있는 레이어를 변경하면 전체 이미지를 다시 빌드하는 데 필요한 작업량이 가장 적습니다. + +docker가 이미지로부터 컨테이너를 실행할 때마다 (어제 실행한 것처럼), 컨테이너 레이어라고 하는 쓰기 가능한 레이어가 추가됩니다. 이 레이어는 컨테이너가 실행되는 동안 모든 변경 사항을 저장합니다. 이 레이어는 실제 운영 중인 컨테이너와 소스 이미지 자체 사이의 유일한 차이점입니다. 같은 이미지에 기반한 동일한 컨테이너들이 상태를 유지하면서 액세스를 공유할 수 있습니다. + +예제로 돌아가서, 어제 우분투 이미지를 사용했습니다. 동일한 명령을 여러 번 실행하여 첫 번째 컨테이너에는 pinta를 설치하고 두 번째 컨테이너에는 두 개의 다른 애플리케이션, 다른 목적, 다른 크기 등을 가진 figlet을 설치할 수 있습니다. 배포한 각 컨테이너는 동일한 이미지를 공유하지만, 동일한 상태는 아니며, 컨테이너를 제거하면 해당 상태는 사라집니다. + +![](/2022/Days/Images/Day45_Containers1.png) + +위의 예제에서 우분투 이미지뿐만 아니라 Docker Hub 및 기타 서드파티 리포지토리에서 사용할 수 있는 다른 많은 기성 컨테이너 이미지도 마찬가지입니다. 이러한 이미지를 일반적으로 부모 이미지라고 합니다. 이 이미지는 다른 모든 레이어가 구축되는 기반이 되며 컨테이너 환경의 기본 구성 요소를 제공합니다. + +개별 레이어 파일 세트와 함께 Docker 이미지에는 manifest라는 추가 파일도 포함됩니다. 이 파일은 기본적으로 이미지에 대한 JSON 형식의 설명이며 이미지 태그, 전자 서명, 다양한 유형의 호스트 플랫폼에 맞게 컨테이너를 구성하는 방법에 대한 세부 정보와 같은 정보로 구성됩니다. + +![](/2022/Days/Images/Day45_Containers2.png) + +### Docker 이미지를 생성하는 방법 + +docker 이미지를 생성하는 방법에는 두 가지가 있습니다. 어제 시작한 프로세스로 즉석에서 만들 수 있습니다. 기본 이미지를 선택하여 해당 컨테이너를 스핀업하고 컨테이너에 원하는 모든 소프트웨어와 종속성을 설치합니다. + +그런 다음 `docker commit container name`을 사용하면 이 이미지의 로컬 복사본이 docker 이미지와 Docker Desktop 이미지 탭 아래에 있습니다. + +매우 간단하지만, 프로세스를 이해하고 싶은 게 아니라면, 이 방법을 권장하지 않습니다. 이 방법은 라이프사이클 관리를 관리하기가 매우 어렵고 수동 구성/재구성이 많이 필요합니다. 하지만 docker 이미지를 빌드하는 가장 빠르고 간단한 방법입니다. 테스트, 문제 해결, 종속성 검증 등에 적합합니다. + +우리가 이미지를 생성하려는 방법은 Dockerfile을 통한 방법입니다. 이는 이미지를 만드는 깔끔하고 간결하며 반복 가능한 방법을 제공합니다. 더 쉬운 라이프사이클 관리와 지속적인 통합 및 지속적인 배포 프로세스에 쉽게 통합할 수 있습니다. 하지만 처음 언급된 방법보다 조금 더 어려울 수 있습니다. + +Dockerfile 방법을 사용하는 것이 실제 엔터프라이즈급 컨테이너 배포에 훨씬 더 잘 맞습니다. + +Dockerfile은 3단계 프로세스를 통해 Dockerfile을 만들고 이미지를 조립하는 데 필요한 명령을 추가합니다. + +다음 표는 사용자가 가장 많이 사용할 가능성이 높은 몇 가지 Dockerfile 설정을 보여줍니다. + +| Command | Purpose | +| ---------- | ------------------------------------------------------------------------------------------------------------------------------------ | +| FROM | 상위 이미지를 지정합니다. | +| WORKDIR | Dockerfile에서 다음에 나오는 명령의 작업 디렉터리를 설정합니다. | +| RUN | 컨테이너에 필요한 애플리케이션과 패키지를 설치합니다. | +| COPY | 특정 위치에서 파일 또는 디렉터리를 복사합니다. | +| ADD | 복사뿐만 아니라 원격 URL을 처리하고 압축 파일의 압축을 풀 수도 있습니다. | +| ENTRYPOINT | 컨테이너가 시작될 때 항상 실행되는 명령입니다. 지정하지 않으면 기본값은 "/bin/sh -c"입니다. | +| CMD | 엔트리포인트로 전달된 인자입니다. 엔트리포인트가 설정되지 않은 경우(기본값은 "/bin/sh -c"), 컨테이너가 실행하는 명령은 CMD가 됩니다. | +| EXPOSE | 컨테이너 애플리케이션에 액세스할 포트를 정의합니다. | +| LABEL | 이미지에 메타데이터를 추가합니다. | + +이제 첫 번째 Dockerfile을 빌드하는 방법에 대한 세부 정보를 얻었으므로 작업 디렉터리를 생성하고 Dockerfile을 만들 수 있습니다. 이 리포지토리 내에 작업 디렉터리를 만들었는데, [여기서](/2022/Days/Containers/) 제가 살펴봐야 할 파일과 폴더를 볼 수 있습니다. + +이 디렉터리에는 지난 섹션에서 사용한 .gitignore와 유사한 .dockerignore 파일을 만들겠습니다. 이 파일에는 최종 빌드에서 제외하려는 Docker 빌드 프로세스 중에 생성되는 모든 파일이 나열됩니다. + +컨테이너는 부피가 커지지 않고 가능한 한 빠르게 컴팩트하게 만들어야 함을 기억하세요. + +위에 링크된 폴더에서 아래 레이아웃으로 매우 간단한 Dockerfile을 만들고 싶습니다. + +```dockerfile +# 공식 우분투 18.04를 기본으로 사용하세요. +FROM ubuntu:18.04 +# nginx 및 curl 설치 +RUN apt-get update && apt-get upgrade -y +RUN apt-get install -y nginx curl +RUN rm -rf /var/lib/apt/lists/* +``` + +터미널에서 이 디렉토리로 이동한 다음 `docker build -t 90daysofdevops:0.1 .`를 실행합니다. `-t`를 사용한 다에는 이미지 이름과 태그를 설정할 수 있습니다. + +![](/2022/Days/Images/Day45_Containers3.png) + +이제 이미지를 만들었으므로 Docker Desktop을 사용하여 이미지를 실행하거나 docker 커맨드라인을 사용할 수 있습니다. 저의 경우에는 Docker Desktop을 사용하여 컨테이너를 실행하고, 컨테이너의 cli에서 `curl`을 사용한 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day45_Containers4.png) + +Docker Desktop에서는 UI를 활용하여 이 새로운 이미지로 몇 가지 작업을 더 수행할 수 있습니다. + +![](/2022/Days/Images/Day45_Containers5.png) + +이미지를 검사하면 컨테이너 내에서 실행하려고 하는 Dockerfile과 코드들을 매우 많이 볼 수 있습니다. + +![](/2022/Days/Images/Day45_Containers6.png) + +pull 옵션이 있지만, 이 이미지는 어디에도 호스팅되지 않기 때문에 이 옵션은 실패할 것이고 오류로 표시됩니다. 하지만 Push to hub 옵션이 있어 이미지를 DockerHub로 push할 수 있습니다. + +앞서 실행한 것과 동일한 `docker build`를 사용하는 경우에도 이 방법이 작동하지 않으므로 빌드 명령을 `docker build -t {{username}}/{{imagename}}:{{version}}`로 해야 합니다. + +![](/2022/Days/Images/Day45_Containers7.png) + +이제 Docker Hub 리포지토리로 이동하여 살펴보면 방금 새 이미지를 push한 것을 확인할 수 있습니다. 이제 Docker Desktop에서 해당 pull 탭을 사용할 수 있습니다. + +![](/2022/Days/Images/Day45_Containers8.png) + +## 자료 + +- [TechWorld with Nana - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=3c-iBn73dDE) +- [Programming with Mosh - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=pTFZFxd4hOI) +- [Docker Tutorial for Beginners - What is Docker? Introduction to Containers](https://www.youtube.com/watch?v=17Bl31rlnRM&list=WL&index=128&t=61s) +- [WSL 2 with Docker getting started](https://www.youtube.com/watch?v=5RQbdMn04Oc) +- [Blog on gettng started building a docker image](https://stackify.com/docker-build-a-beginners-guide-to-building-docker-/2022/Days/images/) +- [Docker documentation for building an image](https://docs.docker.com/develop/develop-/2022/Days/images/dockerfile_best-practices/) + +[Day 46](day46.md)에서 봐요! diff --git a/2022/ko/Days/day46.md b/2022/ko/Days/day46.md new file mode 100644 index 0000000..87130cd --- /dev/null +++ b/2022/ko/Days/day46.md @@ -0,0 +1,183 @@ +--- +title: '#90DaysOfDevOps - Docker Compose - Day 46' +published: false +description: 90DaysOfDevOps - Docker Compose +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048740 +--- + +## Docker Compose + +하나의 컨테이너를 실행할 수 있는 기능은 단일 사용 사례에 필요한 모든 것을 갖춘 독립적인 이미지가 있는 경우 유용할 수 있지만, 서로 다른 컨테이너 이미지 간에 여러 애플리케이션을 빌드하려는 경우 흥미로운 문제가 발생할 수 있습니다. 예를 들어, 웹사이트 프론트엔드가 있지만 백엔드 데이터베이스가 필요한 경우 모든 것을 하나의 컨테이너에 넣을 수 있지만 데이터베이스용 컨테이너를 사용하는 것이 더 효율적이고 좋을 것입니다. + +이때 여러 컨테이너에서 더 복잡한 앱을 실행할 수 있는 도구인 Docker Compose가 등장합니다. 단일 파일과 명령을 사용하여 애플리케이션을 스핀업할 수 있다는 이점이 있습니다. 이 글에서 안내하는 예제는 [Docker 빠른 시작 샘플 앱(빠른 시작: 작성 및 워드프레스)](https://docs.docker.com/samples/wordpress/)에서 가져온 것입니다. + +이 첫 번째 예제에서는 + +- Docker Compose를 사용하여 WordPress와 별도의 MySQL 인스턴스를 불러옵니다. +- 'docker-compose.yml'이라는 YAML 파일을 사용합니다. +- 프로젝트 빌드 +- 브라우저를 통해 워드프레스 구성 +- 종료 및 정리 + +### Docker Compose 설치 + +앞서 언급했듯이 docker compose는 도구이며, 맥OS나 윈도우를 사용하는 경우 Docker Desktop 설치에 compose가 포함되어 있습니다. 하지만, 윈도우 서버 호스트나 리눅스 서버에서 컨테이너를 실행하고 싶을 수 있으며, 이 경우 다음 [docker compose 설치](https://docs.docker.com/compose/install/) 지침을 사용하여 설치할 수 있습니다. + +터미널을 열고 위의 명령어를 입력하면 시스템에 `docker-compose`가 설치되었는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day46_Containers1.png) + +### Docker-Compose.yml(YAML) + +다음에 이야기할 것은 리포지토리의 컨테이너 폴더에서 찾을 수 있는 docker-compose.yml입니다. 그 전에, YAML에 대해 조금 설명하겠습니다. + +거의 모든 프로그래밍 언어에서 사용할 수 있는 YAML은 다양한 곳에서 사용될 수 있습니다. + +"YAML은 모든 프로그래밍 언어에 대한 인간 친화적인 데이터 직렬화 언어입니다." + +일반적으로 구성 파일과 데이터를 저장하거나 전송하는 일부 애플리케이션에서 사용됩니다. 동일한 구성 파일을 제공하는 경향이 있는 XML 파일을 접한 적이 있을 것입니다. YAML은 최소한의 구문을 제공하지만, 동일한 사용 사례를 목표로 합니다. + +YAML(YAML Ain't Markup Language)은 지난 몇 년 동안 꾸준히 인기가 높아진 직렬화 언어입니다. 객체 직렬화 기능 덕분에 JSON과 같은 언어를 대체할 수 있습니다. + +YAML의 약어는 Yet Another Markup Language의 약자였습니다. 그러나 유지 관리자는 데이터 지향적 기능을 더 강조하기 위해 YAML Ain't Markup Language로 이름을 변경했습니다. + +어쨌든, 다시 docker-compose.yml 파일로 돌아가겠습니다. 이 파일은 단일 시스템에 여러 개의 컨테이너를 배포할 때 수행하고자 하는 작업의 구성 파일입니다. + +위에 링크된 튜토리얼에서 바로 파일의 내용을 보면 다음과 같이 보입니다: + +```yaml +version: '3.9' + +services: + DB: + image: mysql:5.7 + volumes: + - db_data:/var/lib/mysql + restart: always + environment: + MYSQL_ROOT_PASSWORD: somewordpress + MYSQL_DATABASE: wordpress + MYSQL_USER: wordpress + MYSQL_PASSWORD: wordpress + + wordpress: + depends_on: + - db + image: wordpress:latest + volumes: + - wordpress_data:/var/www/html + ports: + - '8000:80' + restart: always + environment: + WORDPRESS_DB_HOST: db + WORDPRESS_DB_USER: wordpress + WORDPRESS_DB_PASSWORD: wordpress + WORDPRESS_DB_NAME: wordpress +volumes: + db_data: {} + wordpress_data: {} +``` + +버전을 선언한 다음, 이 docker-compose.yml 파일의 대부분은 서비스로 구성되어 있으며, DB 서비스와 워드프레스 서비스가 있습니다. 각 서비스에는 버전 태그가 연결된 이미지가 정의되어 있는 것을 볼 수 있습니다. 이제 첫 번째 연습과 달리 구성에 상태도 도입하고 있는데, 데이터베이스를 저장할 수 있도록 볼륨을 생성하겠습니다. + +그런 다음 비밀번호 및 사용자 이름과 같은 몇 가지 환경 변수가 있습니다. 이러한 파일은 매우 복잡해질 수 있지만 YAML 구성 파일을 사용하면 전체적으로 단순화할 수 있습니다. + +### 프로젝트 빌드 + +이제 터미널로 돌아가서 docker-compose 도구로 몇 가지 명령을 사용할 수 있습니다. 디렉토리로 이동하여 docker-compose.yml 파일이 있는 디렉터리로 이동합니다. + +터미널에서 `docker-compose up -d`를 실행하면 해당 이미지를 가져와 멀티 컨테이너 애플리케이션을 세우는 프로세스가 시작됩니다. + +이 명령의 `-d`는 분리 모드를 의미하며, 이는 실행 명령이 백그라운드에서 실행 중이거나 실행될 것임을 의미합니다. + +![](/2022/Days/Images/Day46_Containers2.png) + +이제 `docker ps` 명령을 실행하면 2개의 컨테이너가 실행 중이며 하나는 WordPress이고 다른 하나는 MySQL인 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day46_Containers3.png) + +다음으로 브라우저를 열고 `http://localhost:8000`으로 이동하면 WordPress가 실행 중인지 확인할 수 있으며, WordPress 설정 페이지가 표시됩니다. + +![](/2022/Days/Images/Day46_Containers4.png) + +워드프레스 설정을 완료한 다음 아래 콘솔에서 원하는 대로 웹사이트 구축을 시작할 수 있습니다. + +![](/2022/Days/Images/Day46_Containers5.png) + +이제 새 탭을 열고 `http://localhost:8000` 이전과 동일한 주소로 이동하면 사이트 제목이 "90DaysOfDevOps"인 간단한 기본 테마가 표시되고 샘플 게시물이 표시됩니다. + +![](/2022/Days/Images/Day46_Containers6.png) + +변경하기 전에 Docker Desktop을 열고 볼륨 탭으로 이동하면 컨테이너와 연결된 두 개의 볼륨(하나는 워드프레스용, 다른 하나는 DB용)을 볼 수 있습니다. + +![](/2022/Days/Images/Day46_Containers7.png) + +현재 워드프레스 테마는 "Twenty Twenty-Two"이며 이를 "Twenty Twenty"로 변경하고 싶습니다. 대시보드로 돌아와서 변경할 수 있습니다. + +![](/2022/Days/Images/Day46_Containers8.png) + +또한 사이트에 새 게시물을 추가하려고 하는데, 아래에서 새 사이트의 최신 버전을 볼 수 있습니다. + +![](/2022/Days/Images/Day46_Containers9.png) + +### 정리 여부 + +이제 `docker-compose down` 명령을 사용하면 컨테이너가 삭제됩니다. 하지만 볼륨은 그대로 유지됩니다. + +![](/2022/Days/Images/Day46_Containers10.png) + +Docker Desktop에서 볼륨이 여전히 존재한다는 것을 확인할 수 있습니다. + +![](/2022/Days/Images/Day46_Containers11.png) + +그런 다음 다시 백업하려면 동일한 디렉토리 내에서 `docker up -d` 명령을 실행하면 애플리케이션을 다시 백업하고 실행할 수 있습니다. + +![](/2022/Days/Images/Day46_Containers12.png) + +그런 다음 브라우저에서 동일한 주소인 `http://localhost:8000`으로 이동하면 새 글과 테마 변경 사항이 모두 그대로 유지되는 것을 확인할 수 있습니다. + +![](/2022/Days/Images/Day46_Containers13.png) + +컨테이너와 해당 볼륨을 제거하려면 `docker-compose down --volumes`를 실행하면 볼륨도 제거됩니다. + +![](/2022/Days/Images/Day46_Containers14.png) + +이제 `docker-compose up -d`를 다시 사용하면 시작하지만, 이미지는 여전히 우리 시스템의 로컬에 있으므로 Docker Hub 리포지토리에서 다시 가져올 필요가 없습니다. + +docker-compose와 그 기능에 대해 알아보기 시작했을 때 이것이 Kubernetes와 같은 컨테이너 오케스트레이션 도구와 어디에 위치하는지 혼란스러웠는데, 이 짧은 데모에서 우리가 한 모든 작업은 로컬 데스크톱 머신에서 실행 중인 WordPress와 DB가 있는 호스트 하나에 초점을 맞추고 있습니다. 여러 가상 머신이나 여러 물리적 머신이 없으며 애플리케이션의 요구 사항을 쉽게 확장 및 축소할 수도 없습니다. + +다음 섹션에서는 Kubernetes를 다룰 예정이지만, 먼저 컨테이너에 대한 전반적인 내용을 며칠 더 살펴보겠습니다. + +[Awesome-Compose](https://github.com/docker/awesome-compose)는 여러 통합이 있는 docker-compose 애플리케이션의 샘플을 위한 훌륭한 리소스입니다. + +위의 리포지토리에는 단일 노드에 Elasticsearch, Logstash, Kibana(ELK)를 배포하는 훌륭한 예제가 있습니다. + +[Containers 폴더](/2022/Days/Containers/elasticsearch-logstash-kibana/)에 파일을 업로드했습니다. 이 폴더가 로컬에 있으면 해당 폴더로 이동하여 `docker-compose up -d`를 사용하면 간단하게 설치할 수 있습니다. + +![](/2022/Days/Images/Day46_Containers15.png) + +그런 다음 `docker ps`로 실행 중인 컨테이너가 있는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day46_Containers16.png) + +이제 각 컨테이너에 대한 브라우저를 열 수 있습니다: + +![](/2022/Days/Images/Day46_Containers17.png) + +모든 것을 제거하려면 `docker-compose down` 명령을 사용할 수 있습니다. + +## 자료 + +- [TechWorld with Nana - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=3c-iBn73dDE) +- [Programming with Mosh - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=pTFZFxd4hOI) +- [Docker Tutorial for Beginners - What is Docker? Introduction to Containers](https://www.youtube.com/watch?v=17Bl31rlnRM&list=WL&index=128&t=61s) +- [WSL 2 with Docker getting started](https://www.youtube.com/watch?v=5RQbdMn04Oc) +- [Blog on getting started building a docker image](https://stackify.com/docker-build-a-beginners-guide-to-building-docker-/2022/Days/images/) +- [Docker documentation for building an image](https://docs.docker.com/develop/develop-/2022/Days/images/dockerfile_best-practices/) +- [YAML Tutorial: Everything You Need to Get Started in Minute](https://www.cloudbees.com/blog/yaml-tutorial-everything-you-need-get-started) + +[Day 47](day47.md)에서 봐요! diff --git a/2022/ko/Days/day47.md b/2022/ko/Days/day47.md new file mode 100644 index 0000000..777db15 --- /dev/null +++ b/2022/ko/Days/day47.md @@ -0,0 +1,139 @@ +--- +title: '#90DaysOfDevOps - Docker Networking & Security - Day 47' +published: false +description: 90DaysOfDevOps - Docker Networking & Security +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049078 +--- + +## Docker 네트워킹 및 보안 + +지금까지 컨테이너 세션에서 우리는 작업을 수행했지만, 네트워킹 관점에서 작업이 어떻게 작동했는지 살펴보지 않았으며 보안에 대해서도 다루지 않았습니다. + +### Docker 네트워킹 기본 사항 + +터미널을 열고, 컨테이너 네트워크를 구성하고 관리하기 위한 기본 명령어인 `docker network` 명령을 입력합니다. + +아래에서 이 명령어를 사용하는 방법과 사용 가능한 모든 하위 명령을 확인할 수 있습니다. 새로운 네트워크를 생성하고, 기존 네트워크를 나열하고, 네트워크를 검사 및 제거할 수 있습니다. + +![](/2022/Days/Images/Day47_Containers1.png) + +설치 이후 우리가 가지고 있는 기존 네트워크를 살펴보기 위해 `docker network list` 명령을 사용하는 기본 Docker 네트워킹의 모습을 살펴봅시다. + +각 네트워크는 고유한 ID와 이름을 갖습니다. 각 네트워크는 또한 단일 드라이버와 연결됩니다. "bridge" 네트워크와 "host" 네트워크는 각각의 드라이버와 이름이 동일합니다. + +![](/2022/Days/Images/Day47_Containers2.png) + +다음으로 `docker network inspect` 명령으로 네트워크를 더 자세히 살펴볼 수 있습니다. + +`docker network inspect bridge`를 실행하면 특정 네트워크 이름에 대한 모든 구성 세부 정보를 얻을 수 있습니다. 여기에는 이름, ID, 드라이버, 연결된 컨테이너 등이 포함되며 보시다시피 훨씬 더 많은 정보를 확인할 수 있습니다. + +![](/2022/Days/Images/Day47_Containers3.png) + +### Docker: bridge 네트워킹 + +위에서 보았듯이 Docker Desktop을 표준 설치하면 `bridge`라는 사전 구축된 네트워크가 제공됩니다. `docker network list` 명령을 다시 실행하면 bridge라는 네트워크가 `bridge` 드라이버와 연결되어 있는 것을 볼 수 있습니다. 이름이 같다고 해서 같은 것은 아닙니다. 연결되었지만 같은 것은 아닙니다. + +위의 출력은 또한 bridge 네트워크가 로컬로 범위가 지정되었음을 보여줍니다. 이는 네트워크가 이 Docker host에만 존재한다는 것을 의미합니다. 이는 bridge 드라이버를 사용하는 모든 네트워크에 해당되며, bridge 드라이버는 단일 host 네트워킹을 제공합니다. + +bridge 드라이버로 생성된 모든 네트워크는 Linux bridge(virtual switch라고도 함)를 기반으로 합니다. + +### 컨테이너 연결 + +기본적으로 bridge 네트워크는 새 컨테이너에 할당되므로 네트워크를 지정하지 않으면 모든 컨테이너가 bridge 네트워크에 연결됩니다. + +`docker run -dt ubuntu sleep infinity` 명령으로 새 컨테이너를 생성해 보겠습니다. + +위의 sleep 명령은 컨테이너를 백그라운드에서 계속 실행시켜서 컨테이너를 마음대로 다룰 수 있도록 합니다. + +![](/2022/Days/Images/Day47_Containers4.png) + +이제 `docker network inspect bridge`로 bridge 네트워크를 확인하면 네트워크를 지정하지 않았기 때문에 방금 배포한 것과 일치하는 컨테이너가 있는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day47_Containers5.png) + +`docker exec -it 3a99af449ca2 bash`를 사용하여 컨테이너를 자세히 살펴볼 수도 있습니다. 컨테이너 ID를 얻으려면 `docker ps`를 사용해야 합니다. + +여기에서 이미지에는 핑할 항목이 없으므로, `apt-get update && apt-get install -y iputils-ping`을 실행한 다음 외부 인터페이스 주소를 핑합니다. `ping -c5 www.90daysofdevops.com` + +![](/2022/Days/Images/Day47_Containers6.png) + +이 문제를 해결하기 위해 `docker stop 3a99af449ca2`를 다시 실행하고 `docker ps`를 사용하여 컨테이너 ID를 찾을 수 있지만, 이렇게 하면 컨테이너가 제거됩니다. + +### 외부 연결을 위한 NAT 구성하기 + +이 단계에서는 새 NGINX 컨테이너를 시작하고 Docker host의 포트 8080을 컨테이너 내부의 포트 80으로 매핑합니다. 즉, 포트 8080의 Docker host에 도달하는 트래픽은 컨테이너 내부의 포트 80으로 전달됩니다. + +`docker run --name web1 -d -p 8080:80 nginx`를 실행하여 공식 NGINX 이미지를 기반으로 새 컨테이너를 시작합니다. + +![](/2022/Days/Images/Day47_Containers7.png) + +`docker ps`를 실행하여 컨테이너 상태와 포트 매핑을 검토합니다. + +![](/2022/Days/Images/Day47_Containers8.png) + +맨 위 줄은 NGINX를 실행하는 새 web1 컨테이너를 보여줍니다. 컨테이너가 실행 중인 명령과 포트 매핑에 주목하세요. - `0.0.0.0:8080->80/tcp`는 모든 host 인터페이스의 8080 포트를 web1 컨테이너 내부의 80 포트에 매핑합니다. 이 포트 매핑을 통해 외부 소스에서 컨테이너의 웹 서비스에 효과적으로 액세스할 수 있습니다(포트 8080의 Docker host IP 주소를 통해). + +이제 실제 host에 대한 IP 주소가 필요하며, WSL 터미널로 이동하여 `IP addr` 명령을 사용하여 이를 수행할 수 있습니다. + +![](/2022/Days/Images/Day47_Containers9.png) + +그런 다음, 이 IP를 가지고 브라우저를 열어 `http://172.25.218.154:8080/`로 이동하면 IP가 다를 수 있습니다. 이렇게 하면 NGINX에 액세스할 수 있음을 확인할 수 있습니다. + +![](/2022/Days/Images/Day47_Containers10.png) + +이 사이트의 이 지침은 2017년 DockerCon에서 가져온 것이지만 오늘날에도 여전히 유효합니다. 그러나 나머지 연습은 Docker Swarm에 대한 것이므로 여기서는 다루지 않겠습니다. [Docker 네트워킹 - DockerCon 2017](https://github.com/docker/labs/tree/master/dockercon-us-2017/docker-networking) + +### 컨테이너 보안 + +컨테이너는 전체 서버 구성에 비해 워크로드에 안전한 환경을 제공합니다. 컨테이너는 애플리케이션을 서로 격리된 훨씬 더 작고 느슨하게 결합된 구성 요소로 분할할 수 있는 기능을 제공하므로 전체적으로 공격 표면을 줄이는 데 도움이 됩니다. + +하지만 시스템의 취약점을 공격하려는 해커로부터 자유롭지는 않습니다. 우리는 여전히 이 기술의 보안 결함을 이해하고 모범 사례를 유지해야 합니다. + +### 루트 권한에서 벗어나기 + +지금까지 배포한 모든 컨테이너는 컨테이너 내 프로세스에 대한 루트 권한을 사용해 왔습니다. 즉, 컨테이너와 host 환경에 대한 모든 관리 액세스 권한이 있다는 뜻입니다. 이제 이러한 시스템이 오래 가동되지 않을 것이라는 것을 알고 있었습니다. 하지만 시작하고 실행하는 것이 얼마나 쉬운지 보셨을 것입니다. + +프로세스에 몇 단계를 추가하여 루트 사용자가 아닌 사용자가 선호하는 모범 사례를 사용할 수 있도록 할 수 있습니다. dockerfile을 만들 때 사용자 계정을 만들 수 있습니다. 이 예제는 리포지토리의 컨테이너 폴더에서도 찾을 수 있습니다. + +```dockerfile +# 공식 Ubuntu 18.04를 기본으로 사용하세요. +FROM ubuntu:18.04 +RUN apt-get update && apt-get upgrade -y +RUN groupadd -g 1000 basicuser && useradd -r -u 1000 -g basicuser basicuser +USER basicuser +``` + +`docker run --user 1009 ubuntu` 명령은 dockerfile에 지정된 모든 사용자를 재정의합니다. 따라서 다음 예제에서는 컨테이너가 항상 권한이 가장 낮은 사용자 식별자 1009로 실행되며 권한 수준도 가장 낮습니다. + +그러나 이 방법은 이미지 자체의 근본적인 보안 결함을 해결하지 못합니다. 따라서 컨테이너가 항상 안전하게 실행되도록 dockerfile에 루트 사용자가 아닌 사용자를 지정하는 것이 좋습니다. + +### 비공개 레지스트리 + +조직에서 컨테이너 이미지의 비공개 레지스트리를 설정하면 원하는 곳에서 호스팅할 수 있거나 이를 위한 관리형 서비스도 있지만, 대체로 사용자와 팀이 사용할 수 있는 이미지를 완벽하게 제어할 수 있습니다. + +Docker Hub는 기준선을 제시하는 데는 훌륭하지만, 이미지 게시자를 많이 신뢰해야 하는 기본적인 서비스만 제공합니다. + +### 린 & 클린 + +보안과 관련되지는 않았지만, 전체적으로 언급했습니다. 그러나 애플리케이션에서 사용하지 않는 리소스가 컨테이너에 필요하지 않은 경우 컨테이너의 크기는 공격 표면 측면에서 보안에 영향을 미칠 수 있습니다. + +또한 `latest` 이미지를 가져올 때 이미지에 많은 부풀림을 가져올 수 있기 때문에 이것이 저의 주요 관심사입니다. Docker Hub는 리포지토리에 있는 각 이미지의 압축 크기를 표시합니다. + +`docker image`를 확인하면 이미지의 크기를 확인할 수 있는 좋은 명령어입니다. + +![](/2022/Days/Images/Day47_Containers11.png) + +## 자료 + +- [TechWorld with Nana - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=3c-iBn73dDE) +- [Programming with Mosh - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=pTFZFxd4hOI) +- [Docker Tutorial for Beginners - What is Docker? Introduction to Containers](https://www.youtube.com/watch?v=17Bl31rlnRM&list=WL&index=128&t=61s) +- [WSL 2 with Docker getting started](https://www.youtube.com/watch?v=5RQbdMn04Oc) +- [Blog on getting started building a docker image](https://stackify.com/docker-build-a-beginners-guide-to-building-docker-/2022/Days/images/) +- [Docker documentation for building an image](https://docs.docker.com/develop/develop-/2022/Days/images/dockerfile_best-practices/) +- [YAML Tutorial: Everything You Need to Get Started in Minute](https://www.cloudbees.com/blog/yaml-tutorial-everything-you-need-get-started) + +[Day 48](day48.md)에서 봐요! diff --git a/2022/ko/Days/day48.md b/2022/ko/Days/day48.md new file mode 100644 index 0000000..9d8ac00 --- /dev/null +++ b/2022/ko/Days/day48.md @@ -0,0 +1,115 @@ +--- +title: '#90DaysOfDevOps - Alternatives to Docker - Day 48' +published: false +description: 90DaysOfDevOps - Alternatives to Docker +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048807 +--- + +## Docker의 대안 + +이 섹션의 맨 처음에 Docker를 사용할 것이라고 말씀드린 이유는 단순히 리소스 측면에서 매우 많고 커뮤니티가 매우 크기 때문이기도 하지만, 컨테이너를 대중화하기 위한 시도가 바로 여기에서 시작되었기 때문입니다. Docker의 역사와 그 탄생 과정을 살펴보는 것이 매우 유용하다고 생각합니다. + +하지만 앞서 언급했듯이 Docker를 대체할 수 있는 다른 대안이 있습니다. Docker가 무엇이고 무엇을 다루었는지 생각해 보면 다음과 같습니다. 애플리케이션을 개발, 테스트, 배포 및 관리하기 위한 플랫폼입니다. + +앞으로 실제로 사용할 수 있거나 앞으로 사용할 수 있는 Docker의 몇 가지 대안을 강조하고 싶습니다. + +### Podman + +Podman이란? Podman은 리눅스 시스템에서 OCI 컨테이너를 개발, 관리, 실행하기 위한 데몬이 없는 컨테이너 엔진입니다. 컨테이너는 루트로 실행하거나 루트리스 모드로 실행할 수 있습니다. + +여기서는 Windows 관점에서 살펴볼 것이지만, Docker와 마찬가지로 Windows에서는 할 수 없는 기본 OS를 사용하기 때문에 가상화가 필요하지 않습니다. + +Podman은 WSL2에서도 실행할 수 있지만, Docker Desktop의 경험만큼 매끄럽지는 않습니다. 컨테이너가 실행될 Linux VM에 연결할 수 있는 Windows 원격 클라이언트도 있습니다. + +제가 사용하는 WSL2의 우분투는 20.04 릴리스입니다. 다음 단계에 따라 WSL 인스턴스에 Podman을 설치할 수 있습니다. + +```Shell +echo "deb https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/xUbuntu_20.04/ /" | +sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable.list +``` + +GPG 키를 추가합니다. + +```Shell +curl -L "https://download.opensuse.org/repositories/devel:/kubic:\ +/libcontainers:/stable/xUbuntu_20.04/Release.key" | sudo apt-key add - +``` + +`sudo apt-get update && sudo apt-get upgrade`명령으로 시스템 업데이트 및 업그레이드를 실행합니다. 마지막으로`sudo apt install podman`을 사용하여 podman을 설치할 수 있습니다. + +이제 docker에 사용하던 것과 동일한 명령을 많이 사용할 수 있습니다. 다만 멋진 docker 데스크톱 UI가 없다는 점에 유의하세요. 아래에서 볼 수 있듯이 `podman images`를 사용했고 설치 후 아무것도 없으므로 `podman pull ubuntu`를 사용하여 우분투 컨테이너 이미지를 끌어 내렸습니다. + +![](/2022/Days/Images/Day48_Containers1.png) + +그런 다음 `podman run -dit ubuntu`와 `podman ps`를 사용하여 우분투 이미지를 실행하여 실행 중인 이미지를 확인할 수 있습니다. + +![](/2022/Days/Images/Day48_Containers2.png) + +그런 다음 해당 컨테이너에 들어가기 위해 `podman attach dazzling_darwin`을 실행하면 컨테이너 이름이 달라질 수 있습니다. + +![](/2022/Days/Images/Day48_Containers3.png) + +docker에서 podman으로 이동하는 경우, 설정 파일에 `alias docker=podman`으로 변경하여 docker로 실행하는 모든 명령이 podman을 사용하도록 하는 것도 일반적입니다. + +### LXC + +LXC는 사용자가 다시 여러 개의 격리된 리눅스 컨테이너 환경을 생성할 수 있게 해주는 컨테이너화 엔진입니다. Docker와 달리, LXC는 별도의 시스템 파일과 네트워킹 기능을 갖춘 여러 리눅스 머신을 생성하기 위한 하이퍼바이저 역할을 합니다. docker보다 먼저 등장했다가 docker의 단점으로 인해 잠시 사용되었습니다. + +LXC는 docker만큼 가볍고 쉽게 배포할 수 있습니다. + +### Containerd + +독립형 컨테이너 런타임. Containerd는 단순성과 견고성은 물론 이식성까지 제공합니다. 이전에는 Docker 컨테이너 서비스의 일부로 실행되는 도구로 사용되다가 Docker가 구성 요소를 독립형 구성 요소로 분리하기로 결정하기 전까지 Containerd가 사용되었습니다. + +클라우드 네이티브 컴퓨팅 재단의 프로젝트로, Kubernetes, Prometheus, CoreDNS와 같은 인기 컨테이너 도구와 같은 부류에 속합니다. + +### 기타 Docker 도구 + +Rancher와 VirtualBox와 관련된 도구와 옵션도 언급할 수 있지만 다음 기회에 더 자세히 다루겠습니다. + +[**Gradle**](https://gradle.org/) + +- 빌드 스캔을 통해 팀은 공동으로 스크립트를 디버깅하고 모든 빌드의 이력을 추적할 수 있습니다. +- 실행 옵션을 통해 팀은 변경 사항이 입력될 때마다 작업이 자동으로 실행되도록 지속적으로 빌드할 수 있습니다. +- 사용자 지정 리포지토리 레이아웃을 통해 팀은 모든 파일 디렉토리 구조를 아티팩트 리포지토리로 취급할 수 있습니다. + +[**Packer**](https://packer.io/) + +- 여러 머신 이미지를 병렬로 생성하여 개발자의 시간을 절약하고 효율성을 높일 수 있습니다. +- 패커의 디버거를 사용하여 빌드를 쉽게 디버깅할 수 있어 실패를 검사하고 빌드를 다시 시작하기 전에 솔루션을 시험해 볼 수 있습니다. +- 플러그인을 통해 다양한 플랫폼을 지원하므로 팀이 빌드를 커스터마이징할 수 있습니다. + +[**Logspout**](https://github.com/gliderlabs/logspout) + +- 로깅 도구 - 이 도구의 사용자 지정 기능을 통해 팀은 동일한 로그를 여러 대상에 전송할 수 있습니다. +- 이 도구는 Docker 소켓에 액세스하기만 하면 되기 때문에 팀에서 파일을 쉽게 관리할 수 있습니다. +- 완전히 오픈 소스이며 배포가 쉽습니다. + +[**Logstash**](https://www.elastic.co/products/logstash) + +- Logstash의 플러그형 프레임워크를 사용해 파이프라인을 사용자 정의하세요. +- 분석을 위해 데이터를 쉽게 구문 분석하고 변환하여 비즈니스 가치를 제공할 수 있습니다. +- Logstash의 다양한 출력을 통해 원하는 곳으로 데이터를 라우팅할 수 있습니다. + +[**Portainer**](https://www.portainer.io/) + +- 미리 만들어진 템플릿을 활용하거나 직접 템플릿을 만들어 애플리케이션을 배포하세요. +- 팀을 생성하고 팀원에게 역할과 권한을 할당하세요. +- 도구의 대시보드를 사용하여 각 환경에서 무엇이 실행되고 있는지 파악하세요. + +## 자료 + +- [TechWorld with Nana - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=3c-iBn73dDE) +- [Programming with Mosh - Docker Tutorial for Beginners](https://www.youtube.com/watch?v=pTFZFxd4hOI) +- [Docker Tutorial for Beginners - What is Docker? Introduction to Containers](https://www.youtube.com/watch?v=17Bl31rlnRM&list=WL&index=128&t=61s) +- [WSL 2 with Docker getting started](https://www.youtube.com/watch?v=5RQbdMn04Oc) +- [Blog on getting started building a docker image](https://stackify.com/docker-build-a-beginners-guide-to-building-docker-images/) +- [Docker documentation for building an image](https://docs.docker.com/develop/develop-images/dockerfile_best-practices/) +- [YAML Tutorial: Everything You Need to Get Started in Minute](https://www.cloudbees.com/blog/yaml-tutorial-everything-you-need-get-started) +- [Podman | Daemonless Docker | Getting Started with Podman](https://www.youtube.com/watch?v=Za2BqzeZjBk) +- [LXC - Guide to building an LXC Lab](https://www.youtube.com/watch?v=cqOtksmsxfg) + +[Day 49](day49.md)에서 봐요! diff --git a/2022/ko/Days/day49.md b/2022/ko/Days/day49.md new file mode 100644 index 0000000..2afaa6f --- /dev/null +++ b/2022/ko/Days/day49.md @@ -0,0 +1,235 @@ +--- +title: '#90DaysOfDevOps - The Big Picture: Kubernetes - Day 49' +published: false +description: 90DaysOfDevOps - The Big Picture Kubernetes +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049049 +--- + +## 큰 그림: Kubernetes + +지난 섹션에서 컨테이너에 대해 살펴보았는데, 컨테이너는 scale과 오케스트레이션만으로는 부족합니다. 우리가 할 수 있는 최선은 docker-compose를 사용하여 여러 컨테이너를 함께 불러오는 것입니다. 컨테이너 오케스트레이터인 Kubernetes를 사용하면 애플리케이션과 서비스의 부하에 따라 자동화된 방식으로 확장 및 축소할 수 있습니다. + +플랫폼으로서 Kubernetes는 요구사항과 원하는 상태에 따라 컨테이너를 오케스트레이션할 수 있는 기능을 제공합니다. 이 섹션에서는 차세대 인프라로 빠르게 성장하고 있는 Kubernetes에 대해 다룰 예정입니다. 또한 데브옵스 관점에서 볼 때 Kubernetes는 기본적인 이해가 필요한 하나의 플랫폼일 뿐이며, 베어메탈, 가상화 및 대부분의 클라우드 기반 서비스도 이해해야 합니다. Kubernetes는 애플리케이션을 실행하기 위한 또 다른 옵션일 뿐입니다. + +### 컨테이너 오케스트레이션이란 무엇인가요? + +앞서 Kubernetes와 컨테이너 오케스트레이션에 대해 언급했는데, Kubernetes는 기술인 반면 컨테이너 오케스트레이션은 기술 이면의 개념 또는 프로세스입니다. 컨테이너 오케스트레이션 플랫폼은 Kubernetes뿐만 아니라 Docker Swarm, HashiCorp Nomad 등도 있습니다. 하지만 Kubernetes가 점점 더 강세를 보이고 있기 때문에 Kubernetes를 다루고 싶지만, Kubernetes만이 유일한 것은 아니라는 점을 말씀드리고 싶었습니다. + +### Kubernetes란 무엇인가요? + +Kubernetes를 처음 접하는 경우 가장 먼저 읽어야 할 것은 공식 문서입니다. 1년 조금 전에 Kubernetes에 대해 깊이 파고든 제 경험에 따르면 학습 곡선이 가파르게 진행될 것입니다. 가상화 및 스토리지에 대한 배경지식이 있는 저는 이것이 얼마나 벅차게 느껴질지 생각했습니다. + +하지만 커뮤니티, 무료 학습 리소스 및 문서는 놀랍습니다. [Kubernetes.io](https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/) + +Kubernetes는 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식 가능하고 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 용이하게 합니다. 빠르게 성장하는 대규모 에코시스템이 있습니다. Kubernetes 서비스, 지원, 도구는 널리 이용 가능합니다. + +위의 인용문에서 주목해야 할 중요한 점은 Kubernetes는 클라우드 네이티브 컴퓨팅 재단(CNCF)에 프로젝트를 기부한 Google로 거슬러 올라가는 풍부한 역사를 가진 오픈소스이며, 현재 오픈소스 커뮤니티와 대기업 벤더가 오늘날의 Kubernetes를 만드는 데 기여하면서 발전해 왔다는 점입니다. + +위에서 컨테이너가 훌륭하다고 말씀드렸고 이전 섹션에서는 컨테이너와 컨테이너 이미지가 어떻게 클라우드 네이티브 시스템의 채택을 변화시키고 가속화했는지에 대해 이야기했습니다. 하지만 컨테이너만으로는 애플리케이션에 필요한 프로덕션 지원 환경을 제공할 수 없습니다. Kubernetes는 다음과 같은 이점을 제공합니다: + +- **Services discovery 및 로드 밸런싱** Kubernetes는 DNS 이름 또는 IP 주소를 사용하여 컨테이너를 노출할 수 있습니다. 컨테이너에 대한 트래픽이 많을 경우, Kubernetes는 네트워크 트래픽을 로드 밸런싱하고 분산하여 배포가 안정적으로 이루어지도록 할 수 있습니다. + +- **스토리지 오케스트레이션** Kubernetes를 사용하면 로컬 스토리지, 퍼블릭 클라우드 제공자 등 원하는 스토리지 시스템을 자동으로 마운트할 수 있습니다. + +- **자동화된 롤아웃 및 롤백** 배포된 컨테이너에 대해 원하는 상태를 설명할 수 있으며, 제어된 속도로 실제 상태를 원하는 상태로 변경할 수 있습니다. 예를 들어, 배포를 위한 새 컨테이너를 생성하고, 기존 컨테이너를 제거하고, 모든 리소스를 새 컨테이너에 적용하도록 Kubernetes를 자동화할 수 있습니다. + +- **자동 bin 패킹** 컨테이너화된 작업을 실행하는 데 사용할 수 있는 노드 클러스터를 Kubernetes에 제공하고, 각 컨테이너에 필요한 CPU와 메모리(RAM)의 양을 Kubernetes에 알려줍니다. Kubernetes는 리소스를 최대한 활용하기 위해 컨테이너를 노드에 맞출 수 있습니다. + +- **자가 복구** Kubernetes는 장애가 발생한 컨테이너를 다시 시작하고, 컨테이너를 교체하고, 사용자 정의 상태 확인에 응답하지 않는 컨테이너를 죽이고, 제공할 준비가 될 때까지 클라이언트에게 알리지 않습니다. + +- **비밀 및 구성 관리** Kubernetes를 사용하면 비밀번호, OAuth 토큰, SSH 키와 같은 민감한 정보를 저장하고 관리할 수 있습니다. 컨테이너 이미지를 다시 빌드하거나 스택 구성에 시크릿을 노출하지 않고도 시크릿 및 애플리케이션 구성을 배포하고 업데이트할 수 있습니다. + +Kubernetes는 분산 시스템을 탄력적으로 실행할 수 있는 프레임워크를 제공합니다. + +컨테이너 오케스트레이션은 컨테이너의 배포, 배치 및 라이프사이클을 관리합니다. + +또한 다른 많은 책임도 있습니다: + +- 클러스터 관리는 호스트를 하나의 대상으로 묶습니다. + +- 스케줄 관리는 스케줄러를 통해 컨테이너를 노드 간에 배포합니다. + +- Services discovery은 컨테이너의 위치를 파악하고 클라이언트 요청을 컨테이너에 분산합니다. + +- 복제는 요청된 워크로드에 적합한 수의 노드와 컨테이너를 사용할 수 있도록 보장합니다. + +- 상태 관리는 건강하지 않은 컨테이너와 노드를 감지하고 교체합니다. + +### 주요 Kubernetes 구성 요소 + +Kubernetes는 애플리케이션을 프로비저닝, 관리 및 확장하기 위한 컨테이너 오케스트레이터입니다. 이를 사용하여 VM 또는 물리적 머신과 같은 워커 머신의 모음인 노드 클러스터에서 컨테이너화된 앱의 라이프사이클을 관리할 수 있습니다. + +앱을 실행하려면 데이터베이스 연결, 방화벽 백엔드와의 통신, 키 보안에 도움이 되는 볼륨, 네트워크, 시크릿 등 다른 많은 리소스가 필요할 수 있습니다. Kubernetes를 사용하면 이러한 리소스를 앱에 추가할 수 있습니다. 앱에 필요한 인프라 리소스는 선언적으로 관리됩니다. + +Kubernetes의 핵심 패러다임은 선언적 모델입니다. 사용자가 원하는 상태를 제공하면 Kubernetes가 이를 실현합니다. 인스턴스 다섯 개가 필요한 경우, 사용자가 직접 다섯 개의 인스턴스를 시작하지 않습니다. 대신 인스턴스 5개가 필요하다고 Kubernetes에 알려주면 Kubernetes가 자동으로 상태를 조정합니다. 인스턴스 중 하나에 문제가 발생하여 실패하더라도 Kubernetes는 여전히 사용자가 원하는 상태를 파악하고 사용 가능한 노드에 인스턴스를 생성합니다. + +### 노드 + +#### 컨트롤 플레인 + +모든 Kubernetes 클러스터에는 컨트롤 플레인 노드가 필요하며, 컨트롤 플레인의 구성 요소는 클러스터에 대한 전역 결정(예: 스케줄링)을 내리고 클러스터 이벤트를 감지 및 응답합니다. + +![](/2022/Days/Images/Day49_Kubernetes1.png) + +#### 워커 노드 + +Kubernetes 워크로드를 실행하는 워커 머신입니다. 물리적(베어메탈) 머신이거나 가상 머신(VM)일 수 있습니다. 각 노드는 하나 이상의 pod를 호스트할 수 있습니다. Kubernetes 노드는 컨트롤 플레인에 의해 관리됩니다. + +![](/2022/Days/Images/Day49_Kubernetes2.png) + +다른 노드 유형이 있지만 여기서는 다루지 않겠습니다. + +#### kubelet + +클러스터의 각 노드에서 실행되는 에이전트입니다. 컨테이너가 pod에서 실행되고 있는지 확인합니다. + +kubelet은 다양한 메커니즘을 통해 제공되는 일련의 PodSpec을 가져와서 해당 PodSpec에 설명된 컨테이너가 실행 중이고 정상인지 확인합니다. kubelet은 Kubernetes가 생성하지 않은 컨테이너는 관리하지 않습니다. + +![](/2022/Days/Images/Day49_Kubernetes3.png) + +#### kube-proxy + +kube-proxy는 클러스터의 각 노드에서 실행되는 네트워크 프록시로, Kubernetes Services 개념의 일부를 구현합니다. + +kube-proxy는 노드에서 네트워크 규칙을 유지 관리합니다. 이러한 네트워크 규칙은 클러스터 내부 또는 외부의 네트워크 세션에서 pod로의 네트워크 통신을 허용합니다. + +운영 체제 패킷 필터링 계층이 있고 사용 가능한 경우, kube-proxy는 이를 사용합니다. 그렇지 않으면, kube-proxy는 트래픽 자체를 전달합니다. + +![](/2022/Days/Images/Day49_Kubernetes4.png) + +#### 컨테이너 런타임 + +컨테이너 런타임은 컨테이너 실행을 담당하는 소프트웨어입니다. + +Kubernetes는 여러 컨테이너 런타임을 지원합니다: docker, containerd, CRI-O 그리고 Kubernetes CRI(Container Runtime Interface)의 모든 구현 + +![](/2022/Days/Images/Day49_Kubernetes5.png) + +### 클러스터 + +클러스터는 노드의 그룹으로, 노드는 물리적 머신 또는 가상 머신이 될 수 있습니다. 각 노드에는 컨테이너 런타임(Docker)이 있으며 마스터 컨트롤러(나중에 자세히 설명)의 명령을 받는 에이전트인 kubelet 서비스와 다른 구성 요소(나중에 자세히 설명)에서 pod에 대한 연결을 프록시하는 데 사용되는 프록시도 실행됩니다. + +고가용성으로 만들 수 있는 컨트롤 플레인에는 워커 노드와 비교하여 몇 가지 고유한 역할이 포함되며, 가장 중요한 것은 정보를 가져오거나 Kubernetes 클러스터로 정보를 푸시하기 위한 모든 통신이 이루어지는 곳인 kube API 서버입니다. + +#### Kube API 서버 + +Kubernetes API 서버는 pod, 서비스, 응답 컨트롤러 등을 포함하는 API 오브젝트에 대한 데이터의 유효성을 검사하고 구성합니다. API 서버는 REST 작업을 수행하고 다른 모든 구성 요소가 상호 작용하는 클러스터의 공유 상태에 대한 프론트엔드를 제공합니다. + +#### 스케줄러 + +Kubernetes 스케줄러는 노드에 pod를 할당하는 컨트롤 플레인 프로세스입니다. 스케줄러는 제약 조건과 사용 가능한 리소스에 따라 스케줄링 대기열에서 각 pod에 대해 유효한 배치가 되는 노드를 결정합니다. 그런 다음 스케줄러는 각 유효한 노드의 순위를 매기고 pod를 적합한 노드에 바인딩합니다. + +#### 컨트롤러 매니저 + +Kubernetes 컨트롤러 매니저는 Kubernetes와 함께 제공되는 핵심 제어 루프를 임베드하는 daemon입니다. 로보틱스 및 자동화 애플리케이션에서 제어 루프는 시스템 상태를 조절하는 비종료 루프입니다. Kubernetes에서 컨트롤러는 API 서버를 통해 클러스터의 공유 상태를 감시하고 현재 상태를 원하는 상태로 이동시키기 위해 변경을 시도하는 제어 루프입니다. + +#### etcd + +모든 클러스터 데이터에 대한 Kubernetes의 백업 저장소로 사용되는 일관되고 가용성이 높은 키 값 저장소입니다. + +![](/2022/Days/Images/Day49_Kubernetes6.png) + +#### kubectl + +CLI 관점에서 이를 관리하기 위해 kubectl이 있으며, kubectl은 API 서버와 상호 작용합니다. + +Kubernetes 커맨드-라인 도구인 kubectl을 사용하면 Kubernetes 클러스터에 대해 명령을 실행할 수 있습니다. kubectl을 사용하여 애플리케이션을 배포하고, 클러스터 리소스를 검사 및 관리하고, 로그를 볼 수 있습니다. + +![](/2022/Days/Images/Day49_Kubernetes7.png) + +### Pods + +pod는 논리적 애플리케이션을 구성하는 컨테이너 그룹입니다. 예를 들어, NodeJS 컨테이너와 MySQL 컨테이너를 실행하는 웹 애플리케이션이 있는 경우, 이 두 컨테이너는 모두 단일 pod에 위치하게 됩니다. 또한 pod는 공통 데이터 볼륨을 공유할 수 있으며 동일한 네트워킹 네임스페이스도 공유합니다. pod는 임시적이며 마스터 컨트롤러에 의해 위아래로 이동될 수 있다는 것을 기억합시다. Kubernetes는 레이블(이름-값) 개념을 통해 pod를 식별하는 간단하지만, 효과적인 수단을 사용합니다. + +- pod는 컨테이너의 볼륨, 시크릿 및 구성을 처리합니다. + +- pod는 임시적입니다. 죽으면 자동으로 재시작되도록 설계되었습니다. + +- pod는 ReplicationSet에 의해 앱이 수평으로 스케일 될 때 복사됩니다. 각 pod는 동일한 컨테이너 코드를 실행합니다. + +- pod는 워커 노드에서 실행됩니다. + +![](/2022/Days/Images/Day49_Kubernetes8.png) + +### Deployments + +- pod를 실행하기로 결정할 수 있지만 죽으면 끝입니다. + +- Deployments를 사용하면 pod가 지속적으로 실행될 수 있습니다. + +- Deployments를 사용하면 다운타임 없이 실행 중인 앱을 업데이트할 수 있습니다. + +- 또한, Deployments는 pod가 죽었을 때 재시작하는 전략을 지정합니다. + +![](/2022/Days/Images/Day49_Kubernetes9.png) + +### ReplicaSets + +- Deployments는 ReplicaSets을 생성할 수도 있습니다. + +- ReplicaSets은 앱이 원하는 수의 pod를 갖도록 보장합니다. + +- ReplicaSets은 Deployments에 따라 pod를 생성하고 확장합니다. + +- Deployments, ReplicaSets, pod는 배타적이지는 않지만 그렇게 될 수 있습니다. + +### StatefulSets + +- 앱의 상태에 대한 정보를 유지해야 하나요? + +- 데이터베이스에는 상태가 필요합니다. + +- StatefulSets의 pod는 서로 호환되지 않습니다. + +- 각 pod에는 컨트롤러가 모든 스케줄링에 대해 유지하는 고유하고 영구적인 식별자가 있습니다. + +![](/2022/Days/Images/Day49_Kubernetes10.png) + +### DaemonSets + +- DaemonSets은 연속 프로세스를 위한 것입니다. + +- 노드당 하나의 pod를 실행합니다. + +- 클러스터에 새로운 노드가 추가될 때마다 pod가 시작됩니다. + +- 모니터링 및 로그 수집과 같은 백그라운드 작업에 유용합니다. + +- 각 pod에는 컨트롤러가 모든 스케줄링에 대해 유지하는 고유하고 영구적인 식별자가 있습니다. + +![](/2022/Days/Images/Day49_Kubernetes11.png) + +### Services + +- pod에 액세스하기 위한 단일 엔드포인트입니다. + +- 클러스터와 최종적으로 pod 목록으로 트래픽을 라우팅하는 통합된 방법입니다. + +- Services를 사용하면 아무 영향 없이 pod를 올리고 내릴 수 있습니다. + +이것은 Kubernetes의 기본 구성 요소에 대한 간략한 개요와 참고 사항일 뿐이며, 이 지식을 바탕으로 스토리지와 Ingress 관련 몇 가지 다른 영역을 추가하여 애플리케이션을 개선할 수 있지만, Kubernetes 클러스터가 실행되는 위치에 대한 선택의 폭도 넓어집니다. 다음 세션에서는 스토리지와 관련된 몇 가지 세부 사항을 살펴보면서 Kubernetes 클러스터를 실행할 수 있는 위치에 대한 이러한 옵션에 중점을 두겠습니다. + +![](/2022/Days/Images/Day49_Kubernetes12.png) + +### Kubernetes 시리즈에서 다룰 내용 + +- Kubernetes 아키텍처 +- Kubectl 커맨드 +- Kubernetes YAML +- Kubernetes Ingress +- Kubernetes Services +- Helm 패키지 관리자 +- 영속성 스토리지 +- stateful 앱 + +## 자료 + +- [Kubernetes Documentation](https://kubernetes.io/docs/home/) +- [TechWorld with Nana - Kubernetes Tutorial for Beginners [FULL COURSE in 4 Hours]](https://www.youtube.com/watch?v=X48VuDVv0do) +- [TechWorld with Nana - Kubernetes Crash Course for Absolute Beginners](https://www.youtube.com/watch?v=s_o8dwzRlu4) +- [Kunal Kushwaha - Kubernetes Tutorial for Beginners | What is Kubernetes? Architecture Simplified!](https://www.youtube.com/watch?v=KVBON1lA9N8) + +[Day 50](day50.md)에서 봐요! diff --git a/2022/ko/Days/day50.md b/2022/ko/Days/day50.md new file mode 100644 index 0000000..ffd3c00 --- /dev/null +++ b/2022/ko/Days/day50.md @@ -0,0 +1,79 @@ +--- +title: '#90DaysOfDevOps - Choosing your Kubernetes platform - Day 50' +published: false +description: 90DaysOfDevOps - Choosing your Kubernetes platform +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049046 +--- + +## Kubernetes 플랫폼 선택하기 + +이 세션을 통해 몇 가지 플랫폼 또는 배포판이라는 용어를 사용하는 것이 더 적합할 수도 있는데, Kubernetes 세계에서 도전 과제 중 하나는 복잡성을 제거하는 것입니다. + +Kubernetes 어려운 길은 아무것도 없는 상태에서 완전한 기능을 갖춘 Kubernetes 클러스터로 구축하는 방법을 안내하지만, 적어도 제가 이야기하는 사람들은 점점 더 많은 사람들이 이러한 복잡성을 제거하고 관리형 Kubernetes 클러스터를 실행하기를 원하고 있습니다. 문제는 비용이 더 많이 들지만, 관리형 서비스를 사용하면 기본 노드 아키텍처와 컨트롤 플레인 노드 관점에서 무슨 일이 일어나고 있는지 알아야 하지만 일반적으로 이에 액세스할 수 없는 경우 이점을 누릴 수 있다는 것입니다. + +그런 다음 시스템을 사용할 수 있는 로컬 개발 배포판이 있고, 개발자가 의도한 플랫폼에서 앱을 실행할 수 있는 완전한 작업 환경을 갖출 수 있도록 로컬 버전의 Kubernetes를 실행할 수 있습니다. + +이 모든 개념의 일반적인 기본은 모두 Kubernetes의 한 종류이므로 요구 사항에 맞게 워크로드를 필요한 곳으로 자유롭게 마이그레이션하고 이동할 수 있어야 한다는 것입니다. + +또한 어떤 투자가 이루어졌는지에 따라 많은 선택이 달라질 것입니다. 개발자 경험에 대해서도 언급했지만, 노트북에서 실행되는 로컬 Kubernetes 환경 중 일부는 비용을 들이지 않고도 기술을 익힐 수 있는 훌륭한 환경입니다. + +### 베어 메탈 클러스터 + +많은 사람들이 클러스터를 생성하기 위해 여러 대의 물리적 서버에서 바로 Linux OS를 실행하는 옵션을 선택할 수 있으며, Windows일 수도 있지만 Windows, 컨테이너 및 Kubernetes와 관련된 채택률에 대해서는 많이 듣지 못했습니다. 만약 여러분이 기업이고 물리적 서버를 구매하기로 CAPEX 결정을 내렸다면, Kubernetes 클러스터를 구축할 때 이 방법을 사용할 수 있지만, 관리 및 관리자 측면에서는 여러분이 직접 구축하고 모든 것을 처음부터 관리해야 한다는 것을 의미합니다. + +### 가상화 + +테스트 및 학습 환경이나 엔터프라이즈급 Kubernetes 클러스터에 관계없이 가상화는 일반적으로 가상 머신을 스핀업하여 노드 역할을 하도록 한 다음 함께 클러스터링할 수 있는 훌륭한 방법입니다. 가상화의 기본 아키텍처, 효율성 및 속도를 활용할 수 있을 뿐만 아니라 기존 지출을 활용할 수 있습니다. 예를 들어 VMware는 가상 머신과 Kubernetes 모두를 위한 훌륭한 솔루션을 다양한 형태로 제공합니다. + +제가 처음으로 구축한 Kubernetes 클러스터는 몇 개의 VM을 노드로 실행할 수 있는 오래된 서버에서 Microsoft Hyper-V를 사용한 가상화를 기반으로 구축되었습니다. + +### 로컬 데스크톱 옵션 + +데스크톱이나 노트북에서 로컬 Kubernetes 클러스터를 실행하는 데는 몇 가지 옵션이 있습니다. 앞서 말했듯이 개발자는 비용이 많이 들거나 복잡한 클러스터를 여러 개 보유하지 않고도 앱이 어떻게 보일지 확인할 수 있습니다. 개인적으로 저는 이 클러스터를 많이 사용해 왔으며 특히 Minikube를 사용해 왔습니다. 여기에는 무언가를 시작하고 실행하는 방식을 바꾸는 몇 가지 훌륭한 기능과 애드온이 있습니다. + +### Kubernetes Managed Services + +가상화에 대해 언급했는데, 이는 로컬에서 하이퍼바이저를 통해 달성할 수 있지만 이전 섹션에서 퍼블릭 클라우드의 가상 머신을 활용하여 노드 역할을 할 수도 있다는 것을 알고 있습니다. 여기서 말하는 Kubernetes 관리형 서비스란 대규모 하이퍼스케일러뿐만 아니라 최종 사용자로부터 관리 및 제어 계층을 제거하여 최종 사용자로부터 제어 플레인을 제거하는 MSP에서 제공하는 서비스를 말하며, 이는 Amazon EKS, Microsoft AKS 및 Google Kubernetes Engine에서 일어나는 일입니다. (GKE) + +### 압도적인 선택 + +선택의 폭이 넓다는 것은 좋지만, 위에 나열된 각 카테고리의 모든 옵션에 대해 자세히 살펴본 것은 아닙니다. 위의 옵션 외에도 Red Hat의 OpenShift가 있으며, 이 옵션은 위의 모든 주요 클라우드 제공업체에서 실행할 수 있으며 클러스터가 배포된 위치에 관계없이 관리자에게 최고의 전반적인 사용성을 제공할 수 있습니다. + +제가 가상화 경로로 시작했다고 말씀드렸지만, 이는 제가 목적에 맞게 사용할 수 있는 물리적 서버에 액세스할 수 있었기 때문에 감사하게도 그 이후로는 더 이상 이 옵션을 사용할 수 없었습니다. + +지금 제가 드리고 싶은 조언은 Minikube를 첫 번째 옵션으로 사용하거나 Kind(Docker의 Kubernetes)를 사용하라는 것이지만, Minikube는 애드온을 사용하고 빠르게 구축한 다음 완료되면 날려버릴 수 있고, 여러 클러스터를 실행할 수 있으며, 거의 모든 곳에서 실행할 수 있고, 크로스 플랫폼 및 하드웨어에 구애받지 않기 때문에 복잡성을 거의 추상화할 수 있는 몇 가지 추가적인 이점을 제공합니다. + +저는 Kubernetes에 대해 배우면서 약간의 여정을 거쳤기 때문에 플랫폼 선택과 구체적인 내용은 여기서는 플랫폼인 Kubernetes와 실행 가능한 위치에 대한 이해를 돕기 위해 시도했던 옵션들을 나열해 보겠습니다. 아래 블로그 포스팅을 다시 한번 살펴보고 블로그 게시물에 링크되어 있는 것보다 여기에 더 많이 소개할 수 있도록 하겠습니다. + +- [Kubernetes playground – How to choose your platform](https://vzilla.co.uk/vzilla-blog/building-the-home-lab-kubernetes-playground-part-1) +- [Kubernetes playground – Setting up your cluster](https://vzilla.co.uk/vzilla-blog/building-the-home-lab-kubernetes-playground-part-2) +- [Getting started with Amazon Elastic Kubernetes Service (Amazon EKS)](https://vzilla.co.uk/vzilla-blog/getting-started-with-amazon-elastic-kubernetes-service-amazon-eks) +- [Getting started with Microsoft Azure Kubernetes Service (AKS)](https://vzilla.co.uk/vzilla-blog/getting-started-with-microsoft-azure-kubernetes-service-aks) +- [Getting Started with Microsoft AKS – Azure PowerShell Edition](https://vzilla.co.uk/vzilla-blog/getting-started-with-microsoft-aks-azure-powershell-edition) +- [Getting started with Google Kubernetes Service (GKE)](https://vzilla.co.uk/vzilla-blog/getting-started-with-google-kubernetes-service-gke) +- [Kubernetes, How to – AWS Bottlerocket + Amazon EKS](https://vzilla.co.uk/vzilla-blog/kubernetes-how-to-aws-bottlerocket-amazon-eks) +- [Getting started with CIVO Cloud](https://vzilla.co.uk/vzilla-blog/getting-started-with-civo-cloud) +- [Minikube - Kubernetes Demo Environment For Everyone](https://vzilla.co.uk/vzilla-blog/project_pace-kasten-k10-demo-environment-for-everyone) + +### Kubernetes 시리즈에서 다룰 내용 + +- Kubernetes 아키텍처 +- Kubectl 커맨드 +- Kubernetes YAML +- Kubernetes Ingress +- Kubernetes Services +- Helm 패키지 관리자 +- 영속성 스토리지 +- stateful 앱 + +## 자료 + +- [Kubernetes Documentation](https://kubernetes.io/docs/home/) +- [TechWorld with Nana - Kubernetes Tutorial for Beginners [FULL COURSE in 4 Hours]](https://www.youtube.com/watch?v=X48VuDVv0do) +- [TechWorld with Nana - Kubernetes Crash Course for Absolute Beginners](https://www.youtube.com/watch?v=s_o8dwzRlu4) +- [Kunal Kushwaha - Kubernetes Tutorial for Beginners | What is Kubernetes? Architecture Simplified!](https://www.youtube.com/watch?v=KVBON1lA9N8) + +[Day 51](day51.md)에서 봐요! diff --git a/2022/ko/Days/day51.md b/2022/ko/Days/day51.md new file mode 100644 index 0000000..a5da888 --- /dev/null +++ b/2022/ko/Days/day51.md @@ -0,0 +1,178 @@ +--- +title: '#90DaysOfDevOps - Deploying your first Kubernetes Cluster - Day 51' +published: false +description: 90DaysOfDevOps - Deploying your first Kubernetes Cluster +tags: 'DevOps, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048778 +--- + +## 첫 번째 Kubernetes 클러스터 배포하기 + +이 글에서는 Minikube를 사용하여 로컬 머신에서 Kubernetes 클러스터를 시작하고 실행해 보겠습니다. 이렇게 하면 나머지 Kubernetes 섹션을 위한 기본 Kubernetes 클러스터가 제공되지만, 나중에 VirtualBox에서도 Kubernetes 클러스터를 배포하는 방법을 살펴볼 것입니다. 퍼블릭 클라우드에서 관리형 Kubernetes 클러스터를 스핀업하는 대신 이 방법을 선택한 이유는 무료 티어를 사용하더라도 비용이 들기 때문이며, 이전 섹션 [Day 50](day50.md)에서 해당 환경을 스핀업하려는 경우 몇 가지 블로그를 공유한 바 있습니다. + +### Minikube란? + +> "Minikube는 macOS, Linux, Windows에서 로컬 Kubernetes 클러스터를 빠르게 설정합니다. 우리는 애플리케이션 개발자와 새로운 Kubernetes 사용자를 돕는 데 주력하고 있습니다." + +위에 해당되지 않을 수도 있지만, 저는 Minikube가 Kubernetes 방식으로 무언가를 테스트하고 싶을 때 앱을 쉽게 배포할 수 있고 몇 가지 놀라운 애드온이 있다는 것을 알게 되었으며, 이 글에서도 다룰 것입니다. + +우선, 워크스테이션 OS에 관계없이 Minikube를 실행할 수 있습니다. 먼저 [프로젝트 페이지](https://minikube.sigs.k8s.io/docs/start/)로 이동합니다. 첫 번째 옵션은 설치 방법을 선택하는 것입니다. 저는 이 방법을 사용하지 않았지만, 여러분은 제가 사용하는 방법과 다른 방법을 선택할 수 있습니다(곧 소개할 예정입니다). + +아래에 언급된 "Container or virtual machine managers, such as Docker, Hyper kit, Hyper-V, KVM, Parallels, Podman, VirtualBox, or VMware"가 있어야 한다고 명시되어 있는데, 이것이 Minikube가 실행되는 곳이고 쉬운 옵션이며 저장소에 명시되어 있지 않은 한 저는 Docker를 사용하고 있습니다. 그리고 [여기](https://docs.docker.com/get-docker/)에서 시스템에 Docker를 설치할 수 있습니다. + +![](/2022/Days/Images/Day51_Kubernetes1.png) + +### Minikube 및 기타 전제조건을 설치하는 방법... + +저는 한동안 arkade를 사용하여 모든 Kubernetes 도구와 CLI를 설치해왔는데, arkade를 시작하기 위한 설치 단계는 이 [github 저장소](https://github.com/alexellis/arkade)에서 확인할 수 있습니다. 설치가 필요한 다른 블로그 게시물에서도 언급했습니다. arkade get을 누른 다음 툴이나 CLI를 사용할 수 있는지 확인하는 것만으로도 간단합니다. 리눅스 섹션에서 패키지 관리자와 소프트웨어를 얻는 프로세스에 대해 이야기했는데, arkade는 모든 앱과 Kubernetes용 CLI를 위한 마켓플레이스라고 생각하시면 됩니다. 시스템에서 사용할 수 있는 매우 편리한 작은 도구로, GO로 작성되어 크로스 플랫폼을 지원합니다. + +![](/2022/Days/Images/Day51_Kubernetes2.png) + +arkade 내에서 사용 가능한 긴 앱 목록의 일부로 Minikube도 그중 하나이므로 간단한 `arkade get minikube` 명령으로 바이너리를 다운로드하고 이제 바로 사용할 수 있습니다. + +![](/2022/Days/Images/Day51_Kubernetes3.png) + +또한 도구의 일부로 kubectl이 필요하므로 arkade를 통해서도 얻을 수 있으며, 위에서 언급한 curl 명령의 일부로 Minikube 문서에 나와 있다고 생각합니다. 이 포스트의 뒷부분에서 kubectl에 대해 더 자세히 다루겠습니다. + +### Kubernetes 클러스터 시작 및 실행하기 + +이 특정 섹션에서는 로컬 머신에서 Kubernetes 클러스터를 시작하고 실행할 때 사용할 수 있는 옵션에 대해 다루고자 합니다. 다음 명령을 실행하기만 하면 사용할 수 있는 클러스터가 스핀업됩니다. + +커맨드라인에 minikube가 사용되며, 모든 설치가 완료되면 `minikube start`를 실행하여 첫 번째 Kubernetes 클러스터를 배포할 수 있습니다. 아래에서 중첩된 가상화 노드를 실행할 위치에 대한 기본값이 Docker 드라이버인 것을 확인할 수 있습니다. 게시물의 시작 부분에서 사용 가능한 다른 옵션에 대해 언급했는데, 다른 옵션은 이 로컬 Kubernetes 클러스터의 모양을 확장하고자 할 때 도움이 됩니다. + +이 인스턴스에서는 단일 Minikube 클러스터가 단일 docker 컨테이너로 구성되며, 이 컨테이너에는 컨트롤 플레인 노드와 워커 노드가 하나의 인스턴스에 포함됩니다. 일반적으로는 이러한 노드를 분리합니다. 다음 섹션에서는 아직 홈 랩 유형의 Kubernetes 환경이지만 프로덕션 아키텍처에 조금 더 가까운 환경을 살펴볼 것입니다. + +![](/2022/Days/Images/Day51_Kubernetes4.png) + +지금까지 몇 번 언급했지만, 저는 사용 가능한 애드온 때문에 Minikube를 좋아하는데, 처음부터 필요한 모든 애드온을 포함한 간단한 명령으로 클러스터를 배포할 수 있기 때문에 매번 동일한 설정을 배포하는 데 도움이 됩니다. + +아래에서 이러한 애드온 목록을 볼 수 있는데, 저는 일반적으로 `CSI-host path-driver`와 `volumesnapshots` 애드온을 사용하지만, 아래에서 긴 목록을 볼 수 있습니다. 물론 이러한 애드온은 나중에 Kubernetes 섹션에서 다루겠지만 일반적으로 Helm을 사용하여 배포할 수 있지만 훨씬 더 간단해진다. + +![](/2022/Days/Images/Day51_Kubernetes5.png) + +또한 프로젝트에서 몇 가지 추가 구성을 정의하고 있는데, apiserver는 임의의 API 포트 대신 6433으로 설정하고 container runtime도 containerd로 정의하고 있지만 기본값은 docker이고 CRI-O도 사용할 수 있습니다. 또한 특정 Kubernetes 버전도 설정하고 있습니다. + +![](/2022/Days/Images/Day51_Kubernetes6.png) + +이제 Minikube를 사용하여 첫 번째 Kubernetes 클러스터를 배포할 준비가 되었습니다. 클러스터와 상호 작용하려면 `kubectl`도 필요하다고 앞서 언급했습니다. arkade를 사용하여 `arkade get kubectl` 명령으로 kubectl을 설치할 수 있습니다. + +![](/2022/Days/Images/Day51_Kubernetes7.png) + +또는 다음에서 크로스 플랫폼으로 다운로드할 수 있습니다. + +- [리눅스](https://kubernetes.io/docs/tasks/tools/install-kubectl-linux) +- [macOS](https://kubernetes.io/docs/tasks/tools/install-kubectl-macos) +- [윈도우](https://kubernetes.io/docs/tasks/tools/install-kubectl-windows) + +kubectl을 설치했으면 `kubectl get nodes`와 같은 간단한 명령으로 클러스터와 상호 작용할 수 있습니다. + +![](/2022/Days/Images/Day51_Kubernetes8.png) + +### kubectl이란? + +이제 Minikube와 Kubernetes 클러스터를 모두 설치하고 실행 중이며, Minikube에 대해서는 최소한 Minikube가 무엇을 하는지에 대해 설명했지만, kubectl이 무엇이고 어떤 역할을 하는지에 대해서는 설명하지 않았습니다. + +kubectl은 Kubernetes 클러스터와 상호 작용하는 데 사용되거나 상호 작용할 수 있게 해주는 클리어로, 여기서는 Minikube 클러스터와 상호 작용하는 데 사용하고 있지만 퍼블릭 클라우드 전반의 엔터프라이즈 클러스터와 상호 작용하는 데도 kubectl을 사용할 수 있습니다. + +우리는 애플리케이션을 배포하고 클러스터 리소스를 검사 및 관리하기 위해 kubectl을 사용합니다. 훨씬 더 자세한 개요는 Kubernetes [공식 문서](https://kubernetes.io/docs/reference/kubectl/overview/)에서 확인할 수 있습니다. + +kubectl은 이전 포스트에서 간략하게 다룬 컨트롤 플레인 노드에 있는 API 서버와 상호작용합니다. + +### kubectl 치트 시트 + +공식 문서와 함께, 필자는 kubectl 명령어를 찾을 때 [이 페이지](https://unofficial-kubernetes.readthedocs.io/en/latest/)를 항상 열어두는 것을 추천합니다. + +| Listing Resources | | +| ------------------------ | ------------------------------------------ | +| kubectl get nodes | 클러스터의 모든 노드 나열 | +| kubectl get namespaces | 클러스터의 모든 네임스페이스 나열 | +| kubectl get pods | 기본 네임스페이스 클러스터에 모든 pod 나열 | +| kubectl get pods -n name | "이름" 네임스페이스에 모든 pod를 나열 | + +| Creating Resources | | +| ----------------------------- | ------------------------------------------ | +| kubectl create namespace name | "name"이라는 네임스페이스를 생성 | +| kubectl create -f [filename] | JSON 또는 YAML 파일에서 리소스를 다시 생성 | + +| Editing Resources | | +| ---------------------------- | ------------- | +| kubectl edit svc/servicename | 서비스를 편집 | + +| More detail on Resources | | +| ------------------------ | ------------------------------------- | +| kubectl describe nodes | 원하는 수의 리소스 상태를 자세히 표시 | + +| Delete Resources | | +| ------------------ | --------------------------------------------------------- | +| kubectl delete pod | 리소스를 제거할 수 있으며, 이는 stdin 또는 파일에서 제거. | + +예를 들어 `-n`은 `namespace`의 줄임말로, 명령을 입력하기 쉬울 뿐만 아니라 스크립트를 작성할 때 훨씬 더 깔끔한 코드를 만들 수 있습니다. + +| Short name | Full name | +| ---------- | -------------------------- | +| csr | certificatesigningrequests | +| cs | componentstatuses | +| cm | configmaps | +| ds | daemonsets | +| deploy | deployments | +| ep | endpoints | +| ev | events | +| hpa | horizontalpodautoscalers | +| ing | ingresses | +| limits | limitranges | +| ns | namespaces | +| no | nodes | +| pvc | persistentvolumeclaims | +| pv | persistentvolumes | +| po | pods | +| pdb | poddisruptionbudgets | +| psp | podsecuritypolicies | +| rs | replicasets | +| rc | replicationcontrollers | +| quota | resourcequotas | +| sa | serviceaccounts | +| svc | services | + +마지막으로 추가하고 싶은 것은 데이터 서비스를 표시하기 위해 데모 환경을 빠르게 스핀업하고 Kasten K10으로 이러한 워크로드를 보호하기 위해 Minikube와 관련된 또 다른 프로젝트를 만들었습니다. [Project Pace](https://github.com/MichaelCade/project_pace)는 여기에서 찾을 수 있으며 여러분의 피드백이나 상호 작용을 원하며 Minikube 클러스터를 배포하고 다양한 데이터 서비스 애플리케이션을 만드는 몇 가지 자동화된 방법을 표시하거나 포함합니다. + +다음에는 VirtualBox를 사용하여 여러 노드를 가상 머신에 배포하는 방법을 살펴보겠지만, Linux 섹션에서 vagrant를 사용하여 머신을 빠르게 스핀업하고 원하는 방식으로 소프트웨어를 배포했던 것처럼 여기에서도 쉽게 진행할 것입니다. + +어제 포스트에 배포 중인 다양한 Kubernetes 클러스터에 대해 제가 수행한 워크스루 블로그인 이 목록을 추가했습니다. + +- [Kubernetes playground – How to choose your platform](https://vzilla.co.uk/vzilla-blog/building-the-home-lab-kubernetes-playground-part-1) +- [Kubernetes playground – Setting up your cluster](https://vzilla.co.uk/vzilla-blog/building-the-home-lab-kubernetes-playground-part-2) +- [Getting started with Amazon Elastic Kubernetes Service (Amazon EKS)](https://vzilla.co.uk/vzilla-blog/getting-started-with-amazon-elastic-kubernetes-service-amazon-eks) +- [Getting started with Microsoft Azure Kubernetes Service (AKS)](https://vzilla.co.uk/vzilla-blog/getting-started-with-microsoft-azure-kubernetes-service-aks) +- [Getting Started with Microsoft AKS – Azure PowerShell Edition](https://vzilla.co.uk/vzilla-blog/getting-started-with-microsoft-aks-azure-powershell-edition) +- [Getting started with Google Kubernetes Service (GKE)](https://vzilla.co.uk/vzilla-blog/getting-started-with-google-kubernetes-service-gke) +- [Kubernetes, How to – AWS Bottlerocket + Amazon EKS](https://vzilla.co.uk/vzilla-blog/kubernetes-how-to-aws-bottlerocket-amazon-eks) +- [Getting started with CIVO Cloud](https://vzilla.co.uk/vzilla-blog/getting-started-with-civo-cloud) +- [Minikube - Kubernetes Demo Environment For Everyone](https://vzilla.co.uk/vzilla-blog/project_pace-kasten-k10-demo-environment-for-everyone) +- [Minikube - Deploy Minikube Using Vagrant and Ansible on VirtualBox](https://medium.com/techbeatly/deploy-minikube-using-vagrant-and-ansible-on-virtualbox-infrastructure-as-code-2baf98188847) + +### Kubernetes 시리즈에서 다룰 내용 + +아래에 언급된 내용 중 일부를 다루기 시작했지만, 내일 두 번째 클러스터 배포를 통해 더 많은 실습을 한 후 클러스터에 애플리케이션 배포를 시작할 수 있습니다. + +- Kubernetes 아키텍처 +- Kubectl 커맨드 +- Kubernetes YAML +- Kubernetes Ingress +- Kubernetes Services +- Helm 패키지 관리자 +- 영속성 스토리지 +- stateful 앱 + +## 자료 + +사용하신 무료 리소스가 있다면 리포지토리에 PR을 통해 여기에 추가해 주시면 기꺼이 포함시켜드리겠습니다. + +- [Kubernetes Documentation](https://kubernetes.io/docs/home/) +- [TechWorld with Nana - Kubernetes Tutorial for Beginners [FULL COURSE in 4 Hours]](https://www.youtube.com/watch?v=X48VuDVv0do) +- [TechWorld with Nana - Kubernetes Crash Course for Absolute Beginners](https://www.youtube.com/watch?v=s_o8dwzRlu4) +- [Kunal Kushwaha - Kubernetes Tutorial for Beginners | What is Kubernetes? Architecture Simplified!](https://www.youtube.com/watch?v=KVBON1lA9N8) +- [Techbeatly - Deploy Minikube Using Vagrant and Ansible on VirtualBox](https://www.youtube.com/watch?v=xPLQqHbp9BM&t=371s) + +[Day 52](day52.md)에서 봐요! diff --git a/2022/ko/Days/day52.md b/2022/ko/Days/day52.md new file mode 100644 index 0000000..29e2c9a --- /dev/null +++ b/2022/ko/Days/day52.md @@ -0,0 +1,182 @@ +--- +title: '#90DaysOfDevOps - Setting up a multinode Kubernetes Cluster - Day 52' +published: false +description: 90DaysOfDevOps - Setting up a multinode Kubernetes Cluster +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049050 +--- + +## 멀티노드 Kubernetes 클러스터 설정하기 + +이 제목을 "Vagrant로 멀티노드 Kubernetes 클러스터 설정하기"로 하고 싶었지만, 너무 길 것 같았습니다! + +어제 세션에서는 멋진 프로젝트를 사용하여 첫 번째 Kubernetes 클러스터를 배포하고 Kubernetes를 사용할 때 접하게 될 가장 중요한 CLI 도구(kubectl)를 조금 실습해 보았습니다. + +여기서는 VirtualBox를 기본으로 사용하지만, 지난번 리눅스 섹션에서 Vagrant에 대해 이야기할 때 언급했듯이 지원되는 모든 하이퍼바이저 또는 가상화 도구를 사용할 수 있습니다. 리눅스 섹션에서 우분투 머신을 배포한 것은 [Day 14](day14.md)였습니다. + +### Vagrant에 대한 간략한 요약 + +Vagrant는 가상 머신의 라이프사이클을 관리하는 CLI 유틸리티입니다. vSphere, Hyper-v, Virtual Box, Docker 등 다양한 플랫폼에서 가상 머신을 스핀업 및 스핀다운하는 데 Vagrant를 사용할 수 있습니다. 다른 공급업체도 있지만 여기서는 Virtual Box를 사용하고 있으므로 계속 사용하겠습니다. + +이 [블로그 및 리포지토리](https://devopscube.com/kubernetes-cluster-vagrant/)를 기준으로 하여 구성을 안내해 드리겠습니다. 하지만 Kubernetes 클러스터를 처음 배포하는 경우라면 수동으로 이 작업을 수행하는 방법도 살펴보고 최소한 어떤 모습인지 알고 계실 것을 권해드리고 싶습니다. Kubernetes는 릴리스될 때마다 더욱 효율적으로 개선되고 있다고 말씀드리고 싶습니다. 저는 이것을 VMware와 ESX 시절에 비유하자면, ESX 서버 3대를 배포하는 데 적어도 하루는 필요했지만, 지금은 한 시간 안에 이를 실행할 수 있습니다. 저희는 Kubernetes와 관련해서는 그 방향으로 나아가고 있습니다. + +### Kubernetes 랩 환경 + +환경을 구축하는 데 사용할 vagrantfile을 [Kubernetes 폴더](/2022/Days/Kubernetes)에 업로드했습니다. 이 파일을 잡고 터미널에서 이 디렉토리로 이동합니다. 저는 다시 Windows를 사용하므로 PowerShell을 사용하여 vagrant로 워크스테이션 명령을 수행하겠습니다. vagrant가 없는 경우 어제 Minikube 및 기타 도구를 설치할 때 다룬 arkade를 사용할 수 있습니다. 간단한 명령어인 `arkade get vagrant`를 실행하면 최신 버전의 vagrant를 다운로드하여 설치할 수 있습니다. + +디렉토리에 들어가면 `vagrant up`을 실행하고 모든 것이 올바르게 구성되었다면 터미널에 다음과 같은 킥오프가 표시됩니다. + +![](/2022/Days/Images/Day52_Kubernetes1.png) + +터미널에서 몇 가지 단계가 진행되는 것을 볼 수 있지만, 그동안 우리가 여기서 무엇을 빌드하고 있는지 살펴봅시다. + +![](/2022/Days/Images/Day52_Kubernetes2.png) + +위에서 보면 3개의 가상 머신을 빌드하고 컨트롤 플레인 노드와 두 개의 워커 노드가 있다는 것을 알 수 있습니다. [Day 49](day49.md)로 돌아가면 이미지에서 볼 수 있는 이러한 영역에 대한 설명이 더 있습니다. + +또한 이미지에서는 클러스터 외부에서 kubectl 액세스가 발생하여 해당 kube apiserver에 도달하는 것으로 표시되어 있지만, 실제로는 vagrant 프로비저닝의 일부로 각 노드 내에서 클러스터에 액세스할 수 있도록 각 노드에 kubectl을 배포하고 있습니다. + +이 실습을 구축하는 과정은 설정에 따라 5분에서 30분 정도 걸릴 수 있습니다. + +곧 스크립트에 대해서도 다룰 예정이지만, 배포의 일부로 3개의 스크립트를 호출하는 vagrant 파일을 보면 클러스터가 실제로 생성되는 곳이라는 것을 알 수 있습니다. Vagrant boxes를 사용하여 가상 머신과 OS 설치를 배포하는 것이 얼마나 쉬운지 살펴보았지만, 배포 프로세스의 일부로 셸 스크립트를 실행할 수 있는 기능이 있다는 것은 이러한 실습 빌드 아웃 자동화와 관련하여 매우 흥미로운 부분입니다. + +완료되면 터미널에서 노드 중 하나에 `vagrant ssh master`로 접속하면 액세스할 수 있으며, 기본 사용자 이름과 비밀번호는 `vagrant/vagrant`입니다. + +원하는 경우 `vagrant ssh node01` 및 `vagrant ssh node02`를 사용하여 작업자 노드에 액세스할 수도 있습니다. + +![](/2022/Days/Images/Day52_Kubernetes3.png) + +이제 새 클러스터의 위 노드 중 하나에서 `kubectl get nodes`를 실행하여 3노드 클러스터와 그 상태를 확인할 수 있습니다. + +![](/2022/Days/Images/Day52_Kubernetes4.png) + +이 시점에서, 컨트롤 플레인 노드 1개와 워커 노드 2개로 구성된 3노드 클러스터가 실행되고 있습니다. + +### Vagrant 파일 및 셸 스크립트 연습 + +vagrantfile을 살펴보면 여러 작업자 노드, VirtualBox 내의 브리지 네트워크에 대한 네트워킹 IP 주소, 그리고 일부 이름 지정을 정의하고 있음을 알 수 있습니다. 또한 특정 호스트에서 실행하려는 일부 스크립트를 호출하고 있음을 알 수 있습니다. + +```shell +NUM_WORKER_NODES=2 +IP_NW="10.0.0." +IP_START=10 + +Vagrant.configure("2") do |config| + config.vm.provision "shell", inline: <<-SHELL + apt-get update -y + echo "$IP_NW$((IP_START)) master-node" >> /etc/hosts + echo "$IP_NW$((IP_START+1)) worker-node01" >> /etc/hosts + echo "$IP_NW$((IP_START+2)) worker-node02" >> /etc/hosts + SHELL + config.vm.box = "bento/ubuntu-21.10" + config.vm.box_check_update = true + + config.vm.define "master" do |master| + master.vm.hostname = "master-node" + master.vm.network "private_network", ip: IP_NW + "#{IP_START}" + master.vm.provider "virtualbox" do |vb| + vb.memory = 4048 + vb.cpus = 2 + vb.customize ["modifyvm", :id, "--natdnshostresolver1", "on"] + end + master.vm.provision "shell", path: "scripts/common.sh" + master.vm.provision "shell", path: "scripts/master.sh" + end + + (1..NUM_WORKER_NODES).each do |i| + config.vm.define "node0#{i}" do |node| + node.vm.hostname = "worker-node0#{i}" + node.vm.network "private_network", ip: IP_NW + "#{IP_START + i}" + node.vm.provider "virtualbox" do |vb| + vb.memory = 2048 + vb.cpus = 1 + vb.customize ["modifyvm", :id, "--natdnshostresolver1", "on"] + end + node.vm.provision "shell", path: "scripts/common.sh" + node.vm.provision "shell", path: "scripts/node.sh" + end + end + end +``` + +실행 중인 스크립트를 분석해 보겠습니다. 특정 노드에서 실행할 세 개의 스크립트가 위의 VAGRANTFILE에 나열되어 있습니다. + +`master.vm.provision "shell", path: "scripts/common.sh"` + +위의 스크립트는 노드를 준비하는 데 초점을 맞출 것이며, 3개의 노드 모두에서 실행될 것이며, 기존의 모든 Docker 구성 요소를 제거하고 Docker와 ContainerD는 물론 kubeadm, kubelet 및 kubectl을 다시 설치합니다. 이 스크립트는 또한 시스템의 기존 소프트웨어 패키지도 업데이트합니다. + +`master.vm.provision "shell", path: "scripts/master.sh"` + +master.sh 스크립트는 컨트롤 플레인 노드에서만 실행되며, 이 스크립트는 kubeadm 커맨드를 사용하여 Kubernetes 클러스터를 생성합니다. 또한 이 클러스터에 대한 액세스를 위한 구성 컨텍스트도 준비할 것이며, 이는 다음에 다룰 것입니다. + +`node.vm.provision "shell", path: "scripts/node.sh"` + +이것은 단순히 마스터가 생성한 구성을 가져와서 우리 노드를 Kubernetes 클러스터에 추가하는 것이며, 이 추가 프로세스는 다시 kubeadm과 config 폴더에서 찾을 수 있는 다른 스크립트를 사용합니다. + +### Kubernetes 클러스터에 액세스하기 + +이제 두 개의 클러스터가 배포되었습니다. 이전 섹션에서 배포한 Minikube 클러스터와 방금 VirtualBox에 배포한 새로운 3노드 클러스터가 있습니다. + +또한 vagrant를 실행한 머신에서도 액세스할 수 있는 구성 파일에는 워크스테이션에서 클러스터에 액세스하는 방법이 포함되어 있습니다. + +이를 보여드리기 전에 컨텍스트에 대해 말씀드리겠습니다. + +![](/2022/Days/Images/Day52_Kubernetes5.png) + +컨텍스트가 중요하며, 데스크톱이나 노트북에서 Kubernetes 클러스터에 액세스할 수 있는 기능이 필요합니다. 다양한 옵션이 존재하며 사람들은 각기 다른 운영 체제를 일상적으로 사용합니다. + +기본적으로, Kubernetes CLI 클라이언트(kubectl)는 엔드포인트 및 자격 증명과 같은 Kubernetes 클러스터 세부 정보를 저장하기 위해 C:\Users\username.kube\config를 사용합니다. 클러스터를 배포한 경우 해당 위치에서 이 파일을 볼 수 있습니다. 하지만 지금까지 마스터 노드에서 SSH 또는 다른 방법을 통해 모든 kubectl 명령을 실행했다면 이 포스팅이 워크스테이션과 연결할 수 있는 방법을 이해하는 데 도움이 되길 바랍니다. + +그런 다음 클러스터에서 kubeconfig 파일을 가져오거나 배포된 구성 파일에서 가져올 수도 있고, SCP를 통해 이 파일의 내용을 가져오거나 마스터 노드에 콘솔 세션을 열고 로컬 윈도우 머신에 복사할 수도 있습니다. + +![](/2022/Days/Images/Day52_Kubernetes6.png) + +그런 다음 해당 구성 파일의 복사본을 가져와서 `$HOME/.kube/config` 위치로 이동합니다. + +![](/2022/Days/Images/Day52_Kubernetes7.png) + +이제 로컬 워크스테이션에서 `kubectl cluster-info`와 `kubectl get nodes`를 실행하여 클러스터에 액세스할 수 있는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day52_Kubernetes8.png) + +이렇게 하면 윈도우 머신에서 연결 및 제어가 가능할 뿐만 아니라 윈도우 머신에서 특정 서비스에 액세스하기 위해 포트 포워딩을 수행할 수 있습니다. + +워크스테이션에서 여러 클러스터를 관리하는 방법에 관심이 있으시다면 [여기](https://vzilla.co.uk/vzilla-blog/building-the-home-lab-kubernetes-playground-part-6)에 더 자세한 안내가 있습니다. + +이 목록은 제가 배포 중인 다양한 Kubernetes 클러스터에 대해 수행한 워크스루 블로그입니다. + +- [Kubernetes playground – How to choose your platform](https://vzilla.co.uk/vzilla-blog/building-the-home-lab-kubernetes-playground-part-1) +- [Kubernetes playground – Setting up your cluster](https://vzilla.co.uk/vzilla-blog/building-the-home-lab-kubernetes-playground-part-2) +- [Getting started with Amazon Elastic Kubernetes Service (Amazon EKS)](https://vzilla.co.uk/vzilla-blog/getting-started-with-amazon-elastic-kubernetes-service-amazon-eks) +- [Getting started with Microsoft Azure Kubernetes Service (AKS)](https://vzilla.co.uk/vzilla-blog/getting-started-with-microsoft-azure-kubernetes-service-aks) +- [Getting Started with Microsoft AKS – Azure PowerShell Edition](https://vzilla.co.uk/vzilla-blog/getting-started-with-microsoft-aks-azure-powershell-edition) +- [Getting started with Google Kubernetes Service (GKE)](https://vzilla.co.uk/vzilla-blog/getting-started-with-google-kubernetes-service-gke) +- [Kubernetes, How to – AWS Bottlerocket + Amazon EKS](https://vzilla.co.uk/vzilla-blog/kubernetes-how-to-aws-bottlerocket-amazon-eks) +- [Getting started with CIVO Cloud](https://vzilla.co.uk/vzilla-blog/getting-started-with-civo-cloud) +- [Minikube - Kubernetes Demo Environment For Everyone](https://vzilla.co.uk/vzilla-blog/project_pace-kasten-k10-demo-environment-for-everyone) + +### Kubernetes 시리즈에서 다룰 내용 + +아래에 언급된 내용 중 일부를 다루기 시작했지만, 내일 두 번째 클러스터 배포를 통해 더 많은 실습을 한 다음 클러스터에 애플리케이션 배포를 시작할 수 있습니다. + +- Kubernetes 아키텍처 +- Kubectl 커맨드 +- Kubernetes YAML +- Kubernetes Ingress +- Kubernetes Services +- Helm 패키지 관리자 +- 영속성 스토리지 +- stateful 앱 + +## 자료 + +사용하신 무료 리소스가 있으시면 리포지토리에 PR을 통해 여기에 추가해 주시면 기꺼이 포함시켜 드리겠습니다. + +- [Kubernetes Documentation](https://kubernetes.io/docs/home/) +- [TechWorld with Nana - Kubernetes Tutorial for Beginners [FULL COURSE in 4 Hours]](https://www.youtube.com/watch?v=X48VuDVv0do) +- [TechWorld with Nana - Kubernetes Crash Course for Absolute Beginners](https://www.youtube.com/watch?v=s_o8dwzRlu4) +- [Kunal Kushwaha - Kubernetes Tutorial for Beginners | What is Kubernetes? Architecture Simplified!](https://www.youtube.com/watch?v=KVBON1lA9N8) + +[Day 53](day53.md)에서 봐요! diff --git a/2022/ko/Days/day53.md b/2022/ko/Days/day53.md new file mode 100644 index 0000000..e648020 --- /dev/null +++ b/2022/ko/Days/day53.md @@ -0,0 +1,129 @@ +--- +title: '#90DaysOfDevOps - Rancher Overview - Hands On - Day 53' +published: false +description: 90DaysOfDevOps - Rancher Overview - Hands On +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048742 +--- + +## Rancher 개요 - 핸즈온 + +이 섹션에서는 Rancher에 대해 살펴볼 것인데, 지금까지는 클러스터 관리에 대한 좋은 가시성을 운영팀에 제공하는 몇 가지 좋은 UI와 멀티클러스터 관리 도구가 있지만, 지금까지 한 모든 작업은 cli와 kubectl을 사용했습니다. + +Rancher는 [사이트](https://rancher.com/)에 따르면 + +> Rancher는 컨테이너를 도입하는 팀을 위한 완벽한 소프트웨어 스택입니다. 이 스택은 모든 인프라에서 여러 개의 Kubernetes 클러스터를 관리할 때 발생하는 운영 및 보안 문제를 해결하는 동시에 데브옵스 팀에 컨테이너화된 워크로드를 실행하기 위한 통합 도구를 제공합니다. + +Rancher를 사용하면 거의 모든 위치에서 프로덕션급 Kubernetes 클러스터를 배포할 수 있으며 중앙 집중식 인증, 액세스 제어 및 통합 가시성을 제공합니다. 이전 섹션에서 Kubernetes와 관련하여 거의 압도적인 선택의 폭이 있으며, 어디에서 실행해야 하는지 또는 실행할 수 있는지에 대해 언급했지만, Rancher를 사용하면 어디에 있든 상관없습니다. + +### Rancher 배포 + +가장 먼저 해야 할 일은 로컬 워크스테이션에 Rancher를 배포하는 것입니다. 이 단계를 진행하기 위해 선택할 수 있는 몇 가지 방법과 위치가 있는데, 저는 로컬 워크스테이션을 사용하고 Rancher를 docker 컨테이너로 실행하고 싶습니다. 아래 명령을 실행하면 컨테이너 이미지를 가져온 다음 Rancher UI에 액세스할 수 있습니다. + +다른 Rancher 배포 방법은 [Rancher 빠른 시작 가이드](https://rancher.com/docs/rancher/v2.6/en/quick-start-guide/deployment/)에서 확인할 수 있습니다. + +`sudo docker run -d --restart=unless-stopped -p 80:80 -p 443:443 --privileged rancher/rancher` + +docker 데스크톱에서 볼 수 있듯이 실행 중인 Rancher 컨테이너가 있습니다. + +![](/2022/Days/Images/Day53_Kubernetes1.png) + +### Rancher UI 액세스 + +위의 컨테이너가 실행 중이면 웹 페이지를 통해 컨테이너로 이동할 수 있어야 합니다. `https://localhost`를 입력하면 아래와 같이 로그인 페이지가 나타납니다. + +![](/2022/Days/Images/Day53_Kubernetes2.png) + +아래 안내에 따라 필요한 비밀번호를 입력합니다. 저는 Windows를 사용하고, grep 명령이 필요하기 때문에 Windows용 bash를 사용하기로 했습니다. + +![](/2022/Days/Images/Day53_Kubernetes3.png) + +이제 위의 비밀번호를 사용하여 로그인하면 다음 페이지에서 새 비밀번호를 정의할 수 있습니다. + +![](/2022/Days/Images/Day53_Kubernetes4.png) + +위의 작업을 완료하면 로그인이 완료되고 시작 화면을 볼 수 있습니다. Rancher 배포의 일부로 로컬 K3 클러스터가 프로비저닝된 것도 볼 수 있습니다. + +![](/2022/Days/Images/Day53_Kubernetes5.png) + +### Rancher에 대한 간략한 둘러보기 + +가장 먼저 살펴볼 것은 로컬로 배포된 K3S 클러스터입니다. 아래에서 클러스터 내부에서 어떤 일이 일어나고 있는지 잘 볼 수 있습니다. 이것은 기본 배포이며 아직 이 클러스터에 아무것도 배포하지 않았습니다. 1개의 노드로 구성되어 있고 5개의 배포가 있는 것을 볼 수 있습니다. 그리고 pod, 코어, 메모리에 대한 몇 가지 통계가 있는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day53_Kubernetes6.png) + +왼쪽 메뉴에는 앱 및 마켓플레이스 탭도 있는데, 이 탭을 통해 클러스터에서 실행할 애플리케이션을 선택할 수 있습니다. 앞서 언급했듯이 Rancher는 여러 개의 다른 클러스터를 실행하거나 관리할 수 있는 기능을 제공합니다. 마켓플레이스를 사용하면 애플리케이션을 매우 쉽게 배포할 수 있습니다. + +![](/2022/Days/Images/Day53_Kubernetes7.png) + +또 한 가지 언급할 것은 오른쪽 상단에 있는 Rancher에서 관리 중인 클러스터에 액세스해야 하는 경우 선택한 클러스터에 대한 kubectl 셸을 열 수 있다는 것입니다. + +![](/2022/Days/Images/Day53_Kubernetes8.png) + +### 새 클러스터 생성 + +지난 두 세션에 걸쳐 로컬에서 Minikube 클러스터를 생성하고 가상박스와 함께 Vagrant를 사용하여 3노드 Kubernetes 클러스터를 생성했으며, Rancher를 사용하여 클러스터를 생성할 수도 있습니다. [Rancher 폴더](/2022/Days/Kubernetes/Rancher)에는 동일한 3개의 노드를 구축할 수 있는 추가 vagrant 파일이 있지만 Kubernetes 클러스터를 생성하는 단계가 없습니다(Rancher가 이 작업을 대신 수행하기를 원합니다). + +그러나 각 노드에서 `common.sh` 스크립트가 계속 실행되는 것을 볼 수 있도록 docker가 설치되고 OS가 업데이트되기를 원합니다. 이것은 또한 Kubeadm, Kubectl 등을 설치합니다. 그러나 노드를 클러스터로 생성하고 조인하기 위한 Kubeadm 명령은 실행되지 않습니다. + +vagrant 폴더 위치로 이동하여 `vagrant up`을 실행하기만 하면 가상 박스에서 3개의 가상 머신을 생성하는 프로세스가 시작됩니다. + +![](/2022/Days/Images/Day53_Kubernetes9.png) + +이제 노드 또는 VM이 제자리에 배치되고 준비되었으므로 Rancher를 사용하여 새로운 Kubernetes 클러스터를 생성할 수 있습니다. 클러스터를 생성하는 첫 번째 화면에서는 클러스터가 어디에 있는지, 즉 퍼블릭 클라우드 관리형 Kubernetes 서비스를 사용 중인지, vSphere 또는 다른 것을 사용 중인지에 대한 몇 가지 옵션을 제공합니다. + +![](/2022/Days/Images/Day53_Kubernetes10.png) + +통합 플랫폼 중 하나를 사용하지 않으므로 "custom"을 선택하겠습니다. 시작 페이지는 클러스터 이름을 정의하는 곳입니다(아래에 로컬이라고 되어 있지만 로컬을 사용할 수 없습니다. 저희 클러스터는 vagrant라고 합니다.) 여기에서 Kubernetes 버전, 네트워크 공급자 및 기타 구성 옵션을 정의하여 Kubernetes 클러스터를 시작하고 실행할 수 있습니다. + +![](/2022/Days/Images/Day53_Kubernetes11.png) + +다음 페이지에서는 활성화할 적절한 서비스와 함께 각 노드에서 실행해야 하는 등록 코드(etcd, 컨트롤 플레인 및 워커)를 제공합니다. 마스터 노드의 경우, etcd와 컨트롤 플레인이 필요하므로 명령은 아래와 같습니다. + +![](/2022/Days/Images/Day53_Kubernetes12.png) + +``` +sudo docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.6.3 --server https://10. 0.0.1 --token mpq8cbjjwrj88z4xmf7blqxcfmwdsmq92bmwjpphdkklfckk5hfwc2 --ca-checksum a81944423cbfeeb92be0784edebba1af799735ebc30ba8cbe5cc5f996094f30b --etcd --controlplane +``` + +네트워킹이 올바르게 구성되었다면, 이제 첫 번째 마스터 노드가 등록되고 클러스터가 생성되고 있음을 나타내는 Rancher 대시보드에 다음과 같이 빠르게 표시되어야 합니다. + +![](/2022/Days/Images/Day53_Kubernetes13.png) + +그런 다음 다음 명령으로 각 워커 노드에 대한 등록 프로세스를 반복하면 얼마 후 마켓플레이스를 활용하여 애플리케이션을 배포할 수 있는 클러스터를 실행할 수 있게 됩니다. + +``` +sudo docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.6.3 --server https://10. 0.0.1 --token mpq8cbjjwrj88z4xmf7blqxcfmwdsmq92bmwjpphdkklfckk5hfwc2 --ca-checksum a81944423cbfeeb92be0784edebba1af799735ebc30ba8cbe5cc5f996094f30b --worker +``` + +![](/2022/Days/Images/Day53_Kubernetes14.png) + +지난 세 세션 동안, 우리는 몇 가지 다른 방법으로 Kubernetes 클러스터를 시작하고 실행하는 방법을 사용했으며, 남은 날에는 플랫폼에서 가장 중요한 애플리케이션 측면을 살펴볼 것입니다. 서비스 프로비저닝과 Kubernetes에서 서비스를 프로비저닝하고 사용할 수 있는 방법에 대해 살펴보겠습니다. + +부트스트랩 Rancher 노드에 대한 요구사항에 따라 해당 VM에 4GB 램이 있어야 하며 그렇지 않으면 크래시 루프가 발생한다고 들었는데, 이후 워커 노드에 2GB가 있는 것으로 업데이트했습니다. + +### Kubernetes 시리즈에서 다룰 내용 + +아래에 언급된 내용 중 일부를 다루기 시작했지만, 내일 두 번째 클러스터 배포를 통해 더 많은 실습을 한 다음 클러스터에 애플리케이션 배포를 시작할 수 있습니다. + +- Kubernetes 아키텍처 +- Kubectl 커맨드 +- Kubernetes YAML +- Kubernetes Ingress +- Kubernetes Services +- Helm 패키지 관리자 +- 영속성 스토리지 +- stateful 앱 + +## 자료 + +사용하신 무료 리소스가 있으시면 리포지토리에 PR을 통해 여기에 추가해 주시면 기꺼이 포함시켜 드리겠습니다. + +- [Kubernetes Documentation](https://kubernetes.io/docs/home/) +- [TechWorld with Nana - Kubernetes Tutorial for Beginners [FULL COURSE in 4 Hours]](https://www.youtube.com/watch?v=X48VuDVv0do) +- [TechWorld with Nana - Kubernetes Crash Course for Absolute Beginners](https://www.youtube.com/watch?v=s_o8dwzRlu4) +- [Kunal Kushwaha - Kubernetes Tutorial for Beginners | What is Kubernetes? Architecture Simplified!](https://www.youtube.com/watch?v=KVBON1lA9N8) + +[Day 54](day54.md)에서 봐요! diff --git a/2022/ko/Days/day54.md b/2022/ko/Days/day54.md new file mode 100644 index 0000000..347d1b4 --- /dev/null +++ b/2022/ko/Days/day54.md @@ -0,0 +1,223 @@ +--- +title: '#90DaysOfDevOps - Kubernetes Application Deployment - Day 54' +published: false +description: 90DaysOfDevOps - Kubernetes Application Deployment +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048764 +--- + +## Kubernetes 애플리케이션 배포 + +이제 드디어 일부 애플리케이션을 클러스터에 배포하게 되었는데, 일부 사람들은 이것이 바로 애플리케이션 배포를 위해 Kubernetes가 존재하는 이유라고 말할 수 있습니다. + +여기서 아이디어는 컨테이너 이미지를 가져와서 이제 컨테이너 오케스트레이터로서 Kubernetes를 활용하기 위해 컨테이너 이미지를 Kubernetes 클러스터에 pod로 배포할 수 있다는 것입니다. + +### Kubernetes에 앱 배포하기 + +애플리케이션을 Kubernetes 클러스터에 배포하는 방법에는 여러 가지가 있지만, 가장 일반적인 두 가지 접근 방식인 YAML 파일과 Helm 차트를 다뤄보겠습니다. + +이러한 애플리케이션 배포에는 Minikube 클러스터를 사용할 것입니다. 앞서 언급한 Kubernetes의 구성 요소 또는 빌딩 블록 중 일부를 살펴볼 것입니다. + +이 섹션과 컨테이너 섹션을 통해 이미지와 Kubernetes의 장점, 그리고 이 플랫폼에서 확장을 매우 쉽게 처리할 수 있는 방법에 대해 논의했습니다. + +이 첫 번째 단계에서는 Minikube 클러스터 내에 상태 비저장 애플리케이션을 간단히 생성해 보겠습니다. 사실상의 표준 상태 비저장 애플리케이션인 `nginx`를 사용하여 첫 번째 데모에서 배포를 구성하여 pod를 제공한 다음 nginx pod에서 호스팅하는 간단한 웹 서버로 이동할 수 있는 서비스도 생성할 것입니다. 이 모든 것이 네임스페이스에 포함될 것입니다. + +![](/2022/Days/Images/Day54_Kubernetes1.png) + +### YAML 생성 + +첫 번째 데모에서는 YAML로 수행하는 모든 작업을 정의하고자 합니다. YAML에 대한 전체 섹션이 있을 수 있지만, 여기서는 간략히 살펴보고 마지막에 YAML을 더 자세히 다룰 몇 가지 리소스를 남겨두려고 합니다. + +다음을 하나의 YAML 파일로 만들 수도 있고, 애플리케이션의 각 측면별로 나눌 수도 있습니다. 즉, 네임스페이스, 배포 및 서비스 생성을 위한 별도의 파일일 수 있지만 이 파일에서는 아래에서 `---`를 사용하여 하나의 파일로 구분했습니다. 이 파일은 [여기](/2022/Days/Kubernetes)에서 찾을 수 있습니다(파일명:- nginx-stateless-demo.YAML). + +```Yaml +apiVersion: v1 +kind: Namespace +metadata: + name: nginx + "labels": { + "name": "nginx" + } +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: nginx-deployment + namespace: nginx +spec: + selector: + matchLabels: + app: nginx + replicas: 1 + template: + metadata: + labels: + app: nginx + spec: + containers: + - name: nginx + image: nginx + ports: + - containerPort: 80 +--- +apiVersion: v1 +kind: Service +metadata: + name: nginx-service + namespace: nginx +spec: + selector: + app: nginx-deployment + ports: + - protocol: TCP + port: 80 + targetPort: 80 +``` + +### 클러스터 확인 + +배포하기 전에 `nginx`라는 네임스페이스가 없는지 확인해야 하는데, `kubectl get namespace` 명령을 실행하여 확인할 수 있으며, 아래에서 볼 수 있듯이 `nginx`라는 네임스페이스가 없습니다. + +![](/2022/Days/Images/Day54_Kubernetes2.png) + +### 앱을 배포할 시간 + +이제 Minikube 클러스터에 애플리케이션을 배포할 준비가 되었으며, 이 프로세스는 다른 모든 Kubernetes 클러스터에서도 동일하게 작동합니다. + +YAML 파일 위치로 이동한 다음 `kubectl create -f nginx-stateless-demo.yaml`을 실행하면 3개의 오브젝트가 생성되고 네임스페이스, 배포 및 서비스가 생성된 것을 확인할 수 있습니다. + +![](/2022/Days/Images/Day54_Kubernetes3.png) + +클러스터에서 사용 가능한 네임스페이스를 확인하기 위해 `kubectl get namespace` 명령을 다시 실행하면 이제 새 네임스페이스가 있는 것을 확인할 수 있습니다. + +![](/2022/Days/Images/Day54_Kubernetes5.png) + +이제 `kubectl get pods -n nginx`를 사용하여 네임스페이스에 pod가 있는지 확인하면 준비 및 실행 상태의 pod 1개가 있는 것을 볼 수 있습니다. + +![](/2022/Days/Images/Day54_Kubernetes4.png) + +또한 `kubectl get service -n nginx`를 실행하여 서비스가 생성되었는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day54_Kubernetes6.png) + +마지막으로, 배포를 확인하여 원하는 구성을 어디에 어떻게 유지하는지 확인할 수 있습니다. + +![](/2022/Days/Images/Day54_Kubernetes7.png) + +위는 몇 가지 알아두면 좋은 명령어를 사용했지만, `kubectl get all -n nginx`를 사용하여 하나의 YAML 파일로 배포한 모든 것을 볼 수도 있습니다. + +![](/2022/Days/Images/Day54_Kubernetes8.png) + +위 그림에서 replicaset가 있는 것을 볼 수 있는데, 배포에서 배포할 이미지의 레플리카 개수를 정의합니다. 처음에는 1로 설정되었지만, 애플리케이션을 빠르게 확장하려면 여러 가지 방법으로 확장할 수 있습니다. + +터미널 내에서 텍스트 편집기를 열고 배포를 수정할 수 있는 `kubectl edit deployment nginx-deployment -n nginx`를 사용하여 파일을 편집할 수 있다. + +![](/2022/Days/Images/Day54_Kubernetes9.png) + +터미널 내의 텍스트 편집기에서 위의 내용을 저장했을 때 문제가 없고 올바른 서식이 사용되었다면 네임스페이스에 추가로 배포된 것을 볼 수 있을 것입니다. + +![](/2022/Days/Images/Day54_Kubernetes10.png) + +또한 kubectl과 `kubectl scale deployment nginx-deployment --replicas=10 -n nginx`를 사용하여 레플리카 수를 변경할 수 있습니다. + +![](/2022/Days/Images/Day54_Kubernetes11.png) + +두 방법 중 하나를 사용하려는 경우 이 방법을 사용하여 애플리케이션을 다시 1로 축소할 수 있습니다. 저는 편집 옵션을 사용했지만, 위의 스케일 명령을 사용할 수도 있습니다. + +![](/2022/Days/Images/Day54_Kubernetes12.png) + +여기서 사용 사례를 통해 매우 빠르게 스핀업 및 스핀다운할 수 있을 뿐만 아니라 애플리케이션을 빠르게 확장 및 축소할 수 있다는 것을 알 수 있기를 바랍니다. 이것이 웹 서버라면 부하가 많을 때는 확장하고 부하가 적을 때는 축소할 수 있습니다. + +### 앱 노출하기 + +그렇다면 어떻게 웹 서버에 접속할 수 있을까요? + +위에서 저희 서비스를 보면 사용 가능한 외부 IP가 없으므로 웹 브라우저를 열고 마술처럼 접속할 수는 없습니다. 접속을 위해 몇 가지 옵션이 있습니다. + +**ClusterIP** - 표시되는 IP는 클러스터 내부 네트워크에 있는 클러스터IP입니다. 클러스터 내의 사물만 이 IP에 연결할 수 있습니다. + +**NodePort** - NAT를 사용하여 클러스터에서 선택한 각 노드의 동일한 포트에 서비스를 노출합니다. + +**로드 밸런서** - 현재 클라우드에 외부 로드 밸런서를 생성합니다. 저희는 Minikube를 사용하고 있지만, VirtualBox에서 했던 것과 같이 자체 Kubernetes 클러스터를 구축한 경우 이 기능을 제공하려면 metallb와 같은 로드밸런서를 클러스터에 배포해야 합니다. + +**포트 포워드** - 로컬 호스트에서 내부 Kubernetes 클러스터 프로세스에 액세스하고 상호 작용할 수 있는 포트 포워드 기능도 있습니다. 이 옵션은 테스트 및 결함 발견에만 사용됩니다. + +이제 선택할 수 있는 몇 가지 옵션이 생겼습니다. Minikube에는 본격적인 Kubernetes 클러스터와 비교했을 때 몇 가지 제한 사항이나 차이점이 있습니다. + +다음 명령을 실행하여 로컬 워크스테이션을 사용하여 액세스를 포트 포워딩할 수 있습니다. + +`kubectl port-forward deployment/nginx-deployment -n nginx 8090:80` + +![](/2022/Days/Images/Day54_Kubernetes13.png) + +위 명령을 실행하면 로컬 머신과 포트에 대한 포트 포워딩 역할을 하므로 이 터미널을 사용할 수 없게 됩니다. + +![](/2022/Days/Images/Day54_Kubernetes14.png) + +이제 Minikube를 통해 애플리케이션을 노출하는 방법을 구체적으로 살펴보겠습니다. Minikube를 사용하여 서비스에 연결하기 위한 URL을 생성할 수도 있습니다. [자세한 내용](https://minikube.sigs.k8s.io/docs/commands/service/) + +먼저, `kubectl delete service nginx-service -n nginx`를 사용하여 서비스를 삭제합니다. + +다음으로 `kubectl expose deployment nginx-deployment --name nginx-service --namespace nginx --port=80 --type=NodePort`를 사용하여 새 서비스를 생성합니다. 여기서 expose를 사용하고 유형을 NodePort로 변경한다는 점에 유의하세요. + +![](/2022/Days/Images/Day54_Kubernetes15.png) + +마지막으로 새 터미널에서 `minikube --profile='mc-demo' service nginx-service --url -n nginx`를 실행하여 서비스에 대한 터널을 생성합니다. + +![](/2022/Days/Images/Day54_Kubernetes16.png) + +브라우저 또는 제어를 열고 터미널에서 링크를 클릭합니다. + +![](/2022/Days/Images/Day54_Kubernetes17.png) + +### Helm + +Helm은 애플리케이션을 배포할 수 있는 또 다른 방법입니다. "Kubernetes를 위한 패키지 관리자"로 알려진 Helm에 대한 자세한 내용은 [여기](https://helm.sh/)에서 확인할 수 있습니다. + +Helm은 Kubernetes를 위한 패키지 매니저입니다. Helm은 Kubernetes에서 yum이나 apt에 해당하는 것으로 간주할 수 있습니다. Helm은 패키지 애플리케이션처럼 생각할 수 있는 차트를 배포하는데, 이는 미리 구성된 애플리케이션 리소스를 사용하기 쉬운 하나의 차트로 배포할 수 있는 청사진입니다. 그런 다음 다른 구성 세트로 차트의 다른 버전을 배포할 수 있습니다. + +사용 가능한 모든 Helm 차트를 찾아볼 수 있는 사이트가 있으며 물론 직접 만들 수도 있습니다. 문서도 명확하고 간결하며 이 분야의 다른 모든 신조어들 사이에서 Helm이라는 용어를 처음 들었을 때처럼 어렵지 않습니다. + +Helm을 시작하고 실행하거나 설치하는 것은 매우 간단합니다. 간단합니다. RaspberryPi arm64 장치를 포함한 거의 모든 배포판에 대한 바이너리와 다운로드 링크는 여기에서 찾을 수 있습니다. + +또는 설치 스크립트를 사용할 수도 있는데, 이 경우 최신 버전의 Helm이 다운로드되어 설치된다는 이점이 있습니다. + +```Shell +curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 + +chmod 700 get_helm.sh + +./get_helm.sh +``` + +마지막으로, 애플리케이션 관리자를 위한 패키지 관리자, 맥용 homebrew, 윈도우용 chocolatey, Ubuntu/Debian용 apt, snap 및 pkg도 사용할 수 있습니다. + +지금까지는 Helm이 클러스터에 다양한 테스트 애플리케이션을 다운로드하고 설치하는 데 가장 적합한 방법인 것 같습니다. + +여기에 링크할 수 있는 좋은 리소스로는 Kubernetes 패키지를 찾고, 설치하고, 게시할 수 있는 리소스인 [ArtifactHUB](https://artifacthub.io/)를 들 수 있습니다. 또한 Helm 차트를 표시하는 UI인 [KubeApps](https://kubeapps.com/)에 대해서도 언급하겠습니다. + +### Kubernetes에서 다룰 내용 + +아래에 언급된 내용 중 일부를 다루기 시작했지만, 내일 두 번째 클러스터 배포를 통해 더 많은 실습을 한 후 클러스터에 애플리케이션 배포를 시작할 수 있습니다. + +- Kubernetes 아키텍처 +- Kubectl 커맨드 +- Kubernetes YAML +- Kubernetes Ingress +- Kubernetes Services +- Helm 패키지 관리자 +- 영속성 스토리지 +- stateful 앱 + +## 자료 + +사용하신 무료 리소스가 있으시면 리포지토리에 PR을 통해 여기에 추가해 주시면 기꺼이 포함시켜 드리겠습니다. + +- [Kubernetes Documentation](https://kubernetes.io/docs/home/) +- [TechWorld with Nana - Kubernetes Tutorial for Beginners [FULL COURSE in 4 Hours]](https://www.youtube.com/watch?v=X48VuDVv0do) +- [TechWorld with Nana - Kubernetes Crash Course for Absolute Beginners](https://www.youtube.com/watch?v=s_o8dwzRlu4) +- [Kunal Kushwaha - Kubernetes Tutorial for Beginners | What is Kubernetes? Architecture Simplified!](https://www.youtube.com/watch?v=KVBON1lA9N8) + +[Day 55](day55.md)에서 봐요! diff --git a/2022/ko/Days/day55.md b/2022/ko/Days/day55.md new file mode 100644 index 0000000..eed42f2 --- /dev/null +++ b/2022/ko/Days/day55.md @@ -0,0 +1,239 @@ +--- +title: '#90DaysOfDevOps - State and Ingress in Kubernetes - Day 55' +published: false +description: 90DaysOfDevOps - State and Ingress in Kubernetes +tags: 'DevOps, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048779 +--- + +## Kubernetes의 State와 Ingress + +이번 Kubernetes 마지막 섹션에서는 State와 Ingress에 대해 살펴보겠습니다. + +지금까지 설명한 모든 것은 상태 비저장에 관한 것이며, 상태 비저장은 실제로 애플리케이션이 어떤 네트워크를 사용하든 상관하지 않고 영구적인 저장소가 필요하지 않은 경우입니다. 예를 들어 Stateful 애플리케이션과 데이터베이스가 제대로 작동하려면, 호스트 이름, IP 등 변경되지 않는 고유 ID를 통해 pod가 서로 연결될 수 있도록 해야 합니다. Stateful 애플리케이션의 예로는 MySQL 클러스터, Redis, Kafka, MongoDB 등이 있습니다. 기본적으로 데이터를 저장하는 모든 애플리케이션을 통해 가능합니다. + +### Stateful 애플리케이션 + +StatefulSet은 Kubernetes가 스케줄링 위치에 관계없이 유지 관리하는 고유하고 영구적인 ID와 안정적인 호스트 이름을 가진 pod의 집합을 나타냅니다. 특정 StatefulSet pod의 상태 정보 및 기타 복원력 있는 데이터는 StatefulSet과 연결된 영속성 디스크 스토리지에 유지됩니다. + +### Deployment vs StatefulSet + +- Stateful 애플리케이션을 복제하는 것은 더 어렵다. +- 배포(Stateless 애플리케이션)에서 pod를 복제하는 것은 동일하며 상호 교환이 가능하다. +- 임의의 해시를 사용하여 임의의 순서로 pod를 생성한다. +- 모든 pod에 로드 밸런싱하는 하나의 서비스이다. + +StatefulSet 또는 Stateful 애플리케이션의 경우 위의 내용이 더 어렵습니다. + +- 동시에 생성하거나 삭제할 수 없다. +- 임의로 주소를 지정할 수 없다. +- 레플리카 pod는 동일하지 않다. + +곧 데모에서 보게 될 것은 각 pod가 고유한 식별자를 가지고 있다는 것입니다. 상태 비저장 애플리케이션을 사용하면 임의의 이름을 볼 수 있습니다. 예를 들어 `app-7469bbb6d7-9mhxd`인 반면, 상태 저장 애플리케이션은 `mongo-0`에 더 가깝고 확장 시 `mongo-1`이라는 새 pod를 생성합니다. + +이러한 pod는 동일한 사양으로 생성되지만 상호 교환할 수는 없습니다. 각 StatefulSet pod는 모든 스케줄링에 걸쳐 영구 식별자를 가지고 있습니다. 이는 데이터베이스에 쓰고 읽어야 하는 데이터베이스와 같은 Stateful 워크로드가 필요할 때, 데이터 불일치를 초래할 수 있기 때문에 두 개의 pod가 인식 없이 동시에 쓰게 할 수 없기 때문에 필요합니다. 주어진 시간에 데이터베이스에 하나의 pod만 쓰도록 해야 하지만 여러 개의 pod가 해당 데이터를 읽을 수 있습니다. + +StatefulSet의 각 pod는 영구 볼륨과 데이터베이스의 복제본에 액세스하여 읽을 수 있으며, 이는 마스터로부터 지속적으로 업데이트됩니다. 또한 각 pod는 이 영속성 볼륨에 pod 상태도 저장하는데, 만약 `mongo-0`이 죽으면 새 pod가 프로비저닝될 때 스토리지에 저장된 pod 상태를 이어받게 된다는 점도 흥미롭습니다. + +TLDR; StatefulSet vs Deployment + +- 예측 가능한 pod 이름 = `mongo-0` +- 고정된 개별 DNS 이름 +- pod 아이덴티티 - 상태 유지, 역할 유지 +- Stateful 앱 복제는 복잡함 + - 해야 할 일이 많음: + - 복제 및 데이터 동기화를 구성 + - 원격 공유 스토리지를 사용할 수 있도록 설정 + - 관리 및 백업 + +### 영속성 볼륨 | Claims | StorageClass + +Kubernetes에서 데이터를 어떻게 지속하나요? + +위에서 상태 저장 애플리케이션이 있을 때 상태를 어딘가에 저장해야 한다고 언급했는데, 바로 이 부분에서 볼륨의 필요성이 대두되는데, Kubernetes는 기본적으로 지속성을 제공하지 않습니다. + +pod 라이프사이클에 의존하지 않는 스토리지 계층이 필요합니다. 이 스토리지는 모든 Kubernetes 노드에서 사용할 수 있고 액세스할 수 있어야 합니다. 또한 이 스토리지는 Kubernetes 클러스터가 충돌하더라도 생존할 수 있도록 Kubernetes 클러스터 외부에 있어야 합니다. + +### 영속성 볼륨 + +- 데이터를 저장하기 위한 클러스터 리소스(예: CPU 및 RAM) +- YAML 파일을 통해 생성 +- 실제 물리적 스토리지(NAS)가 필요 +- Kubernetes 클러스터에 대한 외부 통합 +- 스토리지에 다양한 유형의 스토리지를 사용 +- PV는 네임스페이스가 없음 +- 로컬 스토리지를 사용할 수 있지만 클러스터의 한 노드에 한정 +- 데이터베이스 지속성은 원격 스토리지(NAS)를 사용 + +### 영구 볼륨 Claims + +위의 영구 볼륨만 있어도 사용할 수 있지만 애플리케이션에서 Claims하지 않으면 사용되지 않습니다. + +- YAML 파일을 통해 생성 +- 영속성 볼륨 Claims은 pod 구성(볼륨 어트리뷰트)에서 사용 +- PVC는 pod와 동일한 네임스페이스에 존재 +- 볼륨이 pod에 마운트됨 +- pod는 여러 가지 볼륨 유형(ConfigMaps, Secrets, PVC)을 사용 + +PV와 PVC를 생각하는 또 다른 방법은 다음과 같다. + +PV는 Kubernetes 어드민에 의해 생성된다. +PVC는 사용자 또는 애플리케이션 개발자가 생성한다. + +또한 자세히 설명하지는 않겠지만 언급할 가치가 있는 두 가지 다른 유형의 볼륨이 있다: + +### ConfigMaps | Secrets + +- pod의 구성 파일 +- pod의 인증서 파일 + +### StorageClass + +- YAML 파일을 통해 생성 +- PVC가 영속성 볼륨을 Claims할 때 동적으로 프로비저닝 +- 각 스토리지 백엔드에는 프로비저너가 있음 +- 스토리지 백엔드는 (프로비저너 속성을 통해) YAML에 정의됨 +- 기본 스토리지 공급자 추상화 +- 해당 스토리지에 대한 파라미터 정의 + +### 연습 시간 + +어제 세션에서는 상태 비저장 애플리케이션을 생성하는 방법을 살펴봤는데, 여기서는 동일한 작업을 수행하되 Minikube 클러스터를 사용하여 상태 저장 워크로드를 배포하고자 합니다. + +지속성을 사용하는 기능과 애드온을 갖기 위해 사용하는 Minikube 명령에 대한 요약은 `minikube start --addons volumesnapshots,csi-hostpath-driver --apiserver-port=6443 --container-runtime=containerd -p mc-demo --kubernetes-version=1.21.2`입니다. + +이 명령은 나중에 보여드리는 스토리지 클래스를 제공하는 CSI-hostpath-driver를 사용합니다. + +애플리케이션의 빌드 아웃은 아래와 같습니다: + +![](/2022/Days/Images/Day55_Kubernetes1.png) + +이 애플리케이션의 YAML 구성 파일은 여기에서 찾을 수 있습니다. [pacman-stateful-demo.yaml](/2022/Days/Kubernetes) + +### StorageClass 구성 + +애플리케이션 배포를 시작하기 전에 실행해야 하는 한 단계가 더 있는데, 그것은 StorageClass(CSI-hostpath-sc)가 기본 StorageClass인지 확인하는 것입니다. 먼저 `kubectl get storageclass` 명령을 실행하여 확인할 수 있지만, 기본적으로 Minikube 클러스터는 표준 스토리지 클래스를 기본값으로 표시하므로 다음 명령으로 변경해야 합니다. + +이 첫 번째 명령은 CSI-hostpath-sc 스토리지 클래스를 기본값으로 설정합니다. + +`kubectl patch storageclass csi-hostpath-sc -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'` + +이 명령은 표준 StorageClass에서 기본 어노테이션을 제거합니다. + +`kubectl patch storageclass standard -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'` + +![](/2022/Days/Images/Day55_Kubernetes2.png) + +클러스터에 Pacman 네임스페이스가 없는 상태에서 시작합니다. `kubectl get namespace` + +![](/2022/Days/Images/Day55_Kubernetes3.png) + +그런 다음 YAML 파일을 배포합니다. `kubectl create -f pacman-stateful-demo.yaml` 이 명령에서 우리는 Kubernetes 클러스터 내에 여러 개의 오브젝트를 생성하고 있음을 볼 수 있습니다. + +![](/2022/Days/Images/Day55_Kubernetes4.png) + +이제 새로 생성된 네임스페이스가 생겼습니다. + +![](/2022/Days/Images/Day55_Kubernetes5.png) + +다음 이미지와 `kubectl get all -n pacman` 명령에서 네임스페이스 내부에서 여러 가지 일이 일어나고 있음을 확인할 수 있습니다. 우리는 NodeJS 웹 프론트엔드를 실행하는 pod를 가지고 있고, 백엔드 데이터베이스를 실행하는 mongo를 가지고 있습니다. Pacman과 mongo 모두 해당 pod에 액세스하기 위한 서비스가 있습니다. Pacman을 위한 배포와 mongo를 위한 StatefulSet이 있습니다. + +![](/2022/Days/Images/Day55_Kubernetes6.png) + +또한 영속성 볼륨과 영속성 볼륨 Claims도 가지고 있는데, `kubectl get pv`를 실행하면 네임스페이스가 없는 영속성 볼륨을 얻을 수 있고, `kubectl get pvc -n pacman`을 실행하면 네임스페이스가 있는 영속성 볼륨 Claims을 얻을 수 있습니다. + +![](/2022/Days/Images/Day55_Kubernetes7.png) + +### 게임 플레이하기 | 미션 크리티컬 애플리케이션에 액세스하기 + +앞서 언급한 바와 같이 상태 비저장 애플리케이션에서 Minikube를 사용하고 있기 때문에 애플리케이션에 액세스하는 데 있어 몇 가지 장애물이 있지만, 클러스터 내에서 Ingress 또는 로드 밸런서에 액세스하여 외부에서 액세스하기 위해 자동으로 IP를 받도록 설정되어 있습니다. (위의 Pacman 네임스페이스의 모든 구성 요소 이미지에서 이를 확인할 수 있습니다). + +이 데모에서는 포트 포워드 방법을 사용하여 애플리케이션에 액세스하겠습니다. 새 터미널을 열고 다음 `kubectl port-forward svc/pacman 9090:80 -n pacman` 명령을 실행하고 브라우저를 열면 이제 애플리케이션에 액세스할 수 있다. AWS 또는 특정 위치에서 실행하는 경우, 위의 스크린샷에서 이 pod 이름을 다시 한번 확인하면 클라우드와 영역은 물론 Kubernetes 내의 pod와 동일한 호스트에 대해서도 보고됩니다. + +![](/2022/Days/Images/Day55_Kubernetes8.png) + +이제 데이터베이스에 저장할 높은 점수를 생성할 수 있습니다. + +![](/2022/Days/Images/Day55_Kubernetes9.png) + +좋아요, 이제 높은 점수를 얻었지만 `mongo-0` pod를 삭제하면 어떻게 되나요? `kubectl delete pod mongo-0 -n pacman`을 실행하면 삭제할 수 있으며, 아직 앱에 있는 경우 적어도 몇 초 동안은 높은 점수를 사용할 수 없는 것을 볼 수 있을 것입니다. + +![](/2022/Days/Images/Day55_Kubernetes10.png) + +이제 게임으로 돌아가서 새 게임을 만들면 제 높은 점수를 확인할 수 있습니다. 하지만 제 말을 진정으로 믿을 수 있는 유일한 방법은 직접 시도해보고 소셜 미디어에 최고 점수를 공유하는 것입니다! + +![](/2022/Days/Images/Day55_Kubernetes11.png) + +배포를 통해 이전 세션에서 다룬 커맨드를 사용하여 확장할 수 있지만, 특히 대규모 Pacman 파티를 주최하려는 경우 `kubectl scale deployment pacman --replicas=10 -n pacman`을 사용하여 확장할 수 있습니다. + +![](/2022/Days/Images/Day55_Kubernetes12.png) + +### Ingress 설명 + +Kubernetes에 대해 마무리하기 전에 Kubernetes의 중요한 측면인 Ingress에 대해서도 다루고 싶었습니다. + +### Ingress란 무엇인가요? + +지금까지 예제에서는 포트 포워드를 사용하거나 Minikube 내에서 특정 명령을 사용하여 애플리케이션에 액세스했지만, 프로덕션 환경에서는 이 방법이 작동하지 않습니다. 여러 사용자가 대규모로 애플리케이션에 액세스할 수 있는 더 나은 방법이 필요할 것입니다. + +또한 NodePort가 옵션이라고 말씀드렸지만, 이 역시 테스트 목적으로만 사용해야 합니다. + +Ingress는 애플리케이션을 노출하는 더 나은 방법을 제공하며, 이를 통해 Kubernetes 클러스터 내에서 라우팅 규칙을 정의할 수 있습니다. + +Ingress의 경우, 애플리케이션의 내부 서비스에 대한 포워드 요청을 생성합니다. + +### 언제 Ingress가 필요한가요? + +클라우드 제공자를 사용하는 경우, 관리형 Kubernetes 제품에는 클러스터에 대한 Ingress 옵션이 있거나 로드 밸런서 옵션이 제공될 가능성이 높습니다. 이를 직접 구현할 필요가 없다는 것이 관리형 Kubernetes의 장점 중 하나입니다. + +클러스터를 실행하는 경우 엔트리포인트를 구성해야 한다. + +### Minikube에서 Ingress 구성하기 + +제가 실행 중인 mc-demo라는 특정 클러스터에서 다음 명령을 실행하여 클러스터에서 Ingress를 활성화할 수 있습니다. + +`minikube --profile='mc-demo' addons enable ingress` + +![](/2022/Days/Images/Day55_Kubernetes13.png) + +이제 네임스페이스를 확인하면 새로운 ingress-nginx 네임스페이스가 있는 것을 볼 수 있습니다. `kubectl get ns` + +![](/2022/Days/Images/Day55_Kubernetes14.png) + +이제 Pacman 서비스를 실행하기 위해 Ingress YAML 구성을 생성해야 합니다. 이 파일을 리포지토리 [pacman-ingress.yaml](/2022/Days/Kubernetes)에 추가했습니다. + +그런 다음 `kubectl create -f pacman-ingress.yaml`을 사용하여 Ingress 네임스페이스에 이 파일을 생성할 수 있습니다. + +![](/2022/Days/Images/Day55_Kubernetes15.png) + +그런 다음 `kubectl get ingress -n pacman`을 실행하면 다음과 같이 출력됩니다. + +![](/2022/Days/Images/Day55_Kubernetes16.png) + +그러면 윈도우에서 WSL2에서 실행되는 Minikube를 사용하고 있기 때문에 `minikube tunnel --profile=mc-demo`를 사용하여 Minikube 터널을 생성해야 한다는 메시지가 표시됩니다. + +하지만 여전히 192.168.49.2에 액세스하여 Pacman 게임을 플레이할 수 없습니다. + +누구든지 Windows 및 WSL에서 이 기능을 사용할 수 있거나 사용할 수 있다면 피드백을 보내 주시면 감사하겠습니다. 리포지토리에 이 문제를 제기하고 시간과 수정 사항이 생기면 다시 돌아오겠습니다. + +업데이트: 이 블로그가 WSL에서 작동하지 않는 원인을 파악하는 데 도움이 될 것 같습니다 [Docker 런타임을 사용하여 WSL2에서 Minikube를 실행하도록 Ingress 구성하기](https://hellokube.dev/posts/configure-minikube-ingress-on-wsl2/). + +## 자료 + +사용하신 무료 리소스가 있으시면 리포지토리에 PR을 통해 여기에 추가해 주시면 기꺼이 포함시켜 드리겠습니다. + +- [Kubernetes StatefulSet simply explained](https://www.youtube.com/watch?v=pPQKAR1pA9U) +- [Kubernetes Volumes explained](https://www.youtube.com/watch?v=0swOh5C3OVM) +- [Kubernetes Ingress Tutorial for Beginners](https://www.youtube.com/watch?v=80Ew_fsV4rM) +- [Kubernetes Documentation](https://kubernetes.io/docs/home/) +- [TechWorld with Nana - Kubernetes Tutorial for Beginners [FULL COURSE in 4 Hours]](https://www.youtube.com/watch?v=X48VuDVv0do) +- [TechWorld with Nana - Kubernetes Crash Course for Absolute Beginners](https://www.youtube.com/watch?v=s_o8dwzRlu4) +- [Kunal Kushwaha - Kubernetes Tutorial for Beginners | What is Kubernetes? Architecture Simplified!](https://www.youtube.com/watch?v=KVBON1lA9N8) + +이것으로 Kubernetes 섹션을 마무리합니다. Kubernetes에 대해 다룰 수 있는 추가 콘텐츠는 매우 많으며 7일 동안 기초적인 지식을 얻을 수 있지만, 사람들은 [100DaysOfKubernetes](https://100daysofkubernetes.io/overview.html)를 통해 심도 있게 살펴볼 수 있습니다. + +다음 시간에는 IaC(Infrastructure as Code)와 이것이 데브옵스 관점에서 수행하는 중요한 역할에 대해 살펴보겠습니다. + +[Day 56](day56.md)에서 봐요! diff --git a/2022/vi/Days/day14.md b/2022/vi/Days/day14.md index e1e3eef..c3895e6 100644 --- a/2022/vi/Days/day14.md +++ b/2022/vi/Days/day14.md @@ -44,7 +44,7 @@ Cả hai đều khá dễ đề cài đặt và đều có những cộng đồn VAGRANTFILE mô tả loại máy chúng ta muốn triển khai. Nó cũng định nghĩa cấu hình và khởi tạo máy này. -Khi nói đến việc lưu các tệp này và sắp xếp các VAGRANTFILE của bạn, tôi có xu hướng đặt chúng vào các thư mục của chúng trong không gian làm việc của mình. Bạn có thể thấy bên dưới giao diện này trên hệ thống của tôi. Hy vọng rằng sau đây, bạn sẽ chơi với Vagrant và thấy sự dễ dàng thay đổi hệ thống, nó cũng tuyệt vời cho lỗ thỏ được gọi là nhảy distro cho Máy tính để bàn Linux. +Khi nói đến việc lưu các tệp này và sắp xếp các VAGRANTFILE của bạn, tôi có xu hướng đặt chúng vào các thư mục của chúng trong không gian làm việc của mình. Bạn có thể thấy bên dưới giao diện này trên hệ thống của tôi. Hy vọng rằng bạn cũng sẽ thử sử dụng Vagrant và thấy sự dễ dàng khi muốn thay đổi hệ thống, rồi cuối cùng bạn sẽ nghiện vọc vạch các bản distro khác nhau của Linux cho Máy tính để bàn Linux. ![](../../Days/Images/Day14_Linux1.png) @@ -61,9 +61,9 @@ Vagrant.configure("2") do |config| end ``` -Đây là một VAGRANTFILE đơn giản. Chúng ta muốn nói rằng chúng ta muốn có một box cụ thể, một box có thể là hình ảnh công khai hoặc bản dựng riêng của hệ thống mà bạn đang tìm kiếm. Bạn có thể tìm thấy một danh sách dài các box công khai có sẵn tại đây trong [danh mục công khai của hộp Vagrant](https://app.vagrantup.com/boxes/search) +Đây là một VAGRANTFILE đơn giản. Chúng ta muốn nói rằng chúng ta muốn có một box cụ thể, một box có thể là hình ảnh công khai hoặc bản dựng riêng của hệ thống mà bạn đang tìm kiếm. Bạn có thể tìm thấy một danh sách dài các box công khai có sẵn tại đây trong [danh mục công khai của Vagrant box](https://app.vagrantup.com/boxes/search) -Dòng tiếp theo, chúng ta nói rằng chúng ta muốn sử dụng một nhà cung cấp cụ thể và trong trường hợp này là `VirtualBox`. Chúng ta cũng muốn bộ nhớ của máy là `8GB` và số lượng CPU là `4`. Theo kinh nghiệm của tôi, bạn có thể sẽ phải thêm dòng sau nếu bạn gặp sự cố hiển thị. Nó sẽ đặt bộ nhớ video thành những gì bạn muốn, tôi sẽ tăng bộ nhớ này lên đến `128MB` nhưng nó hoàn toàn phụ thuộc vào cấu hình hệ thống của bạn. +Dòng tiếp theo, chúng ta nói rằng chúng ta muốn sử dụng một nhà cung cấp cụ thể và trong trường hợp này là `VirtualBox`. Chúng ta cũng muốn bộ nhớ của máy là `8GB` và số lượng CPU là `4`. Theo kinh nghiệm của tôi, bạn có thể sẽ phải thêm dòng sau nếu bạn gặp sự cố hiển thị. Tôi sẽ tăng bộ nhớ này lên đến `128MB` nhưng nó hoàn toàn phụ thuộc vào cấu hình hệ thống của bạn. ```ruby v.customize ["modifyvm", :id, "--vram", ""] diff --git a/2022/vi/Days/day20.md b/2022/vi/Days/day20.md index 347eb17..2acd1ec 100644 --- a/2022/vi/Days/day20.md +++ b/2022/vi/Days/day20.md @@ -163,4 +163,4 @@ Tôi cũng nghĩ về việc sẽ dễ dàng hơn khi hướng dẫn nhiều bư Ngày mai, chúng ta bắt đầu 7 ngày tìm hiểu về Mạng máy tính, chúng ta sẽ tìm cách trang bị cho mình kiến ​​thức và hiểu biết cơ bản về Mạng liên quan tới DevOps. -Hẹn gặp lại vào [Ngày21](day21.md) +Hẹn gặp lại vào [ngày 21](day21.md) diff --git a/2022/vi/Days/day21.md b/2022/vi/Days/day21.md index 31252f5..d38e29d 100644 --- a/2022/vi/Days/day21.md +++ b/2022/vi/Days/day21.md @@ -106,9 +106,9 @@ Trong vài ngày tới, chúng ta sẽ tìm hiểu thêm về: - DHCP - Mạng con -## Tài nguyên +## Tài liệu tham khảo * [Các nguyên tắc cơ bản về mạng](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi) * [Toàn bộ khóa học Mạng máy tính](https://www.youtube.com/watch?v=IPvYjXCsTg8) -Hẹn gặp lại các bạn vào [Day22](day22.md) +Hẹn gặp lại bạn vào [Ngày 22](day22.md) diff --git a/2022/vi/Days/day22.md b/2022/vi/Days/day22.md new file mode 100644 index 0000000..252e3c1 --- /dev/null +++ b/2022/vi/Days/day22.md @@ -0,0 +1,108 @@ +--- +title: '#90DaysOfDevOps - Mô hình 7 Lớp OSI - Ngày 22' +published: false +description: 90DaysOfDevOps - Mô hình 7 Lớp OSI +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049037 +--- + +Nội dung của phần này chủ yếu từ sê-ri [Networking Fundamentals series](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi). Nếu bạn thích học bằng video, hãy tham khảo 2 video sau: + +* [The OSI Model: A Practical Perspective - Layers 1 / 2 / 3](https://www.youtube.com/watch?v=LkolbURrtTs&list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi&index=3) +* [The OSI Model: A Practical Perspective - Layers 4 / 5+](https://www.youtube.com/watch?v=0aGqGKrRE0g&list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi&index=4) + +## Mô hình 7 lớp (tầng) OSI + +Mục đích cơ bản của mạng máy tính là cho phép hai máy tính chia sẻ dữ liệu. Trước khi có mạng máy tính, nếu ta muốn chuyển dữ liệu từ một máy tính này đến một máy tính khác, ta cần phải gắn một thiết bị lưu trữ vào một máy tính, sao chép dữ liệu và đưa nó sang máy tính khác. + +Mạng máy tính cho phép làm việc này một cách tự động bằng cách cho phép máy tính chia sẻ dữ liệu qua dây mạng (hoặc kết nối không dây). Để cho các máy tính có thể thực hiện việc đó, chúng cần phải tuân thủ một bộ quy tắc. + +Nguyên tắc này cũng tương tự như trong giao tiếp bằng ngôn ngữ. Tiếng Anh có một bộ quy tắc mà hai người nói tiếng Anh phải tuân theo. Tiếng Tây Ban Nha hay tiếng Pháp cũng có bộ quy tắc riêng, và mạng máy tính cũng có bộ quy tắc riêng của nó. + +Các quy tắc để giao tiếp trong mạng máy tính được chia thành bảy lớp khác nhau và được gọi là mô hình OSI. + +### Giới thiệu về mô hình OSI + +Mô hình OSI (Mô hình kết nối hệ thống mở) là một khuôn khổ được sử dụng để mô tả các chức năng của một hệ thống mạng. Mô hình OSI mô tả các chức năng tính toán và tạo thành một tập hợp các quy tắc và yêu cầu chung để hỗ trợ khả năng giao tiếp giữa các thiết bị và phần mềm khác nhau. Trong mô hình tham chiếu OSI, giao tiếp giữa một hệ thống máy tính được chia thành bảy lớp trừu tượng khác nhau: **Lớp vật lý (Physical), Lớp liên kết dữ liệu (Data Link), Lớp mạng (Network), Lớp giao vận (Transport), Lớp phiên (Session), Lớp trình diễn (Presentation), và Lớp ứng dụng (Application)**. + +![](../../Days/Images/Day22_Networking1.png) + +### Lớp vật lý (Physical) + +Đây là lớp thứ 1 trong mô hình OSI, quy định cách mà chúng ta có thể chuyển dữ liệu từ một máy tính này thông qua máy tính khác về mặt vật lý (ví dụ dây mạng hoặc sóng Wi-Fi). Chúng ta cũng có thể bắt gặp một số thiết bị phần cứng cũ hoạt động ở lớp này như hub hoặc repeater (bộ lặp). + +![](../../Days/Images/Day22_Networking2.png) + +### Lớp liên kết dữ liệu (Data Link) + +Lớp thứ 2 là lớp liên kết dữ liệu, nó cho phép đóng gói dữ liệu dưới dạng các frame để truyền từ thiết bị này sang thiết bị khác. Lớp này có thể cung cấp tính năng cho phép sửa lỗi xảy ra ở lớp vật lý. Địa chỉ MAC (Media Access Control) cũng được giới thiệu ở lớp này. + +Các thiết bị chuyển mạch (switch) mà chúng ta đã đề cập trong ngày 21 hoạt động ở lớp này [Ngày 21](day21.md) + +![](../../Days/Images/Day22_Networking3.png) + +### Lớp mạng (Network) + +Bạn có thể đã nghe đến thuật ngữ thiết bị chuyển mạch (switch) lớp 3 hoặc thiết bị chuyển mạch (switch) lớp 2. Trong mô hình OSI, Lớp mạng có nhiệm vụ phân phối dữ liệu từ điểm đầu đến điểm cuối. Đây là nơi chúng ta thấy các địa chỉ IP của các thiết bị như chúng ta đã đề cập trong [Ngày 21](day21.md). + +Bộ định tuyến (router) và máy tính (host) làm việc ở lớp mạng, hãy nhớ bộ định tuyến cung cấp chức năng định tuyến giữa nhiều mạng. Bất kỳ thứ gì có địa chỉ IP đều có thể được coi là thiết bị của lớp 3. + +![](../../Days/Images/Day22_Networking4.png) + +Tại sao chúng ta cần sử dụng địa chỉ ở cả lớp 2 và 3? (địa chỉ MAC và địa chỉ IP) + +Nếu chúng ta nghĩ về việc truyền dữ liệu từ máy tính này sang một máy tính khác, mỗi máy tính có một địa chỉ IP riêng nhưng sẽ có một số thiết bị chuyển mạch (switch) và định tuyến (router) nằm giữa hai máy tính. Mỗi thiết bị đó đều có địa chỉ MAC lớp 2. + +Địa chỉ MAC lớp 2 chỉ được dùng để liên lạc giữa hai thiết bị kết nối trực tiếp với nhau trong quá trình chuyền dữ liệu, nó chỉ tập trung vào truyền tải đến trạm kế tiếp, trong khi địa chỉ IP lớp 3 sẽ ở lại với gói dữ liệu đó cho đến khi nó đến máy tính cuối của nó. (Điểm đầu đến điểm cuối) + +Địa chỉ IP - Lớp 3 = Vận chuyển từ điểm đầu đến điểm cuối + +Địa chỉ MAC - Lớp 2 = Vận chuyển đến trạm kế tiếp + +Có một giao thức mạng mà chúng ta sẽ tìm hiểu vào các ngày sau có tên là ARP (Address Resolution Protocol, Giao thức phân giải địa chỉ), nhằm giúp liên kết địa chỉ của lớp 2 và lớp 3 trong mạng. + +### Lớp giao vận (Transport) + +Lớp thứ 4 (lớp giao vận) được tạo ra để phân biệt các luồng dữ liệu, cho phép vận chuyển dữ liệu từ dịch vụ (ứng dụng) đến dịch vụ giữa các máy tính. Theo cách tương tự mà lớp 3 và lớp 2 đều có các cơ chế địa chỉ, trong lớp 4 chúng ta có các cổng (port). + +![](../../Days/Images/Day22_Networking5.png) + +### Lớp phiên, trình diễn, ứng dụng (Session, Presentation, Application) + +Sự tách biệt giữa các lớp 5,6,7 có thể hơi mơ hồ. + +Bạn nên xem [Mô hình TCP IP](https://www.geeksforgeeks.org/tcp-ip-model/) để hiểu rõ hơn. + +Bây giờ chúng ta hãy thử giải thích điều gì sẽ xảy ra khi các máy tính trong mạng giao tiếp với nhau bằng mô hình nhiều lớp này. Máy tính này có một ứng dụng sẽ tạo ra dữ liệu và gửi đến một máy tính khác. + +Máy tính nguồn sẽ trải qua quá trình được gọi là quá trình đóng gói dữ liệu (lớp 7 --> 5). Dữ liệu sau đó sẽ được gửi đến lớp 4. + +Lớp 4 sẽ thêm một header vào dữ liệu đó, điều này giúp cho việc truyền tải dữ liệu ở lớp 4 (từ ứng dụng đến ứng dụng). Một cổng sẽ được sử dụng để truyền dữ liệu dựa trên TCP hoặc UDP. Header sẽ bao gồm thông tin cổng nguồn và cổng đích. + +Thông tin về dữ liệu (data) và cổng (port) có thể được gọi là một segment. + +Segment này sẽ được chuyển xuống cho lớp 3 (lớp mạng). Lớp mạng sẽ thêm một header khác vào dữ liệu này. +Header này sẽ chứa thông tin giúp lớp 3 vận chuyển dữ liệu từ điểm đầu đến điểm cuối. Trong tiêu đề này, bạn sẽ có địa chỉ IP nguồn và IP đích, header ở lới 3 cộng với dữ liệu lớp trên cũng có thể được gọi là một packet (gói tin). + +Lớp 3 sau đó sẽ lấy gói tin đó và giao nó cho lớp 2, lớp 2 một lần nữa sẽ thêm một header khác vào dữ liệu đó để thực hiện chuyển tiếp dữ liệu đến trạm kế tiếp trong mạng. Header ở lớp 2 sẽ bao gồm địa chỉ MAC nguồn và đích. Header và dữ liệu lớp 2 được gọi là một frame. + +Frame sau đó sẽ được chuyển đổi thành những tín hiệu 0 và 1 được gửi qua cáp vật lý hoặc sóng không dây thuộc lớp 1 . + +![](../../Days/Images/Day22_Networking6.png) + +Tôi đã đề cập ở trên về việc đặt tên cho dữ liệu + header ở mỗi lớp và bạn có thể tham khảo qua hình ảnh tóm lượt bên dưới. + +![](../../Days/Images/Day22_Networking7.png) + +Quá trình gửi và nhận dữ liệu của ứng dụng ở hai máy tính nguồn và đích. + +![](../../Days/Images/Day22_Networking8.png) + +## Tài liệu tham khảo + +* [Networking Fundamentals](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) + +Hẹn gặp lại các bạn vào [Ngày 23](day23.md) diff --git a/2022/vi/Days/day23.md b/2022/vi/Days/day23.md new file mode 100644 index 0000000..116ccd0 --- /dev/null +++ b/2022/vi/Days/day23.md @@ -0,0 +1,118 @@ +--- +title: '#90DaysOfDevOps - Giao thức mạng - Ngày 23' +published: false +description: 90DaysOfDevOps - Giao thức mạng +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048704 +--- + +Nội dung của phần này chủ yếu từ sê-ri [Networking Fundamentals series](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi). Nếu bạn thích học thông qua video, bạn có thể xem video sau: + +* [Network Protocols - ARP, FTP, SMTP, HTTP, SSL, TLS, HTTPS, DNS, DHCP](https://www.youtube.com/watch?v=E5bSumTAHZE&list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi&index=12) + +## Các giao thức mạng + +Các giao thức mạng là một tập hợp các quy tắc giao tiếp tạo thành một tiêu chuẩn, tiêu chuẩn Internet. + +- ARP (Address Resolution Protocol) - Giao thức phân giải địa chỉ + +Nếu bạn muốn tìm hiểu sâu hơn về ARP, bạn có thể đọc về tiêu chuẩn Internet tại đây. [RFC 826](https://datatracker.ietf.org/doc/html/rfc826) + +Một địa chỉ IP sẽ được gắn với một địa chỉ vật lý cố định, còn được gọi là địa chỉ MAC trên mạng lớp 2. + +![](../../Days/Images/Day23_Networking1.png) + +- FTP (File Transfer Protocol) - Giao thức truyền tải file + +Cho phép truyền tải các tập tin từ một máy nguồn đến máy đích. Về cơ bản, quá trình này được xác thực nhưng vân có thể cấu hình để cho phép quyền truy cập ẩn danh. Bạn sẽ thấy FTPS được sử dùng thường xuyên hơn vì nó cung cấp kết nối SSL/TLS tới các máy tính FTP từ máy khách để đảm bảo bảo mật tốt hơn. Giao thức này hoạt động ở lớp Ứng dụng của Mô hình OSI. + +![](../../Days/Images/Day23_Networking2.png) + +- SMTP (Simple Mail Transfer Protocol) - Giao thức chuyển thư đơn giản + +Được sử dụng để truyền email, máy tính sử dụng SMTP để gửi và nhận thư. Bạn vẫn sẽ thấy ngay cả SMTP vẫn đang được sử dụng với Microsoft 365. + +![](../../Days/Images/Day23_Networking3.png) + +- HTTP (Hyper Text Transfer Protocol) - Giao thức truyền tải siêu văn bản + +HTTP là giao thức nền tảng cho việc truy cập nội dung trên Internet. Nó cung cấp cho chúng ta khả năng để dễ dàng truy cập các trang web. HTTP vẫn được sử dụng nhiều nhưng HTTPS hiện được sử dụng nhiều hơn để tăng cường khả năng bảo mật. + +![](../../Days/Images/Day23_Networking4.png) + +- SSL (Secure Sockets Layer) - Lớp cổng bảo mật | TLS (Transport Layer Security) - Bảo mật tầng vận chuyển + +TLS đã tiếp quản từ SSL, TLS là **Giao thức mật mã** cung cấp thông tin liên lạc an toàn qua mạng. Nó được sử dụng trong các ứng dụng email, tin nhắn, v.v., nhưng phổ biến nhất là để bảo mật cho HTTPS. + +![](../../Days/Images/Day23_Networking5.png) + +- HTTPS - HTTP được bảo mật bằng SSL/TLS + +Phiên bản mở rộng của HTTP, được sử dụng để cung cấp liên lạc an toàn qua mạng, HTTPS được mã hóa bằng TLS như đã đề cập ở trên. Trọng tâm ở đây là mang lại tính xác thực, quyền riêng tư và tính toàn vẹn trong khi dữ liệu được trao đổi giữa các máy tính. + +![](../../Days/Images/Day23_Networking6.png) + +- DNS (Domain Name System) - Hệ thống tên miền + +DNS được sử dụng để ánh xạ các tên miền theo cách thân thiện với con người, chẳng hạn như tất cả chúng ta đều biết [google.com](https://google.com) nhưng nếu bạn mở trình duyệt và nhập [8.8.8.8](https://8.8.8.8) bạn sẽ truy cập được Google như chúng ta vẫn làm. Tuy nhiên, bạn không thể nhớ tất cả các địa chỉ IP cho tất cả các trang web của bạn. + +Đây là nơi DNS xuất hiện, nó đảm bảo rằng các máy tính, dịch vụ và các tài nguyên khác có thể truy cập được. + +Trên tất cả các máy tính yêu cầu kết nối internet thì phải có DNS để phân giải được các tên miền. DNS là một lĩnh vực bạn có thể dành nhiều ngày và nhiều năm để tìm hiểu. Tôi cũng sẽ nói từ kinh nghiệm rằng DNS là nguyên nhân phổ biến của tất cả các lỗi khi nói đến Mạng. Tuy nhiên, không chắc liệu một kỹ sư mạng có đồng ý với quan điểm này hay không. + +![](../../Days/Images/Day23_Networking7.png) + +- DHCP (Dynamic Host Configuration Protocol) - Giao thức cấu hình máy tính tự động + +Chúng ta đã thảo luận rất nhiều về các giao thức cần thiết để làm cho các máy tính của chúng ta hoạt động, có thể là truy cập internet hoặc truyền tải file giữa các máy tính với nhau. + +Có 4 điều chúng ta cần trên mọi máy tính để nó có thể đạt được cả hai nhiệm vụ đó. + +- Địa chỉ IP +- Subnet Mask +- Gateway mặc định +- DNS + +Địa chỉ IP là địa chỉ duy nhất đại diện cho máy tính của chúng ta trên mạng mà nó tham gia, có thể coi đây là số nhà. + +Chúng ta có thể coi subnet mask như là mã bưu điện hoặc mã zip. + +Gateway mặc định là IP của bộ định tuyến đã cung cấp cho chúng ta kết nối đến Internet hoặc các mạng khác. Bạn có thể coi đây là con đường duy nhất cho phép chúng ta ra khỏi con phố của mình. + +Sau đó, chúng ta có DNS để chuyển đổi các địa chỉ IP công khai phức tạp thành các tên miền phù hợp và dễ nhớ hơn. Chúng ta có thể coi đây là văn phòng phân loại khổng lồ để đảm bảo chúng ta nhận được đúng gói hàng của mình. + +Như tôi đã nói, mỗi máy tính yêu cầu 4 cài đặt này, nếu bạn có 1000 hoặc 10.000 máy tính thì bạn sẽ mất rất nhiều thời gian để cấu hình tất cả. Chính vì vậy, DHCP xuất hiện và cho phép bạn xác định phạm vi cho mạng của mình và giao thức này sẽ cấp phát những thông tin trên cho tất cả các máy tính trong mạng của bạn. + +Một ví dụ khác là bạn đi vào một quán cà phê, lấy một ly cà phê và ngồi xuống với máy tính xách tay hoặc điện thoại của bạn. Bạn kết nối máy tính của mình với Wi-Fi của quán cà phê và có quyền truy cập vào internet, tin nhắn và thư bắt đầu được gửi tới và bạn có thể duyệt web hay truy cập mạng xã hội. Khi bạn kết nối với Wi-Fi của quán cà phê, máy tính của bạn sẽ nhận một địa chỉ DHCP từ máy chủ DHCP chuyên dụng hoặc rất có thể là bộ định tuyến (router) của quán cũng xử lý DHCP. + +![](../../Days/Images/Day23_Networking8.png) + +### Mạng con (Subnet) + +Mạng con là một phân khu về mặt logic của một mạng IP. + +Mạng con chia các mạng lớn thành các mạng nhỏ hơn, dễ quản lý hơn và hoạt động hiệu quả hơn. + +Mỗi mạng con là một phân khu về mặt logic của một mạng lớn hơn. Các thiết bị trong cùng một mạng con có cùng Subnet Mask, cho phép chúng có thể giao tiếp với nhau. + +Bộ định tuyến quản lý giao tiếp giữa các mạng con. + +Kích thước của mạng con phụ thuộc vào yêu cầu kết nối và công nghệ mạng được sử dụng. + +Một tổ chức quốc tế chịu trách nhiệm cho xác định số lượng và kích thước của các mạng con trong không gian địa chỉ IP giới hạn hiện có. Các mạng con cũng có thể được phân đoạn thành các mạng con nhỏ hơn cho những trường hợp như liên kết Điểm tới Điểm hoặc mạng con chỉ hỗ trợ một vài thiết bị. + +Bên cạnh một số lợi ích khác, việc phân chia một mạng lớn thành các mạng con cho phép tái sử dụng địa chỉ IP và giảm tắc nghẽn mạng, tăng hiệu quả sử dụng mạng. + +Mạng con cũng có thể cải thiện tính bảo mật. Nếu một phần của mạng bị xâm phạm, nó có thể được cô lập khiến những kẻ tấn công khó có thể truy cập được các hệ thống mạng lớn hơn. + +![](../../Days/Images/Day23_Networking9.png) + +## Tài liệu tham khảo + +- [Networking Fundamentals](https://www.youtube.com/playlist?list=PLIFyRwBY_4bRLmKfP1KnZA6rZbRHtxmXi) +- [Subnetting Mastery](https://www.youtube.com/playlist?list=PLIFyRwBY_4bQUE4IB5c4VPRyDoLgOdExE) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) + +Hẹn gặp lại các bạn vào [Ngày 24](day24.md) diff --git a/2022/vi/Days/day24.md b/2022/vi/Days/day24.md new file mode 100644 index 0000000..d615239 --- /dev/null +++ b/2022/vi/Days/day24.md @@ -0,0 +1,149 @@ +--- +title: '#90DaysOfDevOps - Tự Động Hóa Thiết Lập Mạng - Ngày 24' +published: false +description: 90DaysOfDevOps - Tự Động Hóa Thiết Lập Mạng +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048805 +--- + + +## Tự động hóa mạng + +### Khái niệm cơ bản về tự động hóa mạng + +Mục đích của việc Tự động hóa mạng + +- Đạt được sự linh hoạt +- Giảm chi phí +- Loại bỏ lỗi +- Tuân thủ các quy tắc, quy định (compliance) +- Quản lý tập trung + +Quá trình áp dụng tự động hóa là riêng biệt cho từng doanh nghiệp. Không có một giải pháp nào phù hợp với tất cả các yêu cầu khi triển khai tự động hóa, khả năng xác định và nắm bắt phương pháp phù hợp nhất với tổ chức của bạn là rất quan trọng trong việc tiến tới duy trì hoặc tạo ra một môi trường linh hoạt hơn, trọng tâm luôn phải là giá trị kinh doanh và mục tiêu cuối cùng - trải nghiệm người dùng. (Chúng ta đã nói những điều tương tự ngay từ đầu về văn hóa DevOps và sự thay đổi văn hóa cũng như quy trình tự động mà điều này mang lại) + +Để phân tích vấn đề này, bạn cần xác định bằng cách nào những nhiệm vụ hoặc quy trình mà bạn đang cố gắng tự động hóa sẽ giúp cải thiện trải nghiệm của người dùng cuối hoặc giá trị kinh doanh trong khi vẫn tuân theo phương pháp tiếp cận có hệ thống từng bước. + +"Nếu bạn không biết mình đang đi đâu, thì bất kỳ con đường nào cũng sẽ đưa bạn đến đích." + +Có một framework hoặc bản thiết kế mà bạn đang cố gắng để hoàn thành, biết rõ mục tiêu cuối cùng của mình là gì và sau đó làm việc từng bước để đạt được mục tiêu đó, đo lường mức độ thành công của việc tự động hóa ở các giai đoạn khác nhau dựa trên kết quả kinh doanh. + +Xây dựng các khái niệm đã được mô hình hóa xung quanh các ứng dụng hiện có, không cần phải thiết kế các khái niệm xung quanh một mô hình giả tưởng vì chúng cần được áp dụng cho ứng dụng, dịch vụ và cơ sở hạ tầng của bạn. Vì vậy hãy bắt đầu xây dựng các khái niệm và mô hình hóa xung quanh cơ sở hạ tầng và ứng dụng hiện có của bạn. + +### Cách tiếp cận việc Tự động hóa Mạng + +Chúng ta nên xác định các tác vụ và thực hiện khám phá các yêu cầu thay đổi trong thiết lập mạng để bạn có danh sách các vấn đề và sự cố phổ biến nhất mà cần một giải pháp tự động hóa. + +- Lập danh sách tất cả các yêu cầu thay đổi và quy trình công việc hiện đang được giải quyết theo cách thủ công. +- Xác định các hoạt động phổ biến, tốn thời gian và dễ mắc lỗi nhất. +- Ưu tiên các yêu cầu bằng dựa theo định hướng kinh doanh của doanh nghiệp. +- Nếu đây là bộ khung để xây dựng quy trình tự động hóa, thì cái gì phải tự động hóa, cái gì không. + +Sau đó, chúng ta nên phân chia các nhiệm vụ và phân tích cách các chức năng mạng khác nhau hoạt động và tương tác với nhau. + +- Nhóm Hạ tầng/Mạng nhận yêu cầu thay đổi ở nhiều lớp để triển khai ứng dụng. +- Dựa trên các dịch vụ mạng, hãy chia chúng thành các khu vực khác nhau và hiểu cách chúng tương tác với nhau. + - Tối ưu hóa ứng dụng + - ADC (Bộ điều khiển phân phối ứng dụng) + - Tường lửa (Firewall) + - DDI (DNS, DHCP, IPAM, v.v.) + - Định tuyến + - Các vấn đề khác +- Xác định các yếu tố phụ thuộc khác nhau để giải quyết các khác biệt về kinh doanh và văn hóa, đồng thời mang lại sự hợp tác giữa các nhóm. + +- Chính sách tái sử dụng, xác định và đơn giản hóa các tác vụ, quy trình và đầu vào/đầu ra của dịch vụ có thể tái sử dụng. + +- Định nghĩa các dịch vụ, quy trình và đầu vào/đầu ra khác nhau. +- Đơn giản hóa quy trình triển khai sẽ giảm thời gian hoàn thành cho cả khối lượng công việc mới và hiện có. +- Sau khi bạn có một quy trình tiêu chuẩn, quy trình đó có thể được sắp xếp theo trình tự và căn chỉnh theo các yêu cầu riêng lẻ để có cách tiếp cận và phân phối đa luồng. + +Kết hợp các chính sách với các hoạt động kinh doanh cụ thể. Việc thực hiện chính sách này giúp gì cho doanh nghiệp? Tiết kiệm thời gian? Tiết kiệm tiền? Cung cấp một kết quả kinh doanh tốt hơn? + +- Đảm bảo rằng các tác vụ dịch vụ có thể tương tác với nhau. +- Liên kết các nhiệm vụ dịch vụ gia tăng sao cho chúng phối hợp để tạo ra các dịch vụ kinh doanh. +- Cho phép việc linh hoạt trong liên kết lại các nhiệm vụ dịch vụ theo yêu cầu. +- Triển khai các dịch vụ tự làm việc và mở đường cho việc cải thiện hiệu quả hoạt động. +- Cho phép nhiều bộ kỹ năng công nghệ tiếp tục đóng góp vào việc giám sát và tuân thủ. + +**Lặp đi lặp lại** các chính sách và quy trình, bổ sung và cải thiện trong khi vẫn duy trì tính khả dụng của dịch vụ. + +- Bắt đầu bằng cách tự động hóa các nhiệm vụ hiện có. +- Làm quen với quy trình tự động hóa để bạn có thể xác định các lĩnh vực khác có thể hưởng lợi từ tự động hóa. +- Lặp đi lặp lại các sáng kiến tự động hóa của bạn, tăng dần sự linh hoạt trong khi vẫn duy trì tính khả dụng cần thiết. +- Thực hiện một cách tiếp cận tăng dần sẽ mở đường cho thành công! + +Điều phối các dịch vụ mạng! + +- Tự động hóa quy trình triển khai là cần thiết để phân phối ứng dụng nhanh chóng. +- Việc tạo ra một môi trường dịch vụ linh hoạt đòi hỏi phải quản lý các yếu tố khác nhau thông qua nhiều kỹ năng kỹ thuật. +- Chuẩn bị cho sự phối hợp từ đầu đến cuối cung cấp khả năng kiểm soát tự động hóa và thứ tự trong việc triển khai. + + +## Công cụ tự động hóa mạng + +Tin tốt ở đây là phần lớn các công cụ chúng ta sử dụng ở đây cho tự động hóa Mạng nói chung giống với những công cụ mà chúng ta sẽ sử dụng cho các lĩnh vực tự động hóa khác đối với những gì chúng ta đã đề cập cho đến nay hoặc những gì chúng ta sẽ đề cập trong các phần sau. + +Hệ điều hành - Như tôi đã vượt qua thử thách này, tôi đang thực hiện hầu hết bài học của mình với HĐH Linux, lý do đó đã được đưa ra trong phần Linux nhưng hầu như tất cả các công cụ mà chúng ta sẽ sử dụng mặc dù hôm nay có thể là các nền tảng đa hệ điều hành, tuy nhiên tất cả đều bắt đầu dưới dạng các ứng dụng hoặc công cụ dựa trên Linux. + +Môi trường phát triển tích hợp (IDE) - Một lần nữa, không có nhiều điều để nói ở đây ngoài việc tôi sẽ đề xuất Visual Studio Code làm IDE xuyên suốt của bạn, nó cung cấp các plugin mở rộng có sẵn cho rất nhiều ngôn ngữ khác nhau. + +Quản lý cấu hình - chúng ta chưa đến phần Quản lý cấu hình, nhưng rõ ràng là Ansible được yêu thích trong lĩnh vực này để quản lý và tự động hóa cấu hình. Ansible được viết bằng Python nhưng bạn không cần phải biết Python để sử dụng nó. + +- Agentless +- Chỉ yêu cầu SSH +- Cộng đồng hỗ trợ lớn +- Rất nhiều mô-đun mạng +- Mô hình Push only +- Cấu hình với YAML +- Mã nguồn mở! + +[Link to Ansible Network Modules](https://docs.ansible.com/ansible/2.9/modules/list_of_network_modules.html) + +Chúng ta cũng sẽ tìm hiểu **Ansible Tower** trong phần quản lý cấu hình, nó được xem như là giao diện người dùng (GUI) cho Ansible. + +CI/CD - Một lần nữa, chúng ta sẽ đề cập nhiều hơn về các khái niệm và công cụ xung quanh vấn đề này nhưng điều quan trọng là ít nhất phải đề cập ở đây vì khái niệm này không chỉ xuất hiện trong phần mạng mà còn bao gồm trong tất cả quá trình cung cấp dịch vụ và nền tảng. + +Đặc biệt, Jenkins dường như là một công cụ phổ biến cho Tự động hóa mạng. + +- Theo dõi kho lưu trữ git để biết các thay đổi và sau đó khởi tạo chúng. + +Kiểm soát phiên bản - Một lần nữa chúng ta sẽ tìm hiểu sâu hơn về công nghệ này ở phần sau. + +- Git cho phép kiểm soát các phiên bản code của bạn trên máy tính cục bộ - Hỗ trợ đa nền tảng +- GitHub, GitLab, BitBucket, v.v. là các trang web trực tuyến nơi bạn tạo ra các kho lưu trữ và tải code của mình lên. + +Ngôn ngữ Lập trình | Scripting - Thứ mà chúng ta chưa đề cập ở đây là Python với tư cách là một ngôn ngữ, tôi quyết định đi sâu vào Go dựa trên hoàn cảnh của tôi. Tôi cho rằng có một cuộc so sánh giữa Golang và Python và Python có vẻ như là người chiến thắng cho ngôn ngữ lập trình để tự động hóa mạng. + +- Nornir là thứ cần đề cập ở đây, một framework tự động hóa được viết bằng Python. Nó tương tự như Ansible nhưng cụ thể là xung quanh việc tự động hóa mạng. [Nornir documentation](https://nornir.readthedocs.io/en/latest/) + +Phân tích API - Postman là một công cụ tuyệt vời để phân tích API RESTful. Giúp xây dựng, kiểm tra và sửa đổi API. + +- POST >>> Để tạo các đối tượng tài nguyên. +- GET >>> Để truy xuất tài nguyên. +- PUT >>> Để tạo hoặc thay thế tài nguyên. +- PATCH >>> Để tạo hoặc cập nhật đối tượng tài nguyên. +- Delete >>> Để xóa tài nguyên + +[Postman tool Download](https://www.postman.com/downloads/) + +### Các công cụ khác cần đề cập + +[Cisco NSO (Network Services Orchestrator)](https://www.cisco.com/c/en/us/products/cloud-systems-management/network-services-orchestrator/index.html) + +[NetYCE - Simplify Network Automation](https://netyce.com/) + +[Network Test Automation](https://pubhub.devnetcloud.com/media/genie-feature-browser/docs/#/) + +Trong 3 ngày tới, tôi sẽ cung cấp nhiều hơn các bài thực hành với một số nội dung chúng ta đã đề cập và thực hiện một số công việc xung quanh Python và Tự động hóa mạng. + +Cho đến nay, chúng ta vẫn chưa đề cập đến tất cả các chủ đề của mạng máy tính nhưng tôi cũng muốn làm cho chủ đề này đủ rộng để theo dõi và các bạn có thể tiếp tục học hỏi từ các tài nguyên mà tôi bổ sung bên dưới. + +## Tài liệu tham khảo + +- [3 Necessary Skills for Network Automation](https://www.youtube.com/watch?v=KhiJ7Fu9kKA&list=WL&index=122&t=89s) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) +- [Practical Networking](http://www.practicalnetworking.net/) +- [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) + +Hẹn gặp lại các bạn vào [Ngày 25](day25.md) diff --git a/2022/vi/Days/day25.md b/2022/vi/Days/day25.md new file mode 100644 index 0000000..b147dd4 --- /dev/null +++ b/2022/vi/Days/day25.md @@ -0,0 +1,175 @@ +--- +title: '#90DaysOfDevOps - Lập trình Python trong tự động hóa mạng - Ngày 25' +published: false +description: 90DaysOfDevOps - Lập trình Python trong tự động hóa mạng +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049038 +--- + +## Lập trình Python trong tự động hóa mạng + +Python là ngôn ngữ lập trình tiêu chuẩn được sử dụng trong việc tự động hóa cấu hình mạng. + +Mặc dù Python không chỉ dành riêng cho việc tự động hóa mạng nhưng nó dường như được sử dụng ở khắp mọi nơi mỗi khi bạn tìm kiếm công cụ cho mình. Như đã đề cập trước đây nếu nó không phải là chương trình Python thì nó có thể là Ansible (vốn cũng được viết bằng Python). + +Tôi nghĩ rằng tôi đã đề cập đến điều này rồi, trong phần "Học ngôn ngữ lập trình", tôi đã chọn Golang thay vì Python vì những lý do xung quanh việc công ty của tôi đang phát triển Go nên đó là lý do chính đáng để tôi học Go, nhưng nếu không phải vì lí do đó thì Python sẽ là lựa chọn lúc đó. + +- Dễ đọc và dễ sử dụng: Đây là lí do Python là ngôn ngữ lập trình phổ biến. Python không yêu cầu sử dụng `{}` trong chương trình để bắt đầu và kết thúc các khối mã. Kết hợp điều này với một IDE mạnh như VS Code, bạn sẽ có một khởi đầu khá dễ dàng khi muốn chạy một số mã Python. + +Pycharm có thể là một IDE khác đáng được đề cập ở đây. + +- Thư viện: Khả năng mở rộng của Python là mỏ vàng thực sự ở đây, tôi đã đề cập trước đây rằng Python không chỉ dành cho tự động hóa mạng mà trên thực tế, có rất nhiều thư viện cho tất cả các loại thiết bị và cấu hình. Bạn có thể xem số lượng lớn tại đây [PyPi](https://pypi.python.org/pypi) + +Khi bạn muốn tải một thư viện xuống máy tính của mình, thì bạn sử dụng công cụ có tên `pip` để kết nối với PyPI và tải xuống máy của mình. Các nhà cung cấp mạng như Cisco, Juniper và Arista đã phát triển các thư viện để hỗ trợ việc truy cập vào thiết bị của họ. + +- Mạnh mẽ & hiệu quả: Bạn có nhớ trong những ngày học lập trình Go tôi đã viết chương trình "Hello World" với 6 dòng mã không? Trong Python nó là + +``` +print('hello world') +``` + +Tổng hợp tất cả các điểm trên lại với nhau bạn sẽ dễ dàng hiểu tại sao Python thường được nhắc đến như một ngôn ngữ tiêu chuẩn khi làm việc về tự động hóa. + +Tôi nghĩ có một điều quan trọng cần lưu ý là vài năm trước có thể đã có các chương trình để tương tác với các thiết bị mạng của bạn để có thể tự động thực hiện sao lưu cấu hình hoặc thu thập nhật ký và thông tin chi tiết khác về thiết bị của bạn. Quá trình tự động hóa mà chúng ta đang nói đến ở đây hơi khác một chút và đó là do bối cảnh mạng nói chung cũng đã thay đổi để phù hợp hơn với cách suy nghĩ này và cho phép tự động hóa nhiều hơn. + +- Software-Defined Network/Mạng được điều khiển bằng phần mềm) - SDN Controller chịu trách nhiệm là nơi cung cấp cấu hình điều khiển cho tất cả các thiết bị trên mạng, nghĩa là chỉ cần một điểm liên hệ duy nhất cho bất kỳ thay đổi mạng nào, không còn phải telnet hoặc SSH vào mọi thiết bị và việc dựa vào con người để làm điều này có khả năng gây ra lỗi hoặc cấu hình sai. + +- High-Level Orchestration/Phối hợp ở mức cao - Thực hiện ở cấp cao hơn SDN Controller và nó cho phép sự điều phối ở cấp độ các dịch vụ, sau đó là sự tích hợp của lớp điều phối này vào các nền tảng bạn chọn, VMware, Kubernetes, dịch vụ điện toán đám mây, v.v. + +- Policy-based management/Quản lý dựa trên chính sách - Bạn muốn cài đặt chính sách gì? Trạng thái mong muốn của dịch vụ là gì? Bạn mô tả điều này và hệ thống có tất cả các chi tiết về cách thiết lập nó trở thành trạng thái bạn mong muốn. + +## Cài đặt môi trường lab + +Không phải ai cũng có thể sở hữu các thiết bị router, swith, và các thiết bị mạng khác. + +Chúng ta có thể sử dụng một số phần mềm cho phép chúng ta có thể thực hành và tìm hiểu cách tự động hóa cấu hình mạng của chúng ta. + +Có một vài phần mềm mà chúng ta có thể chọn. + +- [GNS3 VM](https://www.gns3.com/software/download-vm) +- [Eve-ng](https://www.eve-ng.net/) +- [Unimus](https://unimus.net/) (Không phải công cụ tạo lab nhưng cung cấp các khái niệm thú vị). + +Chúng ta sẽ xây dựng lab với [Eve-ng](https://www.eve-ng.net/). Như đã đề cập trước đây, bạn có thể sử dụng thiết bị vật lý nhưng thành thật mà nói, môi trường ảo có nghĩa là chúng ta có thể có môi trường an toàn để thử nghiệm nhiều tình huống khác nhau. Ngoài ra việc có thể thực hành các thiết bị và cấu trúc mạng khác nhau cũng rất thú vị. + +Chúng ta sẽ thực hành mọi thứ trên EVE-NG phiên bản cộng đồng. + +### Bắt đầu + +Bạn có thể tải phiên bản cộng dồng dưới định dạng ISO và OVF tại đây. [download](https://www.eve-ng.net/index.php/download/) + +Chúng ta sẽ sử dụng bản tải xuống định dạng OVF, với định dạng ISO, bạn có thể cài đặt trực tiếp trên server của bạn mà không cần chương trình tạo máy ảo. + +![](../../Days/Images/Day25_Networking1.png) + +Đối với hướng dẫn này, chúng ta sẽ sử dụng VMware Workstation vì tôi có giấy phép sử dụng thông qua vExpert nhưng bạn cũng có thể sử dụng VMware Player hoặc bất kỳ tùy chọn nào khác được đề cập trong [documentation](https://www.eve-ng.net/index.php/documentation/installation/system-requirement/). Rất tiếc, chúng ta không thể sử dụng Virtual Box! + +Đây cũng là lúc tôi gặp vấn đề khi sử dụng GNS3 với Virtual Box. + +[Download VMware Workstation Player - FREE](https://www.vmware.com/uk/products/workstation-player.html) + +[VMware Workstation PRO](https://www.vmware.com/uk/products/workstation-pro.html) (Lưu ý rằng nó chỉ miễn phí trong thời gian dùng thử!) + +### Cài đặt VMware Workstation PRO + +Bây giờ chúng ta đã tải xuống và cài đặt phần mềm ảo hóa và chúng ta cũng đã tải xuống EVE-NG OVF. Nếu bạn đang sử dụng VMware Player, vui lòng cho tôi biết quy trình này có giống như vậy không. + +Bây giờ chúng ta đã sẵn sàng để cấu hình mọi thứ. + +Mở VMware Workstation rồi chọn `file` và `open` + +![](../../Days/Images/Day25_Networking2.png) + +Khi bạn tải xuống file EVE-NG OVF, nó sẽ nằm trong một tệp nén. Giải nén nội dung vào thư mục và nó trông như thế này. + +![](../../Days/Images/Day25_Networking3.png) + +Chọn thư mục mà bạn đã tải xuống hình ảnh EVE-NG OVF và bắt đầu import. + +Đặt cho nó một cái tên dễ nhận biết và lưu trữ máy ảo ở đâu đó trên máy tính của bạn. + +![](../../Days/Images/Day25_Networking4.png) + +Khi quá trình import hoàn tất, hãy tăng số lượng bộ xử lý (CPU) lên 4 và bộ nhớ (RAM) được phân bổ lên 8 GB. (Đây là cài đặt khi bạn import phiên bản mới nhất, nhưng nếu không đúng thì hãy chỉnh sửa lại như vậy). + +Ngoài ra, hãy đảm bảo tùy chọn Virtualise Intel VT-x/EPT hoặc AMD-V/RVI đã được bật. Tùy chọn này hướng dẫn VMware chuyển các cờ ảo hóa cho HĐH khách (ảo hóa lồng nhau) Đây là vấn đề tôi gặp phải khi sử dụng GNS3 với Virtual Box mặc dù CPU của tôi hỗ trợ tính năng này. + +![](../../Days/Images/Day25_Networking5.png) + +### Khởi động và truy cập + +Hãy nhớ rằng tôi đã đề cập rằng điều này sẽ không hoạt động với VirtualBox! Vâng, có cùng một vấn đề với VMware Workstation và EVE-NG nhưng đó không phải là lỗi của nền tảng ảo hóa! + +Tôi có WSL2 đang chạy trên Máy Windows của mình và điều này dường như loại bỏ khả năng chạy bất kỳ thứ gì được lồng trong môi trường ảo của bạn. Tôi thắc mắc không biết tại sao Ubuntu VM lại chạy vì nó dường như vô hiệu hóa tính năng Intel VT-d của CPU khi sử dụng WSL2. + +Để giải quyết vấn đề này, chúng ta có thể chạy lệnh sau trên máy Windows của mình và khởi động lại hệ thống, lưu ý rằng trong khi lệnh này tắt thì bạn sẽ không thể sử dụng WSL2. + +`bcdedit /set hypervisorlaunchtype off` + +Khi bạn muốn quay lại và sử dụng WSL2, bạn sẽ cần chạy lệnh này và khởi động lại. + +`bcdedit /set hypervisorlaunchtype auto` + +Cả hai lệnh này nên được chạy với quyền administrator! + +Ok quay lại hướng dẫn, bây giờ bạn sẽ có một máy ảo đang được chạy trong VMware Workstation và bạn sẽ có một lời nhắc tương tự như thế này trên màn hình. + +![](../../Days/Images/Day25_Networking6.png) + +Trên lời nhắc ở trên, bạn có thể sử dụng: + +username = root +password = eve + +Sau đó, bạn sẽ được yêu cầu cung cấp lại mật khẩu root, mật khẩu này sẽ được sử dụng để SSH vào máy chủ sau này. + +Sau đó chúng ta có thể thay đổi hostname của máy chủ. + +![](../../Days/Images/Day25_Networking7.png) + +Tiếp theo, chúng ta thiết lập DNS Domain Name, tôi đã sử dụng tên bên dưới nhưng tôi không chắc liệu điều này có cần thay đổi sau này hay không. + +![](../../Days/Images/Day25_Networking8.png) + +Sau đó, chúng ta cấu hình mạng, tôi chọn sử dụng địa chỉ IP tĩnh (static) để nó không thay đổi sau khi khởi động lại. + +![](../../Days/Images/Day25_Networking9.png) + +Bước cuối cùng, thiết lập một địa chỉ IP tĩnh trong mạng mà bạn có thể truy cập được từ máy tính của mình. + +![](../../Days/Images/Day25_Networking10.png) + +Có một số bước bổ sung ở đây, trong đó bạn sẽ phải cung cấp subnet mask, default gateway và DNS. + +Sau khi hoàn tất, máy ảo sẽ khởi động lại, lúc này bạn có thể điền địa chỉ IP tĩnh đã thiết lập vào trình duyệt của mình để truy cập. + +![](../../Days/Images/Day25_Networking11.png) + +Tên người dùng mặc định cho GUI là `admin` và mật khẩu là `eve` trong khi tên người dùng mặc định cho SSH là `root` và mật khẩu là `eve` nhưng bạn có thể thay đổi trong quá trình thiết lập. + +![](../../Days/Images/Day25_Networking12.png) + +Tôi đã chọn HTML5 cho bảng điều khiển thay vì native vì nó cho phép sẽ mở một tab mới trong trình duyệt của bạn khi bạn điều hướng qua các bảng điều khiển khác nhau. + +Phần tiếp theo chúng ta sẽ tìm hiểu: + +- Cài đặt gói ứng dụng EVE-NG +- Tải một số file hệ điều hành vào EVE-NG +- Xây dựng mô hình mạng +- Thêm node +- Kết nối các node +- Bắt đầu viết chương trình Python +- Tìm hiểu các thư viện telnetlib, Netmiko, Paramiko và Pexpect + +## Tài nguyên tham khảo + +- [Free Course: Introduction to EVE-NG](https://www.youtube.com/watch?v=g6B0f_E0NMg) +- [EVE-NG - Creating your first lab](https://www.youtube.com/watch?v=9dPWARirtK8) +- [3 Necessary Skills for Network Automation](https://www.youtube.com/watch?v=KhiJ7Fu9kKA&list=WL&index=122&t=89s) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) +- [Practical Networking](http://www.practicalnetworking.net/) +- [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) + +Hẹn gặp lại các bạn ngày [Ngày 26](day26.md) diff --git a/2022/vi/Days/day26.md b/2022/vi/Days/day26.md new file mode 100644 index 0000000..24e5983 --- /dev/null +++ b/2022/vi/Days/day26.md @@ -0,0 +1,121 @@ +--- +title: '#90DaysOfDevOps - Xây dựng Lab - Ngày 26' +published: false +description: 90DaysOfDevOps - Xây dựng Lab +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048762 +--- + +## Xây dựng Lab + +Chúng ta sẽ tiếp tục thiết lập mạng mô phỏng của mình bằng phần mềm EVE-NG và sau đó hy vọng sẽ triển khai một số thiết bị và bắt đầu suy nghĩ về cách chúng ta có thể tự động hóa cấu hình của các thiết bị này. Vào [Ngày 25](day25.md), chúng ta đã đề cập đến việc cài đặt EVE-NG trên máy của mình bằng VMware Workstation. + +### Cài đặt ứng dụng EVE-NG + +Ngoài ra còn có một gói ứng dụng cho phép chúng ta chọn ứng dụng nào sẽ được sử dụng khi chúng ta SSH tới các thiết bị. Nó cũng sẽ cài đặt Wireshark để bắt gói tin giữa các mạng. Bạn có thể tải về gói ứng dụng cho hệ điều hành của mình (Windows, macOS, Linux). + +[EVE-NG Client Download](https://www.eve-ng.net/index.php/download/) + +![](../../Days/Images/Day26_Networking1.png) + +Mẹo: Nếu bạn đang sử dụng Linux thì có thể tải [client pack](https://github.com/SmartFinn/eve-ng-integration). + +Quá trình cài đặt diễn ra khá đơn giản và tôi khuyên bạn nên chọn các thiết lập mặc định. + +### Tải network images + +Bước này là một thách thức, tôi đã làm theo một số video mà tôi để link ở cuối bài để tải xuống image (file cài) cho switch và router và cách để tải nó vào các thiết bị trên. + +Điều quan trọng cần lưu ý là tôi sử dụng mọi thứ cho mục đích giáo dục. Tôi khuyên bạn nên tải xuống image chính thức từ các nhà cung cấp thiết bị. + +[Blog & Links to YouTube videos](https://loopedback.com/2019/11/15/setting-up-eve-ng-for-ccna-ccnp-ccie-level-studies-includes-multiple-vendor-node-support-an-absolutely-amazing-study-tool-to-check-out-asap/) + +[How To Add Cisco VIRL vIOS image to Eve-ng](https://networkhunt.com/how-to-add-cisco-virl-vios-image-to-eve-ng/) + +Nhìn chung, các bước ở đây hơi phức tạp và có thể dễ dàng hơn nhiều nhưng các blog và video ở trên hướng dẫn quy trình thêm image vào EVE-NG của bạn. + +Tôi đã sử dụng FileZilla để chuyển qcow2 sang các máy ảo VM dựa trên SFTP. + +Chúng ta sẽ dùng switch Cisco vIOS L2 và router Cisco vIOS trong lab này. + +### Tạo Lab + +Bên trong giao diện web EVE-NG, chúng ta sẽ tạo network topology mới. Chúng ta sẽ có bốn switch và một router đóng vai trò là gateway với các mạng bên ngoài. + +| Node | Địa chỉ IP | +| ------- | ------------ | +| Router | 10.10.88.110 | +| Switch1 | 10.10.88.111 | +| Switch2 | 10.10.88.112 | +| Switch3 | 10.10.88.113 | +| Switch4 | 10.10.88.114 | + +#### Thêm các Nodes trong EVE-NG + +Khi bạn đăng nhập lần đầu vào EVE-NG, bạn sẽ thấy một màn hình như bên dưới, chúng ta muốn bắt đầu bằng cách tạo lab đầu tiên của mình. + +![](../../Days/Images/Day26_Networking2.png) + +Đặt tên cho lab của bạn và các mục khác là tùy chọn. + +![](../../Days/Images/Day26_Networking3.png) + +Sau đó, bạn sẽ được chào đón bằng một khung vẽ trống để bắt đầu tạo mạng của mình. Nhấp chuột phải vào canvas của bạn và chọn thêm node. + +Từ đây, bạn sẽ có một danh sách dài các tùy chọn node. Nếu bạn đã làm theo hướng dẫn ở trên, bạn sẽ có hai node màu xanh lam hiển thị bên dưới và các node khác sẽ có màu xám và không thể chọn được. + +![](../../Days/Images/Day26_Networking4.png) + +Chúng ta sẽ thêm những thiết bị sau vào lab: + +- 1 x router Cisco vIOS +- 4 x switch Cisco vIOS + +Chạy qua trình hướng dẫn để thêm node vào lab của bạn và nó sẽ giống như thế này. + +![](../../Days/Images/Day26_Networking5.png) + +#### Liên kết các nodes + +Bây giờ chúng ta cần kết nối giữa các router và switch. Chúng ta có thể thực hiện việc này khá dễ dàng bằng cách di chuột qua thiết bị và xem biểu tượng kết nối như bên dưới rồi kết nối thiết bị đó với thiết bị mà chúng ta muốn kết nối. + +![](../../Days/Images/Day26_Networking6.png) + +Khi bạn kết nối xong môi trường của mình, bạn cũng có thể muốn thêm một số cách để xác định ranh giới hoặc vị trí vật lý bằng cách sử dụng các hộp hoặc vòng tròn cũng có thể tìm thấy trong menu chuột phải. Bạn cũng có thể thêm ghi chú hữu ích khi chúng ta muốn xác định tên hoặc địa chỉ IP trong lab của mình. + +Tôi đã tiếp tục và làm cho lab của mình trông giống như hình dưới. + +![](../../Days/Images/Day26_Networking7.png) + +Bạn cũng sẽ nhận thấy rằng tất cả lab ở trên đều bị tắt, chúng ta có thể bắt đầu lab của mình bằng cách chọn mọi thứ và nhấp chuột phải và chọn "start selected". + +![](../../Days/Images/Day26_Networking8.png) + +Sau khi chúng ta thiết lập và chạy lab, bạn có thể điều khiển từng thiết bị và bạn sẽ nhận thấy ở giai đoạn này, chúng khá ngu ngốc khi không có cấu hình. Chúng ta có thể thêm một số cấu hình cho mỗi node bằng cách sao chép hoặc tạo cấu hình của riêng của bạn trong mỗi thiết bị đầu cuối. + +Tôi sẽ để cấu hình của mình trong thư mục Networking của kho lưu trữ để bạn tham khảo. + +| Node | Configuration | +| ------- | -------------------------------- | +| Router | [R1](../../Days/Networking/R1) | +| Switch1 | [SW1](../../Days/Networking/SW1) | +| Switch2 | [SW2](../../Days/Networking/SW2) | +| Switch3 | [SW3](../../Days/Networking/SW3) | +| Switch4 | [SW4](../../Days/Networking/SW4) | + +## Tài liệu tham khảo + +- [Free Course: Introduction to EVE-NG](https://www.youtube.com/watch?v=g6B0f_E0NMg) +- [EVE-NG - Creating your first lab](https://www.youtube.com/watch?v=9dPWARirtK8) +- [3 Necessary Skills for Network Automation](https://www.youtube.com/watch?v=KhiJ7Fu9kKA&list=WL&index=122&t=89s) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) +- [Practical Networking](http://www.practicalnetworking.net/) +- [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) + +Vì tôi không phải là một kỹ sư mạng nên phần lớn các ví dụ tôi sử dụng ở trên đến từ cuốn sách này (không miễn phí): + +- [Hands-On Enterprise Automation with Python (Book)](https://www.packtpub.com/product/hands-on-enterprise-automation-with-python/9781788998512) + +Hẹn gặp lại các bạn vào [Ngày 27](day27.md) diff --git a/2022/vi/Days/day27.md b/2022/vi/Days/day27.md new file mode 100644 index 0000000..523ce25 --- /dev/null +++ b/2022/vi/Days/day27.md @@ -0,0 +1,140 @@ +--- +title: '#90DaysOfDevOps - Thực hành với Python - Ngày 27' +published: false +description: 90DaysOfDevOps - Thực hành với Python +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048735 +--- + +## Thực hành với Python + +Trong phần cuối của loạt bài về mạng máy tính, chúng ta sẽ tìm hiểu một số tác vụ và công cụ tự động hóa dựa trên môi trường lab đã được tạo ra trong [Ngày 26](day26.md) + +Chúng ta sẽ sử dụng SSH để kết nối đến các thiết bị trong mạng. Giao tiếp dựa trên SSH sẽ được mã hóa như đã giới thiệu trước đây trong loạt bài về hệ điều hành Linux. Xem lại [Ngày 18](day18.md). + +## Truy cập môi trường giả lập ảo + +Để tương tác với các switch, bạn có thể thiết lập một máy chủ bên trong mạng EVE-NG hoặc bạn có thể thiết lập một máy tính chạy Linux có cài đặt Python trong EVE-NG ([Resource for setting up Linux inside EVE-NG](https://www.youtube.com/watch?v=3Qstk3zngrY)), hoặc bạn cũng có thể làm theo cách của tôi là tạo một server quản lý từ xa. + +![](../../Days/Images/Day27_Networking3.png) + +Để thiết lập như trên, chúng ta nhấp chuột phải vào giao diện ứng dụng, chọn Network, và sau đó chọn "Management(Cloud0)", thao tác này sẽ tạo ra một mạng riêng mới kết nối với máy tính đang dùng (máy host). + +![](../../Days/Images/Day27_Networking4.png) + +Tuy nhiên, chúng ta vẫn cần phải kết nối các thiết bị hiện tại với mạng mới này. (Kiến thức về mạng của tôi vẫn còn hạn chế và tôi cảm thấy rằng bạn có thể thực hiện bước tiếp theo này theo một cách khác bằng cách kết nối router với các switch và sau đó có kết nối với phần còn lại của mạng?) + +Tiếp theo bạn hãy truy cập vào từng thiết bị và chạy các lệnh sau trên card mạng được dùng để kết nối với "Management(Cloud0)". + + +``` +enable +config t +int gi0/0 +IP add DHCP +no sh +exit +exit +sh ip int br +``` + +Lệnh trên nhằm cấp phát địa chỉ IP cho card mạng kết nối với Home Network. Địa chỉ IP của các thiết bị được liệt kê trong bảng sau: + +| Node | IP Address | Home Network IP | +| ------- | ------------ | --------------- | +| Router | 10.10.88.110 | 192.168.169.115 | +| Switch1 | 10.10.88.111 | 192.168.169.178 | +| Switch2 | 10.10.88.112 | 192.168.169.193 | +| Switch3 | 10.10.88.113 | 192.168.169.125 | +| Switch4 | 10.10.88.114 | 192.168.169.197 | + +### Kết nối SSH đến thiết bị mạng + +Với các thông tin địa chỉ IP ở trên, chúng ta có thể kết nối đến các thiết bị trong mạng từ máy host. Tôi sử dụng Putty, tuy nhiên bạn cũng có thể sử dụng bất kì phần mềm hỗ trợ kết nối SSH nào khác. + +Bạn có thể thấy tôi đang kết nối SSH đến router của mình trong hình dưới. (R1) + +![](../../Days/Images/Day27_Networking5.png) + +### Sử dụng Python để thu thập thông tin từ các thiết bị + +Ví dụ đầu tiên là sử dụng Python để thu thập thông tin từ tất cả các thiết bị của mình. Cụ thể hơn, tôi sẽ kết nối đến từng thiết bị và chạy một lệnh đơn giản để lấy thông tin cấu hình của mỗi card mạng. Tôi đã lưu chương trình này tại đây [netmiko_con_multi.py](../../Days/Networking/netmiko_con_multi.py) + +Khi tôi chạy chương trình này, tôi có thể thấy cấu hình của mỗi cổng trên tất cả các thiết bị của mình. + +![](../../Days/Images/Day27_Networking6.png) + +Việc này rất hữu ích nếu bạn có nhiều thiết bị khác nhau, hãy tạo một chương trình tương tự để bạn có thể kiểm soát tập trung và tìm hiểu nhanh tất cả các cấu hình chỉ với một lần chạy. + +### Sử dụng Python để cấu hình các thiết bị + +Ví dụ trước đó là rất hữu ích nhưng còn việc sử dụng Python để định cấu hình thiết bị của chúng ta thì sao? Trong kịch bản này, chúng ta có một cổng trunk giữa `SW1` và `SW2`, một lần nữa hãy tưởng tượng nếu điều này được thực hiện trên nhiều switch và chúng ta muốn tự động hóa việc này mà không phải kết nối thủ công đến từng switch để thực hiện thay đổi cấu hình. + +Chúng ta có thể sử dụng chương trình [netmiko_sendchange.py](../../Days/Networking/netmiko_sendchange.py) để thực hiện điều này. Thao tác này sẽ kết nối qua SSH và thực hiện thay đổi cần thiết trên `SW1` và `SW2`. + +![](../../Days/Images/Day27_Networking7.png) + +Nếu bạn đã xem code, bạn sẽ thấy thông báo xuất hiện và cho chúng ta biết `sending configuration to device` nhưng không có xác nhận rằng điều này đã được thực hiện, chúng ta có thể thêm đoạn code bổ sung vào chương trình để thực hiện kiểm tra và xác thực việc cấu hình trên các switch hoặc chúng ta có thể sửa đổi đoạn code của ví dụ thứ nhất để cho chúng ta thấy điều đó. [netmiko_con_multi_vlan.py](../../Days/Networking/netmiko_con_multi_vlan.py) + +![](Images/Day27_Networking8.png) + +### Sao lưu cấu hình của các thiết bị + +Một ví dụ khác là sao lưu các cấu hình mạng của các thiết bị. Nếu bạn không muốn kết nối với mọi thiết bị có trên mạng của mình, bạn có thể chỉ định thiết bị mà bạn muốn sao lưu. Bạn có thể tự động hóa việc này bằng cách sử dụng chương trình [backup.py](../../Days/Networking/backup.py). Bạn sẽ cần điền vào file [backup.txt](../../Days/Networking/backup.txt) các địa chỉ IP mà bạn muốn sao lưu. + +Chạy chương trình trên và bạn sẽ thấy nội dung như bên dưới. + +![](../../Days/Images/Day27_Networking9.png) + +Đây chỉ là vài thông tin đơn giản được in ra màn hình, tôi sẽ cho bạn xem các file sao lưu. + +![](../../Days/Images/Day27_Networking10.png) + +### Paramiko + +Một thư viên Python được sử dụng rộng rãi cho kết nối SSH. Bạn có thể tìm hiểu thêm [tại đây](https://github.com/paramiko/paramiko) + +Chúng ta có thể cài đặt thư viện này bằng lệnh `pip install paramiko`. + +![](../../Days/Images/Day27_Networking1.png) + +Chúng ta có thể kiểm tra kết quả cài đặt bằng cách import thư viện paramiko trong Python. + +![](../../Days/Images/Day27_Networking2.png) + +### Netmiko + +Thực viện netmiko chỉ tập trung vào các thiết bị mạng trong khi paramiko là một thư viện lớn hơn nhằm phục vụ các thao tác trên SSH nói chung. + +Netmiko mà tôi đã sử dụng ở trên cùng với paramiko có thể được cài đặt bằng lệnh `pip install netmiko` + +Netmiko hỗ trợ thiết bị của nhiều nhà sản xuất, bạn có thể tìm thấy danh sách các thiết bị được hỗ trợ tại [GitHub Page](https://github.com/ktbyers/netmiko#supports) + +### Các thư viện khác + +Cũng cần đề cập đến một số thư viện khác mà chúng ta chưa có cơ hội xem xét nhưng chúng cung cấp nhiều tính năng liên quan đến tự động hóa các thiết lập mạng. + +Thư viện `netaddr` được sử dụng để làm việc với các địa chỉ IP, có thể được cài đặt bằng lệnh `pip install netaddr` + +Nếu bạn muốn lưu trữ cấu hình của nhiều switch trong một bảng tính excel, thư viện `xlrd` sẽ cung cấp các phương thức để làm việc với excel và chuyển đổi các hàng và cột thành ma trận. Cài đặt nó bằng lệnh `pip install xlrd`. + +Bạn cũng có thể tìm thấy một số ví dụ khác về tự động hóa mạng mà tôi chưa có cơ hội giới thiệu [tại đây](https://github.com/ktbyers/pynet/tree/master/presentations/dfwcug/examples) + +Tôi sẽ kết thúc phần loạt bài về Mạng máy tính trong sê-ri #90DaysOfDevOps tại đây. Mạng máy tính là một lĩnh vực mà tôi thực sự đã không làm đến trong một thời gian và còn rất nhiều điều cần đề cập nhưng tôi hy vọng các ghi chú của mình và các tài nguyên được chia sẻ trong những ngày qua sẽ hữu ích với một số bạn. + +## Tài nguyên tham khảo + +- [Free Course: Introduction to EVE-NG](https://www.youtube.com/watch?v=g6B0f_E0NMg) +- [EVE-NG - Creating your first lab](https://www.youtube.com/watch?v=9dPWARirtK8) +- [3 Necessary Skills for Network Automation](https://www.youtube.com/watch?v=KhiJ7Fu9kKA&list=WL&index=122&t=89s) +- [Computer Networking full course](https://www.youtube.com/watch?v=IPvYjXCsTg8) +- [Practical Networking](http://www.practicalnetworking.net/) +- [Python Network Automation](https://www.youtube.com/watch?v=xKPzLplPECU&list=WL&index=126) + +Vì tôi không phải là một kỹ sư mạng nên phần lớn các ví dụ tôi sử dụng ở trên đến từ cuốn sách này. + +- [Hands-On Enterprise Automation with Python (Book)](https://www.packtpub.com/product/hands-on-enterprise-automation-with-python/9781788998512) + +Hẹn gặp lại các bạn vào [Ngày 28](day28.md), nơi mà chúng ta sẽ tìm hiểu về điện toán đám mây (cloud computing) và các kiến thức cơ bản xoay quanh chủ đề này. diff --git a/2022/vi/Days/day28.md b/2022/vi/Days/day28.md new file mode 100644 index 0000000..778d08c --- /dev/null +++ b/2022/vi/Days/day28.md @@ -0,0 +1,106 @@ +--- +title: '#90DaysOfDevOps - Bức tranh toàn cảnh: DevOps & The Cloud - Ngày 28' +published: false +description: 90DaysOfDevOps - Bức tranh toàn cảnh: DevOps & The Cloud +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048737 +--- + +## Bức tranh toàn cảnh: DevOps & The Cloud + +Khi nói đến điện toán đám mây và những gì nó cung cấp, nó rất phù hợp với các đặc tính và quy trình của DevOps. Chúng ta có thể coi điện toán đám mây mang đến công nghệ và dịch vụ trong khi DevOps như chúng ta đã đề cập nhiều lần trước đây là về quy trình và cải tiến quy trình. + +Nhưng việc bắt đầu tìm hiểu về điện toán đám mây sẽ là một hành trình khó khăn và nhất là việc đảm bảo rằng bạn biết và hiểu tất cả các thành phần và dịch vụ tốt nhất để lựa chọn với mức giá phù hợp lại càng khó hơn nữa. + +![](../../Days/Images/Day28_Cloud1.png) + +Vậy các dịch vụ public cloud (đám mây công cộng) có yêu cầu tư duy DevOps không? Câu trả lời của tôi ở đây là không, nhưng để thực sự tận dụng được những lợi thế của điện toán đám mây và để tránh những hoá đơn khổng lồ cho dịch vụ điện todayán, việc nghĩ đến DevOps và Cloud cùng với nhau là điều rất quan trọng. + +Nếu chúng ta xem xét ý nghĩa của public cloud từ góc độ high level, thì có thể nói nó loại bỏ trách nhiệm quản lý các máy chủ và giúp chúng ta tập trung hơn vào những khía cạnh khác quan trọng hơn đó là ứng dụng và người sử dụng. Xét cho cùng, đám mây công cộng cũng chỉ là máy tính của người khác. + +![](../../Days/Images/Day28_Cloud2.png) + +Trong phần đầu tiên này, tôi muốn tìm hiểu và mô tả thêm một chút về đám mây công cộng là gì và một số khối cấu trúc của đám mây công cộng nói chung. + +### SaaS + +Lĩnh vực cần nhắc tới đầu tiên là Phần mềm dưới dạng dịch vụ (Software as a Service), dịch vụ này sẽ loại bỏ gần như toàn bộ chi phí quản lý của một dịch vụ mà bạn có thể đã từng chạy on-premises. Hãy nghĩ nó giống như Microsoft Exchange cho email của chúng ta, đây từng là một máy chủ vật lý nằm trong trung tâm dữ liệu của bạn. Bạn sẽ cần phải cung cấp các tài nguyên cần thiết cho máy chủ đó. Điều đó có nghĩ là bạn sẽ cần cập nhật nó, chịu trách nhiệm quản lý và nâng cấp phần cứng máy chủ, rất có thể là cài đặt hệ điều hành, cài đặt các ứng dụng cần thiết và nếu có sự cố xảy ra, bạn sẽ phải khắc phục sự cố, cài đặt bản sao lưu và chạy lại dịch vụ. + +Ồ, và bạn cũng sẽ phải đảm bảo rằng bạn đang sao lưu dữ liệu của mình, mặc dùng điều này cũng không quá thay đổi khi sử dụng SaaS. + +Thứ mà Saas làm và cụ thể trong trường hợp này là Microsoft 365 vì tôi đã đề cập tới Exchange là loại bỏ chi phí quản trị đó cho chung ta và họ cung cấp chức năng trao đổi thư cũng như có nhiều tuỳ chọn lưu trữ (OneDrive) và các công cụ làm việc khác (Office 365) mà tổng thể mang lại một trải nghiệm tuyệt vời cho người dùng cuối. + +Các ứng dụng SaaS khác cũng được sử dụng rộng rãi, chẳng hạn như Salesforce, SAP, Oracle, Google và Apple. Tất cả đều loại bỏ gánh nặng phải quản lý nhiều hệ thống hơn. + +Tôi chắc chắn rằng có một câu chuyện liên quan giữ DevOps và các ứng dụng SaaS nhưng vẫn đang cố gắng tìm xem chúng có thể là gì. Tôi biết Azure DevOps có một số tích hợp tuyệt vời với Microsoft 365 mà tôi có thể xem xét và thêm vào sau. + +![](../../Days/Images/Day28_Cloud3.png) + +### Đám mây công cộng (Public cloud) + +Tiếp theo, chúng ta có đám mây công cộng, hầu hết mọt người sẽ nghĩ về nó theo một số cách khác nhau. MỘt số người sẽ chỉ coi đây là công cụ có tính mở rộng cao ví dụ như Microsoft Azure, Google Cloud platform hay AWS. + +![](../../Days/Images/Day28_Cloud4.png) + +Một số người cũng sẽ coi đám mây công cộng là một dịch vụ lớn hơn nhiều bao gồm bộ mở rộng siêu lớn cũng như hàng ngàn các dịch vụ được quản lý trên toàn thế giới. Và trong khuôn khổ bài viết này, chúng ta sẽ xem xét đám mây công cộng là một bộ mở rộng khổng lồ và một nhà cung cấp dịch vụ được quản lý. Mặc dù sau này, chúng ta cũng sẽ đi sâu vào một hoặc nhiều những bộ mở rộng siêu lớn để tìm hiểu các kiến thức cơ bản. + +![](../../Days/Images/Day28_Cloud5.png) + +_hàng ngày công ty khác đã có thể làm việc này, tôi chỉ chọn lựa từ các thương hiện địa phương, khu vực, công ty viễn thông và các thương hiệu toàn cầu mà tôi đã làm việc cùng và biết đến._ + +Chúng ta đã đề cập trong phần SaaS rằng điện toán đám mây đã loại bỏ trách nhiệm hoặc gánh nặng phải quản lý các thành phần của hệ thống. Nếu SaaS, chúng ta thấy rất nhiều lớp trừu tượng bị loại bỏ, tức là hệ thống vật lý, mạng, bộ lưu trữ, hệ điều hành và thậm chí là bản thân ứng dụng ở một mức độ nào đó. Khi nói tới điệu toán đám mây, có nhiều mức độ trừu tượng khác nhau mà chúng ta có thể xoá hoặc giữ tuỳ thuộc vào yêu cầu của bạn. + +Chúng ta đã đề cập đến SaaS nhưng có ít nhất hay đề cập nữa liên quan tới đám mây công cộng. + +- Cơ sở hạ tầng dưới dạng dịch vụ (IaaS - Infrastructure as a service) - bạn có thể coi nó như một máy ảo. Nếu nó là hệ thống on-premise, bạn phải chăm sóc lớp vật lý của nó, nhưng điều này không cần thiết với điện toán đám mây. Lớp vật lý là trách nhiệm của nhà cung cấp dịch vụ và bạn sẽ chỉ quản lý hệ điều hành, dữ liệu và các ứng dụng bạn muốn chạy trên máy ảo đó. + +- Nền tảng dưới dạng dịch vụ (PaaS - Platform as a service) - Tiếp tục giúp bạn bớt được trách nhiệm của các lớp và điều bạn thực sự cần lo là việc kiểm soát dữ liệu và ứng dụng chứ không phải về phần cứng hay hệ điều hành. + +Có rất nhiều các dịch vụ *aaS ngoài kia nhưng đây là 2 dịch vụ cơ bản. Bạn có thể thấy các dịch vụ xung quang SaaS (Strorage as a Service: lưu trữ dưới dạng dịch vụ) cung cấp cho bạn lớp lưu trữ và bạn không phải lo lắng về phần cứng bên dưới. Hoặc bạn có thể đã nghe nói tới CaaS (Container as a Service) cho các dịch vụ liên quan tới container mà chúng ta sẽ đề cập tới, hơn nữa, có một dịch vụ nữa mà chúng ta sẽ đề cập trong 7 ngày tới là Faas (Function as a Service - hàm dưới dạng dịch vụ) thậm chí còn không cần một hệ thống chạy liên tục mà bạn chỉ muốn một hàm, chức năng được thực thi vào một thời điểm nhất định. + +Có nhiều cách mà đám mây công cộng có thể cung cấp các lớp kiểm soát trừ tượng mà bạn muốn bỏ qua và trả tiền cho điều đó. + +![](../../Days/Images/Day28_Cloud6.png) + +### Đám mây riêng (Private cloud) + +Việc có một trung tâm dữ liệu của riêng bạn không phải chỉ có trong quá khứ. Tôi nghĩ rằng điều này đã trở thành sự trỗi dậy của rất nhiều công ty nhận thấy sự khó quản lý trong mô hình OPEX cũng như việc bộ skillsets chỉ sử dụng đám mây công cộng. + +Điều quan trọng cần lưu ý ở đây là đám mây công cộng có thể sẽ thuộc trách nhiệm của bạn và nó sẽ trở thành một phần của hệ thống on-premises của bạn. + +Có một số điều thú vị xảy ra trong lĩnh vực này, không chỉ với VMware, công ty đã thống trị kỉ nguyên ảo hoá và cơ sở hạ tầng tại chỗ. Chúng ta cũng có các nhà cung cấp điện toán đám mây đã có phiên bản on-premise của hệ thống đám mây công cộng. + +![](../../Days/Images/Day28_Cloud7.png) + +### Đám mây hỗn hợp (Hybrid cloud) + +Để tiếp tục câu chuyện đám mây công cộng và đám mây riêng, chúng ta có thể mở rộng trên cả hai môi trường này để tận dụng sự linh hoạt của chúng, vừa có thể tận dụng các dịch vụ có sẵn trong đám mây công cộng nhưng sau đó cũng tận dụng các tính năng và chức năng on-premises hoặc cũng có thể đó là quy định bắt buộc bạn phải lưu trữ dữ liệu một cách cục bộ. + +![](../../Days/Images/Day28_Cloud8.png) + +Tổng hợp các mô hình này, chúng ta có rất nhiều lựa chọn về nơi lưu trữ và chạy các workloads của mình. + +![](../../Days/Images/Day28_Cloud9.png) + +Trước khi chúng ta đi vào một nhà cung cấp cụ thể, tôi đã tạo một poll trên Twitter của mình rằng chúng ta nên tìm hiểu về nhà cung cấp dịch vụ nào? + +![](../../Days/Images/Day28_Cloud10.png) + +[Link to Twitter Poll](https://twitter.com/MichaelCade1/status/1486814904510259208?s=20&t=x2n6QhyOXSUs7Pq0itdIIQ) + +Bất kỳ nhà cung cấp nào nhận được tỷ lệ phần trăm cao nhất, chúng tôi sẽ tìm hiểu sâu hơn về cách dịch vụ của nhà cung cấp đó. Tôi nghĩ điều quan trọng cần đề cập là các dịch vụ từ các nhà cung cấp này đều khá giống nhau, đó là lý do tại sao tôi nói là hãy bắt đầu với một nhà cung cấp bất kì. Tôi nhận thấy rằng, khi biết nền tảng của một nhà cung cấp như cách tạo máy ảo, thiết lập mạng,... thì tôi đã có thể sử dụng dịch vụ của các nhà cung cấp khác và có thể nhanh chóng sử dụng chúng. + +Dù như thế nào, tôi cũng sẽ chia sẻ một số tài nguyên **MIỄN PHÍ** về cả ba nhà cung cấp lớn nhất. + +Tôi cũng sẽ xây dựng một kịch bản như tôi đã làm trong các phần khác, nơi chúng ta có thể xây dựng một thứ gì đó cụ thể qua từng ngày. + +## Tài liệu tham khảo + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +Hẹn gặp bạn vào [ngày 29](day29.md) diff --git a/2022/vi/Days/day29.md b/2022/vi/Days/day29.md new file mode 100644 index 0000000..94c2826 --- /dev/null +++ b/2022/vi/Days/day29.md @@ -0,0 +1,142 @@ +--- +title: '#90DaysOfDevOps - Kiến thức cơ bản về Microsoft Azure - ngày 29' +published: false +description: 90DaysOfDevOps - Kiến thức cơ bản về Microsoft Azure +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048705 +--- + +## Kiến thức cơ bản về Microsoft Azure + +Trước khi chúng ta bắt đầu, nhà cung cấp chiến thắng trong cuộc thăm dò trên twitter là Microsoft Azure, do đó, nó sẽ là chủ đề xuyên suốt tuần này. Kết quả rất gần nhau và rất vui khi thấy nó chỉ trong 24 giờ. + +![](../../Days/Images/Day29_Cloud1.png) + +Khi đề cập đến chủ đề này, nó sẽ giúp tôi hiểu rõ và biết đến những dịch vụ đang có của Microsoft Azure, dù vậy tôi vẫn nghiêng về Amazon AWS trong thời gian gần đây. Tuy nhiên, tôi cũng đã để lại các tài liệu tham khảo cho cả ba nhà cung cấp dịch vụ điện toán đám mây lớn nhất. + +Tôi đánh giá cao rằng dù cuộc thăm dò chỉ có 3 lựa chọn nhưng có một số bình luận về Oracle cloud. Tôi rất muốn biết thêm về các nhà cung cấp đám mây nào khác đang được sự dụng. + +### Cơ bản + +- Cung cấp dịch vụ đám mây công cộng +- Phân bố theo khu vực địa lý (hơn 60 regions trên toàn thế giới) +- Truy cập qua internet hoặc kết nối riêng +- Mô hình multi-tenant +- Thanh toán dựa trên sử dụng (consumption-based billing) - (chỉ trả tiền cho phần bạn sử dụng) +- Một số lượng lớn các loại dịch vụ cho các yêu cầu sử dụng khác nhau. + +- [Cơ sở hạ tầng toàn cầu của Microsoft Azure](https://infrastructuremap.microsoft.com/explore) + +Như đã nói về SaaS và đám mây hỗn hợp (hybrid cloud), chúng ta sẽ không đề cập đến những chủ đề đó trong phần này. + +Cách tốt nhất để bắt đầu và có thể làm theo là vào đường link sau, nó cho phép bạn tạo một [tài khoản Microsoft Azure miễn phí](https://azure.microsoft.com/en-gb/free/) + +### Regions + +Tôi đã để lại bản đồ ở trên, nhưng chúng ta có thể thấy hình ảnh bên dưới về độ rộng của các khu vực được cung cấp trong nền tảng của Microsoft Azure trên toàn thế giới. + +![](../../Days/Images/Day29_Cloud2.png) + +_hình ảnh được lấy từ [Microsoft Docs - 01/05/2021](https://docs.microsoft.com/en-us/azure/networking/microsoft-global-network)_ + +Bạn cũng có thể thấy một số đám mây "có chủ quyền" có nghĩa là chúng không được liên kết hoặc không thể giao tiếp với các khu vực khác, ví dụ như những đám mây này sẽ được liên kết với các chính phủ như `AzureUSGovernment` cũng như `AzureChinaCloud` và một số đám mây khác. + +Khi chúng ta triển khai các dịch vụ của mình trên Microsoft Azure, chúng ta sẽ chọn một region cho hầu hết mọi thứ. Tuy nhiên, điều quan trọng cần lưu ý là không phải tất cả các dịch vụ đều có sẵn ở mọi region. Bạn có thể thấy [sản phẩn có sẵn theo region](https://azure.microsoft.com/en-us/global-infrastructure/services/?products=all), tại thời điểm viết bùa, region West Central US không thể sử dụng Azure Databricks. + +Tôi cũng đã đề cập đến "hầu hết mọi thứ" ở trên, có một số dịch vụ nhất định được liên kết với region chẳng hạn như Azure Bot Services, Bing Speech, Azure Virtual Desktop, Static Web App,... + +Phía sau đó, một region có thể được tạo thành từ nhiều trung tâm dữ liệu. Chúng được nhắc đến với tên gọi Availability Zones. + +Trong hình ảnh dưới đây được lấy từ tài liệu chính thức của Microsoft, bạn sẽ thấy một region được tạo từ nhiều Availability Zones như thế nào. Tuy nhiên, không phải tất cả các khu vực đều có nhiều Availability Zones. + +![](../../Days/Images/Day29_Cloud3.png) + +Tài liệu của Microsoft rất đầy đủ và bạn có thể đọc thêm về [Regions và Availability Zones](https://docs.microsoft.com/en-us/azure/availability-zones/az-overview) tại đây. + +### Subscriptions + +Hãy nhớ rằng Microsoft Azure là một đám mây tính phí theo mô hình tiêu thụ, bạn sẽ thấy rằng tất cả các nhà cung cấp đám mây lớn đều áp dụng mô hình này. + +Nếu bạn là một Doanh nghiệp thì bạn có thể muốn hoặc có một thoả thuận Doanh nghiệp với Microsoft để cho phép công ty của bạn sử dụng các dịch vụ của Azure. + +Nếu bạn giống tôi và bạn đang sử dụng Microsoft Azure cho mục đích học tập thì chúng tôi có một số tùy chọn khác. + +Chúng ta có [tài khoản Microsoft Azure miễn phí](https://azure.microsoft.com/en-gb/free/) và thường sẽ có một số tín dụng (tiền) miễn phí để bạn có thể sử dụng Azure trong một khoảng thời gian. + +Ngoài ra bạn cũng có thể lấy một số tín dụng miễn phí hàng tháng cùng với subscription hàng năm của Visual Studio, điều này thường được biết tới là MSDN nhiều năm trước. [Visual Studio](https://azure.microsoft.com/en-us/pricing/member-offers/credit-for-visual-studio-subscribers/) + +Cuối cùng là đăng ký một thẻ tín dụng và trả tiền cho những dịch vụ bạn sử dụng theo [pay-as-you-go](https://azure.microsoft.com/en-us/pricing/purchase-options/pay-as-you-go/) model. + +Một subscription có thể được coi là ranh giới giữa các cost center khác nhau hoặc các môi trường hoàn toàn khác nhau. Subscription là nơi các tài nguyên được tạo. + +### Management Groups + +Các management groups cung cấp cho chúng ta khả năng tách biệt quyền trên Azure Active Directory (AD) hoặc môi trường tenant của chúng ta. Management groups cho phép chúng ta kiểm soát các policies, kiểm soát truy cập dựa trên vai trò (RBAC) và ngân sách (budget). + +Các subscriptions thuộc về các management groups, do đó, bạn có thể có nhiều đăng ký trông Azure AD tenant của mình, các subscriptions này cũng có thể kiểm soát các policies, RBAC và ngân sách. + +### Resource Manager and Resource Groups + +#### Azure Resource Manager + +- API sử dụng JSON được xây dựng theo các cung cấp tài nguyên. +- Các tài nguyên thuộc một resource group chia sẻ một vòng đời chung. +- Song song +- Triển khai theo dạng khai báo với format JSON, idempotent (kết quả như nhau kể cả được gọi nhiều lần) và hiểu được sự phụ thuộc giữa các tài nguyên để điều chỉnh việc tạo và đặt hàng. + +#### Resource Groups + +- Mọt tài nguyên trong Azure Resource Manager tồn tại trong một và chỉ một nhóm tài nguyên! +- Các resource groups được tạo trong một region có thể chứa các tài nguyên từ bên ngoài region đó. +- Tài nguyên có thể được dịch chuyển giữa các resource group +- Các resource group không bị ngăn cách với các resource group khác, giữa các resource groups có thể có sự giao tiếp với nhau. +- Các resource group cũng có thể kiểm soát cách chính sách, RBAC và ngân sách. + +### Thực hành + +Hãy bắt đầu, tạo tài khoản và hãy chắc chắn rằng chúng ta có một **Subscription**. Chúng ta có thể kiểm tra **Management Group** được tạo và sau đó có thể tạo một **Resource Group** mới trong **Region** tuỳ ý. + +Khi chúng ta đăng nhập lần đầu vào [Azure portal](https://portal.azure.com/#home), bạn sẽ thấy thanh tìm kiếm ở trên cùng của trang, nó có khả năng giúp chúng ta tìm kiếm các tài nguyên, dịch vụ và tài liệu hướng dẫn. + +![](../../Days/Images/Day29_Cloud4.png) + +Trước tiên, chúng ta hãy xem subscription của mình, bạn sẽ thấy ở đây rằng tôi đang sử dụng đăng ký Visual Studio Professional của mình để lấy một khoản tín dụng miễn phí hàng tháng. + +![](../../Days/Images/Day29_Cloud5.png) + +Nếu chúng ta đi vào đó, bạn sẽ có một cái nhìn bao quát hơn và xem được những gì đang xả ra hoặc những gì có thể làm với subscription của mình, chúng ta có thể thấy thông tin thanh toán với các chức năng kiểm soát ở bên trái, nơi bạn có thể xác định "IAM Access Control" và nhiều hơn nữa là các tài nguyên có sẵn. + +![](../../Days/Images/Day29_Cloud6.png) + +Có thể có trường hợp bạn có nhiều subscriptions và bạn muốn quản lý tất cả chúng dưới một thứ duy nhất, đây là nơi có thể sử dụng các management group để chia ra các nhóm tuỳ vào mục đích của các group đó. Bạn có thể thấy chỉ có nhóm "tenant root group" đối với subscription của tôi. + +Bạn cũng sẽ thấy trong hình ảnh trước đó rằng management group chính có cùng id với "tenant root group" + +![](../../Days/Images/Day29_Cloud7.png) + +Tiếp theo, chúng ta có resource group, đây là nơi chúng ta kết hợp các tài nguyên của mình và có thể dễ dành quản lý chúng ở một nơi duy nhất. Tôi có một số resource groups được tạo cho một vài dự án khác. + +![](../../Days/Images/Day29_Cloud8.png) + +Với những gì chúng ta có thể làm trong vài ngày tới, chúng tôi muốn tại resource group của riêng mình. Điều này được thực hiện dễ dàng trong console bằng cách nhấn "Create" trong hình ảnh ở trên. + +![](../../Days/Images/Day29_Cloud9.png) + +Bước xác thực diễn ra ngay sau đó và cuối cùng bạn cũng có thể xem lại các yêu cầu tạo tài nguyên của mình và tạo chúng. Bạn cũng sẽ thấy ở dưới cùng là dòng "Download a template for automation", điều này cho phép chúng ta lấy file JSON để có thể thực hiện tác vụ này một cách tự động nếu muốn, chúng ta cũng sẽ đề cập đến vấn đề này sau. + +![](../../Days/Images/Day29_Cloud10.png) + +Nhấn "create", sau đó trong danh sách resource groups của chúng ta đã có nhóm "90DaysOfDevOps" sẵn sàng cho những buổi tiếp theo. + +![](../../Days/Images/Day29_Cloud11.png) + +## Tài liệu tham khảo + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +Gặp lại bạn vào [ngày 30](day30.md) diff --git a/2022/vi/Days/day30.md b/2022/vi/Days/day30.md new file mode 100644 index 0000000..e4b2cbd --- /dev/null +++ b/2022/vi/Days/day30.md @@ -0,0 +1,168 @@ +--- +title: '#90DaysOfDevOps - Mô hình bảo mật Microsoft Azure - Ngày 30' +published: false +description: 90DaysOfDevOps - Mô hình bảo mật Microsoft Azure +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049039 +--- + +## Mô hình bảo mật Microsoft Azure + +Tiếp sau tổng quan về Microsoft Azure, chúng ta sẽ thảo luận về bảo mật trên Azure và thử xem điều này có thể giúp ích gì cho chúng ta hàng ngày. Đối với hầu hết các trường hợp, tôi thấy các role được tích hợp sẵn đã đáp ứng được nhu cầu bình thường. Tuy nhiên, chúng ta cũng nên biết rằng có thể tạo và làm việc với nhiều kiểu xác thực và cấu hình khác nhau. Tôi nhận thấy Microsoft Azure khá ưu việt với nền tảng Active Directory so với các nhà cung cấp khác. + +Đây là một lĩnh vực mà Microsoft Azure dường như hoạt động khác so với các nhà cung cấp đám mây công cộng khác, trong Azure, LUÔN LUÔN có Azure AD. + +### Directory Services + +- Azure Active Directory lưu trữ các nguyên tắc bảo mật được sử dụng bởi Microsoft Azure và các dịch vụ đám mây khác của Microsoft. +- Quá trình xác thực được thực hiện thông qua các giao thứ chứ SAML. WS-Foundation, OpenID Connect và OAuth2. +- Các truy vấn được thực hiện thông qua REST API được gọi là Microsoft Graph API. +- Các tenants có một tên mặc định tại tenant.onmicrosoft.com nhưng cũng có thể có tên miền tuỳ chỉnh. +- Subscriptions được liên kết với một Azure Active Directory tenant. + +Nếu chúng ta so sánh với các dịch vụ tương đương của AWS thì nó sẽ là AWS IAM (Identity & Access Management) mặc dù chúng rất khác nhau. + +Azure AD Connect cung cấp khả năng sao chép tài khoản từ AD sang Azure AD. Điều này cũng có thể bao gồm các nhóm và đôi khi là các đối tượng. Điều này có thể được lọc chi tiết và có hỗ trợ nhiều forests và domains. + +Có thể tạo tài khoản đám mây trong Microsoft Azure Active Directory (AD) nhưng hầu hết các tổ chức đã tạo tài khoản cho người dùng của họ trong Active Directory của riêng họ ở on-premises. + +Azure AD Connect không chỉ cho phép bạn xem các máy chủ Windows AD mà còn các Azure AD khác, Google và các máy chủ khác. Điều này cũng cung cấp khả năng cộng tác với những cá nhân và tổ chức bên ngoài, đây được gọi là Azure B2B. + +CÓ thể có các tuỳ chọn xác thực giữa dịch vụ Azure Directory Domain và Microsoft Azure Active Directory với đồng bộ hoá danh tính sử dụng hàm băm mật khẩu. + +![](../../Days/Images/Day30_Cloud1.png) + +Việc chuyển hàm băm mật khẩu là tuỳ chọn, nếu điều này không được sử dụng thì cần phải xác thực theo kểu pass-through. + +Video dưới đâu đi sâu vào chi tiết về xác thực pass-through. + +[Người dùng đăng nhập với Azure Active Directory thông qua xác thực Pass-through](https://docs.microsoft.com/en-us/azure/active-directory/hybrid/how-to-connect-pta) + +![](../../Days/Images/Day30_Cloud2.png) + +### Federation + +Công bằng mà nói, nếu bạn đang sử dụng Microsoft 365, Microsoft Dynamics cùng với Active Directory ở on-premises thì khá là dễ hiểu và tích hợp vào Azure AD cho việc đăng nhập. Tuy nhiên, bạn có thể sử dụng các dịch vụ ở ngoài hệ sinh thái của Microsoft. + +Azure AD có thể đóng vai trò là một federation broker cho các ứng dụng không phải của Microsoft và các directory services khác. + +Bạn có thể thấy điều này trong Azure Portal dưới dạng Enterprise Applications với rất nhiều tuỳ chọn khác nhau. + +![](../../Days/Images/Day30_Cloud3.png) + +Nếu bạn cuộn xuống trên trang ứng dụng doanh nghiệp (enterprise application), bạn có thể thấy một danh sách các ứng dụng nổi bật. + +![](../../Days/Images/Day30_Cloud4.png) + +Tuỳ chọn này cũng cho phép bạn tích hợp với các ứng dụng của riêng bạn, một ứng dụng bạn đang phát triển hoặc không nằm trong thư viện. + +Tôi chưa từng xem xét vấn đề này trước đây nhưng tôi có thể thấy rằng đây là bộ tính năng hoàn toàn phù hợp khi so sánh với các dịch vụ của các nhà cung cấp đám mây khác. + +### Role-Based Access Control + +Chúng ta đã đề cập vào [ngày 29](day29.md) phạm vi mà chúng tôi sẽ đề cập ở đây, chúng tôi có thể đặt kiểm soát RBAC của mình cho một trong những dịch vụ dưới đây. + +- Subscriptions +- Management Group +- Resource Group +- Resources + +Role có thể được chia thành ba vai trò nhỏ hơn, có nhiều vai trò được tính hợp sẵ trong Microsoft Azure. Ba người đó là: + +- Owner +- Contributor +- Reader + +Owner and Contributor gần giống nhau về ranh giới và phạm vi, tuy nhiên, Owner có thể thay đổi quyền. + +Các role khác dành riêng cho một số loại tài nguyên của Azure cũng như các custom roles. + +Chúng ta nên tập trung vào việc gán quyền cho nhóm với gán quyền cho người dùng. + +Quyền(Permissions) được kế thừa. + +Nếu chúng ta quay lại nhóm tài nguyên "90DaysOfDevOps" và kiểm tra Access Control (IAM) của nó, bạn có thể thấy chúng ta có danh sách Contributors và một customer User Access Administrator, và chúng ta cũng có một danh sách các owners (nhưng tôi không thể công khai) + +![](../../Days/Images/Day30_Cloud5.png) + +Chúng ta cũng có thể kiểm tra các roles mà chúng ta đã chỉ định ở đây xem chúng có phải role được tích hợp hay chúng đang ở danh mục nào. + +![](../../Days/Images/Day30_Cloud6.png) + +Chúng ta cũng có thể sử dụng tab "Check access" nếu muốn kiểm tra một tài khoản với nhóm tài nguyên này và đảm bảo rằng tài khoản mà chúng ta muốn có quyền truy cập đó có đúng quyền hoặc có thể kiểm tra xem một người dùng có quá nhiều quyền truy cập hay không. + +![](../../Days/Images/Day30_Cloud7.png) + +### Microsoft Defender cho Cloud + +- Microsoft Defender cho Cloud (trước đây là Azure Security Center) cung cấp thông tin chuyên sâu về bảo mật cho toàn bộ môi trường trên Azure. +- Một bảng điều khiển duy nhất để hiện thị tình trạng bảo mật tổng thể của tất cả các tài nguyên Azure và không phải Azure (thông qua Azure Arc) và hướng dẫn tăng cường bảo mật. +- Bậc miễn phí của dịch vụ có chức năng đánh giá bảo mật liên tục và đề xuất bảo mật. +- Gói trả phí cho các loại tài nguyên được bảo vệ (ví dụ như là máy chủ, AppService, SQL, Storage, Containers, KeyVault). + +Tôi đã chuyển sang một subscription khác để xem Azure Security Center và bạn có thể thấy tại đây với rất ít tài nguyên, tôi có vài đề xuất về bảo mật tại cùng một nơi. + +![](../../Days/Images/Day30_Cloud8.png) + +### Azure Policy + +- Azure Policy là một dịch vụ native của Azure giúp thực thi các tiêu chuẩn của tổ chức và đánh giá compliance (quy định) trên quy mô lớn. +- Được tích hợp và Microsoft Defender cho Cloud. Azure Policy kiểm tra các tài nguyên không tuân thủ quy tắc, tiêu chuẩn và áp dụng các biện pháp khắc phục. +- Thường được sử dụng để quán lý tính nhất quán của tài nguyên, tuân thủ các quy định, bảo mật, chi phí và tiêu chuẩn quản lý. +- Sử dụng định dạng JSON để lưu trữ logic đánh giá và xác định xem tài nguyên có tuân thủ hay không và bất kỳ hành động nào cần thực hiện khi không tuân thủ (ví dụ: Audit, AuditIfNotExists, Deny, Modify, DeployIfNotExists) +- Sử dụng miễn phí. Ngoại lệ là các tài nguyên được kết nối với Azure Arc được tính phí trên mỗi máy chủ/tháng cho việc sử dụng Azure Policy Guest Configuration. + +### Thực hành + +Tôi đã mua tên miền www.90DaysOfDevOps.com và tôi muốn thêm tên miền này vào Azure Active Directory portal của mình, [Thêm tên miền tuỳ chọn của bạn bằng Azure Active Directory portal](https://docs.microsoft.com/en-us/azure/active-directory/fundamentals/add-custom-domain) + +![](../../Days/Images/Day30_Cloud9.png) + +Sau khi thực hiện điều này, chúng ta có thể tạo một người dùng mới trên Azure Directory domain của mình. + +![](../../Days/Images/Day30_Cloud10.png) + +Giờ chúng ta muốn tại một nhóm cho tất cả những người dùng của 90DaysOfDevOps trong một nhóm. Chúng ta có thể tạo một nhóm theo hướng dẫn bên dưới, lưu ý rằng tôi đang sử dụng "Dynamic User", điều đó có nghĩa là Azure AD sẽ truy vấn các tài khoản và thêm chúng một cách tự động so với việc được chỉ định - khi đó bạn phải thêm người dùng và nhóm của mình một cách thủ công. + +![](../../Days/Images/Day30_Cloud11.png) + +Có rất nhiều tuỳ chọn khi bạn tạo truy vấn của mình, tôi dự định chỉ cầm tìm tên chính và đảm bảo rằng tên đó chứa @90DaysOfDevOps.com. + +![](../../Days/Images/Day30_Cloud12.png) + +Vì tôi đã tạo tài khoản người dùng của mình dưới tên michael.cade@90DaysOfDevOps.com (thay bằng tên của các bạn ở đây) chúng ta có thể xác nhận xem các quy tắc có đang hoạt động hay không. Để so sánh, tôi cũng đã thêm một tài khoản khác liên kết với một tên miền khác tại đây và bạn có thể thấy do quy tắc này, người dùng của chúng ta sẽ không được đưa vào nhóm này. + +![](../../Days/Images/Day30_Cloud13.png) + +Sau đó, tôi thêm một người dùng user1@90DaysOfDevOps.com và nếu chúng ta kiểm tra nhóm, chúng ta có thể thấy các thành viên của nhóm mình. + +![](../../Days/Images/Day30_Cloud14.png) + +Nếu có khoảng 100 yêu cầu như thế này, chúng ta sẽ không muốn thực hiện tất cả điều này trong bảng điều khiển mà chúng tôi muốn tận dụng hoặc là các tuỳ chọn hàng loạt (bulk options) để tạo, mời, và xoá người dùng hoặc bạn có thể muốn sử dụng Powershell để làm điều này một cách tự động để có thể scale. + +Bây giờ, chúng ta có thể vào Resource group của mình và chỉ định rằng trong nhóm tài nguyên 90DaysOfDevOps, chúng ta muốn chủ sở hữu (owner) của nó là nhóm chúng ta vừa mới tạo. + +![](../../Days/Images/Day30_Cloud15.png) + +Chúng ta cũng có thể từ chối các quyền truy cập đến resource group của chúng ta tại đây. + +Bây giờ, nếu chúng ta đăng nhập và Azure Portal với tài khoản người dùng mới của chúng ta, bạn có thể thấy rằng chúng ta chỉ có quyền truy cập vào nhóm tài nguyên 90DaysOfDevÓp của mình chứ không phải những nhóm khác được thấy trong các ảnh trước đó vì chúng ta không có quyền truy cập. + +![](../../Days/Images/Day30_Cloud16.png) + +Nếu người dùng có quyền truy cập vào các tài nguyên bên trong Azure portal, cách trên sẽ rất tiện lợi. Tuy nhiên, không phải người dùng nào cũng cần biết về portal này, để kiểu tra quyền truy cập, bạn có thể sử dụng [Apps Portal](https://myapps.microsoft.com/). Đây là single sign-on portal để chúng ta có thể kiểm tra. + +![](../../Days/Images/Day30_Cloud17.png) + +Bạn có thể tuỳ chỉnh portal này với thương hiệu của mình và đây có thể là thứ mà chúng ta sẽ quay lại sau. + +## Tài liệu tham khảo + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +Hẹn gặp lại vào ngày [ngày 31](day31.md) diff --git a/2022/vi/Days/day31.md b/2022/vi/Days/day31.md new file mode 100644 index 0000000..ef57c46 --- /dev/null +++ b/2022/vi/Days/day31.md @@ -0,0 +1,116 @@ +--- +title: '#90DaysOfDevOps - Mô hình Điện toán Microsoft Azure - Ngày 31' +published: false +description: 90DaysOfDevOps - Mô hình Điện toán Microsoft Azure +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049040 +--- + +## Mô hình Điện toán Microsoft Azure + +Tiếp theo phần trình bày về những kiếm thức cơ bản về các mô hình bảo mật trong Microsoft Azure ngày hôm qua, hôm nay chúng ta sẽ xem xét các dịch vụ điện toán khác nhau có sẵn trong Azure. + +### Tùy chọn khả dụng của dịch vụ (Service Availability Options) + +Phần này rất gần gũi với tôi dưới vai trò Data Management. Giốn như với on-premises, điều tối quan trọng là phải đảm bảo tính khả dụng của các dịch vụ của bạn. + +- Tính sẵn sàng cao (high availability) (trong một region) +- Khắm phục thảm hoạ (disaster recovery) (giữa các regions) +- Sao lưu (backup) (phục hồi từ một thời điểm) + +Microsoft triển khai nhiều regions trong một ranh giới địa chính trị. + +Hai khái niệm với Azure cho tính khả dụng của dịch vụ: sets và zones. + +Availability Sets - Cung cấp khả năng phục hồi trong trung tâm dữ liệu + +Availability Zones - Cung cấp khả năng phục hồi giữa các trung tâm dữ liệu trong một khu vực. + +### Máy ảo (Virtual Machines) + +Gần như đây là điểm khởi đầu cho bất cứ ai làm việc với đám mây công cộng. + +- Cung cấp máy ảo (VM) từ nhiều dòng và kích cỡ, cấu hình khác nhau với nhiều khả năng khác nhau (đôi khi hơi quá so với nhu cầu) [Kích cỡ, cấu hình cho máy ảo của Azure](https://docs.microsoft.com/en-us/azure/virtual-machines/sizes) +- Có nhiều tuỳ chọn và những điểm tập trung khác nhau cho máy ảo, từ hiệu năng cao, độ trễ thấp tới những máy ảo có bộ nhớ tối ưu. +- Chúng ta cũng có loại VM có thể burst (dành cho workloads vượt quá cấu hình định mức) trong dòng B. Điều này rất tốt cho các workloads mà bạn có thể yêu cầu CPU thấp hầu hết thời gian nhưng lại yêu cầu tăng đột biến với tần suất có thể là mỗi tháng một lần. +- Máy ảo được đặt trên một mạng ảo có thể cung cấp với bất cứ mạng nào khác. +- Hỗ trọ hệ điều hành Linux và Windows. +- Ngoài ra còn có các kernels được điều chỉnh cho Azure khi nói đến các bản phân phối Linux cụ thể. [Azure Tuned Kernals](https://docs.microsoft.com/en-us/azure/virtual-machines/linux/endorsed-distros#azure-tuned-kernels) + +### Tạo mẫu (Templating) + +Như tôi đã đề cập trước đó, mọi thứ đằng sau hoặc bên dưới Microsoft Azure đều là JSON. + +Có một số cổng quản lý và bảng điều khiển khác nhau mà chúng ta có thể sử dụng để tạo tài nguyên của mình, cách được ưu tiên là thông qua các JSON templates. + + +Idempotent deployments ở chế độ incremental hoặc complete - ví dụ: trạng thái mong muốn có thể được lặp lại nhiều lần (repeatable desired state) + +Có nhiều lựa chọn templates có thể export các định nghĩa tài nguyên đã được triển khai. +Tôi nghĩ về tính năng tạo template này là một thứ gì đó giống với AWS CloudFormation hoặc có thể là Terraform cho lựa chọn multi-cloud. Chúng ta sẽ đề cập nhiều hơn tới Terraform trong phần Cơ sở hạ tầng dưới dạng mã. + +### Thay đổi quy mô (Scaling) + +Tự động thay đổi quy mô (automatic scaling) là một tính năng lớn của đám mây công cộng, có thể rút bớt các tài nguyên mà bạn không sử dụng hoặc tăng thêm khi bạn cần chúng. + +Với Azure, chúng ta có một thứ gọi là Virtual Machine Scale Sets (VMSS) cho IaaS. Điều này cho phép tạo và scale tự động một images tiêu chuẩn theo các lịch trình và số liệu (schedules & metrics) + +Việc này rất lý tưởng cho việc thiết lập các khoảng cửa sổ cập nhật (updating windows) để bạn có thể cập nhật các images và triểu khai chúng với tác động ít nhất. + +Các dịch vụ khác ví dụ như Azure App Service được tích hợp sẵn tính năng tự động thay đổi quy mô (auto-scaling). + +### Containers + +Chúng ta chưa đề cập chi tiết tới containers trong hành trình học DevOps này nhưng tôi nghĩ chúng ta cần đề cập tới việc Azure có một số dịch vụ tập trung vào containers. + +Azure Kubernetes Service (AKS) - Cung cấp giải pháp quản lý Kubernetes, không cần lo lắng về control plane hay quản lý cụm tài nguyên (cluster). Chúng ta sẽ tìm hiểu về Kubernetes thêm vào phần sau. + +Azure Container Instances - Containers as a service với mô hình thanh toán theo giây (per-second billing). Chạy một image và tích hợp nó với mạng ảo của bạn, không cần container orchestration (điều phối container) + +Service Fabric - Có rất nhiều khả năng nhưng bao gồi điều phối các container instances. + +Azure cũng có Container Registry cung cấp một registry riêng cho Docker images, Helm charts, OCI Artifacts và images. Chúng ta sẽ tìm hiểu kỹ hơn trong phần về containers. + +Chúng ta cũng nên đều cập rằng rất nhiều dịch vụ container cũng có thể sử dụng container ở phía dưới nhưng điều này cũng được trừu tượng hoá và bạn không cần phải quản lý chúng. + +Chúng ta cũng có thể thấy các dịch vụ tập trung vào container này xuất hiện ở mọi đám mây công cộng khác. + +### Application Services + +- Azure Application Services cung cấp giải pháp hosting với một phương pháp đơn giản để triển khai, thiết lập dịch vụ. +- Tự động triểu khai và mở rộng quy mô. +- Hỗ trợ các giải pháp dựa trên Windows và Linux. +- Các dịnh vụ chạy trong một App Service Plan được chọn type và size. +- Thích hợp cho các dịch vụ khác nhau bao gồm wep apps, API apps và mobile apps. +- Hỗ trợ Deployment slots cho việc triển khai và kiểm thử. + +### Serverless Computing + +Serverless đối với tôi là một chủ đề thú vị mà tôi cực kỳ muốn tìm hiểu thêm. + +Mục tiêu với serverless là chúng ta chỉ trả tiền cho thời gian chạy của một hàm và không cần phải chạy các máy ảo hoặc ứng dụng PaaS mọi lúc. Chúng ta đơn giản là chỉ chạy hàm của mình khi cần và sau đó nó biến mất. + +Azure Functions - Cung cấp mã serverless. Nếu chúng ta nhớ lại những điều được đề cập trong bài đầu tiên về điện toán đám mấy, chúng ta sẽ nhớ về các lớp quản lý trừu tượng, với serverless funtion, chúng ta chỉ cần quản lý code. + +Event-Driven với quy mô siêu lớn, tôi có kế hoạch làm một thứ gì đó khi tôi thực hành phần này, hy vọng sẽ thực hiện được ở phần sau. + +Cung cấp input và output cho nhiều dịch vụ Azure và của bên thứ ba. + +Hỗ trợ nhiều ngôn ngữ lập trình. (C#, NodeJS, Python, PHP, batch, bash, Golang and Rust. hoặc bất kỳ tệp thực thi nào) + +Azure Event Grid cho phép có thể kích hoạt logic từ các dịch vụ khác hoặc events. + +Azure Logic App cung cấp một quy trình làm việc và tích hợp dựa trên đồ hoạ. + +Chúng ta cũng có thể nhắc tơi Azure Batch, dịch vụ giúp chạy các công việc có quy mô lớn trên các nodes Windows hoặc Linux với khả năng quản lý và lập lịch nhất quán. + +## Tài liệu tham khảo + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +Hẹn gặp lại vào [ngày 32](day32.md) diff --git a/2022/vi/Days/day32.md b/2022/vi/Days/day32.md new file mode 100644 index 0000000..c2f9f9e --- /dev/null +++ b/2022/vi/Days/day32.md @@ -0,0 +1,188 @@ +--- +title: '#90DaysOfDevOps - Mô hình lưu trữ và cơ sở dữ liệu Microsoft Azure - Ngày 32' +published: false +description: 90DaysOfDevOps - Mô hình lưu trữ và cơ sở dữ liệu Microsoft Azure +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048775 +--- + +## Mô hình lưu trữ và cơ sở dữ liệu Microsoft Azure + +### Các dịch vụ lưu trữ (Storage services) + +- Các dịch vụ của Azure storage được cung cấp bởi các tài khoản lưu trữ(storage accounts). +- Storage accounts chủ yếu được tuỷ cập thông qua REST API. +- Một storage account phải có một tên duy nhất là và sẽ là một phần của DNS name `.core.windows.net` +- Có nhiều tuỳ chọn sau lưu và mã hoá khác nhau. +- Nằm trong một resource group + +Chúng ta có thể tạo storage group bằng cách tìm kiếm storage group trong thành tìm kiếm ở trên cùng của Azure portal. + +![](../../Days/Images/Day32_Cloud1.png) +Sau đó chúng ta có thể thực hiện các bước để tạo storage account của mình, hãy nhớ rằng tên này cần phải là duy nhất và nó cũng cần phải là chữ thường, không có khoảng trắng nhưng có thể sử dụng các chữ số. + +![](../../Days/Images/Day32_Cloud2.png) + +Chúng ta cũng có thể chọn mức độ dự phòng (redundancy) mà chúng ta muốn với storage account của mình và bất cứ thứ gì chúng ta lưu trữ ở đó. Càng xuống phía dưới danh sách, các tuỳ chọn sẽ ngày một đắt tiền nhưng dữ liệu của bạn cũng được bảo đảm hơn. + +Ngay cả tuỳ chọn dự phòng mặc định cũng cung cấp cho chúng ta 3 bản sau dữ liệu. + +[Azure Storage Redundancy](https://docs.microsoft.com/en-us/azure/storage/common/storage-redundancy) + +Dưới đây là tóm tắt cho thông tin có trong đường link ở trên: + +- **Locally-redundant storage** - sao chép dữ liệu của bạn ba lần trong một trung tâm dữ liệu ở khu vực chính. +- **Geo-redundant storage** - sao chép đồng bộ dữ liệu của bạn ba lần tại một vị trí vật lý ở khu vực chính sử dụng LRS. +- **Zone-redundant storage** - sao chép dữ liệu của bạn một cách đồng bộ trên ba vùng khả dụng của Azure trong vùng chính. +- **Geo-zone-redundant storage** - kết hợp tính khả dụng cao do khi các dữ liệu được sao chép giữa các availability zones (AZ) với khả năng bảo vệ khỏi sự cố với một region bằng geo-replication. Dữ liệu trong GZRS storage account được sao chép qua ba AZs trong region chính và cũng được sao chép sang vùng địa lý thứ hai để bảo về các thảm hoạ xảy ra trong từng khu vực. + +![](../../Days/Images/Day32_Cloud3.png) + +Quay trở lại các tuỳ chọn về hiệu suất. Chúng ta có Standard và Premium để chọn. Chúng ta đã chọn Standard trong hướng dẫn này nhưng lựa chọn Premium cho chúng ta một số ưu điểm cụ thể. + +![](../../Days/Images/Day32_Cloud4.png) + +Sau đó, trong drop-down, bạn có thể thấy chúng ta có ba tuỳ chọn sau. + +![](../../Days/Images/Day32_Cloud5.png) + +Có rất nhiều tuỳ chọn nâng cao hơn có sẵn cho tài khoản lưu trữ của bạn, nhưng hiện tại, chúng tôi không cần phải truy cập vào các phần này. Các tuỳ chọn này là về mã hoá và bảo vệ dữ liệu. + +### Ổ đĩa được quản lý - Managed Disks + +Truy cập bộ nhớ có thể đạt được theo một vài cách sau: + +Truy cập được xác thực thông qua: + +- Một shared key để kiểm soát hoàn toàn +- Shared Access Signature để truy cập, uỷ quyền truy cập. +- Azure Active Directory (nếu có) + +Truy cập công cộng: +- Quyền truy cập công khai cũng có thể được cấp để cho phép truy cập ẩn danh bao gồm cả qua HTTP. +- - Một ví dụ về điều này có thể là lưu trữ các tệp và nội dung cơ bản trong một khối blob để trình duyệt có thể xem và tài xuống dữ liệu này. + +Nếu bạn đang truy cập vào bộ nhớ của mình từ một dịch vụ Azure khác, thì lưu lượng truy cập vẫn nằm trong Azure. + +Khi nói đến hiệu xuất lưu trữ, chúng ta có 2 loại khác nhau: + +- **Tiêu chuẩn** - Số lượng IOPS tối đa trong khả năng +- **Premium** - Số lượng IOPS được đảm bảo + +IOPS => Input/Output operations per sec. + +Ngoài ra còn có sự khác biết giữa ổ đĩa không được quản lý và ổ đĩa được quản lý để cân nhắc khi chọn ổ lưu trữ phù hợp cho tác vụ của bạn. + +### Lưu trữ trên máy ảo - Virtual Machine Storage + +- Ổ đĩa của hệ điều hành máy ảo được lưu trữ trên bộ lưu trữ liên tục (persisten storage) +- Một số workloads phi trạng thái không yêu cầu lưu trữ liên tục và việc giảm độ trễ là điều cần quan tâm hơn. +- Có một số máy ảo hỗ trợ các ổ đĩa tạm thời (ephemeral disks) do hệ điều hành quản lý và được tạo trên bộ lưu trữ nút cục bộ (node-local storage) + - Chúng cũng có thể được sử dụng với VM Scale Sets + +Ổ đĩa được quản lý là bộ lưu trữ khối (block storage) có thể được sử dụng với Azure Virtual Machines. Bạn có thể có Ultra Disk Storage, Premium SSD, Standard SSD, hoặc Standard HDD. Chúng cũng có một số đặc điểm riêng. + +- Hỗ trợ Snapshot và Image +- Di chuyển đơn giản giữa các SKUs +- Tính khả dụng tốt hơn khi kết hợp với các bộ tính khả dụng (availability sets) +- Tính phí dựa trên kích thước đĩa, không phải trên dung lượng lưu trữ đã sử dụng. + +## Lưu trữ kho - Archive Storage + +- **Cool Tier** - Có sẵn cho block và các blobs có thể thêm dữ liệu (append blobs) + - Chi phí lưu trữ thấp hơn + - Chi phí đọc/ghi cao hơn +- **Archive Tier** - Có sẵn cho block BLOBs. + - Được định cấu hình trên mỗi BLOB. + - Chi phí rẻ hơn nhưng độ trễ khi truy vấn dữ liệu cao hơn. + - Có độ bền bỉ (durability) tương tự như Azure Storage thông thường. + - Phân tầng dữ liệu tuỳ chỉnh có thể được bật theo yêu cầu. + +### Chia sẻ file - File Sharing + +Từ việc tạo storage account ở trên, giờ đây chúng ta có thể tạo chia sẻ tệp. + +![](../../Days/Images/Day32_Cloud6.png) + +Việc này sẽ cung cấp tính năng chia sẻ tệp SMB2.1 và 3.0 trong Azure. + +Có thể sử dụng trong Azure và bên ngoài thông qua SMB3 và cổng 445 mở ra với Internet. + +Cung cấp lưu trữ tệp được chia sẻ trong Azure. + +Ngoài REST API, dữ liệu có thể được đọc bởi ứng dụng SMB client tiêu chuẩn + +Bạn cũng có thể để ý đến [Azure NetApp Files](https://vzilla.co.uk/vzilla-blog/azure-netapp-files-how) (SMB and NFS) + +### Bộ nhớ đệm & Dịch vụ media - Caching & Media Services + +Azure Content Delivery Network cung cấp bộ nhớ đệm cho nội dung web tĩnh với các vị trí trên khắp thế giới. + +Azure Media Service, cung cấp các công nghệ chuyển mã phương tiện bên cạnh các dịch vụ phát lại. + +## Mô hình cơ sở dữ liệu Microsoft Azure + +Quay lại [Ngày 28](day28.md), chúng ta đã đề cập đến nhiều tùy chọn dịch vụ khác nhau. Một trong số đó là PaaS (Nền tảng dưới dạng Dịch vụ), nơi bạn trừu tượng hóa một các cơ sở hạ tầng và hệ điều hành và chỉ còn lại quyền kiểm soát ứng dụng hoặc trong trường hợp này là các mô hình cơ sở dữ liệu. + +### Relational Databases + +Cơ sở dữ liệu Azure SQL cung cấp cơ sở dữ liệu quan hệ dưới dạng dịch vụ dựa trên Microsoft SQL Server. + +Đây là SQL chạy nhánh SQL mới nhất với mức độ tương thích cơ sở dữ liệu có sẵn khi cần có một phiên bản chức năng cụ thể. + +Có một vài tùy chọn về cách cấu hình điều này, chúng ta có thể cung cấp một cơ sở dữ liệu duy nhất tron instance, trong khi một nhóm đàn hồi (elastic pool) cho phép nhiều cơ sở dữ liệu chia sẻ một nhóm dung lượng và chia tỷ lệ với nhau. + +Các instances cơ sở dữ liệu này có thể được truy cập như các bản SQL thông thường. + +Các dịch vụ được quản lý khác như MySQL, PostgreSQL và MariaDB. + +![](../../Days/Images/Day32_Cloud7.png) + +### Giải pháp NoSQL + +Azure Cosmos DB là một NoSQL bất khả tri (agnostic NoSQL) với 99.99% SLA. + +Dữ liệu được phân phối toàn cầu với độ trễ một chữ số cho 99% số yêu cầu ở mọi nơi trên thế giới với tính năng tự động điều hướng. + +Khoá phân vùng (Partition key) được tận dụng để phân vùng/phân mảnh/phân phối dữ liệu. + +Hỗ trợ nhiều mô hình dữ liệu khác nhau (documents, key-value, graph, column-friendly) + +Hỗ trợ nhiều API khác nhau (DocumentDB SQL, MongoDB, Azure Table Storage và Gremlin) + +![](../../Days/Images/Day32_Cloud9.png) + +Có nhiều mô hình nhất quán khác nhau dựa trên [định lý CAP](https://en.wikipedia.org/wiki/CAP_theorem). + +![](../../Days/Images/Day32_Cloud8.png) + +### Bộ nhớ đệm - Caching + +Để tránh đi sâu vào các hệ thống bộ nhớ đệm như Redis, tôi chỉ muốn đề cập rằng Microsoft Azure có một dịch vụ gọi là Azure Cache cho Redis. + +Azure Cache cho Redis cung cấp bộ nhớ lưu trữ dữ liệu in-memory dựa trên Redis. + +- Đây là một phiên bản triển khai của phần mềm mã nguồn mở Redis Cache. + - Một instance được host, bảo mật + - Có nhiều tiers khác nhau để lựa chọn + - Ứng dụng phải được cập nhật để tận dụng bộ nhớ đệm + - Nhắm vào các ứng dụng có yêu cầu đọc nhiều hơn so với ghi + - Lưu trữ dưới dạng key-value + +![](../../Days/Images/Day32_Cloud10.png) + +Đã có rất nhiều ghi chú và lý thuyết về Microsoft Azure nhưng tôi muốn đề cập kỹ hơn tới các khối xây dựng cơ bản (building blocks) trước khi chúng ta đi sâu vào các khía cạnh thực hành về cách các thành phần này kết hợp và hoạt động với nhau. + +Chúng ta còn một chút lý thuyết nữa về mạng trước khi có thể thiết lập và triển khai và chạy một số dịch vụ dựa trên các kịch bản có sẵn. Chúng ta cũng nên tương tác với Microsoft Azure bằng các phương pháp khác nhau so với việc chỉ sử dụng cổng portal như chúng ta vẫn làm cho tới thời điểm này. + +## Tài liệu tham khảo + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +Hẹn gặp lại vào [ngày 33](day33.md) + diff --git a/2022/vi/Days/day33.md b/2022/vi/Days/day33.md new file mode 100644 index 0000000..7d8b907 --- /dev/null +++ b/2022/vi/Days/day33.md @@ -0,0 +1,199 @@ +--- +title: '#90DaysOfDevOps - Mô hình Mạng Microsoft Azure + Quản lý Azure - Ngày 33' +published: false +description: 90DaysOfDevOps - Mô hình Mạng Microsoft Azure + Quản lý Azure +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048706 +--- + +## Mô hình Mạng Microsoft Azure + Quản lý Azure + +Hôm nay là ngày kỷ niệm của Microsoft Azure và Sinh nhật lần thứ 12 của nó! (Ngày 1 tháng 2 năm 2022) Dù sao đi nữa, chúng ta sẽ đề cập đến các mô hình kết nối mạng trong Microsoft Azure và một số tùy chọn quản lý dành cho Azure. Cho đến hiện tại, chúng ta mới chỉ sử dụng Azure portal nhưng chúng ta đã đề cập đến một số phần và phương pháp khác để tạo các tài nguyên trên nền tảng này. + +## Mô hình mạng Azure + +### Mạng ảo - Virtual Networks + +- Mạng ảo (VNet) là một cấu trúc được tạo trong Azure. +- Một mạng ảo có một hoặc nhiều dải IP được gán cho nó. +- Mạng ảo tồn tại trong một subscription trong một region. +- Mạng con ảo (virtual subnets) được tạo trong mạng ảo để chia nhỏ phạm vi mạng. +- Máy ảo được đặt trong mạng con ảo. +- Tất cả các máy ảo trong một mạng ảo đều có thể giao tiếp với nhau. +- 65.536 IPs riêng trên mỗi Mạng ảo. +- Chỉ trả tiền cho lưu lượng đi ra từ một region. (Dữ liệu rời khỏi region) +- Hỗ trợ IPv4 & IPv6. + - IPv6 dành cho public-facing và trong các mạng ảo. + +Chúng ta có thể ví Mạng ảo Azure với AWS VPC. Tuy nhiên, có một số khác biệt cần lưu ý: + +- Trong AWS, VNet mặc định được tạo, điều này không giống với Microsoft Azure, bạn phải tạo mạng ảo đầu tiên theo yêu cầu của mình. +- Tất cả các Virtual Machines mặc định trong Azure đều có NAT truy cập internet. Không có NAT Gateways như AWS. +- Trong Microsoft Azure không có khái niệm mạng con Private hay Public. +- IP công cộng là tài nguyên có thể được gán cho vNIC hoặc Bộ cân bằng tải. +- Mạng ảo và Mạng con có ACL riêng cho phép ủy quyền cấp mạng con. +- Mạng con trên các AZs trong khi ở AWS, bạn có các mạng con nằm trên một AZ. + +Chúng ta cũng có Virtual Network Peering. Điều này cho phép các mạng ảo trên các tenants và regions được kết nối thông qua hạ tầng của Azure. Không có tính bắc cầu nhưng nhưng có thể được kích hoạt qua Azure Firewall trong hub virtual network. + +### Kiểm soát truy cập - Access Control + +- Azure sử dụng Network Security Groups, đây là những nhóm có trạng thái. +- Kích hoạt các quy tắc được tạo và sau đó được gán cho một Network Security Group +- Network Security Groups được áp dụng cho mạng con hoặc máy ảo. +- Khi được áp dụng cho một mạng con, nó vẫn được thực thi tại NIC của máy ảo rằng nó không phải là thiết bị "Edge". + +![](../../Days/Images/Day33_Cloud1.png) + +- Các quy tắc được kết hợp trong một Network Security Group. +- Dựa trên mức độ ưu tiên, có thể cấu hình linh hoạt. +- Số ưu tiên thấp hơn có nghĩa là ưu tiên cao. +- Hầu hết logic được xây dựng bởi Địa chỉ IP nhưng một số thẻ và nhãn cũng có thể được sử dụng. + +| Description | Priority | Source Address | Source Port | Destination Address | Destination Port | Action | +| ---------------- | -------- | ------------------ | ----------- | ------------------- | ---------------- | ------ | +| Inbound 443 | 1005 | \* | \* | \* | 443 | Allow | +| ILB | 1010 | Azure LoadBalancer | \* | \* | 10000 | Allow | +| Deny All Inbound | 4000 | \* | \* | \* | \* | DENY | + +Chúng tôi cũng có Application Security Groups (ASGs) + +- Trường hợp NSG tập trung vào dải địa chỉ IP có thể khó duy trì đối với môi trường đang phát triển. +- ASG cho phép xác định tên thật (Monikers) cho các vai trò ứng dụng khác nhau (Máy chủ web, máy chủ DB, WebApp1, v.v.) +- NIC của máy ảo được coi là thành viên của một hoặc nhiều ASG. + +Sau đó, ASG có thể được sử dụng trong các quy tắc và là một phần của Network Security Groups để kiểm soát luồng giao tiếp và vẫn có thể sử dụng các tính năng của NSG như tags của dịch vụ. + +| Action | Name | Source | Destination | Port | +| ------ | ------------------ | ---------- | ----------- | ------------ | +| Allow | AllowInternettoWeb | Internet | WebServers | 443(HTTPS) | +| Allow | AllowWebToApp | WebServers | AppServers | 443(HTTPS) | +| Allow | AllowAppToDB | AppServers | DbServers | 1443 (MSSQL) | +| Deny | DenyAllinbound | Any | Any | Any | + +### Cân bằng tải - Load Balancing + +Microsoft Azure có hai giải pháp cân bằng tải riêng biệt. (giải phảp first party, có nhiều giải pháp của bên thứ ba trên Azure marketplace) Cả hai đều có thể hoạt động với các endpoints nội bộ hoặc công khai. + +- Load Balancer (Layer 4) hỗ trợ phân phối và chuyển tiếp cổng dựa trên hàm băm. +- App Gateway (Layer 7) hỗ trợ các tính năng như giảm tải SSL, định tuyến dựa trên cookie và định tuyến nội dung dựa trên URL. + +Ngoài ra với App Gateway, bạn có thể tùy chọn sử dụng Web Application firewall. + +## Công cụ quản lý Azure - Azure Management Tools + +Chúng ta đã dành phần lớn thời gian lý thuyết của mình để xem qua Azure portal, tôi khuyên bạn nên tuân theo văn hóa DevOps và thực hiện các các task, đặc biệt là xung quanh việc khởi tạo tài nguyên nên được thông qua API hoặc công cụ dòng lệnh (CLI). Tôi muốn đề cập đến một số công cụ quản lý có sẵn khác vì chúng ta cần biết điều này khi tự động hóa việc khởi tạo và quản lý môi trường Azure của mình. + +### Azure Portal + +The Microsoft Azure Portal is a web-based console, that provides an alternative to command-line tools. You can manage your subscriptions within the Azure Portal. Build, Manage, and Monitor everything from a simple web app to complex cloud deployments. Another thing you will find within the portal are these breadcrumbs, JSON as mentioned before is the underpinning of all Azure Resources, It might be that you start in the Portal to understand the features, services and functionality but then later understand the JSON underneath to incorporate into your automated workflows. + +Microsoft Azure portal là một bảng điều khiển bằng web, cung cấp giải pháp thay thế cho các công cụ dòng lệnh. Bạn có thể quản lý subscriptions của mình trong Azure portal. Xây dựng, quản lý và giám sát mọi thứ từ một ứng dụng web đơn giản đến việc triển khai hệ thống phức tạp. Một thứ khác mà bạn sẽ tìm thấy trong portal là các breadcrumbs này, JSON như đã đề cập trước đây là nền tảng của tất cả tài nguyên trên Azure. Có thể bạn bắt đầu với portal để hiểu các tính năng, dịch vụ và chức năng nhưng sau đó nên hiểu các file JSON ở dưới đó để kết hợp vào quy trình làm việc tự động của bạn. + +![](../../Days/Images/Day33_Cloud2.png) + +Ngoài ra còn có Azure Preview portal, nó có thể được sử dụng để xem và thử nghiệm các dịch vụ và cải tiến mới và sắp ra mắt. + +![](../../Days/Images/Day33_Cloud3.png) + +### PowerShell + +Before we get into Azure PowerShell it is worth introducing PowerShell first. PowerShell is a task automation and configuration management framework, a command-line shell and a scripting language. We might and dare I say this liken this to what we have covered in the Linux section around shell scripting. PowerShell was very much first found on Windows OS but it is now cross-platform. + +Azure PowerShell is a set of cmdlets for managing Azure resources directly from the PowerShell command line. + +We can see below that you can connect to your subscription using the PowerShell command `Connect-AzAccount` + +Trước khi chúng tôi bắt đầu với Azure PowerShell, chúng ta nên biết tới PowerShell. PowerShell là một framework quản lý cấu hình và tự động hóa tác vụ, một command-line shell và ngôn ngữ kịch bản. Nó giống với những gì chúng ta đã tìm hiểu trong phần shell scripting cho Linux. PowerShell lúc đầu được sử dụng rộng rãi trên hệ điều hành Windows nhưng giờ đây nó đã có trên nhiều nền tảng. + +Azure PowerShell là một tập hợp các lệnh ghép ngắn để quản lý tài nguyên Azure trực tiếp từ dòng lệnh PowerShell. + +Chúng ta có thể thấy bên dưới rằng bạn có thể kết nối với đăng ký của mình bằng lệnh PowerShell `Connect-AzAccount` + +![](../../Days/Images/Day33_Cloud4.png) + +Sau đó, nếu muốn tìm một số lệnh cụ thể được liên kết với máy ảo Azure, chúng ta có thể chạy lệnh sau. Bạn có thể dành thời gian để học và tìm hiểu thêm về ngôn ngữ lập trình này. + +![](../../Days/Images/Day33_Cloud5.png) + +Có một số hướng dẫn nhanh rất tốt từ Microsoft về việc bắt đầu và khởi tạo các dịch vụ từ Powershell [tại đây](https://docs.microsoft.com/en-us/powershell/azure/get-started-azureps?view=azps-7.1.0) + +### Visual Studio Code + +Giống như nhiều người, và như tất cả các bạn đã thấy, IDE của tôi là Visual Studio Code. + +Visual Studio Code là trình chỉnh sửa mã nguồn miễn phí do Microsoft tạo cho Windows, Linux và macOS. + +Bạn sẽ thấy bên dưới có rất nhiều tích hợp và công cụ được tích hợp trong Visual Studio Code mà bạn có thể sử dụng để tương tác với Microsoft Azure và các dịch vụ trong đó. + +![](../../Days/Images/Day33_Cloud6.png) + +### Cloud Shell + +Azure Cloud Shell là một shell tương tác, được xác thực, có thể truy cập bằng trình duyệt để quản lý tài nguyên Azure. Nó cung cấp sự linh hoạt khi lựa chọn shell phù hợp nhất với người dùng. + +![](../../Days/Images/Day33_Cloud7.png) + +You can see from the below when we first launch Cloud Shell within the portal we can choose between Bash and PowerShell. +Bạn có thể thấy từ bên dưới khi khởi chạy Cloud Shell lần đầu tiên trong portal, chúng ta có thể chọn giữa Bash và PowerShell. + +![](../../Days/Images/Day33_Cloud8.png) + +Để sử dụng cloud shell, bạn sẽ phải cung cấp một chút dung lượng lưu trữ trong subscription của mình. + +Khi bạn chọn sử dụng cloud shell, nó sẽ khởi động một máy, những máy này là tạm thời nhưng các tệp của bạn vẫn được duy trì theo hai cách: thông qua disk image và mounted file share. + +![](../../Days/Images/Day33_Cloud9.png) + +- Cloud Shell chạy trên máy chủ tạm thời được cung cấp trên theo mỗi phiên, mỗi người dùng +- Cloud Shell hết thời gian chờ sau 20 phút không có hoạt động tương tác +- Cloud Shell yêu cầu một Azure file share được gắn vào (mounted) +- Cloud Shell sử dụng cùng một Azure file share cho cả Bash và PowerShell +- Cloud Shell được cung cấp một máy cho mỗi tài khoản người dùng +- Cloud Shell vẫn duy trì $HOME bằng cách sử dụng hình ảnh 5 GB được giữ trong file share của bạn +- Quyền được đặt như một người dùng Linux thông thường trong Bash + +Phần trên được sao chép từ [Tổng quan về Cloud Shell](https://docs.microsoft.com/en-us/azure/cloud-shell/overview) + +### Azure CLI + +Cuối cùng, tôi muốn đề cập đến Azure CLI, Azure CLI có thể được cài đặt trên Windows, Linux và macOS. Sau khi cài đặt, bạn có thể nhập `az` theo sau là các lệnh khác để tạo, cập nhật, xóa và xem tài nguyên trên Azure. + +Khi mới bắt đầu học Azure, tôi hơi bối rối vì có Azure PowerShell và Azure CLI. + +Tôi cũng thích có phản hồi từ cộng đồng về điều này. Nhưng theo cách tôi thấy thì Azure PowerShell là một module được thêm vào Windows PowerShell hoặc PowerShell Core (cũng có sẵn trên hệ điều hành khác nhưng không phải tất cả), trong khi Azure CLI là một chương trình dòng lệnh đa nền tảng kết nối với Azure và thực thi các lệnh đó . + +Cả hai tùy chọn này đều có cú pháp khác nhau, mặc dù từ những gì tôi có thể thấy và những gì tôi đã làm chúng có thể thực hiện các nhiệm vụ rất giống nhau. + +Ví dụ: tạo một máy ảo từ PowerShell sẽ sử dụng lệnh ghép ngắn `New-AzVM` trong khi Azure CLI sẽ sử dụng `az VM create`. + +Trước đây, bạn có thể thấy rằng tôi đã cài đặt module Azure PowerShell trên hệ thống của mình nhưng sau đó tôi cũng đã cài đặt Azure CLI và nó có thể được gọi thông qua PowerShell trên máy Windows của mình. + +![](../../Days/Images/Day33_Cloud10.png) + +Bài học rút ra ở đây như chúng ta đã đề cập là chọn công cụ phù hợp với bản thân. Azure chạy trên tự động hóa. Mọi hành động bạn thực hiện bên trong portal sẽ được dịch ở đâu đó thành dạnh mã và được thực thi để đọc, tạo, sửa đổi hoặc xóa tài nguyên. + +Azure CLI + +- Giao diện dòng lệnh đa nền tảng, có thể cài đặt trên Windows, macOS, Linux +- Chạy trong Windows PowerShell, Cmd, Bash và các shell Unix khác. + +Azure PowerShell + +- Module PowerShell đa nền tảng, chạy trên Windows, macOS, Linux +- Yêu cầu Windows PowerShell hoặc PowerShell + +Nếu có lý do khiến bạn không thể sử dụng PowerShell trong môi trường của mình nhưng bạn có thể sử dụng bash thì Azure CLI sẽ là lựa chọn của bạn. + +Tiếp theo, chúng ta sử dụng tất cả các lý thuyết đã được đề cập và tạo ra một số kịch bản và thực hành trên Azure. + +## Tài liệu tham khảo + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +Hẹn gặp lại vào [ngày 34](day34.md) diff --git a/2022/vi/Days/day34.md b/2022/vi/Days/day34.md new file mode 100644 index 0000000..da1dab5 --- /dev/null +++ b/2022/vi/Days/day34.md @@ -0,0 +1,199 @@ +--- +title: '#90DaysOfDevOps - Thực hành với Microsoft Azure - Ngày 34' +published: false +description: 90DaysOfDevOps - Thực hành với Microsoft Azure +tags: 'DevOps, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048763 +--- + +## Thực hành với Microsoft Azure + +Chúng ta đã tập trung vào Microsoft Azure nói riêng và đám mây công cộng nói chung trong suốt 6 ngày qua, phần lớn các kiến thức này chứa nhiều lý thuyết để hiểu được các khối xây dựng cơ bản của Azure, nhưng điều này cũng cũng sẽ có thể liên kết và áp dụng với các nhà cung cấp đám mây khác. + +Tôi đã đề cập ngay từ đầu về việc có kiến thức cơ bản về đám mấy công cộng và chọn ít nhất một nhà cung cấp để bắt đầu, nếu bạn đang nhảy giữa các đám mây khác nhau thì tôi tin rằng rất dễ bị rối. Trong khi chọn một nhà cung cấp và sau khi hiểu các nguyên tắc cơ bản, bạn sẽ dễ dàng học, tìm hiểu về những đám mây khác và tăng tốc việc học của mình. + +Trong bài cuối cùng này, tôi sẽ chọn và chọn các tình huống thực hành của mình từ trang này. Đây là tài liệu tham khảo do Microsoft tạo và được sử dụng để chuẩn bị cho [AZ-104 Microsoft Azure Administrator](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/) + +Có một số ví dụ ở đây chẳng hạn như Container và Kubernetes, các chủ đề chưa được đề cập đến vì vậy tôi chưa muốn đi sâu vào chúng. + +Trong các bài viết trước, chúng ta đã tạo hầu hết các Module 1,2 và 3. + +### Mạng ảo - Virtual Networking + +Làm theo [Module 04](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_04-Implement_Virtual_Networking.html): + +Tôi đã xem qua phần trên và thay đổi một vài tên cho phù hợp với #90DaysOfDevOps. Thay vì sử dụng Cloud Shell, tôi cũng đã đăng nhập bằng người dùng mới được tạo vào những ngày trước sử dụng Azure CLI trên máy Windows của mình. + +Bạn có thể làm điều này bằng cách sử dụng `az login`, sau đó một trình duyệt sẽ được mở và cho phép bạn xác thực tài khoản của mình. + +Sau đó, tôi đã tạo tập lệnh PowerShell và tham khảo từ module để sử dụng nhằm xây dựng một số tác vụ bên dưới. Bạn có thể tìm thấy các tập tin liên quan trong thư mục này. +(Cloud\01VirtualNetworking) + +Vui lòng đảm bảo rằng bạn thay đổi vị trí tệp trong tập lệnh phù hợp với môi trường của mình. + +Ở giai đoạn đầu tiên này, chúng tôi không có mạng ảo hoặc máy ảo nào được tạo trong môi trường của mình, tôi chỉ có một cloud shell storage được định cấu hình trong resource group của mình. + +Trước hết, tôi chạy [PowerShell script](../../Days/Cloud/01VirtualNetworking/Module4_90DaysOfDevOps.ps1) của mình + +![](../../Days/Images/Day34_Cloud1.png) + +- Nhiệm vụ 1: Tạo và cấu hình mạng ảo + +![](../../Days/Images/Day34_Cloud2.png) + +- Nhiệm vụ 2: Triển khai máy ảo vào mạng ảo + +![](../../Days/Images/Day34_Cloud3.png) + +- Nhiệm vụ 3: Cấu hình địa chỉ IP private và public của máy ảo Azure + +![](../../Days/Images/Day34_Cloud4.png) + +- Nhiệm vụ 4: Cấu hình các network security groups + +![](../../Days/Images/Day34_Cloud5.png) +![](../../Days/Images/Day34_Cloud6.png) + +- Nhiệm vụ 5: Cấu hình Azure DNS để phân giải tên nội bộ + +![](../../Days/Images/Day34_Cloud7.png) +![](../../Days/Images/Day34_Cloud8.png) + +### Quản lý lưu lượng mạng - Network Traffic Management + +Làm theo [Module 06](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_06-Implement_Network_Traffic_Management.html): + +Hướng dẫn tiếp theo, từ hướng dẫn cuối cùng, chúng ta đã vào resource group và xoá tài nguyên của mình. Nếu bạn chưa thiết lập tài khoảng người dùng như tôi để chỉ có quyền truy cập vào một nhóm tài nguyên đó, bạn có thể làm theo module đổi tên thành `90Days*`, điều này sẽ xoá tất cả các tài nguyên và nhóm tài nguyên. Đây sẽ là quy trình của tôi cho tất cả các bài labs sau này. + +Đối với lab này, tôi cũng đã tạo tập lệnh PowerShell và một số tài liệu tham khảo từ module sử dụng cho việc xây dựng một số tác vụ bên dưới. Bạn có thể tìm thấy các tập tin liên quan trong thư mục này. +(Cloud\02TrafficManagement) + +- Nhiệm vụ 1: Tạo môi trường cho lab + +Đầu tiên tôi chạy [PowerShell script](../../Days/Cloud/02TrafficManagement/Mod06_90DaysOfDevOps.ps1) của mình + +![](../../Days/Images/Day34_Cloud9.png) + +- Nhiệm vụ 2: Cấu hình topo mạng cho mạng hub-spoke + +![](../../Days/Images/Day34_Cloud10.png) + +- Nhiệm vụ 3: Kiểm tra tính bắc cầu của virtual network peering + +Group 90DaysOfDevOps của tôi không có quyền truy cập vào Network Watcher do không có quyền, tôi cho rằng điều này là do Network Watcher là một trong những tài nguyên không được liên kết với nhóm tài nguyên mà RBAC của chúng ta đã khai báo. Tôi đã thêm vai trò East US Network Watcher contributor vào group 90DaysOfDevOps. + + +![](../../Days/Images/Day34_Cloud11.png) +![](../../Days/Images/Day34_Cloud12.png) +![](../../Days/Images/Day34_Cloud13.png) + +^ Điều này được mong đợi vì hai spoke virtual networks không peer với nhau (network peering không mang tính bắc cầu). + +- Nhiệm vụ 4: Cấu hình định tuyến trong topo hub-spoke + +Tôi gặp một vấn đề khác ở đây là tài khoản của tôi không thể chạy tập lệnh với tư cách là người dùng trong nhóm 90DaysOfDevOps và vì không chắc lắm nên tôi đã quay lại tài khoản quản trị viên chính của mình. Nhóm 90DaysOfDevOps là chủ sở hữu của mọi thứ trong Nhóm tài nguyên 90DaysOfDevOps, vì vậy tôi rất muốn hiểu tại sao tôi không thể chạy lệnh bên trong VM? + +![](../../Days/Images/Day34_Cloud14.png) +![](../../Days/Images/Day34_Cloud15.png) + +Sau đó, tôi có thể quay lại tài khoản michael.cade@90DaysOfDevOps.com của mình và tiếp tục phần này. Ở đây chúng tôi đang chạy lại vài bài test tương tự nhưng bây giờ đã có thể truy cập được. + +![](../../Days/Images/Day34_Cloud16.png) + +- Nhiệm vụ 5: Triển khai Azure Load Balancer + +![](../../Days/Images/Day34_Cloud17.png) +![](../../Days/Images/Day34_Cloud18.png) + +- Nhiệm vụ 6: Triển khai Azure Application Gateway + +![](../../Days/Images/Day34_Cloud19.png) +![](../../Days/Images/Day34_Cloud20.png) + +### Azure Storage + +Làm theo [Module 07](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_07-Manage_Azure_Storage.html): + +Đối với phòng thí nghiệm này, tôi cũng đã tạo tập lệnh PowerShell và tham khảo từ module sử dụng cho việc xây dựng một số tác vụ bên dưới. Bạn có thể tìm thấy các tập tin liên quan trong thư mục này. +(Cloud\03Storage) + + +- Nhiệm vụ 1: Tạo môi trường cho lab + +Trước hết, tôi chạy [PowerShell script](../../Days/Cloud/03Storage/Mod07_90DaysOfDeveOps.ps1) của mình + +![](../../Days/Images/Day34_Cloud21.png) + +- Nhiệm vụ 2: Tạo và cấu hình tài khoản Azure Storage + +![](../../Days/Images/Day34_Cloud22.png) + +- Nhiệm vụ 3: Quản lý lưu trữ blob + +![](../../Days/Images/Day34_Cloud23.png) + +- Nhiệm vụ 4: Quản lý xác thực và cấp quyền cho Azure Storage + +![](../../Days/Images/Day34_Cloud24.png) +![](../../Days/Images/Day34_Cloud25.png) + +Tôi hơi thiếu kiên nhẫn chờ đợi điều này được cho phép nhưng cuối cùng thì nó cũng hoạt động. + +![](../../Days/Images/Day34_Cloud26.png) + +- Nhiệm vụ 5: Tạo và cấu hình Azure file share + +Khi chạy lệnh, lệnh này sẽ không hoạt động với michael.cade@90DaysOfDevOps.com nên tôi đã sử dụng tài khoản admin của mình. + +![](../../Days/Images/Day34_Cloud27.png) +![](../../Days/Images/Day34_Cloud28.png) +![](../../Days/Images/Day34_Cloud29.png) + +- Nhiệm vụ 6: Quản lý truy cập mạng cho Azure Storage + +![](../../Days/Images/Day34_Cloud30.png) + +### Serverless (Triển khai ứng dụng web) + +Làm theo [Module 09a](https://microsoftlearning.github.io/AZ-104-MicrosoftAzureAdministrator/Instructions/Labs/LAB_09a-Implement_Web_Apps.html): + +- Nhiệm vụ 1: Tạo Azure web app + +![](../../Days/Images/Day34_Cloud31.png) + +- Nhiệm vụ 2: Tạo staging deployment slot + +![](../../Days/Images/Day34_Cloud34.png) + +- Nhiệm vụ 3: Định cấu hình cài đặt triển khai ứng dụng web + +![](../../Days/Images/Day34_Cloud33.png) + +- Nhiệm vụ 4: Triển khai mã vào staging deployment slot + +![](../../Days/Images/Day34_Cloud32.png) + +- Nhiệm vụ 5: Đổi staging slots + +![](../../Days/Images/Day34_Cloud35.png) + +- Nhiệm vụ 6: Định cấu hình và kiểm tra tính năng tự động thay đổi quy mô (auto-scaling)của Azure web app + +Tập lệnh tôi đang sử dụng có thể được tìm thấy trong (../../Days/Cloud/05Serverless) + +![](../../Days/Images/Day34_Cloud36.png) + +Bài lab này kết thúc phần tìm hiểu về Microsoft Azure nói riêng và đám mây công cộng nói chung. Tôi có thể nói rằng tôi đã rất vui khi thử sức và giải quyết các tình huống trên đây. + +## Tài liệu tham khảo + +- [Hybrid Cloud and MultiCloud](https://www.youtube.com/watch?v=qkj5W98Xdvw) +- [Microsoft Azure Fundamentals](https://www.youtube.com/watch?v=NKEFWyqJ5XA&list=WL&index=130&t=12s) +- [Google Cloud Digital Leader Certification Course](https://www.youtube.com/watch?v=UGRDM86MBIQ&list=WL&index=131&t=10s) +- [AWS Basics for Beginners - Full Course](https://www.youtube.com/watch?v=ulprqHHWlng&t=5352s) + +Tiếp theo, chúng ta sẽ đi sâu vào các hệ thống kiểm soát phiên bản, cụ thể là xung quanh git và sau đó là tổng quan về kho lưu trữ mã và chúng tôi sẽ chọn GitHub vì đây là lựa chọn ưa thích của tôi. + +Hẹn gặp lại vào [ngày 35](day35.md) diff --git a/2022/vi/Days/day35.md b/2022/vi/Days/day35.md new file mode 100644 index 0000000..f583c49 --- /dev/null +++ b/2022/vi/Days/day35.md @@ -0,0 +1,140 @@ +--- +title: '#90DaysOfDevOps - Bức tranh toàn cảnh: Git - Quản lý phiên bản - Ngày 35' +published: false +description: 90DaysOfDevOps - Bức tranh toàn cảnh Git - Quản lý phiên bản +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049041 +--- + +## Bức tranh toàn cảnh: Git - Quản lý phiên bản + +Trước khi bắt đầu tìm hiểu về git, chúng ta cần hiểu quản lý phiên bản là gì và tại sao chúng ta cần làm vậy? Trong bài mở đầu về git này, chúng ta sẽ đi qua khái niệm quản lý phiên bản và kiếm thức cơ bản về git. + +### Quản lý phiên bản là gì? + +Git không phải là hệ thống quản lý phên bản duy nhất, vì vậy ở đây chúng ta sẽ đề cập đến những lựa chọn và phương pháp có sẵn cho việc quản lý phiên bản. + +Lợi ích rõ ràng nhất và lớn nhất của quản lý phiên bản là khả năng theo dõi lịch sử của dự án. Chúng ta có thể xem lại kho lưu trữ (repository) bằng cách sử dụng `git log` và xem lại toàn bộ các commit cũng như comments cũng như những gì đã diễn ra trong toàn bộ dự án. Đừng lo, chúng ta sẽ đi vào cách lệnh ở phần sau. Bây giờ, hãy tưởng tượng đây là một dự án phần mềm thực tế với rất nhiều mã nguồn và có nhiều người đang làm việc chung để phát triển sản phẩn tại các thời điểm khác nhau, tất cả các kỹ sư đã đóng góp code, và tất cả những người review code đều được ghi lại ở đây để cho chúng ta biết điều gì đã xảy ra, khi nào, bởi ai và ai đã review. + +![](Images/Day35_Git1.png) + +Quản lý phiên bản trước đây sẽ giống như việc tạo một bản sao phiên bản code của bạn theo cách thủ công trước khi bạn thực hiện các thay đổi. CÓ thể bạn cũng không cần sử dụng những phiên bản cũ nữa nhưng nó được tạo ra để bạn có thể yên tâm hơn, nhỡ đâu... + +![](Images/Day35_Git2.png) + +Tôi đã bắt đầu áp dụng quản lý phiên bản không chỉ đối với mã nguồn mà hầu hết mọi thứ, ví dụ như dự án này (90DaysOfDevOps). Tại sao lại không sử dụng các tính năng như khôi phục, ghi lại mọi thứ đã diễn ra. + +Tuy nhiên, để tránh hiểu lầm **Quản lý phiên bản không hoạt động như một bản sao lưu** + +Một lợi ích khác của quản lý phiên bản là khả năng quản lý nhiều phiên bản của một dự án. Lấy ví dụ như chúng ta có một ứng dụng miễn phí và sau đó là ứng dụng trả phí có sẵn trên tất cả các hệ điều hành. Phần lớn mã được chia sẽ giữa hai ứng dụng. Chúng tôi có thể sao chép và dán mã của mình cho từng commit vào từng ứng dụng, nhưng điều đó sẽ rất lộn xộn, đặc biệt là khi bạn mở rộng quy mô phát triển với nhiều nhân sự, cũng sẽ rất dễ mắc lỗi. + +Ứng dụng trả phí là nơi chúng ta có các chứ năng bổ sung, hãy gọi chúng là các commit trả phí, bản miễn phí sẽ chỉ chứa các commit bình thường. + +Cách chúng ta có thể làm được điều này trong quản lý phiên bản là thông qua phân nhánh (branching) + +![](Images/Day35_Git3.png) + +Phân nhánh cho phép hai luồng mã cùng tồn tại cho một ứng dụng như chúng ta đã nói ở trên. Nhưng chúng ta vẫn muốn các tính năm mới có trong phiên bản miễn phí có trong phiên bản trả phí, để làm được điều này, chúng ta có một thứ gọi là merge. + +![](Images/Day35_Git4.png) + +Bây giờ, điều này có vẻ dễ dàng nhưng việc merge có thể phức tạp vì bạn có thể có một nhóm làm việc trên phiên bản miễn phí và một nhóm khác làm việc với phiên bản trả phí và điều gì sẽ xảy ra nếu cả hai cùng thay đổi đến cấu trúc tổng thể của mã. CÓ thể một biến được cập nhật và làm hỏng phần nào đó. Sau đó, bạn có các conflict làm một chức năng không chạy được. Quản lý phiên bản không thể khắc phục được các conflict do bạn tạo ra. Nhưng quản lý phiên bản cho phép điều này được quản lý một cách dễ dàng. + +Nói chung, lý do chính nếu bạn chưa sử dụng quản lý phiên bản cho tới thởi điểm này có thể là bạn chưa cộng tác bao giờ. Sẽ có ngày càng nhiều trường hợp mà chúng ta cần tới khả năng chia sẽ mã giữa các nhà phát triển. Có thể là một bài trình bày chung mà bạn đang làm việc với đồng nghiệp hoặc thử thách 90DaysOfDevOps, nơi bạn có cộng đồng và các chỉnh sửa, cập nhật sẽ được cộng đồng đóng góp trong suốt dự án. + +Nếu không có quản lý phiên bản, làm thể nào các nhóm phát triển phần mềm có thể giải quyết vấn đề này? Tôi thấy thật khó khăn khi để theo dõi tất cả mọi thứ khi tôi đang thực hiện các dự án của mình. Tôi hi vọng họ sẽ chia nhỏ mã theo từng module chức năng một, có thể sẽ là từng miếng ghép nhỏ cho một bức tranh lớn để giải quyết các vấn đề trước khi tất cả được release. + +Với quản lý phiên bản, chúng ta có một nguồn sự thật duy nhất (single source of truth). Chúng ta có thể làm việc trên các module khác nhau nhưng nó cho phép chúng ta cộng tác tốt hơn. + +![](Images/Day35_Git5.png) + +Một việc khác cần đề cập tới là không chỉ các nhà phát triển có thể hưởng lợi từ quản lý phiên bản, tất cả các thành viên và các công cụ có thể nhìn rõ dự án và tận dụng, các công cụ quản lý dự án có thể được liên kết và theo dõi tiến độ công việc. Chúng ta cũng có thể có một máy build, chẳng hạn như là một Jenkins server mà chúng ta sẽ nói trong phần sau. Một công cụ xây dựng mà nguồn và đóng gói hệ thống, tự động hoá quá trình kiểm thử và các metrics liên quan tới mã nguồn. + +### Git là gì? + +Git là một công cụ theo dõi các thay đổi đối với mã nguồn hoặc bất kỳ tệp nào hoặc cũng có thể nói Git là một hệt thống quản lý phiên bản phân tán mã nguồn mở. + +Có nhiều cách à git có thể được sử dụng trên các hệ thống của chúng ta, phổ biến nhất hoặc ít nhất là đối với tôi, tôi đã sử dụng dòng lệnh (command line), nhưng chúng ta cũng có các công cụ và giao diện người dùng đồng hoạ như Visual Studio Code, các công cụ này có các chức năng của git mà chúng ta có thể tận dụng. + +Bây giờ chúng ta sẽ xem qua một cách tổng quát trước khi cài đặt git trên máy của mình. + +Hãy sử dụng thư mục mà chúng ta đã tạo trước đó. + +![](Images/Day35_Git2.png) + +Để sử dụng thư mục này với quản lý phiên bản, trước tiên chúng ta cần khởi tạo thư mục nào bằng lệnh `git init`. Hiện tại, chỉ cần nghĩ rằng lệnh này đặt thư mục của chúng ta làm kho lưu trữ trong cơ sở dữ liệu ở đâu đó trên máy tính của chúng ta. + +![](Images/Day35_Git6.png) + +Bây giờ chúng ta có thể tạo một số tệp và thư mục cho mã nguồn hoặc cũng có thể đã có sẵn từ trước đó. Sử dụng lệnh `git add .` sẽ đặt tất cả cá tệp và thư mục trong thư mục của chúng ta vào một chiếc hộp nhưng chúng ta chưa commit bất cứ thứ gì vào cơ sở dữ liệu đó. Thao tác này chỉ có nghĩ là tất cả các tệp có `.` đã sẵn sàng để được thêm vào. + +![](Images/Day35_Git7.png) + +Sau đó, chúng ta có thể muốn tiếp tục và commit các tệp của mình, việc này có thể thực hiện bằng lệnh `git commit -m "My First Commit"`. Chúng ta có thể đưa ra lý do cho commit của mình, điều này được khuyến khích để chúng ta có thể biết điều gì xảy ra trong mỗi commit. + +![](Images/Day35_Git8.png) + +Bây giờ chúng ta có thể thấy những gì xảy ra trong lịch sử của dự án. Sử dụng lệnh `git log` + +![](Images/Day35_Git9.png) + +Nếu chugns ta tạo một tệp bổ sung có tên là `samplecode.ps1`, thì trạng thái sẽ bị thay đổi. Chúng ta cũng có thể kiểm tra trạng thái của kho lưu trữ của mình bằng cách sử dụng `git status`, lệnh này cho chúng ta thấy không có gì để commit và chúng ta có thể thêm một tệp mới có thên samplecode.ps1. Sau đó, nếu chạy lại lệnh `git status` một lần nữa bạn sẽ thấy file mà chúng ta có thể commit. + +![](Images/Day35_Git10.png) + +Thêm tệp mới của chúng ta bằng lệnh `git add samplecode.ps1` và sau đó chạy lại lệnh `git status` một lần nữa và thấy tệp này đã được sẵn sàng để commit. + +![](Images/Day35_Git11.png) + +Sau đó dùng lệnh `git commit -m "My Second Commit"`. + +![](Images/Day35_Git12.png) + +`git status` bây giờ cũng thể hiện rằng chúng ta đã dọn dẹp mọi thứ. + +![](Images/Day35_Git13.png) + +Sau đó, chúng ta có thể sử dụng lệnh `git log` để hiện thị các commit mới nhất và commit đầu tiên. + +![](Images/Day35_Git14.png) + +Nếu chúng ta muốn xem các thay đổi giữa các lần commit của mình, tức là những tệp nào đã được thêm hoặc sửa đổi, chúng ta có thể sử dụng `git diff b8f8 709a` + +![](Images/Day35_Git15.png) + +Nó sẽ hiển thị những gì đã thay đổi, trong trường hợp của chúng ta, một tệp mới đã được thêm vào. + +![](Images/Day35_Git16.png) + +Chúng ta sẽ đi sâu hơn vào vấn đề này sau nhưng chúng ta có thể nhảy giữa các commit của mình, đại loại là chúng ta có thể du hành thời gian! Bằng cách sử dụng hash của commit, có thể sử dụng lệnh `git checkout 709a` để nhảy ngược thời gian mà không làm mất tệp mới của chúng ta. + +![](Images/Day35_Git17.png) + +Nhưng sau đó, chúng ta cũng sẽ muốn tiếp tục và có thể thực hiện điều này theo cách tương tự với hash của commit hoặc bạn có thể thấy như ở đây chúng ta sử dụng `git switch -` câu lệnh hoàn tác thao tác trước đó. + +![](Images/Day35_Git18.png) + +TLDR: + +- Theo dõi lịch sử của một dự án +- Quản lý nhiều phiên bản khác nhau của một dự án +- Chia sẽ mã giữa các kỹ sư phát triển và mở rộng phạm vi các nhóm và công cụ sử dụng +- Phối hợp làm việc giữa các nhóm +- Ồ, và có thể du hành thời gian! + +Điều này giống như một bước nhảy mới nhưng hy vọng rằng bạn có thể thấy bức tranh toàn cảnh đằng sau quản lý phiên bản mà không thực sự biết các câu lệnh cụ thể và sức mạnh của chúng. + +Tiếp theo, chugsn ta sẽ cài đặt và thiết lập git trên máy cục bộ của bạn, đồng thời tìm hiểu sâu hơn một chút về một số trường hợp sử dụng và các câu lệnh trong Git. + +## Tài liệu tham khảo + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) + +Hẹn gặp lại vào [ngày 36](day36.md) diff --git a/2022/vi/Days/day36.md b/2022/vi/Days/day36.md new file mode 100644 index 0000000..1acdab4 --- /dev/null +++ b/2022/vi/Days/day36.md @@ -0,0 +1,154 @@ +--- +title: '#90DaysOfDevOps - Cài đặt & Cấu hình Git - Ngày 36' +published: false +description: 90DaysOfDevOps - Cài đặt & Cấu hình Git +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048738 +--- + +## Cài đặt & Cấu hình Git + +GIt là một công cụ quản lý phiên bản ã nguồn mở, đa nền tảng. Nếu bạn giống tôi, sử dụng Ubuntu hoặc các hệ điều hành Linux khác, bạn có thể thấy rằng git đã được cài đặt sẵn, tuy nhiên chúng ta vẫn sẽ đi qua việc cài đặt và cấu hình nó. + +Ngay cả khi bạn đã cài đặt git trên hệ thống của mình, bạn cũng nên đảm bảo rằng chúng ta luôn có bản cập nhật mới nhất. + +### Cài đặt Git + +Như đã đề cập, Git là công cụ đa nền tẳng, chúng ta sẽ nhắc tới Windows và Linux và bạn cũng có thể tìm thấy hướng dẫn cho macOS tại [đây](https://git-scm.com/book/en/v2/Getting-Started-Installing-Git) + +Đối với [Windows](https://git-scm.com/download/win), chúng ta có thể download trình cài đặt từ trang web chính thức. + +Bạn cũng có thể sử dụng `winget` trên máy tính Windows của mình, và sử dụng nó như trình quản lý gói ứng dụng trên máy của bạn. + +Trước khi chúng ta cài đặt bất cứ thứ gì, hãy kiểm tra phiên bản hiện tại trên máy của bạn. Mởi cửa sổ PowerShell và chạy `git --version` + +![](Images/Day36_Git1.png) + +Chúng ta cũng có thể kiểm tra phiên bản Git trên WSL Ubuntu của mình. + +![](Images/Day36_Git2.png) + +Tại thời điểm viết bài, bản phát hành mới nhất trên Windows là `2.35.1`, vì vậy tôi sẽ hướng dẫn việc update một vài thứ. Linux cũng có thể tương tự như vậy. + +Sau khi tải xuống trình cài đặt phiên bản mới nhất và chạy qua trình hướng dẫn và ghi lại những điều đó tại đây. Lưu ý quan trọng là git sẽ gỡ cài đặt các phiên bản trước đó rồi mới cài đặt phiên bản mới nhất. + +Có nghĩ là quy trình bên dưới cũng là quy trình mà chúng ta phải trải qua đối với việc bạn cài git lần đầu tiên. + +Đây là một cài đặt khá đơn giản. Sau khi tài xuống, click đúp và bắt đầu. Đọc qua thoả thuận về giấy phép GNU. Nhưng hãy nhớ đây là phần mềm mã nguồn mở và miễn phí. + +![](Images/Day36_Git3.png) + +Bây giờ chúng ta có thể chọn các thành phần bổ sung mà chúng ta muốn cài đặt cũng như liên kết với git. Trên Windows, tôi luôn đảm bảo rằng mình đã cài đặt Git Bash vì điều này cho phép chúng ta chạy các lệnh bash trên Windows. + +![](Images/Day36_Git4.png) + +Sau đó, chúng ta có thể chọn phần mềm SSH mà chúng ta muốn sử dụng. Tôi chọn OpenSSH như bản có thể thấy trong phần tìm hiểu về Linux. + +![](Images/Day36_Git5.png) + +Chúng ta cũng có thể bật các tính năng thử nghiệm, đối với tôi, tôi không cần chúng nên đã không bật chúng, bạn luôn có thể quay lại việc cài đặt để bật các tính năng này. + +![](Images/Day36_Git6.png) + +Cài đặt hoàn tất, bây giờ chúng ta có thể chọn mở Git Bash hoặc đọc bản ghi chú cho bản phát hành mới nhất. + +![](Images/Day36_Git7.png) + +Bước kiểm tra cuối cùng là mở PowerShell và thử lại câu lệnh kiểm tra phiên bản git. + +![](Images/Day36_Git8.png) + +Sau các bước siêu đơn giản ở trên, chúng ta sẽ có phiên bản mới nhất của git. Đối với Linux, quá trình có thể sẽ mất thời gian hơn một chúng nhưng tôi cũng muốn nói qua về nó. + +Tôi chỉ cần chạy lệnh `sudo apt-get install git`. + +![](Images/Day36_Git9.png) + +Bạn cũng có thể chạy các câu lệnh dưới dây để add thêm git repository cho các cài đặt phần mềm. + +``` +sudo add-apt-repository ppa:git-core/ppa -y +sudo apt-get update +sudo apt-get install git -y +git --version +``` + +### Cấu hình Git + +Khi lần đầu tiên sử dụng git, chúng ta phải xác định một số cài đặt sau. + +- Tên +- Email +- Editor mặc định +- Ký tự kết thúc dòng + +Điều này có thể thực hiện ở ba cấp độ. + +- Hệ thống = tất cả người dùng +- Global = tất cả repositories của người dùng hiện tại +- Local = repository hiện tại + +Ví dụ: +`git config --global user.name "Michael Cade"` +`git config --global user.email Michael.Cade@90DaysOfDevOPs.com"` +Tuỳ thuộc vào hệ điều hành của bạn, text editor mặc định sẽ được tự xác định. Với Ubuntu của tôi, câu lệnh tiếp theo sẽ sử dụng nano. Lệnh dưới đây sẽ thay đổi editor thành Visual Studio Code. + +`git config --global core.editor "code --wait"` + +bây giờ, nếu chúng ta muốn kiểm tra tất cả các cầu hình git thì có thể sử dụng lệnh sau + +`git config --global -e` + +![](Images/Day36_Git10.png) + +Trên tất cả các máy, tệp này sẽ được đặt tên là `.gitconfig`. Trên máy Windows của tôi, bạn sẽ tìm thấy tệp này trong thư mục người dùng của mình. + +![](Images/Day36_Git11.png) + +### Lý thuyết Git + +Tôi đã đề cập trong bài đăng ngày hôm qua rằng có các loại quản lý phiên bản khác nhau và chúng ta có thể chia thành hai loại chính. Một là Client-Server và loại còn lại là hệ phân tán. + +### Quản lý phiên bản Client-Server + +Trước khi git xuất hiện, Client-Server là phương thức chính để quản lý phiên bản. Ví dụ cho điều này sẽ là [Apache Subversion](https://subversion.apache.org/) là một một hệ thống kiểm soát phiên bản mã nguồn mở được ra mắt vào năm 2000. + +Trong mô hình quản lý phiên bản Client-Server này, bước đầu tiên nhà phát triểu cần làm là tải xuống mã nguồn và các tệp từ máy chủ. Điều này không giải quyết các xung đột nhưng nó loại bỏ sự phức tạp của các xung đột và cách giải quyết chúng. + +![](Images/Day36_Git12.png) + +Bây giờ, giả sử chúng ta có hai nhà phát triển làm việc trên cùng một tệp và một người xong trước, upload file của họ lên server trước với những thay đổi của họ. Khi người thứ hai cập nhật file đó, xung đột sẽ xảy ra. + +![](Images/Day36_Git13.png) + +Vì vậy, bây giờ người thứ hai cần kéo thay đổi mã của người đầu tiên xuống và giải quyết các xung đột trong mã nguồn rồi sau đó mới commit lên máy chủ. + +![](Images/Day36_Git15.png) + +### Distributed Version Control + +Git không phải là hệ thống quản lý phiên bản phân tán duy nhất. Nhưng nó rất thông dụng. + +Một số lợi ích chính của Git là: + +- Nhanh +- Thông minh +- Linh hoạt +- An toàn & Bảo mật + +Khác với mô hình kiểm soát phiên bản Client-Server, mỗi nhà phát triển tải xuống một repository thì nó sẽ bao gồm tất cả mọi thứ. Lịch sử các commit, tất cả các nhánh,... + +![](Images/Day36_Git16.png) + +## Tài liệu tham khảo + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) + +Hẹn gặp lại vào [ngày 37](day37.md) diff --git a/2022/vi/Days/day37.md b/2022/vi/Days/day37.md new file mode 100644 index 0000000..98ae179 --- /dev/null +++ b/2022/vi/Days/day37.md @@ -0,0 +1,169 @@ +--- +title: '#90DaysOfDevOps - Giới thiệu về Git - Ngày 37' +published: false +description: 90DaysOfDevOps - Giới thiệu về Git +tags: 'DevOps, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048707 +--- + +## Giới thiệu về git + +Trong hai bàì đăng trước, chúng ta đã tìm hiệu về quản lý phiên bản và một số quy trình, workflow của git với tư cách là một hệ thống quản lý phiên bản vào [ngày 35](day35.md) Sau đó chúng ta đã cài đặt git trên hệ thống, cập nhật và cấu hình. Chúng ta cũng đã đi sâu hơn một chút và điểm khác nhau cơ bản trong hệ thống quản lý phiên bản Client-Server và hệ thống quản lý phiên bản phân tán ví dụ như Git vào [ngày 36](day36.md). + +Bây giờ, chúng ta sẽ tìm hiểu các câu lệnh cơ bản và trường hợp sử dụng chúng với git. + +### Trợ giúp với git + +Sẽ có lúc bạn không thể nhớ hoặc không biết lệnh cần sử dụng để hoàn thành công việc với git. Bạn sẽ cần giúp đỡ. + +Google hoặc bất kỳ công cụ tìm kiểm nào có thể là điểm đến đầu tiên khi bạn tìm kiếm sự trờ giúp. + +Tiếp sau đó có thể là trang chính thức của git và tài liệu. [git-scm.com/docs](http://git-scm.com/docs) Tại đây, bạn sẽ không những chỉ tìm thấy tài liệu tham khảo tốt cho tất cả các câu lệnh, mà còn có rất nhiều các tài nguyên khác. + +![](Images/Day37_Git1.png) + +Chúng ta cũng có thể truy cập tài liệu tương tự sau, điều này cực kỳ hữu ích nếu bạn không có kết nối nào từ terminal. Ví dụ: nếu chúng ta sử dụng lệnh `git add`, chúng ta có thể chạy `git add --help` và đọc hướng dẫn dưới đây. + +![](Images/Day37_Git2.png) + +Chúng ta cũng có thể dụng `git add -h` để cung cấp tống hợp các tuỳ chọn có sẵn mà chúng ta có thể sử dụng. + +![](Images/Day37_Git3.png) + +### Những câu chuyện xung quanh Git + +"Git không có quyền kiểm soát truy cập" - bạn có thể trao quyền cho một leader để duy trì mã nguồn. + +"Git quá nặng" - Git có thể cung cấp các kho lưu trữ nông (shallow repositories), có nghĩa là lịch sử git sẽ được cắt giảm nếu bạn có một project lớn. + +### Những thiếu sót thực tế + +Không phải là phương pháp lý tưởng cho các tệp nhị phân. Tuyệt vời cho mã nguồn nhưng không tuyệt vời cho các tệp thực thi hoặc video chẳng hạn. + +Git không thân thiện với người dùng, việc chúng ta phải dành thời gian để nói và tìm hiểu các lệnh và chứng năng của công cụ có lẽ là minh chứng rõ ràng nhất cho việc đó. + +Nhìn chung, git khó học nhưng dễ sử dụng. + +### Hệ sinh thái git + +Tôi muốn trình bày ngắn gọn về hệ sinh thái xung quanh git nhưng không đi quá sâu và việc đó. Điều quan trọng là phải nhắc đến ở góc độ high-level. + +Hầu như tất cả các công cụ phát triển hiện đại đều hỗ trợ git. + +- Công cụ phát triển - chúng ta đã đề cập tới Visual Studio Code, bạn sẽ tìm thấy các plugin và các tích hợp của git trong Sublime text và các trình soạn thảo văn bản và IDE khác. +- Công cụ nhóm - Cũng được đề cập trong các công cụ như Jenkins theo góc nhìn CI/CD, Slack từ góc độ dịch vụ nhắn tin và Jira từ góc độ quản lý dự án và theo dõi vấn đề. + +- Cloud providers - Tất cả các nhà cung cấp điện toán đám mây lớn đều hỗ trợ git, Microsoft Azure, Amazon AWS và Google Cloud Platform. +- Các dịch vụ dựa trên Git - Sau đó, chúng ta có GitHub, GitLab và BitBucket mà chúng tôi sẽ đề cập rõ hơn ở phần sau. Các dịch vụ này có thể coi như là một mạng xã hội dành cho mã nguồn. + +### Git Cheatsheet + +Chúng ta chưa đề cập đến hầu hết các lệnh này nhưng sau khi xem xét một số cheatsheet có sẵ, tôi cũng muốn ghi lại một số câu lệnh git và mục đích sử dụng của chúng. Chúng ta không cần phải nhớ tất cả những câu lệnh này, với việc thực hành và sử dụng nhiều hơn, bạn sẽ học được một số điều cơ bản về git. + +Tôi đã lấy những câu lệnh từ [atlassian](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) nhưng viết lại chúng và đọc mô tả là một cách hay để biết các lệnh làm gì cũng như bắt đầu thực hành trong công việc hàng ngày. + +### Cơ bản về Git + +| Lệnh | Ví dụ | Mô tả | +| ------------- | --------------------------- | --------------------------------------------------------------------------------------------------------------------------- | +| git init | `git init ` | Tạo một git repository tron thư mục được chỉ định | +| git clone | `git clone ` | Sao chép repository tại vào máy local | +| git config | `git config user.name` | Khai báo tên người sử dụng cho tất cả các commit ở repository hiện tại, có các flag `system`, `global`, `local` để tuỳ chọn. | +| git add | `git add ` | Stage tất cả các thay đổi trong để chuẩn bị cho commit tiếp theo. Chúng ta có thể thêm và <.> cho tất cả mọi thứ. | +| git commit -m | `git commit -m ""` | Commit các file đã được staged, sử dụng để làm rõ thay đổi được commit là gì. | +| git status | `git status` | Liệt kê các tệp được staged, unstaged và untracked. | +| git log | `git log` | Hiển thị tất cả lịch sử commit bằng định dạng mặc định. Có các tuỳ chọn bổ sung với lệnh này. +| git diff | `git diff` | Hiển thị các thay đổi của các thay đổi chưa được stage. | + +### Git Hoàn tác thay đổi + +| Lệnh | Ví dụ | Mô tả | +| ---------- | --------------------- | ------------------------------------------------------------------------------------------------------------------------------------- | +| git revert | `git revert ` | Tạo một commit mới hoàn tác lại tất cả các thay đổi trong trên branch hiện tại. | +| git reset | `git reset ` | Xoá khỏi stage, nhưng không thay đổi thư mục làm việc. Điều này unstaged một tệp nhưng không ghi đè bất cứ thay đổi nào. | +| git clean | `git clean -n` | Hiển thị tệp nào sẽ bị xoá khỏi thư mục làm việc. Sử dụng `-f` thay cho `-n` để thực hiện việc xoá. | + +### Git viết lại lịch sử + +| Lệnh | Ví dụ | Mô tả | +| ---------- | -------------------- | ---------------------------------------------------------------------------------------------------------------------------------------- | +| git commit | `git commit --amend` | Thay thế commit gần nhất bằng các thay đỏi đã được staged và ghép nó với commit cuối cùng. Sử dụng trong trường hợp chưa có gì được stage để thay đổi nội dung commit. | +| git rebase | `git rebase ` | Rebase nhanh hiện tại và trong . có thể là một commit ID, tên branch, tag hoặc một tham chiếu tương đối đến HEAD. | +| git reflog | `git reflog` | Hiện thị log của các thay đổi với HEAD của kho lưu trữ cục bộ (local repository). Thêm --relative-date hiển thị ngày tháng và --all để hiện thị tất cả các refs. | + +### Git Phân nhánh (Branch) + +| Lệnh | Ví dụ | Mô tả | +| ------------ | -------------------------- | ------------------------------------------------------------------------------------------------------------- | +| git branch | `git branch` | Liệt kê tất cả các branch trong repo của bạn. Thêm đối số để tạo một branch với với tên . | +| git checkout | `git checkout -b ` | Tạo và checkout sang một branch mới tên . Bỏ -b flag để checkout sang một branch đã có sẵn. | +| git merge | `git merge ` | Merge và branch hiện tại. | + +### Git Remote Repositories + +| Lệnh | Ví dụ | Mô tả | +| -------------- | ----------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- | +| git remote add | `git remote add ` | Tạo một kết nối mới đến một remote repo. Sau khi thêm một remote, bạn có thể dùng thay cho trong các lệnh của bạn. | +| git fetch | `git fetch ` | Kéo một nhánh cụ thể có tên , từ repo. Bỏ để kéo tất cả các remote refs. | +| git pull | `git pull ` | Kéo một bản sau của nhánh hiện tại từ remote repo và ngay lập tức merge nó vào bản sao local. | +| git push | `git push ` | Đẩy nhánh tới , cùng với các commits và objects. Tạo nhánh có thên trong remote repo nếu nó không tồn tại. | + +### Git Diff + +| Lệnh | Ví dụ | Mô tả | +| ----------------- | ------------------- | ---------------------------------------------------------------------- | +| git diff HEAD | `git diff HEAD` | Hiển thị sự khác biệt giữa thư mục làm việc và commit cuối cùng. | +| git diff --cached | `git diff --cached` | Hiện thị sự khác biệt giữa các thay đổi đã được staged và commit cuối cùng | + +### Git Config + +| Lệnh | Ví dụ | Mô tả | +| ---------------------------------------------------- | ------------------------------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------------- | +| git config --global user.name | `git config --global user.name ` | Khai báo tên người dùng sẽ được sử dụng cho tất cả các commit ủa người dùng hiện tại. | +| git config --global user.email | `git config --global user.email ` | Khai báo email sẽ được sử dụng cho tất cả các commit của người dùng hiện tại. | +| git config --global alias | `git config --global alias ` | Tạo một phím tắt cho lệnh git . | +| git config --system core.editor | `git config --system core.editor ` | Cài đặt trình soạn thảo văn bản sẽ được sử dụng cho tất cả người dùng trên máy. phải là lệnh khởi chạy trình chỉnh sửa mong muốn | +| git config --global --edit | `git config --global --edit ` | Mở tệp cấu hình chung trong trình soạn thảo văn bản để chỉnh sửa thủ công. | + +### Git Rebase + +| Command | Example | Description | +| -------------------- | ---------------------- | ------------------------------------------------------------------------------------------------------------------------------------------- | +| git rebase -i | `git rebase -i ` | Rebase nhánh hiện tại vào . Khởi chạy trình chỉnh sửa cho phép chỉnh sửa các commit khi chuyển qua base mới. | + +### Git Pull + +| Lệnh | Ví dụ | Mô tả | +| -------------------------- | ---------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------- | +| git pull --rebase | `git pull --rebase ` | Kéo các bản sao của nhánh hiện tại trên remote và rebasse vào bản sao tại local. Sử dụng git rebase thay cho merge để gộp các nhánh. | + +### Git Reset + +| Lệnh | Ví dụ | Mô tả | +| ------------------------- | --------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------- | +| git reset | `git reset ` | Reset khu vực staging về commit gần nhất nhưng giữ nguyên thư mục làm việc. | +| git reset --hard | `git reset --hard` | Reset khu vực staging về commit gần nhất và ghi đè lên tất cả các thay đổi trong thư mục làm việc. | +| git reset | `git reset ` | Di chuyển branch hiện tại về , reset khu vực staging reset về commit đó nhưng giữ nguyên khu vực làm việc. | +| git reset --hard | `git reset --hard ` | Giống với lệnh trước đó nhưng reset cả khu vực staging, thư mục làm việc. Xoá bỏ các thay đổi chưa được commit và tất cả các commit phía sau . | + +### Git Push + +| Lệnh | Ví dụ | Mô tả | +| ------------------------- | --------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------- | +| git push --force | `git push --force` | Ép buộc git đảy lên ngay cả khi kết quả không phải là một non-fast-forward merge. Không sử dụng --force trừ khi bạn biết chắc chắn mình đang làm gì. | +| git push --all | `git push --all` | Đẩy tất cả các nhánh ở local đến một remote xác định. | +| git push --tags | `git push --tags` | Tage không được tự động đẩy lên khi bạn đẩy một nhánh hay sử dụng --all. --tags sẽ gửi tất cả những local tags lên remote repo. | + +## Resources + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [Git cheatsheet](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) + +Hẹn gặp lại vào [ngày 38](day38.md) diff --git a/2022/vi/Days/day38.md b/2022/vi/Days/day38.md new file mode 100644 index 0000000..4361a6c --- /dev/null +++ b/2022/vi/Days/day38.md @@ -0,0 +1,127 @@ +--- +title: '#90DaysOfDevOps - Staging & Changing - Ngày 38' +published: false +description: 90DaysOfDevOps - Staging & Changing +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1049042 +--- + +## Staging & Changing + +Chúng ta đã đề cập đến một số điều cơ bản nhưng việc đưa mọi thứ vào một kịch bản hoàn chỉnh giúp tôi học và hiểu cách thức, lý do chúng ta thực hiện theo cách này tốt hơn. Trước khi chúng ta sử dụng bất kỳ dịch vụ dựa trên git nào như GitHub, git có các chức năng mà bạn có thể tận dụng trên máy của mình. + +Chúng ta sẽ lấy thư mục dự án mà chúng ta đã tạo ở bài dầu tiên về git và đi qua lần lượt các bước với git. Chúng ta tạo một thư mục trên máy của mình và khởi tạo git với lệnh `git init`. + +![](Images/Day38_Git1.png) + +Chúng ta cũng có thể thấy rằng thư mục đã được khởi tạo có một thư mục ẩn. + +![](Images/Day38_Git2.png) + +Đây là nơi lưu trữ thông tin chi tết về git repository cũng như thông tin liên quan đến các nhánh và commit của chúng ta. + +### Stage các tệp + +Chúng ta bắt đầu làm việc với thư mục rỗng hoặc có thể chúng ta có một số mã nguồn vào những ngày làm việc trước đó. Đầu tiên, chúng ta tạo tệp readme.md và có thể thấy tệp đó trong thư mục, tiếp theo chúng ta kiểm tra với `git status` và git đã biết về tệp readme.md nhưng chúng ta chưa commit tệp đó. + +![](Images/Day38_Git3.png) + +Chúng ta có thể stage tệp readme.md với lệnh `git add README.md` và có thể thấy thay đổi có thể được commit mà trước đó cũng ta không có và một tệp mới màu xanh lá cây. + +![](Images/Day38_Git4.png) + +Tiếp theo chúng ta sẽ commit tệp này với commit đầu tiên của chúng ta. Chúng ta có thể làm điều này với lệnh `git commit -m "Meaningful message"` để có thể dễ dàng hiểu rằng mỗi commit đã thay đổi điều gì. Ngoài ra, hãy chú ý rằng chữ thập màu vàng bây giờ đã thay đổi thành dấu tính màu xanh lá cây. Đây là thứ tôi có trong terminal của mình với theme mà tôi sử dụng, thứ mà chúng ta đã đề cập trong phần nói về Linux. + +![](Images/Day38_Git5.png) + +### Commit các thay đổi + +Chúng ta rất có thể muốn thêm nhiều tệp hơn hoặc thậm chí thay đổi các tệp chúng ta có trong thư mục của mình. Chúng tôi đã thực hiện commit đầu tiên của mình ở trên. Nhưng bây giờ, chúng ta sẽ thêm nhiều chi tiết và nhiều tệp hơn. + +Chúng ta có thể lặp lại các quy trình của mình như trước đó, tạo hoặc chỉnh sửa tệp của mình > `git add .` để thêm tất cả các file vào khu vực staging sau đó sử dụng `git commit -m "meaningful message"`. Nhưng để đưa ra một thông điệp có ý nghĩa cho thay đổi trong commit của mình, bạn có lẽ không nên viết ra những thứ như `git commit -m "Chà, tôi đã thay đổi một số mã vì nó không hoạt động và khi tôi sửa mã đó, tôi cũng đã thêm một số thứ mới trong readme.md để đảm bảo rằng mọi người đều biết về trải nghiệm của người dùng và sau đó tôi pha một ấm trà."` Ý tôi là điều này cũng có thể sẽ hiệu quả mặc dù hơi dài dòng nhưng các tốt hơn ở đây là nên thêm thông điệp bằng một trình soạn thảo văn bản. + +Nếu chúng ta chạy `git commit` sau khi chạy `git add`, git sẽ mở trình soạn thảo văn bản mặc định của chúng ta, trong trường hợp của tôi là nano. Dưới đây là các bước tôi đã thực hiện để thêm một số thay đổi vào tệp, chạy `git status` để thấy những thứ đã được staged và chưa được staged. Sau đó, tôi đã sử dụng `git add` để thêm tệp vào khu vực staging, cuối cùng là lệnh `git commit` để mở nano. + +![](Images/Day38_Git6.png) + +Khi nano mở ra, bạn có thể thêm mô tả ngắn hoặc dài của mình rồi lưu lại tệp. + +![](Images/Day38_Git7.png) + +### Best Practices khi Commit + +Ở đây có sự cân bằng giữa việc commit khi nào và commit thường xuyên. Chúng ta không muốn đợi đến cuối dự án trước khi commit, mỗi commit phải có ý nghĩa và chúng cũng không được kết hợp các nhiệm vụ không liên quan tới nhau. Nếu bạn có một bản sửa lỗi và một lỗi đánh máy, hãy chắc chắn rằng chúng là hai commit riêng biệt như một best practice. + +Làm cho thông điệp commit có ý nghĩa. + +Về cách diễn đạt, nhóm hoặc bạn nên tuân theo một cách diễn đạt cho mỗi lần commit. + +### Bỏ qua khu vực staging + +Có phải chúng ta luôn phải stage các thay đổi của mình trước khi commit chúng? + +Câu trả lời là có nhưng đừng coi đây là một lối tắt, bạn phải chắc chắn 100% rằng bạn không cần một snapshot để quay lại, đó là một việc làm mạo hiểm. + +![](Images/Day38_Git8.png) + +### Xoá tệp + +Còn việc xoá tệp khỏi dự án của chúng tôi thì sao, có thể chúng ta có một tệp khác trong thư mục mà chúng ta đã cam kết nhưng hiện tại dự án không còn cần hoặc sử dụng tệp đó nữa, các tốt nhất là chúng ta nên xoá tệp đó. + +Chỉ vì chúng ta xoá tệp đó khỏi thư mục, git vẫn biết tệp này và chúng ta cũng cần xoá tệp khỏi repository. Bạn có thể thấy workflow như bên dưới. + +![](Images/Day38_Git9.png) + +Nó có thể hơi khó nhớ hoặc khó thực hiện nếu bạn có một dự án lớn với nhiều tệp và thư mục cần xoá. Chúng ta có thể làm điều này với một lệnh duy nhất `git rm oldcode.ps1`. + +![](Images/Day38_Git10.png) + +### Đổi tên hoặc Di chuyển tệp + +Trong hệ điều hành của chúng ta, chúng ta có thể đổi tên và di chuyển các tệp của mình. Chúng ta chắc chắn sẽ cần phải làm điều này rất nhiều lần trong dự án của chúng ta. Tương tự như xoá, quy trình sẽ gồn 2 bước, chúng ta thay đổi các tệp trên hệ điều hành của mình, sau đó sửa đổi và đảm bảo rằng khu vực staging hoặc các tệp được thêm vào một các chính xác. Các bước như sau: + +![](Images/Day38_Git11.png) + +Tuy nhiên, giống như xoá các tệp khỏi hệ điều hành và sau đó là git repository, chúng ta có thể thực hiện việc đổi tên này bằng cách sử dụng lệnh git. + +![](Images/Day38_Git12.png) + +### Bỏ qua tệp (ignore files) + +Chugns ta có thể có yêu cầu bỏ qua các tệp hoặc thư mục trong dự án của mình, thứ mà chúng ta chỉ sử dụng ở local hoặc nó sẽ tốn không gian nếu chia sẻ với toàn bộ dự án, một ví dụ tốt có thể là các logs. Tôi cũng nghĩ nên sử dụng điều này cho các file bí mật (secrets) mà bạn không muốn chia sẻ công khai hoặc giữa các nhóm. + +Chúng ta có thể bỏ qua các tệp bằng cách thêm các thư mục hoặc tệp vào tệp `.gitignore` trong thư mục dự án của chúng ta. + +![](Images/Day38_Git13.png) + +Bạn có thể mở tệp `.gitignore` và thấy rằng chúng ta có thư mục log/. Nhưng chúng ta vẫn có thể thêm các tệp và thư mục tại đây để chúng được bỏ qua. + +![](Images/Day38_Git14.png) + +Sau đó chúng ta có thể kiểm tra `git status` và xem điều gì đã xảy ra. + +![](Images/Day38_Git15.png) + +Cũng có những ách mà bạn có thể cần quay lại và bỏ qua các tệp và thư mục, có thể bạn muốn chia sẻ thư mục logs nhưng sau đó nhận ra bạn không muốn. Bạn sẽ phải dùng lệnh `git rm --cached ` để xoá tệp và thư mục khỏi khu vực staging nếu bạn có một thư mục đã theo dõi trước đó mà bây giờ bạn muốn bỏ qua. + +### Trạng thái ngắn + +Chúng ta đã sử dụng `git status` rất nhiều để hiểu những gì chúng ta có trong khu vực staging của mình và những gì chúng ta không có, đây là một lệnh rất toàn diện với nhiều thông tin chi tiết. Dần dần, hầu hết những gì bạn muốn biết là cái gì đã được sửa đổi hoặc có gì mới. Chúng ta có thể sử dụng `git status -s` cho một bản tóm tắt ngắn của các chi tiết này. Tôi thường đặt một phím tắt trên hệ thống của mình để chỉ sử dụng `git status -s` so với lệnh chi tiết đầy đủ + +![](Images/Day38_Git16.png) + +Trong bài đăng ngài mai, chúng ta sẽ tiếp tục xem qua các ví dụ ngắn về các lệnh git phổ biến. + +## Tài liệu tham khảo + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [Git cheatsheet](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) + +Hẹn gặp lại vào [ngày 39](day39.md) diff --git a/2022/vi/Days/day39.md b/2022/vi/Days/day39.md new file mode 100644 index 0000000..a58086a --- /dev/null +++ b/2022/vi/Days/day39.md @@ -0,0 +1,212 @@ +--- +title: '#90DaysOfDevOps - Xem, unstaging, loại bỏ & khôi phục - Ngày 39' +published: false +description: '90DaysOfDevOps - Xem, unstaging, loại bỏ & khôi phục' +tags: 'devops, 90daysofdevops, learning' +cover_image: null +canonical_url: null +id: 1048827 +--- + +## Xem, unstaging, loại bỏ & khôi phục + +Tiếp tục với ngày hôm qua sau khi đã thực hành một số lệnh của git và thực hành với dự án mới của bạn. Hãy nhớ rằng, chúng ta chưa nhắc tới GitHub hoặc bất kỳ dịch vụ nào dựa trên git. Tất cả những điều được nhắc tới cho đến bây giờ giúp bản kiểm soát cục bộ các dự án của mình tại thời điển này nhưng chúng sẽ trở nên hữu ích khi bạn tích hợp với các công cụ được nhắc đến ở trên. + +### Xem các thay đổi được staged và chưa được staged + +Bạn nên xem các đoạn mã đã đước staged và chưa được staged trước khi commit. Chúng ta có thể làm điều này với lệnh `git diff --staged` + +![](Images/Day39_Git1.png) + +Điều này sau đó cho chúng ta thấyt tất cả những thay đổi chúng ta đã thực hiện và tất cả các tệp mới mà chúng ta đã thêm hoặc xoá. + +Các thay đổi trong các tệp được biểu thị bằng `---` hoặc `+++` bạn có thể thấy như dưới dây, chúng ta vừa thêm dòng mới "+add some text". + +![](Images/Day39_Git2.png) + +Chúng ta cũng có thể chạy `git diff` để so sánh khu vực staging với thư mục làm việc của chúng ta. Nếu như thực hiện một số thay đổi với tệp code.txt mới được thêm vào và thêm một số dòng. + +![](Images/Day39_Git3.png) + +Nếu sau đó chúng ta chạy lệnh `git diff`, chúng ta sẽ so sánh và có kết quả như dưới đây. + +![](Images/Day39_Git4.png) + +### Công cụ Diff trực quan + +Đối với tôi, những hiển thị ở trên rất khó hiểu nên tôi muốn sử dụng một công cụ trực quan hơn, dưới đây là một vài công cụ trực quan để xem được diff: + +- KDiff3 +- P4Merge +- WinMerge (chỉ cho Windows) +- VSCode + +Để thiết lập điều này với git, bạn chạy lệnh sau `git config --global diff.tool vscode` + +Chúng ta sẽ chạy phần trên và sẽ đặt một số tham số khi khởi chạy VScode. + +![](Images/Day39_Git5.png) + +Chúng ta cũng có thể kiểm tra cấu hình của mình với `git config --global -e` + +![](Images/Day39_Git6.png) + +Sau đó, chúng ta có thể sử dụng `git difftool` để mở công cụ trực quan. + +![](Images/Day39_Git7.png) + +Sau đó, mở trang diff trên VSCode và so sánh 2 trang, chúng ta chỉ sửa đổi một tệp từ không có gì thành thêm một dòng mã như ở màn hình bên phải. + +![](Images/Day39_Git8.png) + +Tôi thấy phương pháp này dễ dàng hơn nhiều để theo dõi các thay đổi và đây là phương pháp tương tự như những gì chúng ta sẽ thấy khi sử dụng các dịch vụ dựa trên git như GitHub. + +Chúng ta cũng có thể sử dụng `git difftool --staged` để so sánh stage với các tệp đã được commit. + +![](Images/Day39_Git9.png) + +Sau đó, chúng ta có thể duyệt qua các tệp đã thay đổi của mình trước khi commit. + +![](Images/Day39_Git10.png) + +Tôi đang sử dụng VSCode làm IDE của mình và giống như hầu hết các IDE khác, chúng có chức năng này được tích hợp sẵn, rất hiếm khi bạn cần chạy các lệnh này từ terminal, mặc dù nó rất hữu ích nếu bạn không có sẵn IDE bởi một lý do nào đó. + +### Xem lại lịch sử + +Trước đây chúng ta đã đề cập đến `git log` sẽ cung cấp một cái nhìn toàn diện về tất cả các commit mà chúng ta đã thực hiện trong kho lưu trữ của mình. + +![](Images/Day39_Git11.png) + +Mỗi commit có chuỗi thập lục phân, duy nhất cho kho lưu trữ. Tại đây, bạn có thể xem chúng ta đang làm việc trên nhánh nào và sau đó là tác giả, ngày tháng và nội dung commit. + +Chúng ta cũng có `git log --oneline` và điều này mang lại một phiên bản ngắn gọn hơn nhiều của chuỗi thập lục phân mà chúng ta có thể sử dụng trong các lệnh `diff`. Chúng ta cũng chỉ có một dòng mô tả cho các commit. + +![](Images/Day39_Git12.png) + +Chúng ta có thể đảo ngược điều này và bắt đầu với commit hận đầu tiên bằng cách chạy `git log --oneline --reverse`, chúng ta thấy commit đầu tiên của mình ở đầu trang. + +![](Images/Day39_Git13.png) + +### Xem một commit + +Việc có thể xem nội dung commit là một điều tuyệt vời nếu bạn có ý thức tuân theo các best practices và có những nội dung commit có ý nghĩa. Tuy nhiên, cũng có lệnh `git show` cho phép chúng tôi kiểm tra và xem một commit. + +Chúng ta có thể sử dụng `git log --oneline --reverse` để lấy danh sách các commit của mình rồi lấy chúng và chạy `git show ` + +![](Images/Day39_Git14.png) + +Đầu ra của lệnh đó sẽ giống như bên dưới với chi tiết về commit, tác giả và những gì đã thay đổi. + +![](Images/Day39_Git15.png) + +Chúng ta cũng có thể sử dụng `git show HEAD~1` trong đó 1 là số bước quay lại từ phiên bản hiện tại. + +Điều này rất hữu ích nếu bạn muốn biết một số chi tiết về tệp của mình, nhưng nếu chúng ta muốn liệt kê tất cả các tệp trong một cây cho toàn bộ snapshot của thư mục. Chúng ta có thể sử dụng lệnh `git ls-tree HEAD~1`, một lần nữa quay lại một snapshot từ commit cuối cùng. Chúng ta có thể thấy có hai blobs, những blobs này biểu thị các tệp trong khi cây biểu thị một thư mục. Bạn cũng có thể thấy các commit và tags. + +![](Images/Day39_Git16.png) + +Sau đó, chúng ta có thể sử dụng phần trên để đi sâu vào và xem nội dung của tệp (blobs) bằng cách sử dụng lệnh `git show`. + +![](Images/Day39_Git17.png) + +Sau đó, nội dung của phiên bản cụ thể của tệp sẽ được hiển thị. + +![](Images/Day39_Git18.png) + +### Unstage tệp + +Sẽ có lúc bạn có thể đã sử dụng `git add .` nhưng có những tệp bạn chưa muốn commit với snapshot đó. Trong ví dụ dưới đây, tôi đã thêm newfile.txt vào khu vực staging của mình nhưng tôi chưa sẵn sàng commit tệp này nên tôi sẽ sử dụng `git restore --staged newfile.txt` để hoàn tác bước `git add`. + +![](Images/Day39_Git19.png) + +Chúng ta cũng có thể thực hiện tương tự với các tệp đã sửa đổi, chẳng hạn như main.js và hủy thực hiện commit, như ở trên chúng tôi có chữ M màu xanh lá cây để sửa đổi và sau đó bên dưới chúng ta sẽ hủy thực hiện những thay đổi đó. + +![](Images/Day39_Git20.png) + +Tôi nhận thấy lệnh này khá hữu ích với 90DaysOfDevOps vì đôi khi tôi chuẩn bị cho nhiều ngày trước và cảm thấy muốn ghi chú lại nhưng tôi không muốn commit và đẩy lên kho lưu trữ GitHub công khai. + +### Loại bỏ các thay đổi cục bộ + +Đôi khi chúng ta có thể thực hiện các thay đổi nhưng chúng ta không hài lòng với những thay đổi đó và muốn loại bỏ chúng. Chúng ta sẽ sử dụng lại lệnh `git restore` và chúng ta sẽ có thể khôi phục các tệp từ snapshot hoặc các phiên bản trước đó. Chúng ta có thể chạy `git restore .` đối với thư mục của mình và nó sẽ khôi phục mọi thứ từ snapshot của mình, lưu ý rằng tệp chưa được theo dõi của chúng ta vẫn còn. Không có tệp có tên là newfile.txt được theo dõi trước đó. + +![](Images/Day39_Git21.png) + +Bây giờ để xóa newfile.txt hoặc bất kỳ tệp nào chưa được theo dõi. Chúng ta có thể sử dụng `git clean`. + +![](Images/Day39_Git22.png) + +Hoặc nếu chugns ta biết hậu quả, có thể muốn chạy `git clean -fd` để buộc và xóa tất cả các thư mục. + +![](Images/Day39_Git23.png) + +### Khôi phục tệp về một phiên bản cũ + +Như chúng ta đã đề cập trong suốt phần lớn những gì Git có thể giúp là khôi phục các bản sao tệp của bạn từ các snapshot (đây không phải là bản sao lưu nhưng nó là một điểm khôi phục nhanh) Lời khuyên của tôi là bạn cũng nên lưu các bản sao mã của bạn ở các vị trí khác bằng giải pháp dự phòng cho việc này. + +Ví dụ: hãy xóa tệp quan trọng nhất trong thư mục của chúng ta, lưu ý rằng chúng ta đang sử dụng các lệnh dựa trên Unix để xóa tệp này khỏi thư mục, không phải lệnh git. + +![](Images/Day39_Git24.png) + +Bây giờ, không còn readme.md trong thư mục làm việc của chúng tôi. Chúng ta có thể đã sử dụng `git rm readme.md` và nó sẽ được phản ánh trong cơ sở dữ liệu git. Chúng ta cũng hãy xóa nó khỏi đây để mô phỏng việc nó bị xóa hoàn toàn. + +![](Images/Day39_Git25.png) + +Let's now commit this with a message and prove that we no longer have anything in our working directory or staging area. + +Bây giờ chúng ta hãy commit điều này và chứng minh rằng chúng ta không còn bất kỳ thứ gì trong thư mục làm việc hoặc khu vực tổ chức của mình. + +![](Images/Day39_Git26.png) + +Chúng ta đã sai lầm và giờ cần tệp đó trở lại! + +Chúng ta có thể sử dụng lệnh `git undo` để hoàn tác commit cuối cùng, nhưng nếu đó diễn ra trước đó thì sao? Chúng ta có thể sử dụng lệnh `git log` để tìm các commit của mình và sau đó thấy rằng tệp nằm trong commit cuối cùng nhưng chúng ta không hoàn tác toàn bộ commit đó, vì vậy có thể sử dụng lệnh `git restore --source =HEAD~1 README.md` để tìm cụ thể tệp và khôi phục tệp từ snapshot của chúng ta. + +Bạn có thể thấy bằng cách sử dụng quy trình này, giờ đây chúng ta có tệp trở lại trong thư mục làm việc. + +![](Images/Day39_Git27.png) + +We now have a new untracked file and we can use our commands previously mentioned to track, stage and commit our files and changes. +Bây giờ chúng ta có một tệp chưa được theo dõi mới và có thể sử dụng các lệnh đã đề cập trước đó để theo dõi, stage và commit các tệp và thay đổi của chúng ta. + +### Rebase vs Merge + +Đây dường như là vấn đề đau đầu nhất khi nói đến Git và khi nào nên sử dụng rebase hoặc merge trên kho git của bạn. + +Điều đầu tiên cần biết là cả `git rebase` và `git merge` đều giải quyết cùng một vấn đề. Cả hai đều để tích hợp các thay đổi từ nhánh này sang nhánh khác. Tuy nhiên, chúng làm điều này theo những cách khác nhau. + +Hãy bắt đầu với một tính năng mới trong một nhánh mới. Nhánh chính tiếp tục với các commit mới. + +![](Images/Day39_Git28.png) + +Lựa chọn dễ dàng ở đây là sử dụng `git merge feature main` sẽ hợp nhất nhánh main vào nhánh feature. + +![](Images/Day39_Git29.png) + +Merge rất dễ dàng vì nó không có tính phá hủy. Các nhánh hiện tại không bị thay đổi theo bất kỳ cách nào. Tuy nhiên, điều này cũng có nghĩa là nhánh tính năng sẽ có một merge commit không liên quan mỗi khi bạn cần kết hợp các thay đổi với upstream. Nếu main được commit liên tục và nhiều, điều này sẽ hoặc có thể làm bẩn lịch sử commit của nhánh feature. + +Là một tùy chọn thay thế, chúng ta có thể đặt lại nhánh feature lên nhánh main bằng cách sử dụng +``` +git checkout feature +git rebase main +``` + +Điều này chuyển nhánh feature (toàn bộ nhánh feature) kết hợp hiện quả với tất cả các commit mới trong nhánh main. Tuy nhiên, thay vì sử dụng một merge commit, việc rebase sẽ viết lại lịch sử commit bằng cách tạo các commit hoàn toàn mới cho mỗi commit trong nhánh ban đầu. + +![](Images/Day39_Git30.png) + +Lợi ích lớn nhất của việc rebase là lịch sử dự án rõ ràng hơn nhiều. Nó cũng loại bỏ các merge commit không cần thiết. Và khi bạn so sánh hai hình ảnh cuối cùng, bạn có thể theo dõi lịch sử dự án tuyến tính rõ ràng hơn nhiều. + +Mặc dù đó vẫn không phải là một kết luận có thể bỏ qua, nhưng việc chọn lịch sử sạch hơn cũng đi kèm với sự đánh đổi. Nếu bạn không tuân theo [Quy tắc vàng của rebase](https://www.atlassian.com/git/tutorials/merging-vs-rebasing#the-golden-rule-of-rebasing) việc viết lại lịch sử dự án có thể là thảm họa đối với quy trình cộng tác của bạn. Và ít quan trọng hơn, việc rebase lại làm mất context được cung cấp bởi một merge commit — bạn không thể biết khi nào các thay đổi upstream được tích hợp vào feature. + +## Tài liệu tham khảo + +- [What is Version Control?](https://www.youtube.com/watch?v=Yc8sCSeMhi4) +- [Types of Version Control System](https://www.youtube.com/watch?v=kr62e_n6QuQ) +- [Git Tutorial for Beginners](https://www.youtube.com/watch?v=8JJ101D3knE&t=52s) +- [Git for Professionals Tutorial](https://www.youtube.com/watch?v=Uszj_k0DGsg) +- [Git and GitHub for Beginners - Crash Course](https://www.youtube.com/watch?v=RGOj5yH7evk&t=8s) +- [Complete Git and GitHub Tutorial](https://www.youtube.com/watch?v=apGV9Kg7ics) +- [Git cheatsheet](https://www.atlassian.com/git/tutorials/atlassian-git-cheatsheet) +- [Exploring the Git command line – A getting started guide](https://veducate.co.uk/exploring-the-git-command-line/) + +Hẹn gặp lại vào [ngày 40](day40.md) diff --git a/2022/vi/README.md b/2022/vi/README.md index 902a545..7bdfbd1 100644 --- a/2022/vi/README.md +++ b/2022/vi/README.md @@ -62,24 +62,23 @@ Cách nhanh nhất để liên lạc với tôi là thông qua Twitter tại [@M ### Tìm hiểu về một Cloud Provider -- [✔️] ☁️ 28 > [The Big Picture: DevOps & The Cloud](Days/day28.md) -- [✔️] ☁️ 29 > [Microsoft Azure Fundamentals](Days/day29.md) -- [✔️] ☁️ 30 > [Microsoft Azure Security Models](Days/day30.md) -- [✔️] ☁️ 31 > [Microsoft Azure Compute Models](Days/day31.md) -- [✔️] ☁️ 32 > [Microsoft Azure Storage & Database Models](Days/day32.md) -- [✔️] ☁️ 33 > [Microsoft Azure Networking Models + Azure Management](Days/day33.md) -- [✔️] ☁️ 34 > [Microsoft Azure Hands-On Scenarios](Days/day34.md) +- [✔️] ☁️ 28 > [Bức tranh toàn cảnh: DevOps & The Cloud](Days/day28.md) +- [✔️] ☁️ 29 > [Kiến thức cơ bản về Microsoft Azure](Days/day29.md) +- [✔️] ☁️ 30 > [Mô hình bảo mật Microsoft Azure](Days/day30.md) +- [✔️] ☁️ 31 > [Mô hình Điện toán Microsoft Azure](Days/day31.md) +- [✔️] ☁️ 32 > [Mô hình lưu trữ và cơ sở dữ liệu Microsoft Azure](Days/day32.md) +- [✔️] ☁️ 33 > [Mô hình Mạng Microsoft Azure + Quản lý Azure](Days/day33.md) +- [✔️] ☁️ 34 > [Thực hành với Microsoft Azure](Days/day34.md) ### Cách sử dụng Git hiệu quả -- [✔️] 📚 35 > [The Big Picture: Git - Version Control](Days/day35.md) -- [✔️] 📚 36 > [Installing & Configuring Git](Days/day36.md) -- [✔️] 📚 37 > [Gitting to know Git](Days/day37.md) +- [✔️] 📚 35 > [Bức tranh toàn cảnh: Git - Quản lý phiên bản](Days/day35.md) +- [✔️] 📚 36 > [Cài đặt & Cấu hình Git](Days/day36.md) +- [✔️] 📚 37 > [Giới thiệu về Git](Days/day37.md) - [✔️] 📚 38 > [Staging & Changing](Days/day38.md) -- [✔️] 📚 39 > [Viewing, unstaging, discarding & restoring](Days/day39.md) -- [✔️] 📚 40 > [Social Network for code](Days/day40.md) -- [✔️] 📚 41 > [The Open Source Workflow](Days/day41.md) - +- [✔️] 📚 39 > [Xem, unstaging, loại bỏ & khôi phục](Days/day39.md) +- [✔️] 📚 40 > [Mạng xã hội dành cho code](Days/day40.md) +- [✔️] 📚 41 > [Quy trình làm việc với mã nguồn mở](Days/day41.md) ### Containers - [✔️] 🏗️ 42 > [The Big Picture: Containers](Days/day42.md) diff --git a/2023.jpg b/2023.jpg deleted file mode 100644 index 9d2d979..0000000 Binary files a/2023.jpg and /dev/null differ diff --git a/2023.md b/2023.md index fcaecd1..f13dc86 100644 --- a/2023.md +++ b/2023.md @@ -4,11 +4,11 @@ 90DaysOfDevOps Logo

-This repository is used to document my journey on getting a better foundational knowledge of "DevOps". +This repository is used to document my journey on getting a better foundational knowledge of "DevOps". [![ko-fi](https://ko-fi.com/img/githubbutton_sm.svg)](https://ko-fi.com/N4N33YRCS) -If you have questions and want to get involved then join the discord and share your questions and stories with the community. +If you have questions and want to get involved then join the discord and share your questions and stories with the community. [![](https://dcbadge.vercel.app/api/server/vqwPrNQsyK)](https://discord.gg/vqwPrNQsyK) @@ -16,154 +16,151 @@ Or contact us via Twitter, my handle is [@MichaelCade1](https://twitter.com/Mich ## List of Topics -|Topic |Author |Date | -|--------|-----------|---------| -|DevSecOps | Michael Cade | 1st Jan - 6th Jan | -|Secure Coding | Prateek Jain | 7th Jan - 13th Jan | -|Continuous Build, Integration, Testing | Anton Sankov | 14th Jan - 20th Jan | -|**Continuous Delivery & Deployment** | | 21st Jan - 27th Jan | -|**Runtime Defence & Monitoring** | | 28th Jan - 3rd Feb | -|Secrets Management | Bryan Krausen | 4th Feb - 10th Feb | -|Python | Rishab Kumar | 11th Feb - 17th Feb | -|AWS | Chris Williams | 18th Feb - 24th Feb | -|OpenShift | Dean Lewis | 25th Feb - 3rd Mar | -|Databases | Taylor Riggan & Andrew Pruski | 4th Mar - 10th Mar | -|Serverless | Kristi Perreault | 11th Mar - 17th Mar | -|Service Mesh | Marino Wijay | 18th Mar - 24th Mar | -|Engineering for Day 2 Ops | Alistair Hey | 25th Mar - 31st Mar | - -- **Continuous Delivery & Deployment (Sign, Image Repo scan, Systems, Containers, Network Vulnerability scan)** -- **Runtime Defence & Monitoring (RASP, Pen Testing)** +| Topic | Author | Date | Twitter Handle | +| -------------------------------------- | ----------------------------------- | ------------------- | ----------------------------------------------------------------------------------------------- | +| DevSecOps | Michael Cade | 1st Jan - 6th Jan | [@MichaelCade1](https://twitter.com/MichaelCade1) | +| Secure Coding | Prateek Jain | 7th Jan - 13th Jan | [@PrateekJainDev](https://twitter.com/PrateekJainDev) | +| Continuous Build, Integration, Testing | Anton Sankov and Svetlomir Balevski | 14th Jan - 20th Jan | [@a_sankov](https://twitter.com/a_sankov) | +| Continuous Delivery & Deployment | Anton Sankov | 21st Jan - 27th Jan | [@a_sankov](https://twitter.com/a_sankov) | +| Runtime Defence & Monitoring | Ben Hirschberg | 28th Jan - 3rd Feb | [@slashben81](https://twitter.com/slashben81) | +| Secrets Management | Bryan Krausen | 4th Feb - 10th Feb | [@btkrausen](https://twitter.com/btkrausen) | +| Python | Rishab Kumar | 11th Feb - 17th Feb | [@rishabk7](https://twitter.com/rishabk7) | +| AWS | Chris Williams | 18th Feb - 24th Feb | [@mistwire](https://twitter.com/mistwire) | +| OpenShift | Dean Lewis | 25th Feb - 3rd Mar | [@saintdle](https://twitter.com/saintdle) | +| Databases | Taylor Riggan & Andrew Pruski | 4th Mar - 10th Mar | [@triggan](https://twitter.com/triggan) & [@dbafromthecold](https://twitter.com/dbafromthecold) | +| Serverless | Kristi Perreault | 11th Mar - 17th Mar | [@kperreault95](https://twitter.com/kperreault95) | +| Service Mesh | Marino Wijay | 18th Mar - 24th Mar | [@virtualized6ix](https://twitter.com/virtualized6ix) | +| Engineering for Day 2 Ops | Alistair Hey | 25th Mar - 31st Mar | [@alistair_hey](https://twitter.com/alistair_hey) | ## Progress -- [] ♾️ 1 > [2022 Reflection & Welcome 2023](2023/day01.md) +- [✔️] ♾️ 1 > [2022 Reflection & Welcome 2023](2023/day01.md) -### DevSecOps +### DevSecOps -- [] ♾️ 2 > [The Big Picture: DevSecOps](2023/day02.md) -- [] ♾️ 3 > [Think like an Attacker](2023/day03.md) -- [] ♾️ 4 > [Red Team vs. Blue Team](2023/day04.md) -- [] ♾️ 5 > [OpenSource Security](2023/day05.md) -- [] ♾️ 6 > [Hands-On: Building a weak app](2023/day06.md) +- [✔️] ♾️ 2 > [The Big Picture: DevSecOps](2023/day02.md) +- [✔️] ♾️ 3 > [Think like an Attacker](2023/day03.md) +- [✔️] ♾️ 4 > [Red Team vs. Blue Team](2023/day04.md) +- [✔️] ♾️ 5 > [OpenSource Security](2023/day05.md) +- [✔️] ♾️ 6 > [Hands-On: Building a weak app](2023/day06.md) -### Secure Coding +### Secure Coding -- [] ⌨️ 7 > [](2023/day07.md) -- [] ⌨️ 8 > [](2023/day08.md) -- [] ⌨️ 9 > [](2023/day09.md) -- [] ⌨️ 10 > [](2023/day10.md) -- [] ⌨️ 11 > [](2023/day11.md) -- [] ⌨️ 12 > [](2023/day12.md) -- [] ⌨️ 13 > [](2023/day13.md) +- [✔️] 🔐 7 > [Secure Coding Overview](2023/day07.md) +- [✔️] 🔐 8 > [SAST Overview](2023/day08.md) +- [✔️] 🔐 9 > [SAST Implementation with SonarCloud](2023/day09.md) +- [✔️] 🔐 10 > [Software Composition Analysis Overview](2023/day10.md) +- [✔️] 🔐 11 > [SCA Implementation with OWASP Dependency Check](2023/day11.md) +- [✔️] 🔐 12 > [Secure Coding Practices](2023/day12.md) +- [✔️] 🔐 13 > [Additional Secure Coding Practices](2023/day13.md) ### Continuous Build, Integration, Testing -- [] 🐧 14 > [](2023/day14.md) -- [] 🐧 15 > [](2023/day15.md) -- [] 🐧 16 > [](2023/day16.md) -- [] 🐧 17 > [](2023/day17.md) -- [] 🐧 18 > [](2023/day18.md) -- [] 🐧 19 > [](2023/day19.md) -- [] 🐧 20 > [](2023/day20.md) +- [✔️] ⚒️ > [Container Image Scanning](2023/day14.md) +- [✔️] ⚒️ > [Container Image Scanning Advanced](2023/day15.md) +- [✔️] ⚒️ > [Fuzzing](2023/day16.md) +- [✔️] ⚒️ > [Fuzzing Advanced](2023/day17.md) +- [✔️] ⚒️ > [DAST](2023/day18.md) +- [✔️] ⚒️ > [IAST](2023/day19.md) +- [✔️] ⚒️ > [Practical Lab on IAST and DAST](2023/day20.md) ### Continuous Delivery & Deployment -- [] 🌐 21 > [](2023/day21.md) -- [] 🌐 22 > [](2023/day22.md) -- [] 🌐 23 > [](2023/day23.md) -- [] 🌐 24 > [](2023/day24.md) -- [] 🌐 25 > [](2023/day25.md) -- [] 🌐 26 > [](2023/day26.md) -- [] 🌐 27 > [](2023/day27.md) +- [✔️] 🚚 21 > [Continuous Image Repository Scan](2023/day21.md) +- [✔️] 🚚 22 > [Continuous Image Repository Scan - Container Registries](2023/day22.md) +- [✔️] 🚚 23 > [Artifacts Scan](2023/day23.md) +- [✔️] 🚚 24 > [Signing](2023/day24.md) +- [✔️] 🚚 25 > [Systems Vulnerability Scanning](2023/day25.md) +- [✔️] 🚚 26 > [Containers Vulnerability Scanning](2023/day26.md) +- [✔️] 🚚 27 > [Network Vulnerability Scan](2023/day27.md) ### Runtime Defence & Monitoring -- [] ☁️ 28 > [](2023/day28.md) -- [] ☁️ 29 > [](2023/day29.md) -- [] ☁️ 30 > [](2023/day30.md) -- [] ☁️ 31 > [](2023/day31.md) -- [] ☁️ 32 > [](2023/day32.md) -- [] ☁️ 33 > [](2023/day33.md) -- [] ☁️ 34 > [](2023/day34.md) +- [✔️] 🏃 28 > [System monitoring and auditing](2023/day28.md) +- [✔️] 🏃 29 > [Application level monitoring](2023/day29.md) +- [✔️] 🏃 30 > [Detecting suspicious application behavior](2023/day30.md) +- [✔️] 🏃 31 > [Runtime network protections and policies](2023/day31.md) +- [✔️] 🏃 32 > [Vulnerability and patch management](2023/day32.md) +- [✔️] 🏃 33 > [Application runtime and network policies](2023/day33.md) +- [✔️] 🏃 34 > [Runtime access control](2023/day34.md) ### Secrets Management -- [] 📚 35 > [](2023/day35.md) -- [] 📚 36 > [](2023/day36.md) -- [] 📚 37 > [](2023/day37.md) -- [] 📚 38 > [](2023/day38.md) -- [] 📚 39 > [](2023/day39.md) -- [] 📚 40 > [](2023/day40.md) -- [] 📚 41 > [](2023/day41.md) +- [✔️] 🕵 35 > [Understanding the Importance of Secrets Management](2023/day35.md) +- [✔️] 🕵 36 > [Securing Secrets with HashiCorp Vault](2023/day36.md) +- [✔️] 🕵 37 > [Working with HashiCorp Vault's Secrets Engines](2023/day37.md) +- [✔️] 🕵 38 > [Increase the Security Posture of Your Organization with Dynamic Credentials](2023/day38.md) +- [] 🕵 39 > [](2023/day39.md) +- [] 🕵 40 > [](2023/day40.md) +- [] 🕵 41 > [](2023/day41.md) ### Python -- [] 🏗️ 42 > [](2023/day42.md) -- [] 🏗️ 43 > [](2023/day43.md) -- [] 🏗️ 44 > [](2023/day44.md) -- [] 🏗️ 45 > [](2023/day45.md) -- [] 🏗️ 46 > [](2023/day46.md) -- [] 🏗️ 47 > [](2023/day47.md) -- [] 🏗️ 48 > [](2023/day48.md) +- [✔️] 🐍 42 > [Programming Language: Introduction to Python](2023/day42.md) +- [✔️] 🐍 43 > [Python Loops, functions, modules and libraries](2023/day43.md) +- [✔️] 🐍 44 > [Data Structures and OOP in Python](2023/day44.md) +- [✔️] 🐍 45 > [Debugging, testing and Regular expression](2023/day45.md) +- [✔️] 🐍 46 > [Web development in Python](2023/day46.md) +- [✔️] 🐍 47 > [Automation with Python](2023/day47.md) +- [✔️] 🐍 48 > [Let's build an App in Python](2023/day48.md) ### AWS -- [] ☸ 49 > [](2023/day49.md) -- [] ☸ 50 > [](2023/day50.md) -- [] ☸ 51 > [](2023/day51.md) -- [] ☸ 52 > [](2023/day52.md) -- [] ☸ 53 > [](2023/day53.md) -- [] ☸ 54 > [](2023/day54.md) -- [] ☸ 55 > [](2023/day55.md) +- [✔️] ☁️ 49 > [AWS Cloud Overview](2023/day49.md) +- [✔️] ☁️ 50 > [Create Free Tier Account & Enable Billing Alarms](2023/day50.md) +- [✔️] ☁️ 51 > [Infrastructure as Code (IaC) and CloudFormation](2023/day51.md) +- [✔️] ☁️ 52 > [Identity and Access Management (IAM)](2023/day52.md) +- [✔️] ☁️ 53 > [AWS Systems Manager](2023/day53.md) +- [✔️] ☁️ 54 > [AWS CodeCommit](2023/day54.md) +- [✔️] ☁️ 55 > [AWS CodePipeline](2023/day55.md) -### OpenShift +### Red Hat OpenShift -- [] 🤖 56 > [](2023/day56.md) -- [] 🤖 57 > [](2023/day57.md) -- [] 🤖 58 > [](2023/day58.md) -- [] 🤖 59 > [](2023/day59.md) -- [] 🤖 60 > [](2023/day60.md) -- [] 🤖 61 > [](2023/day61.md) -- [] 🤖 62 > [](2023/day62.md) +- [✔️] ⛑️ 56 > [What does Red Hat OpenShift bring to the party? An Overview](2023/day56.md) +- [✔️] ⛑️ 57 > [Understanding the OpenShift Architecture, Installation Methods and Process](2023/day57.md) +- [✔️] ⛑️ 58 > [Deploying Red Hat OpenShift on VMware vSphere](2023/day58.md) +- [✔️] ⛑️ 59 > [Deploying applications and getting a handle on Security Constraints Context (SCC)](2023/day59.md) +- [✔️] ⛑️ 60 > [Looking at OpenShift Projects - Creation, Configuration and Governance](2023/day60.md) +- [✔️] ⛑️ 61 > [Understanding Authentication, Role-Based Access Control (RBAC) and Auditing in Red Hat OpenShift: Control and Secure Your Cluster](2023/day61.md) +- [✔️] ⛑️ 62 > [Compliance and Vulnerability Scanning provided by Red Hat OpenShift Operators](2023/day62.md) ### Databases -- [] 📜 63 > [](2023/day63.md) -- [] 📜 64 > [](2023/day64.md) -- [] 📜 65 > [](2023/day65.md) -- [] 📜 66 > [](2023/day66.md) -- [] 📜 67 > [](2023/day67.md) -- [] 📜 68 > [](2023/day68.md) -- [] 📜 69 > [](2023/day69.md) +- [✔️] 🛢 63 > [An introduction to databases](2023/day63.md) +- [✔️] 🛢 64 > [Querying data in databases](2023/day64.md) +- [✔️] 🛢 65 > [Backing up and restoring databases](2023/day65.md) +- [✔️] 🛢 66 > [High availability and disaster recovery](2023/day66.md) +- [✔️] 🛢 67 > [Performance tuning](2023/day67.md) +- [✔️] 🛢 68 > [Database security](2023/day68.md) +- [✔️] 🛢 69 > [Monitoring and troubleshooting database issues](2023/day69.md) ### Serverless -- [] 🔄 70 > [](2023/day70.md) -- [] 🔄 71 > [](2023/day71.md) -- [] 🔄 72 > [](2023/day72.md) -- [] 🔄 73 > [](2023/day73.md) -- [] 🔄 74 > [](2023/day74.md) -- [] 🔄 75 > [](2023/day75.md) -- [] 🔄 76 > [](2023/day76.md) +- [✔️] 👩🏿‍💻 70 > [What is Serverless?](2023/day70.md) +- [✔️] 👩🏿‍💻 71 > [Serverless Compute](2023/day71.md) +- [✔️] 👩🏿‍💻 72 > [Serverless Storage](2023/day72.md) +- [✔️] 👩🏿‍💻 73 > [Serverless APIs](2023/day73.md) +- [✔️] 👩🏿‍💻 74 > [Serverless Orchestration](2023/day74.md) +- [✔️] 👩🏿‍💻 75 > [Serverless & Well Architected](2023/day75.md) +- [✔️] 👩🏿‍💻 76 > [Serverless - Beyond the Basics](2023/day76.md) ### Service Mesh -- [] 📈 77 > [](2023/day77.md) -- [] 📈 78 > [](2023/day78.md) -- [] 📈 79 > [](2023/day79.md) -- [] 📈 80 > [](2023/day80.md) -- [] 📈 81 > [](2023/day81.md) -- [] 📈 82 > [](2023/day82.md) -- [] 📈 83 > [](2023/day83.md) +- [✔️] 🧩 77 > [Let's break down a Service Mesh](2023/day77.md) +- [✔️] 🧩 78 > [Install and Test a Service Mesh](2023/day78.md) +- [✔️] 🧩 79 > [Comparing Different Service Meshes](2023/day79.md) +- [✔️] 🧩 80 > [Traffic Engineering Basics](2023/day80.md) +- [✔️] 🧩 81 > [Observability in your Mesh](2023/day81.md) +- [✔️] 🧩 82 > [Securing your microservices](2023/day82.md) +- [✔️] 🧩 83 > [Sidecar or Sidecar-less? Enter Ambient Mesh](2023/day83.md) ### Engineering for Day 2 Ops -- [] 🗃️ 84 > [](2023/day84.md) -- [] 🗃️ 85 > [](2023/day85.md) -- [] 🗃️ 86 > [](2023/day86.md) -- [] 🗃️ 87 > [](2023/day87.md) -- [] 🗃️ 88 > [](2023/day88.md) -- [] 🗃️ 89 > [](2023/day89.md) -- [] 🗃️ 90 > [](2023/day90.md) +- [] 👷🏻‍♀️ 84 > [Writing an API - What is an API?](2023/day84.md) +- [] 👷🏻‍♀️ 85 > [Queues, Queue workers and Tasks (Asynchronous architecture)](2023/day85.md) +- [] 👷🏻‍♀️ 86 > [Designing for Resilience, Redundancy and Reliability](2023/day86.md) +- [] 👷🏻‍♀️ 87 > [Zero Downtime Deployments](2023/day87.md) +- [] 👷🏻‍♀️ 88 > [Monitoring, Alerting and On-Call](2023/day88.md) +- [] 👷🏻‍♀️ 89 > [Oops: When something goes wrong - Post Mortems](2023/day89.md) +- [] 👷🏻‍♀️ 90 > [](2023/day90.md) diff --git a/2023.png b/2023.png new file mode 100644 index 0000000..8533dfa Binary files /dev/null and b/2023.png differ diff --git a/2023/.DS_Store b/2023/.DS_Store new file mode 100644 index 0000000..65cd630 Binary files /dev/null and b/2023/.DS_Store differ diff --git a/2023/day01.md b/2023/day01.md index 793aa68..cd354ac 100644 --- a/2023/day01.md +++ b/2023/day01.md @@ -1 +1,65 @@ -This is a test \ No newline at end of file +## 2022 Reflection & Welcome 2023 + +Hey everyone and welcome to the 2023 edition of #90DaysOfDevOps in this Day 1 post the plan is to reflect on the 2022 edition and some statistics, feedback, and ideas that we have had during the year. + +### 2022 Recap + +First, WOW! To think that the mission I thought up on New Year’s Eve 2021 was to spend the first 90 days of 2022 learning and documenting that learning, basically writing some notes after watching some much smarter people than me on YouTube. + +Fast forward a year, and we have some amazing numbers on the repository, I think I mentioned at least somewhere in the repository, but I know I have mentioned elsewhere many times any content is worth doing if it helps even just one person, to have the numbers that we have here from stars to forks is incredible. + +![](images/day01-1.jpg) + +Also, nearly **500** watchers of the repository! + +First, I want to thank everyone for sharing the repository with the community. Hearing that Microsoft and other massive tech vendors have shared this with their teams is humbling. + +Secondly, I would like to thank the contributors. This started out as a place to take notes and learn in public, and it wasn't until a few days in that saw people correcting my poor spelling and grammar. (I am sure the same will happen this year) But the biggest and most amazing thing was the community that started to translate the repository into their native language! How amazing to think this was happening and helping non-native English speakers learn more about the powers of DevOps. + +![](images/day01-2.png) + +If you would like to find the amazing contributors on the repository, then you can head to the [Contributors](https://github.com/MichaelCade/90DaysOfDevOps/blob/main/Contributors.md) + +### Continuous Learning + +I mentioned and mentioned a lot that we are never done learning, if you think you are then you picked the wrong industry as things are changing all the time and at a rapid pace. + +It is for that reason we must keep learning, learning for some is a challenge and for those people, I urge you to find a medium that you enjoy. I have always enjoyed documenting something I learn to like this and then getting hands-on. The premise of this project is exactly that, it is about a foundational knowledge of some of the key areas of DevOps and the tooling that achieves this, you are not going to be a graduated DevOps engineer by following along but you are going to have a better understanding of terminology and getting hands-on with some technologies that maybe you do not see on a day-to-day basis. + +I also want to add that everyone is constantly evolving and learning, it doesn't matter if you are the CTO of a software company or a Systems Administrator wanting to learn more about automation, everyone is learning, and that little imposter syndrome feeling is normal. My advice is to run towards it vs running away from it and you will absolutely reap the rewards, also learn what you enjoy this makes learning more enjoyable. + +### Security focused + +For those that have been following along, you will have known that the biggest area we missed out on in the 2022 edition was security aptly named DevSecOps and how we integrate security into that infinite DevOps cycle to ensure we are always thinking about security. + +In this edition, we will be diving headfirst into the security processes and principles as it obtains to DevSecOps heavily in this version and getting to some more topics that we missed in the first round. + +### A little help from my friends + +The 2022 edition was the equivalent of writing a blog post each day. We were well over 100k words and if we were to spin this into an eBook which was an option and instructions can be found in the repository if you so wish but you would find over 700 pages of A4 paper in total. The book idea is not dead and buried and I am working on a smaller version behind the scenes that might be a nice giveaway at a conference near you along with our amazing stickers. + +Another gap for me and maybe this was the authenticity of the project as I was just starting to learn and documenting that learning journey in some of these areas. This time around I have asked some friends in the community to help. + +There are two reasons for this: + +1. I think it is important to get different perspectives across topics and also, we are all going to learn best if we hear from subject matter experts in those specific topic areas. + +2. Some of the friends that will be helping here will have the opportunity to grow their brand and potentially even speak at events about their topics and the over the project. + +You can find the 2023 authors on the opening 2023.md page with links to their bios and contact details. + +I think it is also time to be very clear about the project. Nobody is being paid to write, nobody is being paid to talk about the project. I was approached about sponsorship several times, but the premise of this project is for it to remain impartial, free and for the community. Yes, we have used some projects and products throughout but none of the companies have sponsored or had a say in what has been written. + +Finally, my employer Veeam Software, I am extremely lucky to have a company that enables me to be part of the community and document my learnings without interference. I don't work a traditional 9-5 and I am sure many people reading this do not either, but I am free to create content like this project. + +### Resources + +Throughout the project and the previous 2022 edition you will find the resources section, this is a list of content that I or my fellow authors have been through and if you want to learn more than you are reading here go and grab this content. + +You can find the 2022 edition [here](https://github.com/MichaelCade/90DaysOfDevOps/blob/main/2022.md) + +But also some community members have been busy at work transforming and creating a new look and feel through [GitHub Pages](https://www.90daysofdevops.com/#/) + +On the [2023 page](https://www.90daysofdevops.com/#/2023) you will also find ways to interact and join the community. + +With that said let's get into things with [Day 2](day02.md). \ No newline at end of file diff --git a/2023/day02.md b/2023/day02.md index e69de29..3b56113 100644 --- a/2023/day02.md +++ b/2023/day02.md @@ -0,0 +1,85 @@ +## The Big Picture: DevSecOps + +Welcome to Day 2 of the 2023 edition here in this first module of the next 6 days we are going look at the foundational overview around DevSecOps. + +### What is DevSecOps? + +DevSecOps is a software development approach that aims to bring together development, security, and operations teams to build and maintain secure software applications. It is based on the principles of continuous integration, continuous delivery, and continuous deployment, which aim to deliver software updates and features more quickly and frequently. In DevSecOps, security is an integral part of the software development process, rather than an afterthought. This means that security testing, monitoring, and other security measures are built into the software development life cycle (SDLC) from the beginning, rather than being added later. DevSecOps aims to improve collaboration and communication between development, security, and operations teams, to create a more efficient and effective software development process. + +### DevSecOps vs DevOps + +I use the "vs" lightly here again but if we think back to the 2022 edition and the goal of DevOps is to improve the speed, reliability, and quality of software releases. + +DevSecOps is an extension of the DevOps philosophy that emphasizes the integration of security practices into the software development process. The goal of DevSecOps is to build security measures into the software development process so that security is an integral part of the software from the start, rather than an afterthought. This helps to reduce the risk of security vulnerabilities being introduced into the software and makes it easier to identify and fix any issues that do arise. + +DevOps focuses on improving collaboration and communication between developers and operations staff to improve the speed, reliability, and quality of software releases, while DevSecOps focuses on integrating security practices into the software development process to reduce the risk of security vulnerabilities and improve the overall security of the software. + +### Automated Security + +Automated security refers to the use of technology to perform security tasks without the need for human intervention. This can include things like security software that monitors a network for threats and takes action to block them, or systems that use artificial intelligence to analyse security footage and identify unusual activity. Automated security systems are designed to make security processes more efficient and effective, and to help reduce the workload on security personnel. + +A key component of all things DevSecOps is the ability to automate a lot of the tasks at hand when creating and delivering software, when we add security from the start it means we also need to consider the automation aspect of security. + +### Security at Scale (Containers and Microservices) + +We know that the scale and dynamic infrastructure that has been enabled by containerisation and microservices have changed the way that most organisations do business. + +This is also why we must bring that automated security into our DevOps principles to ensure that specific container security guidelines are met. + +What I mean by this is with cloud-native technologies we cannot only have static security policies and posture; our security model also must be dynamic with the workload in hand and how that is running. + +DevOps teams will need to include automated security to protect the overall environment and data, as well as continuous integration and continuous delivery processes. + +The below list is taken from a [RedHat blog post](https://www.redhat.com/en/topics/devops/what-is-devsecops) + +- Standardise and automate the environment: Each service should have the least privilege possible to minimize unauthorized connections and access. + +- Centralise user identity and access control capabilities: Tight access control and centralised authentication mechanisms are essential for securing microservices since authentication is initiated at multiple points. + +- Isolate containers running microservices from each other and the network: This includes both in-transit and at-rest data since both can represent high-value targets for attackers. + +- Encrypt data between apps and services: A container orchestration platform with integrated security features helps minimize the chance of unauthorized access. + +- Introduce secure API gateways: Secure APIs increase authorization and routing visibility. By reducing exposed APIs, organizations can reduce surfaces of attacks. + +### Security is HOT right now + +One thing you will have seen regardless of your background is that security is hot all over the industry, this is partly to do with security breaches appearing in global news and big brands being affected by security vulnerabilities or following potential bad practices allowing bad actors into the networks of these companies. It is fair to say or at least from my perspective the creation of software is much more achievable and obtainable now than it ever has. But in creating software it is increasingly exposed with vulnerabilities and the like which allows the bad actors to cause havoc and sometimes hold data to ransom or shut down businesses causing mayhem. We have discussed so far what is DevSecOps but I think it is also worthwhile exploring the cybersecurity side of the attack vector and why we protect our software supply chain to help avoid these cyber-attacks. + +### Cybersecurity vs DevSecOps + +As the heading goes it is not really a vs but more of a difference between the two topics. But I think it is important to raise this as really this will explain why Security must be part of that DevOps process, principles, and methodology. + +Cybersecurity is the practice of protecting computer systems and networks from digital attacks, theft, and damage. It involves identifying and addressing vulnerabilities, implementing security measures, and monitoring systems for threats. + +DevSecOps, on the other hand, is a combination of development, security, and operations practices. It is a philosophy that aims to integrate security into the development process, rather than treating it as a separate step. This involves collaboration between development, security, and operations teams throughout the entire software development lifecycle (SDLC). + +Some key differences between cybersecurity and DevSecOps include: + +**Focus**: Cybersecurity is primarily focused on protecting systems from external threats, while DevSecOps focuses on integrating security into the development process. + +**Scope**: Cybersecurity covers a wider range of topics, including network security, data security, application security, and more. DevSecOps, on the other hand, is specifically focused on improving the security of software development and deployment. + +**Approach**: Cybersecurity typically involves implementing security measures after the development process is complete, while DevSecOps involves integrating security into the development process from the start. + +**Collaboration**: Cybersecurity often involves collaboration between IT and security teams, while DevSecOps involves collaboration between development, security, and operations teams. + +## Resources + +Over the course of the 90 Days, we will have a daily resources list that will bring relevant content that will help continue the topics and where you can go to find out more. + +- [TechWorld with Nana - What is DevSecOps? DevSecOps explained in 8 Mins](https://www.youtube.com/watch?v=nrhxNNH5lt0&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=1&t=19s) + +- [What is DevSecOps?](https://www.youtube.com/watch?v=J73MELGF6u0&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=2&t=1s) + +- [freeCodeCamp.org - Web App Vulnerabilities - DevSecOps Course for Beginners](https://www.youtube.com/watch?v=F5KJVuii0Yw&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=3&t=67s) + +- [The Importance of DevSecOps and 5 Steps to Doing it Properly (DevSecOps EXPLAINED)](https://www.youtube.com/watch?v=KaoPQLyWq_g&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=4&t=13s) + +- [Continuous Delivery - What is DevSecOps?](https://www.youtube.com/watch?v=NdvMUcWNlFw&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=5&t=6s) + +- [Cloud Advocate - What is DevSecOps?](https://www.youtube.com/watch?v=a2y4Oj5wrZg&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=6) + +- [Cloud Advocate - DevSecOps Pipeline CI Process - Real world example!](https://www.youtube.com/watch?v=ipe08lFQZU8&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=7&t=204s) + +Hopefully this gave you a taster for what you can expect for this module and some of the resources above will help provide more depth on the topic, In the post on [Day 3](day03.md) we will be taking a look at what an attacker thinks like which is why we have to protect from the start. \ No newline at end of file diff --git a/2023/day03.md b/2023/day03.md index e69de29..723a8d5 100644 --- a/2023/day03.md +++ b/2023/day03.md @@ -0,0 +1,94 @@ +## Think Like an Attacker + +Yesterday we covered what is DevSecOps, in this post we are going to look at some of the characteristics of an attacker. For us to think about the attacker we must think like an attacker. + +### Characteristics of an Attacker + +First and foremost, all businesses and software is an attack vectors to an attacker, there is no safe place we can only make places safer and less attractive for people to attack. + +![](images/day03-2.jpg) +***[image from this source](https://www.trainerize.me/articles/outrun-bear/)*** + +With that in mind, attackers are a constant threat! + +Attackers will identify gaps in security by running attacks in a specific order to gain access, pull data and be successful in their mission. + +Attackers can be lucky, but they will absolutely work on targeted attacks. + +Compromises can be slow and persistent or fast to get to a breach. Not all attacks are going to be the same. + +### Motivations of an Attacker + +As a DevOps team, you are going to be provisioning infrastructure, and software and protecting these environments likely spanning multiple clouds, virtualisation, and containerisation on platforms. + +We must consider the following: + +- **How** would they attack us? +- **Why** would they attack us? +- **What** do we have that is valuable to an attacker? + +The motivations of an attacker will also be different depending on the attacker. I mean it could just be for fun... We have probably all been there, in school and just gone a little too deep into the network looking for more information. Who has a story to tell? + +But as we have seen in the media attacks are more aligned to monetary, fraud or even political attacks on businesses and organisations. + +In the Kubernetes space, we have even seen attackers leveraging and using the computing power of an environment to mine cryptocurrency. + +At the heart of this attack is likely going to be **DATA** + +A company’s data is likely going to be extremely valuable to the company but also potentially out in the wild. It is why we put so much emphasis on protecting this data, ensuring that the data is secure and encrypted. + +### Attack Maps + +We now have a motive and some of the characteristics of an attacker or a group of attackers, if this is a planned attack then you are going to need a plan, you are going to need to identify what services and data you are targeting. + +An attack map is a visual representation of an attack on a computer network. It shows the various stages of the attack, the tools and techniques used by the attacker, and the points of entry and exit into the network. Attack maps can be used to analyse the details of past attacks, identify vulnerabilities in a network, and plan defences against future attacks. They can also be used to communicate information about an attack to non-technical stakeholders, such as executives or legal teams. + +You can see from the above description that an Attack Map should be created on both sides or both teams (teams wise this is something I am going to cover in a later post) + +If you were to create an Attack Map of your home network or your business some of the things, you would want to capture would be: + +- Capture a graphical representation of your app including all communication flows and technologies being used. + +- A list of potential vulnerabilities and areas of attack. + +- Consider confidentiality, integrity and availability for each connection/interaction within the app. + +- Map the attacks/vulnerabilities + +An attack map might look something like this with a key explaining what each number represents. + +![](images/day03-1.png) + +From this map we might consider there to be a denial of service or some malicious insider attack and access to S3 bucket to prevent the application saving data or causing it to save bad data. + +This map then is never final, in the same way that your application continuously moves forward through feedback, this attack map also needs to be tested against, which provides feedback which in turn means the security posture is strengthened against these attacks. You could call this "Continuous Response" in the Security Feedback loop. + +At a bare minimum, we should be following a good, better, best model to better the security posture. + +- **Good** - Identify security design constraints and controls that need to be built into the software to reduce an attack. + +- **Better** - Prioritise and build security in for issues found later in the software cycle. + +- **Best** - Build automation into script deployment to detect issues, unit testing, security testing, black box testing + +Security is a design constraint - albeit an inconvenient one. + +## Resources + +- [devsecops.org](https://www.devsecops.org/) + +- [TechWorld with Nana - What is DevSecOps? DevSecOps explained in 8 Mins](https://www.youtube.com/watch?v=nrhxNNH5lt0&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=1&t=19s) + +- [What is DevSecOps?](https://www.youtube.com/watch?v=J73MELGF6u0&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=2&t=1s) + +- [freeCodeCamp.org - Web App Vulnerabilities - DevSecOps Course for Beginners](https://www.youtube.com/watch?v=F5KJVuii0Yw&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=3&t=67s) + +- [The Importance of DevSecOps and 5 Steps to Doing it Properly (DevSecOps EXPLAINED)](https://www.youtube.com/watch?v=KaoPQLyWq_g&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=4&t=13s) + +- [Continuous Delivery - What is DevSecOps?](https://www.youtube.com/watch?v=NdvMUcWNlFw&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=5&t=6s) + +- [Cloud Advocate - What is DevSecOps?](https://www.youtube.com/watch?v=a2y4Oj5wrZg&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=6) + +- [Cloud Advocate - DevSecOps Pipeline CI Process - Real world example!](https://www.youtube.com/watch?v=ipe08lFQZU8&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=7&t=204s) + +See you on [Day 4](day04.md) diff --git a/2023/day04.md b/2023/day04.md index e69de29..e9bde3d 100644 --- a/2023/day04.md +++ b/2023/day04.md @@ -0,0 +1,85 @@ +## Red Team vs. Blue Team + +Something I mentioned in the last session, was referring to **Red** and **Blue** teams. In the security space **Red** teams and **Blue** teams work as attackers and defenders to improve an organisation's security. + +Both teams work toward improving an organisation's security posture but in different ways. + +The **Red** team has the role of the attacker by trying to find vulnerabilities in code or infrastructure and attempting to break through cybersecurity defences. + +The **Blue** team defends against those attacks and responds to incidents when they occur. + +![](images\day04-2.jpg) +***[image from this source](https://hackernoon.com/introducing-the-infosec-colour-wheel-blending-developers-with-red-and-blue-security-teams-6437c1a07700)*** + +### The Benefits + +A very good way to understand and better a company's security posture is to run these exercises between the **Red** and **Blue** teams. The whole idea is that this scenario is there to mimic a real attack. Some of the areas that this approach will help are the following: + +- Vulnerabilities +- Hardening network security +- Gaining experience in detecting and isolating attacks +- Build detailed response plans +- Raise overall company security awareness + +### Red Team + +NIST (national institute of standards and technology) describes the **Red** Team as: + +“a group of people authorized and organized to emulate a potential adversary’s attack or exploitation capabilities against an enterprise’s security posture.” + +They are playing the bad actor in the scenario or simulation of the attack. + +When we speak about both **Red** and **Blue** team it is possibly wider than the DevSecOps process and principles of a software lifecycle but knowing this is not going to hurt and practices from DevSecOps will ensure overall that you have a better security posture. + +The **Red** team, is tasked with thinking like the attacker which we covered in the last session. Think about social engineering and including the wider teams within the business to manipulate and gain access to the network and services. + +A key fundamental of the **Red** team is understanding software development. Understanding and knowing how applications are built, you are going to be able to identify possible weaknesses, then write your programs to try and gain access and exploit. On top of this though you may have heard the term "penetration testing" or "pen testing" the overall aim for the **Red** team is to identify and try to exploit known vulnerabilities within an environment. With the rise of Open Source software, this is another area that I want to cover in a few sessions time. + +### Blue Team + +NIST (national institute of standards and technology) describes the **Blue** Team as: + +“the group responsible for defending an enterprise’s use of information systems by maintaining its security posture against a group of mock attackers.” + +The **Blue** team is playing the defence, they are going to be analyse the security posture currently in the business and then take action on improving that to stop those external attacks. In the **Blue** team you are also going to be focused on continuous monitoring (something we covered in the end of 2022 regarding DevOps) monitoring for breaches and responding to them when they occur. + +As part of the **Blue** team you are going to have to understand the assets you are protecting and how to best to protect them. In the IT landscape today we have lots of diverse options to run our workloads, applications and data. + +- Assessing Risk - through the form of risk assessments is going to give you a good understanding what are the most critical assets within the business. + +- Threat Intelligence - What threats are out there? There are thousands of vulnerabilities out there possibly without a resolution how can you mititgate risk of those services without damaging the use case and the business need? + +### Cybersecurity colour wheel + +As Cybersecurity grows in importance with all the big brands getting hit there is a need for more than just the **Red** and **Blue** teams when it comes to security within a business. + +![](images\day04-1.png) +***[image from this source](https://hackernoon.com/introducing-the-infosec-colour-wheel-blending-developers-with-red-and-blue-security-teams-6437c1a07700)*** + +- The **Yellow Team** are our builders, the engineers and developers who develop the security systems and applications. + +"We have our **Red** and **Blue** Teams just as we always have, but now with the introduction of a **Yellow** Team, we can have secondary coloured teams (Orange, Green and Purple) dedicated to mixing skills between attackers, defenders and coders — making code more secure and the organisation more secure." + +The above abstract was taken from the top resource listed at the end of the post. + +**Red**, **Blue**, **Yellow** are primary colours, combine them and we start to understand where the other colours or secondary colours come into play, again really great explanation in that first link. + +- **Purple Team** - The special team! If the you take **Blue** and **Red** you get **Purple**. If you integrate defence with offence and you collaborate and share knowledge between the teams you overall provide a better posture throughout. + +- **Green Team** - Feedback loop, the **Green** team are going to take insights from the **Blue** team and work closely with the **Yellow** team to be more effcient. Mix **Blue** and **Green** and what do you **get**? + +- **Orange Team** - Much like the **Green** team working with the **Blue** team for feedback, the **Orange** team works with the **Red** team and pass on what they have learnt to the **Yellow** team to build better security into their code. + +When I got into researching this I realised that maybe I was moving away from the DevOps topics but please anyone in the DevSecOps space is this useful? correct? and do you have anything to add? + +Obviously throughout we have the plan to dive into more specifics around DevSecOps and the different stages so I was being mindful that I did not want to cover those areas that will be covered in future sessions. + +Also please add any additional resources. + +## Resources + +- [Introducing the InfoSec colour wheel — blending developers with red and blue security teams.](https://hackernoon.com/introducing-the-infosec-colour-wheel-blending-developers-with-red-and-blue-security-teams-6437c1a07700) + + +See you on [Day 5](day05.md). + diff --git a/2023/day05.md b/2023/day05.md index e69de29..ad4535c 100644 --- a/2023/day05.md +++ b/2023/day05.md @@ -0,0 +1,56 @@ +## Open Source Security + +Open-source software has become widely used over the past few years due to its collaborative and community/public nature. + +The term Open Source refers to software in the public domain that people can freely use, modify, and share. + +The main reason for this surge of adoption and interest in Open Source is the speed of augmenting proprietary code developed in-house and this in turn can accelerate time to market. Meaning that leveraging OSS can speed up application development and help get your commercial product to market faster. + +### What is Open-Source Security? + +Open-source security refers to the practice of ensuring the safety and security of computer systems and networks that use open-source software. As we said above Open-source software is software that is freely available to use, modify, and distribute, and it is typically developed by a community of volunteers however there is a huge uptake from big software vendors that also contribute back to open-source, you only need to look at the Kubernetes repository to see which vendors are heavily invested there. + +Because open-source software is freely available, it can be widely used and studied, which can help to improve its security. However, it is important to ensure that open-source software is used responsibly and that any vulnerabilities are addressed in a timely manner to maintain its security. + +### Understanding OSS supply chain security +I would normally document my findings based on a longer form video into a paragraph here but as this is 10mins I thought it made sense to link the resource here [Understanding Open-Source Supply Chain Security] (https://www.youtube.com/watch?v=pARGj6j0-ZY) + +Be it a commercial product leveraging OSS or an OSS project using packages or other OSS code we must have an awareness from top to bottom and provide better visibility between projects. + +### 3 As of OSS Security + +Another resource I found useful here from IBM, will be linked below in the resources section. + +- **Assess** - Look at the project health, how active is the repository, how responsive are the maintainers? If these show a bad sign, then you are not going to be happy about the security of the project. + +At this stage, we can also check the security model, code reviews, data validations, and test coverage for security. How does the project handle CVEs? + +What dependencies does this project have? Explore the health of these in turn as you need to be sure the whole stack is good. + +- **Adopt** - If you are going to take this on within your software or as a standalone app within your own stack, who is going to manage and maintain it? Set some policies on who internally will overlook the project and support the community. + +- **Act** - Security is the responsibility of everyone, not just the maintainers, as a user you should also act and assist with the project. + +### Log4j Vulnerability + +In early 2022 we had a vulnerability that seemed to massively hit the headlines (Log4j (CVE-2021-44228) RCE Vulnerability) + +Log4j is a very common library for logging within Java. The vulnerability would in turn affect millions of java-based applications. + +A malicious actor could use this vulnerability within the application to gain access to a system. + +Two big things I mentioned, + +- **millions** of applications will have this package being used. +- **malicious actors** could leverage this to gain access or plant malware into an environment. + +The reason I am raising this is that security never stops, the growth of Open-Source adoption has increased this attack vector on applications, and this is why there needs to be an overall effort on security from day 0. + +## Resources + +- [Open Source Security Foundation](https://openssf.org/) +- [Snyk - State of open source security 2022](https://snyk.io/reports/open-source-security/) +- [IBM - The 3 A's of Open Source Security](https://www.youtube.com/watch?v=baZH6CX6Zno) +- [Log4j (CVE-2021-44228) RCE Vulnerability Explained](https://www.youtube.com/watch?v=0-abhd-CLwQ) + +See you on [Day 6](day06.md). diff --git a/2023/day06.md b/2023/day06.md index e69de29..3449aec 100644 --- a/2023/day06.md +++ b/2023/day06.md @@ -0,0 +1,244 @@ +## Hands-On: Building a weak app + +Nobody really sets out to build a weak or vulnerable app... do they? + +No is the correct answer, nobody should or does set out to build a weak application, and nobody intends on using packages or other open-source software that brings its own vulnerabilities. + +In this final introduction section into DevSecOps, I want to attempt to build and raise awareness of some of the misconfigurations and weaknesses that might fall by the wayside. Then later over the next 84 days or even sooner we are going to hear from some subject matter experts in the security space on how to prevent bad things and weak applications from being created. + +### Building our first weak application + +**Important Message: This exercise is to highlight bad and weaknesses in an application, Please do try this at home but beware this is bad practice** + +At this stage, I am not going to run through my software development environment in any detail. I would generally be using VScode on Windows with WSL2 enabled. We might then use Vagrant to provision dedicated compute instances to VirtualBox all of which I covered throughout the 2022 sections of #90DaysOfDevOps mostly in the Linux section. + +### Bad Coding Practices or Coding Bad Practices + +It is very easy to copy and paste into GitHub! + +How many people check end-to-end the package that they include in your code? + +We also must consider: + +- Do we trust the user/maintainer +- Not validating input on our code +- Hardcoding secrets vs env or secrets management +- Trusting code without validation +- Adding your secrets to public repositories (How many people have done this?) + + Now going back to the overall topic, DevSecOps, everything we are doing or striving towards is faster iterations of our application or software, but this means we can introduce defects and risks faster. + + We will also likely be deploying our infrastructure with code, another risk is including bad code here that lets bad actors in via defects. + + Deployments will also include application configuration management, another level of possible defects. + + However! Faster iterations can and do mean faster fixes as well. + + ### OWASP - Open Web Application Security Project + +*"[OWASP](https://owasp.org/) is a non-profit foundation that works to improve the security of software. Through community-led open-source software projects, hundreds of local chapters worldwide, tens of thousands of members, and leading educational and training conferences, the OWASP Foundation is the source for developers and technologists to secure the web."* + +If we look at their most recent data set and their [top 10](https://owasp.org/www-project-top-ten/) we can see the following big ticket items for why things go bad and wrong. + +1. Broken Access Control +2. Cryptographic Failures +3. Injection (2020 #1) +4. Insecure Design (New for 2021) +5. Security Misconfiguration +6. Vulnerable and Outdated Components (2020 #9) +7. Identification and authentication failures (2020 #2) +8. Software and Data integrity failures (New for 2021) +9. Security logging and monitoring failures (2020 #10) +10. Server-side request forgery (SSRF) + +### Back to the App + +**The warning above still stands, I will deploy this to a local VirtualBox VM IF you do decide to deploy this to a cloud instance then please firstly be careful and secondly know how to lock down your cloud provider to only your own remote IP!** + +Ok I think that is enough warnings, I am sure we might see the red warnings over the next few weeks some more as we get deeper into discussing this topic. + +The application that I am going to be using will be from [DevSecOps.org](https://github.com/devsecops/bootcamp/blob/master/Week-2/README.md) This was one of their bootcamps years ago but still allows us to show what a bad app looks like. + +Having the ability to see a bad or a weak application means we can start to understand how to secure it. + +Once again, I will be using VirtualBox on my local machine and I will be using the following vagrantfile (link here to intro on vagrant) + +The first alarm bell is that this vagrant box was created over 2 years ago! + +``` +Vagrant.configure("2") do |config| + config.vm.box = "centos/7" + config.vm.provider :virtualbox do |v| + v.memory = 8096 + v.cpus = 4 +end +end +``` +If navigate to this folder, you can use `vagrant up` to spin up your centos7 machine in your environment. + +![](images/day06-1.png) + + +Then we will need to access our machine, you can do this with `vagrant ssh` + +We are then going to install MariaDB as a local database to use in our application. + +`sudo yum -y install mariadb mariadb-server mariadb-devel` + +start the service with + +`sudo systemctl start mariadb.service` + +We have to install some dependencies, this is also where I had to change what the Bootcamp suggested as NodeJS was not available in the current repositories. + +`sudo yum -y install links` +`sudo yum install --assumeyes epel-release` +`sudo yum install --assumeyes nodejs` + +You can confirm you have node installed with `node -v` and `npm -v` (npm should be installed as a dependency) + +For this app we will be using ruby a language we have not covered at all yet and we will not really get into much detail about it, I will try and find some good resources and add them below. + +Install with + +`curl -L https://get.rvm.io | bash -s stable` + +You might with the above be asked to add keys follow those steps. + +For us to use rvm we need to do the following: + +`source /home/vagrant/.rvm/scripts/rvm` + +and finally, install it with + +`rvm install ruby-2.7` + +the reason for this long-winded process is basically because the centos7 box we are using is old and old ruby is shipped in the normal repository etc. + +Check installation and version with + +`ruby --version` + +We next need the Ruby on Rails framework which can be gathered using the following command. + +`gem install rails` + +Next, we need git and we can get this with + +`sudo yum install git` + +Just for the record and not sure if it is required, I also had Redis installed on my machine as I was doing something else but it actually still might be needed so these are the steps. + +``` +sudo yum install epel-release +sudo yum install redis +``` + +The above could be related to turbo streams but I did not have time to learn more about ruby on rails. + +Now let’s finally create our application (for the record I went through a lot to make sure these steps worked on my system so I am sending you all the luck) + +create the app with the following, calling it what you wish + +`rails new myapp --skip-turbolinks --skip-spring --skip-test-unit -d mysql ` + +next, we will create the database and schema: + +``` +cd myapp +bundle exec rake db:create +bundle exec rake db:migrate +``` + +We can then run our app with `bundle exec rails server -b 0.0.0.0` + +![](images/day06-2.png) + +Then open a browser to hit that box, I had to change my VirtualBox VM networking to bridged vs NAT so that I would be able to navigate to it vs using vagrant ssh. + +![](images/day06-3.png) + +Now we need to **scaffold** a basic model + +A scaffold is a set of automatically generated files which forms the basic structure of a Rails project. + +We do this with the following commands: + +``` +bundle exec rails generate scaffold Bootcamp name:string description:text dates:string +bundle exec rake db:migrate +``` + +![](images/day06-4.png) + +Add a default route to config/routes.rb + +`root bootcamps#index` + +![](images/day06-5.png) + +Now edit app/views/bootcamps/show.html.erb and make the description field a raw field. Add the below. + +``` +

+ Description: + <%=raw @bootcamp.description %> +

+``` +Now why this is all relevant is that using raw in the description field means that this field now becomes a potential XSS target. Or cross-site scripting. + +This can be explained better with a video [What is Cross-Site Scripting?](https://youtu.be/DxsmEXicXEE) + +The rest of the Bootcamp goes on to add in search functionality which also increases the capabilities around an XSS attack and this is another great example of a demo attack you could try out on a [vulnerable app](https://www.softwaretestinghelp.com/cross-site-scripting-xss-attack-test/). + +### Create search functionality + +In app/controllers/bootcamps_controller.rb, we'll add the following logic to the index method: + +``` +def index + @bootcamps = Bootcamp.all + if params[:search].to_s != '' + @bootcamps = Bootcamp.where("name LIKE '%#{params[:search]}%'") + else + @bootcamps = Bootcamp.all + end +end +``` + +In app/views/bootcamps/index.html.erb, we'll add the search field: + +``` +

Search

+<%= form_tag(bootcamps_path, method: "get", id: "search-form") do %> + <%= text_field_tag :search, params[:search], placeholder: "Search Bootcamps" %> + <%= submit_tag "Search Bootcamps"%> +<% end %> + +

Listing Bootcamps

+``` + +Massive thanks for [DevSecOps.org](https://www.devsecops.org/) this is where I found the old but great walkthrough with a few tweaks above, there is also so much more information to be found there. + +With that much longer walkthrough than anticipated I am going to hand over to the next sections and authors to highlight how not to do this and how to make sure we are not releasing bad code or vulnerabilities out there into the wild. + +## Resources + +- [devsecops.org](https://www.devsecops.org/) + +- [TechWorld with Nana - What is DevSecOps? DevSecOps explained in 8 Mins](https://www.youtube.com/watch?v=nrhxNNH5lt0&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=1&t=19s) + +- [What is DevSecOps?](https://www.youtube.com/watch?v=J73MELGF6u0&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=2&t=1s) + +- [freeCodeCamp.org - Web App Vulnerabilities - DevSecOps Course for Beginners](https://www.youtube.com/watch?v=F5KJVuii0Yw&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=3&t=67s) + +- [The Importance of DevSecOps and 5 Steps to Doing it Properly (DevSecOps EXPLAINED)](https://www.youtube.com/watch?v=KaoPQLyWq_g&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=4&t=13s) + +- [Continuous Delivery - What is DevSecOps?](https://www.youtube.com/watch?v=NdvMUcWNlFw&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=5&t=6s) + +- [Cloud Advocate - What is DevSecOps?](https://www.youtube.com/watch?v=a2y4Oj5wrZg&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=6) + +- [Cloud Advocate - DevSecOps Pipeline CI Process - Real world example!](https://www.youtube.com/watch?v=ipe08lFQZU8&list=PLsKoqAvws1pvg7qL7u28_OWfXwqkI3dQ1&index=7&t=204s) + +See you on [Day 7](day07.md) Where we will start a new section on Secure Coding. + diff --git a/2023/day07.md b/2023/day07.md index e69de29..d04a512 100644 --- a/2023/day07.md +++ b/2023/day07.md @@ -0,0 +1,42 @@ +# Day 7: Secure Coding Overview + +Secure coding is the practice of writing software in a way that ensures the security of the system and the data it processes. It involves designing, coding, and testing software with security in mind to prevent vulnerabilities and protect against potential attacks. + +There are several key principles of secure coding that developers should follow: + +1. Input validation: It is important to validate all user input to ensure that it is in the expected format and does not contain any malicious code or unexpected characters. This can be achieved through the use of regular expressions, data type checks, and other validation techniques. +2. Output encoding: Output data should be properly encoded to prevent any potential injection attacks. For example, HTML output should be properly escaped to prevent cross-site scripting (XSS) attacks, and SQL queries should be parameterized to prevent SQL injection attacks. +3. Access control: Access control involves restricting access to resources or data to only those users who are authorized to access them. This can include implementing authentication and authorization protocols, as well as enforcing least privilege principles to ensure that users have only the access rights they need to perform their job duties. +4. Error handling: Error handling is the process of properly handling errors and exceptions that may occur during the execution of a program. This can include logging errors, displaying appropriate messages to users, and mitigating the impact of errors on system security. +5. Cryptography: Cryptography should be used to protect sensitive data and communications, such as passwords, financial transactions, and sensitive documents. This can be achieved through the use of encryption algorithms and secure key management practices. +6. Threat Modeling: Document, locate, address, and validate are the four steps to threat modeling. To securely code, you need to examine your software for areas susceptible to increased threats of attack. Threat modeling is a multi-stage process that should be integrated into the software lifecycle from development, testing, and production. +7. Secure storage: Secure storage involves properly storing and handling sensitive data, such as passwords and personal information, to prevent unauthorized access or tampering. This can include using encryption, hashing, and other security measures to protect data at rest and in transit. +8. Secure architecture: Secure architecture is the foundation of a secure system. This includes designing systems with security in mind, using secure frameworks and libraries, and following secure design patterns. + +There are several tools and techniques that can be used to help ensure that code is secure, including Static Application Security Testing (SAST), Software Composition Analysis (SCA), and Secure Code Review. + +### Static Application Security Testing (SAST) + +SAST is a method of testing software code for security vulnerabilities during the development phase. It involves analyzing the source code of a program without executing it, looking for vulnerabilities such as injection attacks, cross-site scripting (XSS), and other common security issues. SAST tools can be integrated into the software development process to provide ongoing feedback and alerts about potential vulnerabilities as the code is being written. + +### Software Composition Analysis (SCA) + +SCA is a method of analyzing the third-party components and libraries that are used in a software application. It helps to identify any vulnerabilities or security risks that may be present in these components, and can alert developers to the need to update or replace them. SCA can be performed manually or with the use of automated tools. + +### Secure Code Reviews + +Secure Code Review is a process of reviewing software code with the goal of identifying and addressing potential security vulnerabilities. It is typically performed by a team of security experts who are familiar with common coding practices and security best practices. Secure Code Review can be done manually or with the use of automated tools, and may involve a combination of SAST and SCA techniques. + +In summary, Overall, secure coding is a crucial practice that helps protect software and its users from security vulnerabilities and attacks. By following best practices and keeping software up to date, developers can help ensure that their software is as secure as possible. + +### Resources + +- [Secure Coding Best Practices | OWASP Top 10 Proactive Control](https://www.youtube.com/watch?v=8m1N2t-WANc) + +- [Secure coding practices every developer should know](https://snyk.io/learn/secure-coding-practices/) + +- [10 Secure Coding Practices You Can Implement Now](https://codesigningstore.com/secure-coding-practices-to-implement) + +- [Secure Coding Guidelines And Best Practices For Developers](https://www.softwaretestinghelp.com/guidelines-for-secure-coding/) + +In the next part [Day 8](day08.md), we will discuss Static Application Security Testing (SAST) in more detail. diff --git a/2023/day08.md b/2023/day08.md index e69de29..1af912c 100644 --- a/2023/day08.md +++ b/2023/day08.md @@ -0,0 +1,54 @@ +# Day 8: SAST Overview + +Static Application Security Testing (SAST) is a method of evaluating the security of an application by analyzing the source code of the application without executing the code. SAST is also known as white-box testing as it involves testing the internal structure and workings of an application. + +SAST is performed early in the software development lifecycle (SDLC) as it allows developers to identify and fix vulnerabilities before the application is deployed. This helps prevent security breaches and minimizes the risk of costly security incidents. + +One of the primary benefits of SAST is that it can identify vulnerabilities that may not be detected by other testing methods such as dynamic testing or manual testing. This is because SAST analyzes the entire codebase and can identify vulnerabilities that may not be detectable by other testing methods. + +There are several types of vulnerabilities that SAST can identify, including: + +- **Input validation vulnerabilities**: These vulnerabilities occur when an application does not adequately validate user input, allowing attackers to input malicious code or data that can compromise the security of the application. +- **Cross-site scripting (XSS) vulnerabilities**: These vulnerabilities allow attackers to inject malicious scripts into web applications, allowing them to steal sensitive information or manipulate the application for their own gain. +- **Injection vulnerabilities**: These vulnerabilities allow attackers to inject malicious code or data into the application, allowing them to gain unauthorized access to sensitive information or execute unauthorized actions. +- **Unsafe functions and libraries**: These vulnerabilities occur when an application uses unsafe functions or libraries that can be exploited by attackers. +- **Security misconfigurations**: These vulnerabilities occur when an application is not properly configured, allowing attackers to gain access to sensitive information or execute unauthorized actions. + +### SAST Tools (with free tier plan) + +- **[SonarCloud](https://www.sonarsource.com/products/sonarcloud/)**: SonarCloud is a cloud-based code analysis service designed to detect code quality issues in 25+ different programming languages, continuously ensuring the maintainability, reliability and security of your code. +- **[Snyk](https://snyk.io/)**: Snyk is a platform allowing you to scan, prioritize, and fix security vulnerabilities in your own code, open source dependencies, container images, and Infrastructure as Code (IaC) configurations. +- **[Semgrep](https://semgrep.dev/)**: Semgrep is a fast, open source, static analysis engine for finding bugs, detecting dependency vulnerabilities, and enforcing code standards. + +## How SAST Works? + +SAST tools typically use a variety of techniques to analyze the sourced code, including pattern matching, rule-based analysis, and data flow analysis. + +Pattern matching involves looking for specific patterns in the code that may indicate a vulnerability, such as the use of a known vulnerable library or the execution of user input without proper sanitization. + +Rule-based analysis involves the use of a set of predefined rules to identify potential vulnerabilities, such as the use of weak cryptography or the lack of input validation. + +Data flow analysis involves tracking the flow of data through the application and identifying potential vulnerabilities that may arise as a result, such as the handling of sensitive data in an insecure manner. + +## Consideration while using SAST Tools + +1. It is important to ensure that the tool is properly configured and that it is being used in a way that is consistent with best practices. This may include setting the tool's sensitivity level to ensure that it is properly identifying vulnerabilities, as well as configuring the tool to ignore certain types of vulnerabilities that are known to be benign. +2. SAST tools are not a replacement for manual code review. While these tools can identify many potential vulnerabilities, they may not be able to identify all of them, and it is important for developers to manually review the code to ensure that it is secure. +3. SAST is just one aspect of a comprehensive application security program. While it can be an important tool for identifying potential vulnerabilities, it is not a replacement for other security measures, such as secure coding practices, testing in the production environment, and ongoing monitoring and maintenance. + +### Challenges associated with SAST + +- **False positives**: Automated SAST tools can sometimes identify potential vulnerabilities that are not actually vulnerabilities. This can lead to a large number of false positives that need to be manually reviewed, increasing the time and cost of the testing process. +- **Limited coverage**: SAST can only identify vulnerabilities in the source code that is analyzed. If an application uses external libraries or APIs, these may not be covered by the SAST process. +- **Code complexity**: SAST can be more challenging for larger codebases or codebases that are written in languages that are difficult to analyze. +- **Limited testing**: SAST does not execute the code and therefore cannot identify vulnerabilities that may only occur when the code is executed. + +Despite these challenges, SAST is a valuable method of evaluating the security of an application and can help organizations prevent security breaches and minimize the risk of costly security incidents. By identifying and fixing vulnerabilities early in the SDLC, organizations can build more secure applications and improve the overall security of their systems. + +### Resources + +- [SAST- Static Analysis with lab by Practical DevSecOps](https://www.youtube.com/watch?v=h37zp5g5tO4) +- [SAST – All About Static Application Security Testing](https://www.mend.io/resources/blog/sast-static-application-security-testing/) +- [SAST Tools : 15 Top Free and Paid Tools](https://www.appsecsanta.com/sast-tools) + +In the next part [Day 9](day09.md), we will discuss SonarCloud and integrate it with different CI/CD tools. diff --git a/2023/day09.md b/2023/day09.md index e69de29..2f19753 100644 --- a/2023/day09.md +++ b/2023/day09.md @@ -0,0 +1,132 @@ +# Day 9: SAST Implementation with SonarCloud + +SonarCloud is a cloud-based platform that provides static code analysis to help developers find and fix code quality issues in their projects. It is designed to work with a variety of programming languages and tools, including Java, C#, JavaScript, and more. + +SonarCloud offers a range of features to help developers improve the quality of their code, including: + +- **Static code analysis**: SonarCloud analyzes the source code of a project and checks for issues such as coding style violations, potential bugs, security vulnerabilities, and other problems. It provides developers with a detailed report of the issues it finds, along with suggestions for how to fix them. +- **Code review**: SonarCloud integrates with code review tools like GitHub pull requests, allowing developers to receive feedback on their code from their peers before it is merged into the main branch. This helps to catch issues early on in the development process, reducing the risk of bugs and other issues making it into production. +- **Continuous integration**: SonarCloud can be integrated into a continuous integration (CI) pipeline, allowing it to automatically run static code analysis on every code commit. This helps developers catch issues early and fix them quickly, improving the overall quality of their codebase. +- **Collaboration**: SonarCloud includes tools for team collaboration, such as the ability to assign issues to specific team members and track the progress of code review and issue resolution. +- **Customization**: SonarCloud allows developers to customize the rules and configurations used for static code analysis, so they can tailor the analysis to fit the specific needs and coding standards of their team. + +Overall, SonarCloud is a valuable tool for developers looking to improve the quality of their code and reduce the risk of issues making it into production. It helps teams collaborate and catch problems early on in the development process, leading to faster, more efficient development and fewer bugs in the final product. + +Read more about SonarCloud [here](https://docs.sonarcloud.io/) + +### Integrate SonarCloud with GitHub Actions + +- Sign up for a [SonarCloud](https://sonarcloud.io/) account with your GitHub Account. +- From the dashboard, click on “Import an organization from GitHub” + +![](images/day09-1.png) + +- Authorise and install SonarCloud app to access your GitHub account. + +![](images/day09-2.png) + +- Select the repository (free tier supports only public repositories) you want to analyze and click "Install" +![](images/day09-3.png) + +- In SonarCloud you can now create an organisation. + +![](images/day09-4.png) +![](images/day09-5.png) + +- Now click on “Analyze a new Project” + +![](images/day09-6.png) + +- Click on setup to add the Project. + +![](images/day09-7.png) + +- Now on the SonarCloud dashboard you can the project. + +![](images/day09-8.png) + +- To setup the GitHub Actions, click on the project, then on **Information** > **Last analysis method** + +![](images/day09-9.png) + +- Click on **GitHub Actions** + +![](images/day09-10.png) + +- This will show some steps to integrate SonarCloud with GitHub actions. At the top you will see SONAR_TOKEN, we will add that as Github Secrets later. + +![](images/day09-11.png) + +- Next thing you will see is the yaml file for the GitHub Workflow + +![](images/day09-12.png) + +- You will also see a configuration file that we will have to add in the source code repo + +![](images/day09-13.png) +![](images/day09-14.png) + +- At the bottom of page, disable the Automatic Analysis +![](images/day09-15.png) + +- Now go the source code repo and add the following configuration `sonar-project.properties` in the root directory. + +```yaml +sonar.projectKey=prateekjaindev_nodejs-todo-app-demo +sonar.organization=prateekjaindev + +# This is the name and version displayed in the SonarCloud UI. +#sonar.projectName=nodejs-todo-app-demo +#sonar.projectVersion=1.0 + +# Path is relative to the sonar-project.properties file. Replace "\" by "/" on Windows. +#sonar.sources=. + +# Encoding of the source code. Default is default system encoding +#sonar.sourceEncoding=UTF-8 +``` + +- Update or add the GitHub actions workflow with the following job in the `.github/workflows` directory + +```yaml +name: SonarScan +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened] +jobs: + sonarcloud: + name: SonarCloud + runs-on: ubuntu-latest + steps: + - uses: actions/checkout@v2 + with: + fetch-depth: 0 # Shallow clones should be disabled for a better relevancy of analysis + - name: SonarCloud Scan + uses: SonarSource/sonarcloud-github-action@master + env: + GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }} # Needed to get PR information, if any + SONAR_TOKEN: ${{ secrets.SONAR_TOKEN }} +``` +- Now go to GitHub and add GitHub Secret named SOANR_TOKEN. +![](images/day09-16.png) +- As soon as you commit the changes, the workflow will trigger. +![](images/day09-17.png) +- Now after every commit, you can check the updated reports on the SonarCloud dashboard. +![](images/day09-18.png) + +### Quality Gates + +A quality gate is an indicator that tells you whether your code meets the minimum level of quality required for your project. It consists of a set of conditions that are applied to the results of each analysis. If the analysis results meet or exceed the quality gate conditions then it shows a **Passed** status otherwise, it shows a **Failed** status. + +By default SonarCloud comes with a default quality gate “Sonar way”. You can edit or create new one in the Organisation Settings. +![](images/day09-19.png) +### Resources + +- [SonarCloud Documentation](https://docs.sonarcloud.io/) +- [How to create Quality gates on SonarQube](https://www.youtube.com/watch?v=8_Xt9vchlpY) +- [Source Code of the repo I used for SAST implementation](https://github.com/prateekjaindev/nodejs-todo-app-demo) + +In the next part [Day 10](day10.md), we will discuss Software Composition Analysis (SCA). diff --git a/2023/day10.md b/2023/day10.md index e69de29..6ea50b1 100644 --- a/2023/day10.md +++ b/2023/day10.md @@ -0,0 +1,33 @@ +# Day 10: Software Composition Analysis Overview + +Software composition analysis (SCA) is a process that helps developers identify the open source libraries, frameworks, and components that are included in their software projects. SCA tools scan the codebase of a software project and provide a report that lists all the open source libraries, frameworks, and components that are being used. This report includes information about the licenses and vulnerabilities of these open source libraries and components, as well as any security risks that may be associated with them. + +There are several benefits to using SCA tools in software development projects. These benefits include: + +1. **Improved security**: By identifying the open source libraries and components that are being used in a project, developers can assess the security risks associated with these libraries and components. This allows them to take appropriate measures to fix any vulnerabilities and protect their software from potential attacks. +2. **Enhanced compliance**: SCA tools help developers ensure that they are using open source libraries and components that are compliant with the appropriate licenses. This is particularly important for companies that have strict compliance policies and need to ensure that they are not infringing on any third-party intellectual property rights. +3. **Improved efficiency**: SCA tools can help developers save time and effort by automating the process of identifying and tracking open source libraries and components. This allows developers to focus on more important tasks, such as building and testing their software. +4. **Reduced risk**: By using SCA tools, developers can identify and fix vulnerabilities in open source libraries and components before they become a problem. This helps to reduce the risk of security breaches and other issues that could damage the reputation of the software and the company. +5. **Enhanced quality**: By identifying and addressing any vulnerabilities in open source libraries and components, developers can improve the overall quality of their software. This leads to a better user experience and a higher level of customer satisfaction. + +In addition to these benefits, SCA tools can also help developers to identify any potential legal issues that may arise from the use of open source libraries and components. For example, if a developer is using a library that is licensed under a copyleft license, they may be required to share any changes they make to the library with the community. + +Despite these benefits, there are several challenges associated with SCA: + +1. **Scale**: As the use of open source software has become more widespread, the number of components that need to be analyzed has grown exponentially. This can make it difficult for organizations to keep track of all the components they are using and to identify any potential issues. +2. **Complexity**: Many software applications are made up of a large number of components, some of which may have been added years ago and are no longer actively maintained. This can make it difficult to understand the full scope of an application and to identify any potential issues. +3. **False positives**: SCA tools can generate a large number of alerts, some of which may be false positives. This can be frustrating for developers who have to review and dismiss these alerts, and it can also lead to a lack of trust in the SCA tool itself. +4. **Lack of standardization**: There is no standard way to conduct SCA, and different tools and approaches can produce different results. This can make it difficult for organizations to compare the results of different SCA tools and to determine which one is best for their needs. + +Overall, SCA tools provide a number of benefits to software developers and can help to improve the security, compliance, efficiency, risk management, and quality of software projects. By using these tools, developers can ensure that they are using open source libraries and components that are compliant with the appropriate licenses, free of vulnerabilities, and of high quality. This helps to protect the reputation of their software and the company, and leads to a better user experience. + +### SCA Tools (Opensource or Free Tier) +- **[OWASP Dependncy Check](https://owasp.org/www-project-dependency-check/)**: Dependency-Check is a Software Composition Analysis (SCA) tool that attempts to detect publicly disclosed vulnerabilities contained within a project’s dependencies. It does this by determining if there is a Common Platform Enumeration (CPE) identifier for a given dependency. If found, it will generate a report linking to the associated CVE entries. +- **[Snyk](https://snyk.io/product/open-source-security-management/)**: Snyk Open Source provides a developer-first SCA solution, helping developers find, prioritize, and fix security vulnerabilities and license issues in open source dependencies. + +### Resources + +- [Software Composition Analysis (SCA): What You Should Know](https://www.aquasec.com/cloud-native-academy/supply-chain-security/software-composition-analysis-sca/) +- [Software Composition Analysis 101: Knowing what’s inside your apps - Magno Logan](https://www.youtube.com/watch?v=qyVDHH4T1oo) + +In the next part [Day 11](day11.md), we will discuss Dependency Check and integrate it with GitHub Actions. \ No newline at end of file diff --git a/2023/day11.md b/2023/day11.md index e69de29..97a7c16 100644 --- a/2023/day11.md +++ b/2023/day11.md @@ -0,0 +1,69 @@ +# Day 11: SCA Implementation with OWASP Dependency Check + +### OWASP Dependency Check + +OWASP Dependency Check is an open-source tool that checks project dependencies for known vulnerabilities. It can be used to identify dependencies with known vulnerabilities and determine if any of those vulnerabilities are exposed in the application. + +The tool works by scanning the dependencies of a project and checking them against a database of known vulnerabilities. If a vulnerability is found, the tool will report the vulnerability along with the associated CVE (Common Vulnerabilities and Exposures) identifier, a standardized identifier for publicly known cybersecurity vulnerabilities. + +To use OWASP Dependency Check, you will need to include it as a part of your build process. There are integrations available for a variety of build tools, including Maven, Gradle, and Ant. You can also use the command-line interface to scan your dependencies. + +OWASP Dependency Check is particularly useful for identifying vulnerabilities in third-party libraries and frameworks that your application depends on. These types of dependencies can introduce vulnerabilities into your application if they are not properly managed. By regularly scanning your dependencies, you can ensure that you are aware of any vulnerabilities and take steps to address them. + +It is important to note that OWASP Dependency Check is not a replacement for secure coding practices and should be used in conjunction with other security measures. It is also important to regularly update dependencies to ensure that you are using the most secure version available. + +### Integrate Dependency Check with GitHub Actions + +To use Dependency Check with GitHub Actions, you can create a workflow file in your repository's `.github/workflows` directory. Here is an example workflow that runs Dependency Check on every push to the `main` branch: + +```yaml +name: Dependency-Check +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened] +jobs: + dependency-check: + name: Dependency-Check + runs-on: ubuntu-latest + steps: + - name: Download OWASP Dependency Check + run: | + VERSION=$(curl -s https://jeremylong.github.io/DependencyCheck/current.txt) + curl -sL "https://github.com/jeremylong/DependencyCheck/releases/download/v$VERSION/dependency-check-$VERSION-release.zip" --output dependency-check.zip + unzip dependency-check.zip + - name: Run Dependency Check + run: | + ./dependency-check/bin/dependency-check.sh --out report.html --scan . + rm -rf dependency-check* + + - name: Upload Artifacts + uses: actions/upload-artifact@v2 + with: + name: artifacts + path: report.html +``` + +This workflow does the following: + +1. Defines a workflow called `Dependency-Check` that runs on every push to the `main` branch. +2. Specifies that the workflow should run on the `ubuntu-latest` runner. +3. Downloads and installs Dependency Check. +4. Runs Dependency Check on the current directory (`.`) and generate a report in report.html file. +5. Removes the downloaded Dependency Check files. +6. Upload the report file as artifacts. + +You can download the report from the Artifacts and open it in the Browser. + +![](images/day11-1.png) + +You can customize this workflow to fit your needs. For example, you can specify different branches to run the workflow on, or specify different dependencies to check. You can also configure Dependency Check to generate a report in a specific format (e.g., HTML, XML, JSON) and save it to the repository. + +### Resources + +- [Dependency Check Documentation](https://jeremylong.github.io/DependencyCheck/) +- [Source Code of the repo I used for SCA implementation](https://github.com/prateekjaindev/nodejs-todo-app-demo) + +In the next part [Day 12](day12.md), we will discuss Secure Coding Review. \ No newline at end of file diff --git a/2023/day12.md b/2023/day12.md index e69de29..30b24ca 100644 --- a/2023/day12.md +++ b/2023/day12.md @@ -0,0 +1,33 @@ +# Day 12: Secure Coding Review + +Secure code review is the process of examining and evaluating the security of a software application or system by reviewing the source code for potential vulnerabilities or weaknesses. This process is an essential part of ensuring that an application is secure and can withstand attacks from cyber criminals. + +There are several steps involved in a secure code review process: + +1. **Identify the scope of the review**: The first step is to identify the scope of the review, including the type of application being reviewed and the specific security concerns that need to be addressed. +2. **Set up a review team**: A review team should be composed of individuals with expertise in different areas, such as security, coding, and testing. The team should also include individuals who are familiar with the application being reviewed. +3. **Prepare the code for review**: Before the review can begin, the code needs to be prepared for review by organizing it in a way that makes it easier to understand and review. This may include breaking the code down into smaller chunks or adding comments to explain the purpose of specific sections. +4. **Conduct the review**: During the review, the team will examine the code for vulnerabilities and weaknesses. This may include checking for insecure coding practices, such as hardcoded passwords or unencrypted data, or looking for vulnerabilities in the application’s architecture. +5. **Document findings**: As the team identifies potential vulnerabilities or weaknesses, they should document their findings in a report. The report should include details about the vulnerability, the potential impact, and recommendations for how to fix the issue. +6. **Remediate vulnerabilities**: Once the review is complete, the team should work with the development team to fix any vulnerabilities or weaknesses that were identified. This may involve updating the code, implementing additional security controls, or both. + +There are several tools and techniques that can be used to facilitate a secure code review. These may include: + +1. **Static analysis tools**: These tools analyze the code without executing it, making them useful for identifying vulnerabilities such as buffer overflows, SQL injection, and cross-site scripting. +2. **Dynamic analysis tools**: These tools analyze the code while it is being executed, allowing the review team to identify vulnerabilities that may not be detectable through static analysis alone. +3. **Code review guidelines**: Many organizations have developed guidelines for conducting code reviews, which outline the types of vulnerabilities that should be looked for and the best practices for remediation. +4. **Peer review**: Peer review is a process in which other developers review the code, providing a second set of eyes to identify potential vulnerabilities. + +Secure code review is an ongoing process that should be conducted at various stages throughout the development lifecycle. This includes reviewing code before it is deployed to production, as well as conducting periodic reviews to ensure that the application remains secure over time. + +Overall, secure code review is a critical component of ensuring that an application is secure. By identifying and addressing vulnerabilities early in the development process, organizations can reduce the risk of attacks and protect their systems and data from potential threats. + +I highly recommend watching this video to understand how source code analysis can lead to finding vulnerabilities in large enterprise codebases. + +[![Final video of fixing issues in your code in VS Code](https://img.youtube.com/vi/fb-t3WWHsMQ/maxresdefault.jpg)](https://www.youtube.com/watch?v=fb-t3WWHsMQ) +### Resources + +- [How to Analyze Code for Vulnerabilities](https://www.youtube.com/watch?v=A8CNysN-lOM&t) +- [What Is A Secure Code Review And Its Process?](https://valuementor.com/blogs/source-code-review/what-is-a-secure-code-review-and-its-process/) + +In the next part [Day 13](day13.md), we will discuss Additional Secure Coding Practices with some more hands-on. \ No newline at end of file diff --git a/2023/day13.md b/2023/day13.md index e69de29..721f510 100644 --- a/2023/day13.md +++ b/2023/day13.md @@ -0,0 +1,89 @@ +# Day 13: Additional Secure Coding Practices + +## Git Secret Scan + +Scanning repositories for secrets refers to the process of searching through a code repository, such as on GitHub or GitLab, for sensitive information that may have been inadvertently committed and pushed to the repository. This can include sensitive data such as passwords, API keys, and private encryption keys. + +The process is usually done using automated tools that scan the code for specific patterns or keywords that indicate the presence of sensitive information. The goal of this process is to identify and remove any secrets that may have been exposed in the repository, in order to protect against potential breaches or unauthorized access. + +### Git Secret Scan with Gitleaks + +Gitleaks is a tool that can be added to your GitHub repository as a GitHub Action, which scans your codebase for sensitive information such as credentials, tokens, and other secrets. The action runs the gitleaks tool on your codebase, which checks for any sensitive information that may have been accidentally committed to your repository. + +To set up Gitleaks GitHub Action, you need to create a new workflow file in your repository's `.github/workflows/git-secret-scan.yml` directory. The workflow file should contain the following: + +```yaml +name: gitleaks +on: + pull_request: + push: +jobs: + scan: + name: gitleaks + runs-on: ubuntu-latest + steps: + - uses: actions/checkout@v3 + with: + fetch-depth: 0 + - uses: gitleaks/gitleaks-action@v2 + env: + GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }} +``` + + +This workflow does the following: + +1. Defines a workflow called `Dependency-Check` that runs on every push to the `main` branch. +2. Specifies that the workflow should run on the `ubuntu-latest` runner. +3. Runs gitleaks scan for the entire repository +4. This action will fail if it detects any secret. + +In my demo, I have added AWS Keys in .env file and because of that the pipeline faild. + +![](images/day13-1.png) + +Other Git Scanner tools + +- [**AWS git-secrets**](https://github.com/awslabs/git-secrets) +- **[GitGuardian ggshield](https://github.com/GitGuardian/ggshield)** +- **[TruffleHog](https://github.com/trufflesecurity/trufflehog)** + +### Resources +- [Gitleaks GitHub](https://github.com/zricethezav/gitleaks) +- [Gitleaks GitHub Action](https://github.com/gitleaks/gitleaks-action) +## Create better Dockerfile with Hadolint + +Hadolint is a linter for Dockerfiles that checks for common mistakes and provides suggestions for improvement. It can be used directly from the command line, integrated into a CI/CD pipeline, or integrated into code editors and IDEs for real-time linting. + +To set up linting with hadolint in Github Actions, you can use the following steps: + +1. Create a new workflow file in your repository, for example `.github/workflows/dockerfile-lint.yml` +2. In this file, add the following code to set up the Github Actions workflow: + +```yaml +name: Lint Dockerfile +on: + push: + branches: + - main +jobs: + lint: + runs-on: ubuntu-latest + steps: + - uses: actions/checkout@v2 + - uses: hadolint/hadolint-action@v2.1.0 + with: + dockerfile: Dockerfile +``` + +1. This workflow will run on every push to the "main" branch, and will run the hadolint command on the "Dockerfile" file. +2. Commit the new workflow file and push it to your repository. +3. Next time you push changes to the "main" branch, Github Actions will run the linting job and provide feedback if any issues are found with your Dockerfile. + +### Resources + +- [Hadolint GitHub](https://github.com/hadolint/hadolint) +- [Hadolint Online](https://hadolint.github.io/hadolint/) +- [Top 20 Dockerfile best practices](https://sysdig.com/blog/dockerfile-best-practices/) + +Next up we will be starting our **Continuous Build, Integration, Testing** with [Day 14](day14.md) covering Container Image Scanning from [Anton Sankov](https://twitter.com/a_sankov). \ No newline at end of file diff --git a/2023/day15.md b/2023/day15.md index 94bc680..ee6977b 100644 --- a/2023/day15.md +++ b/2023/day15.md @@ -228,3 +228,6 @@ It is between 0 and 10. + + +On [Day 16](day16.md) we will take a look into "Fuzzing" or Fuzz Testing. \ No newline at end of file diff --git a/2023/day16.md b/2023/day16.md index e012d64..c26ff82 100644 --- a/2023/day16.md +++ b/2023/day16.md @@ -1,7 +1,7 @@ # Fuzzing Fuzzing, also known as "fuzz testing," is a software testing technique that involves providing invalid, unexpected, or random data as input to a computer program. -The goal of fuzzing is to identify security vulnerabilities and other bugs in the program by causing it to crash or exhibit unintended behavior. +The goal of fuzzing is to identify security vulnerabilities and other bugs in the program by causing it to crash or exhibit unintended behaviour. Fuzzing can be performed manually or by using a testing library/framework to craft the inputs for us. @@ -32,13 +32,13 @@ However, in more complex systems such fail points may not be obvious, and may be This is where fuzzing comes in handy. -The Go Fuzzing library (part of the standard language library since Go 1.18) generates many inputs for a test case, and then based on the coverage and the results determines which inputs are "interesting". +The Go Fuzzing library (part of the standard language library since Go 1.18) generates many inputs for a test case, and then based on the coverage and the results determine which inputs are "interesting". If we write a fuzz test for this function what will happen is: 1. The fuzzing library will start providing random strings starting from smaller strings and increasing their size. -2. Once the library provides a string of lenght 4 it will notice a change in the test-coverage (`if (len(s) == 4)` is now `true`) and will continue to generate inputs with this lenght. -3. Once the library provides a string of lenght 4 that starts with `f` it will notice another change in the test-coverage (`if s[0] == "f"` is now `true`) and will continue to generate inputs that start with `f`. +2. Once the library provides a string of length 4 it will notice a change in the test-coverage (`if (len(s) == 4)` is now `true`) and will continue to generate inputs with this length. +3. Once the library provides a string of length 4 that starts with `f` it will notice another change in the test-coverage (`if s[0] == "f"` is now `true`) and will continue to generate inputs that start with `f`. 4. The same thing will repeat for `u` and the double `z`. 5. Once it provides `fuzz` as input the function will panic and the test will fail. 6. We have _fuzzed_ successfully! @@ -56,7 +56,7 @@ Fuzzing is a useful technique, but there are situations in which it might not be For example, if the input that fails our code is too specific and there are no clues to help, the fuzzing library might not be able to guess it. -If we change the example code from the previoud paragraph to something like this: +If we change the example code from the previous paragraph to something like this: ```go func DontPanic(s input) { @@ -91,4 +91,6 @@ It contains the example I used in this article + a fuzz test that triggers a fai - - [Fuzzing in Go by Valentin Deleplace, Devoxx Belgium 2022](https://www.youtube.com/watch?v=Zlf3s4EjnFU) -- [Write applications faster and securely with Go by Cody Oss, Go Day 2022](https://www.youtube.com/watch?v=aw7lFSFGKZs) \ No newline at end of file +- [Write applications faster and securely with Go by Cody Oss, Go Day 2022](https://www.youtube.com/watch?v=aw7lFSFGKZs) + +See you on [Day 17](day17.md). diff --git a/2023/day17.md b/2023/day17.md index e69de29..0f40367 100644 --- a/2023/day17.md +++ b/2023/day17.md @@ -0,0 +1,244 @@ +# Fuzzing Advanced + +Yesterday we learned what fuzzing is and how to write fuzz tests (unit tests with fuzzy inputs). +However, fuzz testing goes beyond just unit testing. +We can use this methodology to test our web application by fuzzing the requests sent to our server. + +Today, we will take a practical approach to fuzzy testing a web server. + +Different tools can help us do this. + +Such tools are [Burp Intruder](https://portswigger.net/burp/documentation/desktop/tools/intruder) and [SmartBear](https://smartbear.com/). +However, there are proprietary tools that require a paid license to use them. + +That is why for our demonstration today we are going to use a simple open-source CLI written in Go that was inspired by Burp Intruder and provides similar functionality. +It is called [httpfuzz](https://github.com/JonCooperWorks/httpfuzz). + + +## Getting started + +This tool is quite simple. +We provide it a template for our requests (in which we have defined placeholders for the fuzzy data), a wordlist (the fuzzy data) and `httpfuzz` will render the requests and send them to our server. + +First, we need to define a template for our requests. +Create a file named `request.txt` with the following content: + +```text +POST / HTTP/1.1 +Content-Type: application/json +User-Agent: PostmanRuntime/7.26.3 +Accept: */* +Cache-Control: no-cache +Host: localhost:8000 +Accept-Encoding: gzip, deflate +Connection: close +Content-Length: 35 + +{ + "name": "`S9`", +} +``` + +This is a valid HTTP `POST` request to the `/` route with JSON body. +The "\`" symbol in the body defines a placeholder that will be substituted with the data we provide. + +`httpfuzz` can also fuzz the headers, path, and URL params. + +Next, we need to provide a wordlist of inputs that will be placed in the request. +Create a file named `data.txt` with the following content: + +```text +SOME_NAME +Mozilla/5.0 (Linux; Android 7.0; SM-G930VC Build/NRD90M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/58.0.3029.83 Mobile Safari/537.36 +``` + +In this file, we defined two inputs that will be substituted inside the body. +In a real-world scenario, you should put much more data here for proper fuzz testing. + +Now that we have our template and our inputs, let's run the tool. +Unfortunately, this tool is not distributed as a binary, so we will have to build it from source. +Clone the repo and run: + +```shell +go build -o httpfuzz cmd/httpfuzz.go +``` + +(requires to have a recent version of Go installed on your machine). + +Now that we have the binary let's run it: + +```shell +./httpfuzz \ + --wordlist data.txt \ + --seed-request request.txt \ + --target-header User-Agent \ + --target-param fuzz \ + --delay-ms 50 \ + --skip-cert-verify \ + --proxy-url http://localhost:8080 \ +``` + +- `httpfuzz` is the binary we are invoking. +- `--wordlist data.txt` is the file with inputs we provided. +- `--seed-request requests.txt` is the request template. +- `--target-header User-Agent` tells `httpfuzz` to use the provided inputs in the place of the `User-Agent` header. +- `--target-param fuzz` tells `httpfuzz` to use the provided inputs as values for the `fuzz` URL parameter. +- `--delay-ms 50` tells `httpfuzz` to wait 50 ms between the requests. +- `--skip-cert-verify` tells `httpfuzz` to not do any TLS verification. +- `--proxy-url http://localhost:8080` tells `httpfuzz` where our HTTP server is. + +We have 2 inputs and 3 places to place them (in the body, the `User-Agent` header, and the `fuzz` parameter). +This means that `httpfuzz` will generate 6 requests and send them to our server. + +Let's run it and see what happens. +I wrote a simple web server that logs all requests so that we can see what is coming into our server: + +```shell +$ ./httpfuzz \ + --wordlist data.txt \ + --seed-request request.txt \ + --target-header User-Agent \ + --target-param fuzz \ + --delay-ms 50 \ + --skip-cert-verify \ + --proxy-url http://localhost:8080 \ + +httpfuzz: httpfuzz.go:164: Sending 6 requests +``` + +and the server logs: + +```text +----- +Got request to http://localhost:8000/ +User-Agent header = [SOME_NAME] +Name = S9 +----- +Got request to http://localhost:8000/?fuzz=SOME_NAME +User-Agent header = [PostmanRuntime/7.26.3] +Name = S9 +----- +Got request to http://localhost:8000/ +User-Agent header = [PostmanRuntime/7.26.3] +Name = SOME_NAME +----- +Got request to http://localhost:8000/ +User-Agent header = [Mozilla/5.0 (Linux; Android 7.0; SM-G930VC Build/NRD90M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/58.0.3029.83 Mobile Safari/537.36] +Name = S9 +----- +Got request to http://localhost:8000/?fuzz=Mozilla%2F5.0+%28Linux%3B+Android+7.0%3B+SM-G930VC+Build%2FNRD90M%3B+wv%29+AppleWebKit%2F537.36+%28KHTML%2C+like+Gecko%29+Version%2F4.083+Mobile+Safari%2F537.36 +User-Agent header = [PostmanRuntime/7.26.3] +Name = S9 +----- +Got request to http://localhost:8000/ +User-Agent header = [PostmanRuntime/7.26.3] +Name = Mozilla/5.0 (Linux; Android 7.0; SM-G930VC Build/NRD90M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/58.0.3029.83 Mobile Safari/537.36 +``` + +We see that we have received 6 HTTP requests. + +Two of them have a value from our values file for the `User-Agent` header, and 4 have the default header from the template. +Two of them have a value from our values file for the `fuzz` query parameter, and 4 have the default header from the template. +Two of them have a value from our values file for the `Name` body property, and 4 have the default header from the template. + +A slight improvement of the tool could be to make different permutations of these requests (for example, a request that has both `?fuzz=` and `User-Agent` as values from the values file). + +Notice how `httpfuzz` does not give us any information about the outcome of the requests. +To figure that out, we need to either set up some sort of monitoring for our server or write a `httpfuzz` plugin that will process the results in a meaningful for us way. +Let's do that. + +To write a custom plugin, we need to implement the [`Listener`](https://github.com/JonCooperWorks/httpfuzz/blob/master/plugin.go#L13) interface: + +```go +// Listener must be implemented by a plugin to users to hook the request - response transaction. +// The Listen method will be run in its own goroutine, so plugins cannot block the rest of the program, however panics can take down the entire process. +type Listener interface { + Listen(results <-chan *Result) +} +``` + +```go +package main + +import ( + "bytes" + "io/ioutil" + "log" + + "github.com/joncooperworks/httpfuzz" +) + +type logResponseCodePlugin struct { + logger *log.Logger +} + +func (b *logResponseCodePlugin) Listen(results <-chan *httpfuzz.Result) { + for result := range results { + b.logger.Printf("Got %d response from the server\n", result.Response.StatusCode) + } +} + +// New returns a logResponseCodePlugin plugin that simple logs the response code of the response. +func New(logger *log.Logger) (httpfuzz.Listener, error) { + return &logResponseCodePlugin{logger: logger}, nil +} +``` + +Now we need to build our plugin first: + +```shell +go build -buildmode=plugin -o log exampleplugins/log/log.go +``` + +and then we can plug it into `httpfuzz` via the `--post-request` flag: + +```shell +$ ./httpfuzz \ + --wordlist data.txt \ + --seed-request request.txt \ + --target-header User-Agent \ + --target-param fuzz \ + --delay-ms 50 \ + --skip-cert-verify \ + --proxy-url http://localhost:8080 \ + --post-request log + +httpfuzz: httpfuzz.go:164: Sending 6 requests +httpfuzz: log.go:15: Got 200 response from the server +httpfuzz: log.go:15: Got 200 response from the server +httpfuzz: log.go:15: Got 200 response from the server +httpfuzz: log.go:15: Got 200 response from the server +httpfuzz: log.go:15: Got 200 response from the server +httpfuzz: log.go:15: Got 200 response from the server +``` + +Voila! +Now we can at least see what the response code from the server was. + +Of course, we can write much more sophisticated plugins that output much more data, but for the purpose of this exercise, that is enough. + +## Summary + +Fuzzing is a really powerful testing technique that goes way beyond unit testing. + +Fuzzing can be extremely useful for testing HTTP servers by substituting parts of valid HTTP requests with data that could potentially expose vulnerabilities or deficiencies in our server. + +There are many tools that can help us in fuzzy testing our web applications, both free and paid ones. + +## Resources + +[OWASP: Fuzzing](https://owasp.org/www-community/Fuzzing) + +[OWASP: Fuzz Vectors](https://owasp.org/www-project-web-security-testing-guide/v41/6-Appendix/C-Fuzz_Vectors) + +[Hacking HTTP with HTTPfuzz](https://medium.com/swlh/hacking-http-with-httpfuzz-67cfd061b616) + +[Fuzzing the Stack for Fun and Profit at DefCamp 2019](https://www.youtube.com/watch?v=qCMfrbpuCBk&list=PLnwq8gv9MEKiUOgrM7wble1YRsrqRzHKq&index=33) + +[HTTP Fuzzing Scan with SmartBear](https://support.smartbear.com/readyapi/docs/security/scans/types/fuzzing-http.html) + +[Fuzzing Session: Finding Bugs and Vulnerabilities Automatically](https://youtu.be/DSJePjhBN5E) + +[Fuzzing the CNCF Landscape](https://youtu.be/zIyIZxAZLzo) + +See you on [Day 18](day18.md). diff --git a/2023/day18.md b/2023/day18.md index e69de29..be63a03 100644 --- a/2023/day18.md +++ b/2023/day18.md @@ -0,0 +1,28 @@ +# DAST +DAST, or Dynamic Application Security Testing, is a technique that is used to evaluate the security of an application by simulating attacks from external sources. +Idea is to automate as much as possible black-box penetration testing. +It can be used for acquiring the low-hanging fruits so a real human’s time will be spared and additionally for generating traffic to other security tools (e.g. IAST). + +Nevertheless, It is an essential component of the SSDLC, as it helps organizations uncover potential vulnerabilities early in the development process, before the application is deployed to production. By conducting DAST testing, organizations can prevent security incidents and protect their data and assets from being compromised by attackers. + +## Tools + +There are various open-source tools available for conducting DAST, such as ZAP, Burp Suite, and Arachni. These tools can simulate different types of attacks on the application, such as SQL injection, cross-site scripting, and other common vulnerabilities. For example, if an application is vulnerable to SQL injection, a DAST tool can send a malicious SQL query to the application, such as ' OR 1=1 --, and evaluate its response to determine if it is vulnerable. If the application is vulnerable, it may return all records from the database, indicating that the SQL injection attack was successful. +As some of the tests could be quite invasive (for example it may include ‘DROP TABLE’ or something similar) or at least put a good amount of test data into the databases or even DOS the app, +__DAST tools should never run against a production environment!!!__ +All tools have the possibility for authentication into the application and this could lead to production credentials compromise. Also when run authenticated scans against the testing environment, use suitable roles (if RBAC model exists, for the application, of course), e.g. DAST shouldn’t use role that have the possibility to delete or modify other users because this way the whole environment can became unusable. +As with other testing methodologies it is necessary to analyze the scope, so not unneeded targets are scanned. + +## Usage +Common error is scanning compensating security controls (e.g. WAF) instead of the real application. DAST is in its core an application security testing tool and should be used against actual applications, not against security mitigations. As it uses pretty standardized attacks, external controls can block the attacking traffic and this way to cover potentially exploitable flows (as per definition adversary would be able to eventually bypass such measures) +Actual scans are quite slow, so sometimes they should be run outside of the DevOps pipeline. Good example is running them nightly or during the weekend. Some of the simple tools (zap / arachny, …) could be used into pipelines but often, due to the nature of the scan can slow down the whole development process. +Once the DAST testing is complete, the results are analyzed to identify any vulnerabilities that were discovered. The organization can then take appropriate remediation steps to address the vulnerabilities and improve the overall security of the application. This may involve fixing the underlying code, implementing additional security controls, such as input validation and filtering, or both. +In conclusion, the use of DAST in the SSDLC is essential for ensuring the security of an application. By conducting DAST testing and identifying vulnerabilities early in the development process, organizations can prevent security incidents and protect their assets from potential threats. Open-source tools, such as ZAP, Burp Suite, and Arachni, can be used to conduct DAST testing and help organizations improve their overall security posture. +As with all other tools part of DevSecOps pipeline DAST should not be the only scanner in place and as with all others, it is not a substitute for penetration test and good development practices. + +## Some useful links and open-source tools: +- https://github.com/zaproxy/zaproxy +- https://www.arachni-scanner.com/ +- https://owasp.org/www-project-devsecops-guideline/latest/02b-Dynamic-Application-Security-Testing + +See you on [Day 19](day19.md). diff --git a/2023/day19.md b/2023/day19.md index e69de29..74f5fe6 100644 --- a/2023/day19.md +++ b/2023/day19.md @@ -0,0 +1,41 @@ +# IAST (Interactive Application Security Testing) + +IAST is a type of security testing tool that is designed to identify vulnerabilities in web applications and help developers fix them. It works by injecting a small agent into the application's runtime environment and monitoring its behaviour in real-time. This allows IAST tools to identify vulnerabilities as they occur, rather than relying on static analysis or simulated attacks. + +IAST works through software instrumentation, or the use of instruments to monitor an application as it runs and gather information about what it does and how it performs. IAST solutions instrument applications by deploying agents and sensors in running applications and continuously analyzing all application interactions initiated by manual tests, automated tests, or a combination of both to identify vulnerabilities in real time Instrumentation. +IAST agent is running inside the application and monitoring for known attack patterns. As it is part of the application, it can monitor traffic between different components (either as classic MVC deployments and in microservices deployment). + +## For IAST to be used, there are few prerequisites. + +- Application should be instrumented (inject the agent). +- Traffic should be generated - via manual or automated tests. Another possible approach is via DAST tools (OWASP ZAP can be used for example). + +## Advantages + +One of the main advantages of IAST tools is that they can provide detailed and accurate information about vulnerabilities and how to fix them. This can save developers a lot of time and effort, as they don't have to manually search for vulnerabilities or try to reproduce them in a testing environment. IAST tools can also identify vulnerabilities that might be missed by other testing methods, such as those that require user interaction or are triggered under certain conditions. Testing time depends on the tests used (as IAST is not a standalone system) and with faster tests (automated tests) can be included into CI/CD pipelines. It can be used to detect different kind of vulnerabilities and due to the nature of the tools (it looks for “real traffic only) false positives/negatives findings are relatively rear compared to other testing types. +IAST can be used in two flavours - as a typical testing tool and as real-time protection (it is called RAST in this case). Both work at the same principles and can be used together. + +## There are several disadvantages of the technology as well: + +- It is relatively new technology so there is not a lot of knowledge and experience both for the security teams and for the tools builders (open-source or commercial). +- The solution cannot be used alone - something (or someone) should generate traffic patterns. It is important that all possible endpoints are queried during the tests. +- Findings are based on traffic. This is especially true if used for testing alone - if there is no traffic to a portion of the app / site it would not be tested so no findings are going to be generated. +- Due to need of instrumentation of the app, it can be fairly complex, especially compared to the source scanning tools (SAST or SCA). + +There are several different IAST tools available, each with its own features and capabilities. + +## Some common features of IAST tools include: + +- Real-time monitoring: IAST tools monitor the application's behaviour in real-time, allowing them to identify vulnerabilities as they occur. +- Vulnerability identification: IAST tools can identify a wide range of vulnerabilities, including injection attacks, cross-site scripting (XSS), and cross-site request forgery (CSRF). +- Remediation guidance: IAST tools often provide detailed information about how to fix identified vulnerabilities, including code snippets and recommendations for secure coding practices. +- Integration with other tools: IAST tools can often be integrated with other security testing tools, such as static code analysis or penetration testing tools, to provide a more comprehensive view of an application's security. + +IAST tools can be a valuable addition to a developer's toolkit, as they can help identify and fix vulnerabilities in real-time, saving time and effort. If you are a developer and are interested in using an IAST tool, there are many options available, so it is important to research and compare different tools to find the one that best fits your needs. + +## Tool example + +There are almost no open-source tools on the market. Example is the commercial tool: Contrast Community Edition (CE) - Fully featured version for 1 app and up to 5 users (some Enterprise features disabled). Contrast CE supports Java and .NET only. +Can be found here - https://www.contrastsecurity.com/contrast-community-edition + +See you on [Day 20](day20.md). diff --git a/2023/day2-ops-code/README.md b/2023/day2-ops-code/README.md new file mode 100644 index 0000000..d411428 --- /dev/null +++ b/2023/day2-ops-code/README.md @@ -0,0 +1,44 @@ +# Getting started + +This repo expects you to have a working kubernetes cluster already setup and +available with kubectl + +We expect you already have a kubernetes cluster setup and available with kubectl and helm. + +I like using (Civo)[https://www.civo.com/] for this as it is easy to setup and run clusters + +The code is available in this folder to build/push your own images if you wish - there are no instructions for this. + +## Start the Database +```shell +kubectl apply -f database/mysql.yaml +``` + + +## deploy the day1 - sync +```shell +kubectl apply -f synchronous/k8s.yaml +``` + +Check your logs +```shell +kubectl logs deploy/generator + +kubectl logs deploy/requestor +``` + +## deploy nats +helm repo add nats https://nats-io.github.io/k8s/helm/charts/ +helm install my-nats nats/nats + +## deploy day 2 - async +```shell +kubectl apply -f async/k8s.yaml +``` + +Check your logs +```shell +kubectl logs deploy/generator + +kubectl logs deploy/requestor +``` diff --git a/2023/day2-ops-code/async/generator/Dockerfile b/2023/day2-ops-code/async/generator/Dockerfile new file mode 100644 index 0000000..9e40abf --- /dev/null +++ b/2023/day2-ops-code/async/generator/Dockerfile @@ -0,0 +1,17 @@ +# Set the base image to use +FROM golang:1.17-alpine + +# Set the working directory inside the container +WORKDIR /app + +# Copy the source code into the container +COPY . . + +# Build the Go application +RUN go build -o main . + +# Expose the port that the application will run on +EXPOSE 8080 + +# Define the command that will run when the container starts +CMD ["/app/main"] diff --git a/2023/day2-ops-code/async/generator/go.mod b/2023/day2-ops-code/async/generator/go.mod new file mode 100644 index 0000000..85f3760 --- /dev/null +++ b/2023/day2-ops-code/async/generator/go.mod @@ -0,0 +1,17 @@ +module main + +go 1.20 + +require ( + github.com/go-sql-driver/mysql v1.7.0 + github.com/nats-io/nats.go v1.24.0 +) + +require ( + github.com/golang/protobuf v1.5.3 // indirect + github.com/nats-io/nats-server/v2 v2.9.15 // indirect + github.com/nats-io/nkeys v0.3.0 // indirect + github.com/nats-io/nuid v1.0.1 // indirect + golang.org/x/crypto v0.6.0 // indirect + google.golang.org/protobuf v1.30.0 // indirect +) diff --git a/2023/day2-ops-code/async/generator/go.sum b/2023/day2-ops-code/async/generator/go.sum new file mode 100644 index 0000000..89ed185 --- /dev/null +++ b/2023/day2-ops-code/async/generator/go.sum @@ -0,0 +1,32 @@ +github.com/go-sql-driver/mysql v1.7.0 h1:ueSltNNllEqE3qcWBTD0iQd3IpL/6U+mJxLkazJ7YPc= +github.com/go-sql-driver/mysql v1.7.0/go.mod h1:OXbVy3sEdcQ2Doequ6Z5BW6fXNQTmx+9S1MCJN5yJMI= +github.com/golang/protobuf v1.5.0/go.mod h1:FsONVRAS9T7sI+LIUmWTfcYkHO4aIWwzhcaSAoJOfIk= +github.com/golang/protobuf v1.5.3 h1:KhyjKVUg7Usr/dYsdSqoFveMYd5ko72D+zANwlG1mmg= +github.com/golang/protobuf v1.5.3/go.mod h1:XVQd3VNwM+JqD3oG2Ue2ip4fOMUkwXdXDdiuN0vRsmY= +github.com/google/go-cmp v0.5.5/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE= +github.com/klauspost/compress v1.16.0 h1:iULayQNOReoYUe+1qtKOqw9CwJv3aNQu8ivo7lw1HU4= +github.com/minio/highwayhash v1.0.2 h1:Aak5U0nElisjDCfPSG79Tgzkn2gl66NxOMspRrKnA/g= +github.com/nats-io/jwt/v2 v2.3.0 h1:z2mA1a7tIf5ShggOFlR1oBPgd6hGqcDYsISxZByUzdI= +github.com/nats-io/nats-server/v2 v2.9.15 h1:MuwEJheIwpvFgqvbs20W8Ish2azcygjf4Z0liVu2I4c= +github.com/nats-io/nats-server/v2 v2.9.15/go.mod h1:QlCTy115fqpx4KSOPFIxSV7DdI6OxtZsGOL1JLdeRlE= +github.com/nats-io/nats.go v1.24.0 h1:CRiD8L5GOQu/DcfkmgBcTTIQORMwizF+rPk6T0RaHVQ= +github.com/nats-io/nats.go v1.24.0/go.mod h1:dVQF+BK3SzUZpwyzHedXsvH3EO38aVKuOPkkHlv5hXA= +github.com/nats-io/nkeys v0.3.0 h1:cgM5tL53EvYRU+2YLXIK0G2mJtK12Ft9oeooSZMA2G8= +github.com/nats-io/nkeys v0.3.0/go.mod h1:gvUNGjVcM2IPr5rCsRsC6Wb3Hr2CQAm08dsxtV6A5y4= +github.com/nats-io/nuid v1.0.1 h1:5iA8DT8V7q8WK2EScv2padNa/rTESc1KdnPw4TC2paw= +github.com/nats-io/nuid v1.0.1/go.mod h1:19wcPz3Ph3q0Jbyiqsd0kePYG7A95tJPxeL+1OSON2c= +golang.org/x/crypto v0.0.0-20210314154223-e6e6c4f2bb5b/go.mod h1:T9bdIzuCu7OtxOm1hfPfRQxPLYneinmdGuTeoZ9dtd4= +golang.org/x/crypto v0.6.0 h1:qfktjS5LUO+fFKeJXZ+ikTRijMmljikvG68fpMMruSc= +golang.org/x/crypto v0.6.0/go.mod h1:OFC/31mSvZgRz0V1QTNCzfAI1aIRzbiufJtkMIlEp58= +golang.org/x/net v0.0.0-20210226172049-e18ecbb05110/go.mod h1:m0MpNAwzfU5UDzcl9v0D8zg8gWTRqZa9RBIspLL5mdg= +golang.org/x/sys v0.0.0-20201119102817-f84b799fce68/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.5.0 h1:MUK/U/4lj1t1oPg0HfuXDN/Z1wv31ZJ/YcPiGccS4DU= +golang.org/x/term v0.0.0-20201126162022-7de9c90e9dd1/go.mod h1:bj7SfCRtBDWHUb9snDiAeCFNEtKQo2Wmx5Cou7ajbmo= +golang.org/x/text v0.3.3/go.mod h1:5Zoc/QRtKVWzQhOtBMvqHzDpF6irO9z98xDceosuGiQ= +golang.org/x/time v0.3.0 h1:rg5rLMjNzMS1RkNLzCG38eapWhnYLFYXDXj2gOlr8j4= +golang.org/x/tools v0.0.0-20180917221912-90fa682c2a6e/go.mod h1:n7NCudcB/nEzxVGmLbDWY5pfWTLqBcC2KZ6jyYvM4mQ= +golang.org/x/xerrors v0.0.0-20191204190536-9bdfabe68543/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0= +google.golang.org/protobuf v1.26.0-rc.1/go.mod h1:jlhhOSvTdKEhbULTjvd4ARK9grFBp09yW+WbY/TyQbw= +google.golang.org/protobuf v1.26.0/go.mod h1:9q0QmTI4eRPtz6boOQmLYwt+qCgq0jsYwAQnmE0givc= +google.golang.org/protobuf v1.30.0 h1:kPPoIgf3TsEvrm0PFe15JQ+570QVxYzEvvHqChK+cng= +google.golang.org/protobuf v1.30.0/go.mod h1:HV8QOd/L58Z+nl8r43ehVNZIU/HEI6OcFqwMG9pJV4I= diff --git a/2023/day2-ops-code/async/generator/main.go b/2023/day2-ops-code/async/generator/main.go new file mode 100644 index 0000000..49234e3 --- /dev/null +++ b/2023/day2-ops-code/async/generator/main.go @@ -0,0 +1,100 @@ +package main + +import ( + "database/sql" + "fmt" + _ "github.com/go-sql-driver/mysql" + nats "github.com/nats-io/nats.go" + "math/rand" + "time" +) + +func generateAndStoreString() (string, error) { + // Connect to the database + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + if err != nil { + return "", err + } + defer db.Close() + + // Generate a random string + // Define a string of characters to use + characters := "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789" + + // Generate a random string of length 10 + randomString := make([]byte, 64) + for i := range randomString { + randomString[i] = characters[rand.Intn(len(characters))] + } + + // Insert the random number into the database + _, err = db.Exec("INSERT INTO generator_async(random_string) VALUES(?)", string(randomString)) + if err != nil { + return "", err + } + + fmt.Printf("Random string %s has been inserted into the database\n", string(randomString)) + return string(randomString), nil +} + +func main() { + err := createGeneratordb() + if err != nil { + panic(err.Error()) + } + + nc, _ := nats.Connect("nats://my-nats:4222") + defer nc.Close() + + nc.Subscribe("generator", func(msg *nats.Msg) { + s, err := generateAndStoreString() + if err != nil { + print(err) + } + nc.Publish("generator_reply", []byte(s)) + nc.Publish("confirmation", []byte(s)) + }) + + nc.Subscribe("confirmation_reply", func(msg *nats.Msg) { + stringReceived(string(msg.Data)) + }) + // Subscribe to the queue + // when a message comes in call generateAndStoreString() then put the string on the + // reply queue. also add a message onto the confirmation queue + + // subscribe to the confirmation reply queue + // when a message comes in call + + for { + time.Sleep(1 * time.Second) + } + +} + +func createGeneratordb() error { + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + if err != nil { + return err + } + defer db.Close() + + // try to create a table for us + _, err = db.Exec("CREATE TABLE IF NOT EXISTS generator_async(random_string VARCHAR(100), seen BOOLEAN, requested BOOLEAN)") + + return err +} + +func stringReceived(input string) { + + // Connect to the database + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + if err != nil { + print(err) + } + defer db.Close() + + _, err = db.Exec("UPDATE generator_async SET requested = true WHERE random_string = ?", input) + if err != nil { + print(err) + } +} diff --git a/2023/day2-ops-code/async/k8s.yaml b/2023/day2-ops-code/async/k8s.yaml new file mode 100644 index 0000000..e77dd6c --- /dev/null +++ b/2023/day2-ops-code/async/k8s.yaml @@ -0,0 +1,69 @@ +apiVersion: apps/v1 +kind: Deployment +metadata: + name: requestor +spec: + replicas: 1 + selector: + matchLabels: + app: requestor + template: + metadata: + labels: + app: requestor + spec: + containers: + - name: requestor + image: heyal/requestor:async + imagePullPolicy: Always + ports: + - containerPort: 8080 +--- +apiVersion: v1 +kind: Service +metadata: + name: requestor-service +spec: + selector: + app: requestor + ports: + - name: http + protocol: TCP + port: 8080 + targetPort: 8080 + type: ClusterIP +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: generator +spec: + replicas: 1 + selector: + matchLabels: + app: generator + template: + metadata: + labels: + app: generator + spec: + containers: + - name: generator + image: heyal/generator:async + imagePullPolicy: Always + ports: + - containerPort: 8080 +--- +apiVersion: v1 +kind: Service +metadata: + name: generator-service +spec: + selector: + app: generator + ports: + - name: http + protocol: TCP + port: 8080 + targetPort: 8080 + type: ClusterIP diff --git a/2023/day2-ops-code/async/requestor/Dockerfile b/2023/day2-ops-code/async/requestor/Dockerfile new file mode 100644 index 0000000..9e40abf --- /dev/null +++ b/2023/day2-ops-code/async/requestor/Dockerfile @@ -0,0 +1,17 @@ +# Set the base image to use +FROM golang:1.17-alpine + +# Set the working directory inside the container +WORKDIR /app + +# Copy the source code into the container +COPY . . + +# Build the Go application +RUN go build -o main . + +# Expose the port that the application will run on +EXPOSE 8080 + +# Define the command that will run when the container starts +CMD ["/app/main"] diff --git a/2023/day2-ops-code/async/requestor/go.mod b/2023/day2-ops-code/async/requestor/go.mod new file mode 100644 index 0000000..85f3760 --- /dev/null +++ b/2023/day2-ops-code/async/requestor/go.mod @@ -0,0 +1,17 @@ +module main + +go 1.20 + +require ( + github.com/go-sql-driver/mysql v1.7.0 + github.com/nats-io/nats.go v1.24.0 +) + +require ( + github.com/golang/protobuf v1.5.3 // indirect + github.com/nats-io/nats-server/v2 v2.9.15 // indirect + github.com/nats-io/nkeys v0.3.0 // indirect + github.com/nats-io/nuid v1.0.1 // indirect + golang.org/x/crypto v0.6.0 // indirect + google.golang.org/protobuf v1.30.0 // indirect +) diff --git a/2023/day2-ops-code/async/requestor/go.sum b/2023/day2-ops-code/async/requestor/go.sum new file mode 100644 index 0000000..89ed185 --- /dev/null +++ b/2023/day2-ops-code/async/requestor/go.sum @@ -0,0 +1,32 @@ +github.com/go-sql-driver/mysql v1.7.0 h1:ueSltNNllEqE3qcWBTD0iQd3IpL/6U+mJxLkazJ7YPc= +github.com/go-sql-driver/mysql v1.7.0/go.mod h1:OXbVy3sEdcQ2Doequ6Z5BW6fXNQTmx+9S1MCJN5yJMI= +github.com/golang/protobuf v1.5.0/go.mod h1:FsONVRAS9T7sI+LIUmWTfcYkHO4aIWwzhcaSAoJOfIk= +github.com/golang/protobuf v1.5.3 h1:KhyjKVUg7Usr/dYsdSqoFveMYd5ko72D+zANwlG1mmg= +github.com/golang/protobuf v1.5.3/go.mod h1:XVQd3VNwM+JqD3oG2Ue2ip4fOMUkwXdXDdiuN0vRsmY= +github.com/google/go-cmp v0.5.5/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE= +github.com/klauspost/compress v1.16.0 h1:iULayQNOReoYUe+1qtKOqw9CwJv3aNQu8ivo7lw1HU4= +github.com/minio/highwayhash v1.0.2 h1:Aak5U0nElisjDCfPSG79Tgzkn2gl66NxOMspRrKnA/g= +github.com/nats-io/jwt/v2 v2.3.0 h1:z2mA1a7tIf5ShggOFlR1oBPgd6hGqcDYsISxZByUzdI= +github.com/nats-io/nats-server/v2 v2.9.15 h1:MuwEJheIwpvFgqvbs20W8Ish2azcygjf4Z0liVu2I4c= +github.com/nats-io/nats-server/v2 v2.9.15/go.mod h1:QlCTy115fqpx4KSOPFIxSV7DdI6OxtZsGOL1JLdeRlE= +github.com/nats-io/nats.go v1.24.0 h1:CRiD8L5GOQu/DcfkmgBcTTIQORMwizF+rPk6T0RaHVQ= +github.com/nats-io/nats.go v1.24.0/go.mod h1:dVQF+BK3SzUZpwyzHedXsvH3EO38aVKuOPkkHlv5hXA= +github.com/nats-io/nkeys v0.3.0 h1:cgM5tL53EvYRU+2YLXIK0G2mJtK12Ft9oeooSZMA2G8= +github.com/nats-io/nkeys v0.3.0/go.mod h1:gvUNGjVcM2IPr5rCsRsC6Wb3Hr2CQAm08dsxtV6A5y4= +github.com/nats-io/nuid v1.0.1 h1:5iA8DT8V7q8WK2EScv2padNa/rTESc1KdnPw4TC2paw= +github.com/nats-io/nuid v1.0.1/go.mod h1:19wcPz3Ph3q0Jbyiqsd0kePYG7A95tJPxeL+1OSON2c= +golang.org/x/crypto v0.0.0-20210314154223-e6e6c4f2bb5b/go.mod h1:T9bdIzuCu7OtxOm1hfPfRQxPLYneinmdGuTeoZ9dtd4= +golang.org/x/crypto v0.6.0 h1:qfktjS5LUO+fFKeJXZ+ikTRijMmljikvG68fpMMruSc= +golang.org/x/crypto v0.6.0/go.mod h1:OFC/31mSvZgRz0V1QTNCzfAI1aIRzbiufJtkMIlEp58= +golang.org/x/net v0.0.0-20210226172049-e18ecbb05110/go.mod h1:m0MpNAwzfU5UDzcl9v0D8zg8gWTRqZa9RBIspLL5mdg= +golang.org/x/sys v0.0.0-20201119102817-f84b799fce68/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs= +golang.org/x/sys v0.5.0 h1:MUK/U/4lj1t1oPg0HfuXDN/Z1wv31ZJ/YcPiGccS4DU= +golang.org/x/term v0.0.0-20201126162022-7de9c90e9dd1/go.mod h1:bj7SfCRtBDWHUb9snDiAeCFNEtKQo2Wmx5Cou7ajbmo= +golang.org/x/text v0.3.3/go.mod h1:5Zoc/QRtKVWzQhOtBMvqHzDpF6irO9z98xDceosuGiQ= +golang.org/x/time v0.3.0 h1:rg5rLMjNzMS1RkNLzCG38eapWhnYLFYXDXj2gOlr8j4= +golang.org/x/tools v0.0.0-20180917221912-90fa682c2a6e/go.mod h1:n7NCudcB/nEzxVGmLbDWY5pfWTLqBcC2KZ6jyYvM4mQ= +golang.org/x/xerrors v0.0.0-20191204190536-9bdfabe68543/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0= +google.golang.org/protobuf v1.26.0-rc.1/go.mod h1:jlhhOSvTdKEhbULTjvd4ARK9grFBp09yW+WbY/TyQbw= +google.golang.org/protobuf v1.26.0/go.mod h1:9q0QmTI4eRPtz6boOQmLYwt+qCgq0jsYwAQnmE0givc= +google.golang.org/protobuf v1.30.0 h1:kPPoIgf3TsEvrm0PFe15JQ+570QVxYzEvvHqChK+cng= +google.golang.org/protobuf v1.30.0/go.mod h1:HV8QOd/L58Z+nl8r43ehVNZIU/HEI6OcFqwMG9pJV4I= diff --git a/2023/day2-ops-code/async/requestor/main.go b/2023/day2-ops-code/async/requestor/main.go new file mode 100644 index 0000000..a3a09b6 --- /dev/null +++ b/2023/day2-ops-code/async/requestor/main.go @@ -0,0 +1,108 @@ +package main + +import ( + "database/sql" + "errors" + "fmt" + _ "github.com/go-sql-driver/mysql" + nats "github.com/nats-io/nats.go" + "time" +) + +func storeString(input string) error { + // Connect to the database + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + defer db.Close() + // Insert the random number into the database + _, err = db.Exec("INSERT INTO requestor_async(random_string) VALUES(?)", input) + if err != nil { + return err + } + + fmt.Printf("Random string %s has been inserted into the database\n", input) + return nil +} + +func getStringFromDB(input string) error { + // see if the string exists in the db, if so return nil + // if not, return an error + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + defer db.Close() + result, err := db.Query("SELECT * FROM requestor_async WHERE random_string = ?", input) + if err != nil { + return err + } + + for result.Next() { + var randomString string + err = result.Scan(&randomString) + if err != nil { + return err + } + if randomString == input { + return nil + } + } + + return errors.New("string not found") +} + +func main() { + + err := createRequestordb() + if err != nil { + panic(err.Error()) + } + // setup a goroutine loop calling the generator every minute, saving the result in the DB + + nc, _ := nats.Connect("nats://my-nats:4222") + defer nc.Close() + + ticker := time.NewTicker(60 * time.Second) + quit := make(chan struct{}) + go func() { + for { + select { + case <-ticker.C: + nc.Publish("generator", []byte("")) + case <-quit: + ticker.Stop() + return + } + } + }() + + nc.Subscribe("generator_reply", func(msg *nats.Msg) { + err := storeString(string(msg.Data)) + if err != nil { + print(err) + } + }) + + nc.Subscribe("confirmation", func(msg *nats.Msg) { + err := getStringFromDB(string(msg.Data)) + if err != nil { + print(err) + } + nc.Publish("confirmation_reply", []byte(string(msg.Data))) + }) + // create a goroutine here to listen for messages on the queue to check, see if we have them + + for { + time.Sleep(10 * time.Second) + } + +} + +func createRequestordb() error { + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + if err != nil { + return err + } + defer db.Close() + + // try to create a table for us + _, err = db.Exec("CREATE TABLE IF NOT EXISTS requestor_async(random_string VARCHAR(100))") + + return err +} diff --git a/2023/day2-ops-code/buildpush.sh b/2023/day2-ops-code/buildpush.sh new file mode 100755 index 0000000..5a25b3f --- /dev/null +++ b/2023/day2-ops-code/buildpush.sh @@ -0,0 +1,2 @@ +docker build ./async/requestor/ -f async/requestor/Dockerfile -t heyal/requestor:async && docker push heyal/requestor:async +docker build ./async/generator/ -f async/generator/Dockerfile -t heyal/generator:async&& docker push heyal/generator:async \ No newline at end of file diff --git a/2023/day2-ops-code/database/mysql.yaml b/2023/day2-ops-code/database/mysql.yaml new file mode 100644 index 0000000..3806eaa --- /dev/null +++ b/2023/day2-ops-code/database/mysql.yaml @@ -0,0 +1,77 @@ +apiVersion: v1 +kind: Service +metadata: + name: mysql +spec: + ports: + - port: 3306 + selector: + app: mysql + clusterIP: None +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: mysql +spec: + selector: + matchLabels: + app: mysql + strategy: + type: Recreate + template: + metadata: + labels: + app: mysql + spec: + containers: + - image: mysql:5.6 + name: mysql + env: + # Use secret in real usage + - name: MYSQL_ROOT_PASSWORD + value: password + - name: MYSQL_DATABASE + value: example + - name: MYSQL_USER + value: example + - name: MYSQL_PASSWORD + value: password + ports: + - containerPort: 3306 + name: mysql + volumeMounts: + - name: mysql-persistent-storage + mountPath: /var/lib/mysql + volumes: + - name: mysql-persistent-storage + persistentVolumeClaim: + claimName: mysql-pv-claim +--- +apiVersion: v1 +kind: PersistentVolume +metadata: + name: mysql-pv-volume + labels: + type: local +spec: + storageClassName: manual + capacity: + storage: 20Gi + accessModes: + - ReadWriteOnce + hostPath: + path: "/mnt/data" +--- +apiVersion: v1 +kind: PersistentVolumeClaim +metadata: + name: mysql-pv-claim +spec: + storageClassName: manual + accessModes: + - ReadWriteOnce + resources: + requests: + storage: 10Gi +# https://kubernetes.io/docs/tasks/run-application/run-single-instance-stateful-application/ \ No newline at end of file diff --git a/2023/day2-ops-code/synchronous/generator/Dockerfile b/2023/day2-ops-code/synchronous/generator/Dockerfile new file mode 100644 index 0000000..9e40abf --- /dev/null +++ b/2023/day2-ops-code/synchronous/generator/Dockerfile @@ -0,0 +1,17 @@ +# Set the base image to use +FROM golang:1.17-alpine + +# Set the working directory inside the container +WORKDIR /app + +# Copy the source code into the container +COPY . . + +# Build the Go application +RUN go build -o main . + +# Expose the port that the application will run on +EXPOSE 8080 + +# Define the command that will run when the container starts +CMD ["/app/main"] diff --git a/2023/day2-ops-code/synchronous/generator/go.mod b/2023/day2-ops-code/synchronous/generator/go.mod new file mode 100644 index 0000000..efa37a3 --- /dev/null +++ b/2023/day2-ops-code/synchronous/generator/go.mod @@ -0,0 +1,5 @@ +module main + +go 1.20 + +require github.com/go-sql-driver/mysql v1.7.0 diff --git a/2023/day2-ops-code/synchronous/generator/go.sum b/2023/day2-ops-code/synchronous/generator/go.sum new file mode 100644 index 0000000..7109e4c --- /dev/null +++ b/2023/day2-ops-code/synchronous/generator/go.sum @@ -0,0 +1,2 @@ +github.com/go-sql-driver/mysql v1.7.0 h1:ueSltNNllEqE3qcWBTD0iQd3IpL/6U+mJxLkazJ7YPc= +github.com/go-sql-driver/mysql v1.7.0/go.mod h1:OXbVy3sEdcQ2Doequ6Z5BW6fXNQTmx+9S1MCJN5yJMI= diff --git a/2023/day2-ops-code/synchronous/generator/main.go b/2023/day2-ops-code/synchronous/generator/main.go new file mode 100644 index 0000000..bcac755 --- /dev/null +++ b/2023/day2-ops-code/synchronous/generator/main.go @@ -0,0 +1,139 @@ +package main + +import ( + "database/sql" + "fmt" + _ "github.com/go-sql-driver/mysql" + "math/rand" + "net/http" + "time" +) + +func generateAndStoreString() (string, error) { + // Connect to the database + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + if err != nil { + return "", err + } + defer db.Close() + + // Generate a random string + // Define a string of characters to use + characters := "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789" + + // Generate a random string of length 10 + randomString := make([]byte, 64) + for i := range randomString { + randomString[i] = characters[rand.Intn(len(characters))] + } + + // Insert the random number into the database + _, err = db.Exec("INSERT INTO generator(random_string) VALUES(?)", string(randomString)) + if err != nil { + return "", err + } + + fmt.Printf("Random string %s has been inserted into the database\n", string(randomString)) + return string(randomString), nil +} + +func main() { + // Create a new HTTP server + server := &http.Server{ + Addr: ":8080", + } + + err := createGeneratordb() + if err != nil { + panic(err.Error()) + } + + ticker := time.NewTicker(60 * time.Second) + quit := make(chan struct{}) + go func() { + for { + select { + case <-ticker.C: + checkStringReceived() + case <-quit: + ticker.Stop() + return + } + } + }() + + // Handle requests to /generate + http.HandleFunc("/new", func(w http.ResponseWriter, r *http.Request) { + // Generate a random number + randomString, err := generateAndStoreString() + if err != nil { + http.Error(w, "unable to generate and save random string", http.StatusInternalServerError) + return + } + + print(fmt.Sprintf("random string: %s", randomString)) + w.Write([]byte(randomString)) + }) + + // Start the server + fmt.Println("Listening on port 8080") + err = server.ListenAndServe() + if err != nil { + panic(err.Error()) + } +} + +func createGeneratordb() error { + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + if err != nil { + return err + } + defer db.Close() + + // try to create a table for us + _, err = db.Exec("CREATE TABLE IF NOT EXISTS generator(random_string VARCHAR(100), seen BOOLEAN)") + + return err +} + +func checkStringReceived() { + // get a list of strings from database that dont have the "seen" bool set top true + // loop over them and make a call to the requestor's 'check' endpoint and if we get a 200 then set seen to true + + // Connect to the database + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + if err != nil { + print(err) + } + defer db.Close() + + // Insert the random number into the database + results, err := db.Query("SELECT random_string FROM generator WHERE seen IS NOT true") + if err != nil { + print(err) + } + + // loop over results + for results.Next() { + var randomString string + err = results.Scan(&randomString) + if err != nil { + print(err) + } + + // make a call to the requestor's 'check' endpoint + // if we get a 200 then set seen to true + r, err := http.Get("http://requestor-service:8080/check/" + randomString) + if err != nil { + print(err) + } + if r.StatusCode == 200 { + _, err = db.Exec("UPDATE generator SET seen = true WHERE random_string = ?", randomString) + if err != nil { + print(err) + } + } else { + fmt.Println(fmt.Sprintf("Random string has not been received by the requestor: %s", randomString)) + } + } +} diff --git a/2023/day2-ops-code/synchronous/k8s.yaml b/2023/day2-ops-code/synchronous/k8s.yaml new file mode 100644 index 0000000..73426d1 --- /dev/null +++ b/2023/day2-ops-code/synchronous/k8s.yaml @@ -0,0 +1,69 @@ +apiVersion: apps/v1 +kind: Deployment +metadata: + name: requestor +spec: + replicas: 1 + selector: + matchLabels: + app: requestor + template: + metadata: + labels: + app: requestor + spec: + containers: + - name: requestor + image: heyal/requestor:sync + imagePullPolicy: Always + ports: + - containerPort: 8080 +--- +apiVersion: v1 +kind: Service +metadata: + name: requestor-service +spec: + selector: + app: requestor + ports: + - name: http + protocol: TCP + port: 8080 + targetPort: 8080 + type: ClusterIP +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: generator +spec: + replicas: 1 + selector: + matchLabels: + app: generator + template: + metadata: + labels: + app: generator + spec: + containers: + - name: generator + image: heyal/generator:sync + imagePullPolicy: Always + ports: + - containerPort: 8080 +--- +apiVersion: v1 +kind: Service +metadata: + name: generator-service +spec: + selector: + app: generator + ports: + - name: http + protocol: TCP + port: 8080 + targetPort: 8080 + type: ClusterIP diff --git a/2023/day2-ops-code/synchronous/requestor/Dockerfile b/2023/day2-ops-code/synchronous/requestor/Dockerfile new file mode 100644 index 0000000..9e40abf --- /dev/null +++ b/2023/day2-ops-code/synchronous/requestor/Dockerfile @@ -0,0 +1,17 @@ +# Set the base image to use +FROM golang:1.17-alpine + +# Set the working directory inside the container +WORKDIR /app + +# Copy the source code into the container +COPY . . + +# Build the Go application +RUN go build -o main . + +# Expose the port that the application will run on +EXPOSE 8080 + +# Define the command that will run when the container starts +CMD ["/app/main"] diff --git a/2023/day2-ops-code/synchronous/requestor/go.mod b/2023/day2-ops-code/synchronous/requestor/go.mod new file mode 100644 index 0000000..efa37a3 --- /dev/null +++ b/2023/day2-ops-code/synchronous/requestor/go.mod @@ -0,0 +1,5 @@ +module main + +go 1.20 + +require github.com/go-sql-driver/mysql v1.7.0 diff --git a/2023/day2-ops-code/synchronous/requestor/go.sum b/2023/day2-ops-code/synchronous/requestor/go.sum new file mode 100644 index 0000000..7109e4c --- /dev/null +++ b/2023/day2-ops-code/synchronous/requestor/go.sum @@ -0,0 +1,2 @@ +github.com/go-sql-driver/mysql v1.7.0 h1:ueSltNNllEqE3qcWBTD0iQd3IpL/6U+mJxLkazJ7YPc= +github.com/go-sql-driver/mysql v1.7.0/go.mod h1:OXbVy3sEdcQ2Doequ6Z5BW6fXNQTmx+9S1MCJN5yJMI= diff --git a/2023/day2-ops-code/synchronous/requestor/main.go b/2023/day2-ops-code/synchronous/requestor/main.go new file mode 100644 index 0000000..98c1ca3 --- /dev/null +++ b/2023/day2-ops-code/synchronous/requestor/main.go @@ -0,0 +1,134 @@ +package main + +import ( + "database/sql" + "errors" + "fmt" + _ "github.com/go-sql-driver/mysql" + "io" + "net/http" + "strings" + "time" +) + +func storeString(input string) error { + // Connect to the database + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + defer db.Close() + // Insert the random number into the database + _, err = db.Exec("INSERT INTO requestor(random_string) VALUES(?)", input) + if err != nil { + return err + } + + fmt.Printf("Random string %s has been inserted into the database\n", input) + return nil +} + +func getStringFromDB(input string) error { + // see if the string exists in the db, if so return nil + // if not, return an error + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + defer db.Close() + result, err := db.Query("SELECT * FROM requestor WHERE random_string = ?", input) + if err != nil { + return err + } + + for result.Next() { + var randomString string + err = result.Scan(&randomString) + if err != nil { + return err + } + if randomString == input { + return nil + } + } + + return errors.New("string not found") +} + +func getStringFromGenerator() { + // make a request to the generator + // save sthe string to db + r, err := http.Get("http://generator-service:8080/new") + if err != nil { + fmt.Println(err) + return + } + + body, err := io.ReadAll(r.Body) + if err != nil { + fmt.Println(err) + return + } + + fmt.Println(fmt.Sprintf("body from generator: %s", string(body))) + + storeString(string(body)) + +} + +func main() { + // setup a goroutine loop calling the generator every minute, saving the result in the DB + + ticker := time.NewTicker(60 * time.Second) + quit := make(chan struct{}) + go func() { + for { + select { + case <-ticker.C: + getStringFromGenerator() + case <-quit: + ticker.Stop() + return + } + } + }() + + // Create a new HTTP server + server := &http.Server{ + Addr: ":8080", + } + + err := createRequestordb() + if err != nil { + panic(err.Error()) + } + + // Handle requests to /generate + http.HandleFunc("/check/", func(w http.ResponseWriter, r *http.Request) { + // get the value after check from the url + id := strings.TrimPrefix(r.URL.Path, "/check/") + + // check if it exists in the db + err := getStringFromDB(id) + if err != nil { + http.Error(w, "string not found", http.StatusNotFound) + return + } + + fmt.Fprintf(w, "string found", http.StatusOK) + }) + + // Start the server + fmt.Println("Listening on port 8080") + err = server.ListenAndServe() + if err != nil { + panic(err.Error()) + } +} + +func createRequestordb() error { + db, err := sql.Open("mysql", "root:password@tcp(mysql:3306)/mysql") + if err != nil { + return err + } + defer db.Close() + + // try to create a table for us + _, err = db.Exec("CREATE TABLE IF NOT EXISTS requestor(random_string VARCHAR(100))") + + return err +} diff --git a/2023/day20.md b/2023/day20.md index e69de29..70fd07d 100644 --- a/2023/day20.md +++ b/2023/day20.md @@ -0,0 +1,155 @@ +# IAST and DAST in conjunction - lab time + +After learning what IAST and DAST are it's time to get our hands dirty and perform an exercise in which we use these processes to find vulnerabilities in real applications. + +**NOTE:** There are no open-source IAST implementations, so we will have to use a commerical solution. +Don't worry, there is a free-tier, so you will be able to follow the lab without paying anything. + +This lab is based on this [repo](https://github.com/rstatsinger/contrast-java-webgoat-docker). + +It contains a vulnerable Java application to be tested and exploited, Docker and Docker Compose for easy setup and [Contrast Community Edition](https://www.contrastsecurity.com/contrast-community-edition?utm_campaign=ContrastCommunityEdition&utm_source=GitHub&utm_medium=WebGoatLab) for IAST solution. + +## Prerequisites + +- [Docker](https://www.docker.com/products/docker-desktop/) +- [Docker Compose](https://docs.docker.com/compose/) +- Contrast CE account. Sign up for free [here](https://www.contrastsecurity.com/contrast-community-edition?utm_campaign=ContrastCommunityEdition&utm_source=GitHub&utm_medium=WebGoatLab). + +**NOTE:** The authors of this article and of the 90 Days of DevOps program are in way associated or affilited with Contrast Security. +We are using this commercial solution, because there is not an open-source one, and because this one has a free-tier that does not require paying or providing a credit card. + +1. As there are no open-source IAST implementation will use a commercial one with some free licenses. For this purpose, you will need 2 componenets: + IAST solution from here - . You need docker and docker-compose installed in mac or linux enviroment (this lab is tested on Mint). Please follow the README to create account in Contrast. + +## Getting started + +To start, clone the [repository](https://github.com/rstatsinger/contrast-java-webgoat-docker). + +Get your credentials from Contrast Security. +Click on your name in the top-right corner -> `Organization Settings` -> `Agent`. +Get the values for `Agent Username`, `Agent Service Key` and `API Key`. + +Replace these values in the `.env.template` file in the newly cloned repository. + +**NOTE:** These values are secret. +Do not commit them to Git. +It's best to put the `.env.template` under `.gitignore` so that you don't commit these values by mistake. + +## Running the vulnerable application + +To run the vulnerable application, run: + +```sh +./run.sh +``` + +or + +```sh +docker compose up +``` + +Once ready, the application UI will be accessible on . + +## Do some damage + +Now that we have a vulnerable application let's try to exploit it. + +1. Install ZAP Proxy from [here](https://www.zaproxy.org/download/) + + An easy way to do that is via a DAST scanner. + One such scanner is [ZAP Proxy](https://www.zaproxy.org/). + It is a free and open-source web app scanner. + +2. Install `zap-cli` from [here](https://github.com/Grunny/zap-cli) + + Next, install `zap-cli`. + `zap-cli` is an open-source CLI for ZAP Proxy. + +3. Run ZAP proxy + + Run ZAP Proxy from its installed location. + In Linux Mint it is by default in `/opt/zaproxy`. + In MacOS it is in `Applications`. + +4. Set env variables for `ZAP_API_KEY` and `ZAP_PORT` + + Get these values from ZAP Proxy. + Go to `Options...` -> `API` to get the API Key. + + Go to `Options...` -> `Network` -> `Local Servers/Proxies` to configure and obtain the port. + +5. Run several commands with `zap-cli` + + For example: + + ```sh + zap-cli quick-scan -s all --ajax-spider -r http://127.0.0.1:8080/WebGoat/login.mvc + ``` + + Alternatively, you can follow the instructions in the [repo](https://github.com/rstatsinger/contrast-java-webgoat-docker/blob/master/Lab-WebGoat.pdf) + to cause some damage to the vulnerable application. + +6. Observe findings in Constrast + + Either way, if you go to the **Vulnerabilities** tab for your application in Contrast you should be able to see that Contrast detected the vulnerabilities + and is warning you to take some action. + +## Bonus: Image Scanning + +We saw how an IAST solution helped us detect attacks by observing the behaviour of the application. +Let's see whether we could have done something to prevent these attacks in the first place. + +The vulnerable application we used for this demo was packages as a container. +Let's scan this container via the `grype` scanner we learned about in Days [14](day14.md) and [15](day15.md) and see the results. + +```sh +$ grype contrast-java-webgoat-docker-webgoat + ✔ Vulnerability DB [no update available] + ✔ Loaded image + ✔ Parsed image + ✔ Cataloged packages [316 packages] + ✔ Scanned image [374 vulnerabilities] +NAME INSTALLED FIXED-IN TYPE VULNERABILITY SEVERITY +apt 1.8.2.3 deb CVE-2011-3374 Negligible +axis 1.4 java-archive GHSA-55w9-c3g2-4rrh Medium +axis 1.4 java-archive GHSA-96jq-75wh-2658 Medium +bash 5.0-4 deb CVE-2019-18276 Negligible +bash 5.0-4 (won't fix) deb CVE-2022-3715 High +bsdutils 1:2.33.1-0.1 deb CVE-2022-0563 Negligible +bsdutils 1:2.33.1-0.1 (won't fix) deb CVE-2021-37600 Low +commons-beanutils 1.8.3 java-archive CVE-2014-0114 High +commons-beanutils 1.8.3 java-archive CVE-2019-10086 High +commons-beanutils 1.8.3 1.9.2 java-archive GHSA-p66x-2cv9-qq3v High +commons-beanutils 1.8.3 1.9.4 java-archive GHSA-6phf-73q6-gh87 High +commons-collections 3.2.1 java-archive CVE-2015-6420 High +commons-collections 3.2.1 3.2.2 java-archive GHSA-6hgm-866r-3cjv High +commons-collections 3.2.1 3.2.2 java-archive GHSA-fjq5-5j5f-mvxh Critical +commons-fileupload 1.3.1 java-archive CVE-2016-1000031 Critical +commons-fileupload 1.3.1 java-archive CVE-2016-3092 High +commons-fileupload 1.3.1 1.3.2 java-archive GHSA-fvm3-cfvj-gxqq High +commons-fileupload 1.3.1 1.3.3 java-archive GHSA-7x9j-7223-rg5m Critical +commons-io 2.4 java-archive CVE-2021-29425 Medium +commons-io 2.4 2.7 java-archive GHSA-gwrp-pvrq-jmwv Medium +coreutils 8.30-3 deb CVE-2017-18018 Negligible +coreutils 8.30-3 (won't fix) deb CVE-2016-2781 Low +curl 7.64.0-4+deb10u3 deb CVE-2021-22922 Negligible +curl 7.64.0-4+deb10u3 deb CVE-2021-22923 Negligible + +``` + +As we can see this image is full with vulnerabilities. + +If we dive into each one we will see we have vulnerabilities like RCE (Remote Code Execution), SQL Injection, XML External Entity Vulnerability, etc. + +## Week Summary + +IAST and DAST are important methods that can help us find vulnerabilities in our application via monitoring its behaviour. +This is done once the application is already deployed. + +Container Image Scanning can help us find vulnerabilities in our application based on the library that are present inside the container. + +Image Scanning and IAST/DAST are not mutually-exclusive. +They both have their place in a Secure SDLC and can help us find different problems before the attackers do. + +See you on [Day 21](day21.md). diff --git a/2023/day21.md b/2023/day21.md index e69de29..fdaedfa 100644 --- a/2023/day21.md +++ b/2023/day21.md @@ -0,0 +1,230 @@ +# Continuous Image Repository Scan + +In [Day 14](day14.md), we learned what container image scanning is and why it's important. +We also learned about tools like Grype and Trivy that help us scan our container images. + +However, in modern SDLCs, a DevSecOps engineer would rarely scan container images by hand, e.g., they would not be running Grype and Trivy locally and looking at every single vulnerability. +Instead, they would have the image scanning configured as part of the CI/CD pipeline. +This way, they would be sure that all the images that are being built by the pipelines are also scanned by the image scanner. +These results could then be sent by another system, where the DevSecOps engineers could look at them and take some action depending on the result. + +A sample CI/CD pipeline could look like this: + +0. _Developer pushes code_ +1. Lint the code +2. Build the code +3. Test the code +4. Build the artifacts (container images, helm charts, etc.) +5. Scan the artifacts +6. (Optional) Send the scan results somewhere +7. (Optional) Verify the scan results and fail the pipeline if the verification fails +8. Push the artifacts to a repository + +A failure in the scan or verify steps (steps 6 and 7) would mean that our container will not be pushed to our repository, and we cannot use the code we submitted. + +Today, we are going to take a look at how we can set up such a pipeline and what would be a sensible configuration for one. + +## Setting up a CI/CD pipeline with Grype + +Let's take a look at the [Grype](https://github.com/anchore/grype) scanner. +Grype is an open-source scanner maintained by the company [Anchore](https://anchore.com/). + +### Scanning an image with Grype + +Scanning a container image with Grype is as simple as running: + +```shell +grype +``` + +For example, if we want to scan the `ubuntu:20.04` image, we can run: + +```shell +$ grype ubuntu:20.04 + + ✔ Vulnerability DB [no update available] + ✔ Pulled image + ✔ Loaded image + ✔ Parsed image + ✔ Cataloged packages [92 packages] + ✔ Scanned image [19 vulnerabilities] + +NAME INSTALLED FIXED-IN TYPE VULNERABILITY SEVERITY +coreutils 8.30-3ubuntu2 deb CVE-2016-2781 Low +gpgv 2.2.19-3ubuntu2.2 deb CVE-2022-3219 Low +libc-bin 2.31-0ubuntu9.9 deb CVE-2016-20013 Negligible +libc6 2.31-0ubuntu9.9 deb CVE-2016-20013 Negligible +libncurses6 6.2-0ubuntu2 deb CVE-2021-39537 Negligible +libncurses6 6.2-0ubuntu2 deb CVE-2022-29458 Negligible +libncursesw6 6.2-0ubuntu2 deb CVE-2021-39537 Negligible +libncursesw6 6.2-0ubuntu2 deb CVE-2022-29458 Negligible +libpcre3 2:8.39-12ubuntu0.1 deb CVE-2017-11164 Negligible +libsystemd0 245.4-4ubuntu3.19 deb CVE-2022-3821 Medium +libtinfo6 6.2-0ubuntu2 deb CVE-2021-39537 Negligible +libtinfo6 6.2-0ubuntu2 deb CVE-2022-29458 Negligible +libudev1 245.4-4ubuntu3.19 deb CVE-2022-3821 Medium +login 1:4.8.1-1ubuntu5.20.04.4 deb CVE-2013-4235 Low +ncurses-base 6.2-0ubuntu2 deb CVE-2021-39537 Negligible +ncurses-base 6.2-0ubuntu2 deb CVE-2022-29458 Negligible +ncurses-bin 6.2-0ubuntu2 deb CVE-2021-39537 Negligible +ncurses-bin 6.2-0ubuntu2 deb CVE-2022-29458 Negligible +passwd 1:4.8.1-1ubuntu5.20.04.4 deb CVE-2013-4235 Low +``` + +Of course, you already know that because we did it on [Day 14](day14.md). + +However, this command will only output the vulnerabilities and exit with a success code. +So if this were in a CI/CD pipeline, the pipeline would be successful even if we have many vulnerabilities. + +The person running the pipeline would have to open it, see the logs and manually determine whether the results are OK. +This is tedious and error prone. + +Let's see how we can enforce some rules for the results that come out of the scan. + +### Enforcing rules for the scanned images + +As we already established, just scanning the image does not do much except for giving us visibility into the number of vulnerabilities we have inside the image. +But what if we want to enforce a set of rules for our container images? + +For example, a good rule would be "an image should not have critical vulnerabilities" or "an image should not have vulnerabilities with available fixes." + +Fortunately for us, this is also something that Grype supports out of the box. +We can use the `--fail-on ` flag to tell Grype to exit with a non-zero exit code if, during the scan, it found vulnerabilities with a severity higher or equal to the one we specified. +This will fail our pipeline, and the engineer would have to look at the results and fix something in order to make it pass. + +Let's tried it out. +We are going to use the `springio/petclinic:latest` image, which we already found has many vulnerabilities. +You can go back to [Day 14](day14.md) or scan it yourself to see how much exactly. + +We want to fail the pipeline if the image has `CRITICAL` vulnerabilities. +We are going to run the can like this: + +```shell +$ grype springio/petclinic:latest --fail-on critical + ✔ Vulnerability DB [no update available] + ✔ Loaded image + ✔ Parsed image + ✔ Cataloged packages [212 packages] + ✔ Scanned image [168 vulnerabilities] + +NAME INSTALLED FIXED-IN TYPE VULNERABILITY SEVERITY +spring-core 5.3.6 java-archive CVE-2016-1000027 Critical +spring-core 5.3.6 java-archive CVE-2022-22965 Critical +... +1 error occurred: + * discovered vulnerabilities at or above the severity threshold + +$ echo $? +1 +``` + +We see two things here: + +- apart from the results, Grype also outputted an error that is telling us that this scan violated the rule we had defined (no CRITICAL vulnerabilities) +- Grype exited with exit code 1, which indicates failure. + If this were a CI pipeline, it would have failed. + +When this happens, we will be blocked from merging our code and pushing our container to the registry. +This means that we need to take some action to fix the failure so that we can finish our task and push our change. + +Let's see what our options are. + +### Fixing the pipeline + +Once we encounter a vulnerability that is preventing us from publishing our container, we have a few ways we can go depending on the vulnerability. + +#### 1. The vulnerability has a fix + +The best-case scenario is when this vulnerability is already fixed in a newer version of the library we depend on. + +One such vulnerability is this one: + +```text +NAME INSTALLED FIXED-IN TYPE VULNERABILITY SEVERITY +snakeyaml 1.27 1.31 java-archive GHSA-3mc7-4q67-w48m High +``` + +This is a `High` severity vulnerability. +It's coming from the Java package `snakeyaml`, version `1.27`. +Grype is telling us that this vulnerability is fixed in version `1.31` of the same library. + +In this case, we can just upgrade the version of this library in our `pom.xml` or `build.gradle` file, +test our code to make sure nothing breaks with the new version, +and submit the code again. + +This will build a new version of our container, re-scan it, and hopefully, this time, the vulnerability will not come up, and our scan will be successful. + +### 2. The vulnerability does not have a fix, but it's not dangerous + +Sometimes a vulnerability we encounter will not have a fix available. +These are so-called zero-day vulnerabilities that are disclosed before a fix is available. + +We can see two of those in the initial scan results: + +```text +NAME INSTALLED FIXED-IN TYPE VULNERABILITY SEVERITY +spring-core 5.3.6 java-archive CVE-2016-1000027 Critical +spring-core 5.3.6 java-archive CVE-2022-22965 Critical +``` + +When we encounter such a vulnerability, we need to evaluate how severe it is and calculate the risk of releasing our software with that vulnerability in it. + +We can determine that the vulnerability does not constitute any danger to our software and its consumers. +One such case might be when a vulnerability requires physical access to the servers to be exploited. +If we are sure that our physical servers are secure enough and an attacker cannot get access to them, we can safely ignore this vulnerability. + +In this case, we can tell Grype to ignore this vulnerability and not fail the scan because of it. + +We can do this via the `grype.yaml` configuration file, where we can list vulnerabilities we want to ignore: + +```yaml +ignore: + # This is the full set of supported rule fields: + - vulnerability: CVE-2016-1000027 + fix-state: unknown + package: + name: spring-core + version: 5.3.6 + type: java-archive + # We can list as many of these as we want + - vulnerability: CVE-2022-22965 + # Or list whole packages which we want to ignore + - package: + type: gem +``` + +Putting this in our configuration file and re-running the scan will make our pipeline green. + +However, it is crucial that we keep track of this file and not ignore vulnerabilities that have a fix. +For example, when a fix for this vulnerability is released, it's best we upgrade our dependency and remove this vulnerability from our application. + +That way, we will ensure that our application is as secure as possible and there are no vulnerabilities that can turn out to be more severe than we initially thought. + +### 3. Vulnerability does not have a fix, and IT IS dangerous + +The worst-case scenario is if we encounter a vulnerability that does not have a fix, and it is indeed dangerous, and there is a possibility to be exploited. + +In that case, there is no right move. +The best thing we can do is sit down with our security team and come up with an action plan. + +We might decide it's best to do nothing while the vulnerability is fixed. +We might decide to manually patch some stuff so that we remove at least some part of the danger. +It really depends on the situation. + +Sometimes, a zero-day vulnerability is already in your application that is deployed. +In that case, freezing deploys won't help because your app is already vulnerable. + +That was the case with the Log4Shell vulnerability that was discovered in late 2021 but has been present in Log4j since 2013. +Luckily, there was a fix available within hours, but next time we might not be this lucky. + +## Summary + +As we already learned in [Day 14](day14.md), scanning your container images for vulnerabilities is important as it can give you valuable insights about +the security posture of your images. + +Today we learned that it's even better to have it as part of your CI/CD pipeline and to enforce some basic rules about what vulnerabilities you have inside your images. + +Finally, we discussed the steps we can take when we find a vulnerability. + +Tomorrow we are going to take a look at container registries that enable this scanning out of the box and also at scanning other types of artifacts. +See you on [Day 22](day22.md). diff --git a/2023/day22.md b/2023/day22.md index e69de29..a0cf0dd 100644 --- a/2023/day22.md +++ b/2023/day22.md @@ -0,0 +1,78 @@ +# Continuous Image Repository Scan - Container Registries + +Yesterday we learned how to integrate container image vulnerability scanning into our CI/CD pipelines. + +Today, we are going to take a look at how to enforce that our images are scanned on another level - the container registry. + +There are container registries that will automatically scan your container images once you push them. +This ensures that we will have visibility into the number of vulnerabilities for every container image produced by our team. + +Let's take a look at few different registries that provide this capability and how we can use it. + +## Docker Hub + +[Docker Hub](https://hub.docker.com/) is the first container registry. +It was build by the team that created Docker and is still very popular today. + +Docker Hub has automatic vulnerability scanner, powered by [Snyk](https://snyk.io/). + +This means that, if enabled, when you push an image to Docker Hub it will be automatically scanned and the results with be visible to you in the UI. + +You can learn more about how to enable and use this feature from the Docker Hub [docs](https://docs.docker.com/docker-hub/vulnerability-scanning/). + +**NOTE:** This feature is not free. +In order to use it you need to have a subscription. + +## Harbor + +[Harbor](https://goharbor.io/) is an open-source container registry. +Originally developed in VMware, it is now part of the CNCF. + +It supports image scanning via [Trivy](https://github.com/aquasecurity/trivy) and/or [Clair](https://github.com/quay/clair). + +This is configured during installation. +(Even if you don't enable image scanning during installation, it can always be configured afterwards). +For more info, check out the [docs](https://goharbor.io/docs/2.0.0/administration/vulnerability-scanning/). + +## AWS ECR + +[AWS ECR](https://aws.amazon.com/ecr/) also supports [image scanning via Clair](https://docs.aws.amazon.com/AmazonECR/latest/userguide/image-scanning-basic.html). + +## Azure Container Registry + +[Azure Container Registry](https://azure.microsoft.com/en-us/products/container-registry) support [image scanning via Qualys](https://azure.microsoft.com/en-us/updates/vulnerability-scanning-for-images-in-azure-container-registry-is-now-generally-available/). + +## GCP + +[GCP Container Registry](https://cloud.google.com/container-registry) also support [automatic image scanning](https://cloud.google.com/container-analysis/docs/automated-scanning-howto). + +## Policy Enforcement + +Just scanning the images and having the results visible in your registry is nice thing to have, +but it would be even better if we have a way to enforce some standards for these images. + +In [Day 14](day14.md) we saw how to make `grype` fail a scan if an image has vulnerabilities above a certain severity. + +Something like this can also be enforced on the container registry level. + +For example, [Harbor](https://goharbor.io/) has the **Prevent vulnerable images from running** option, which when enable does not allow you to pull an image that has vulnerabilities above a certain severity. +If you cannot pull the image, you cannot run it, so this is a good rule to have if you don't want to be running vulnerable images. +Of course, a rule like that can effectively prevent you from deploying something to your environment, so you need to use it carefully. + +More about this option and how to enable it in Harbor you can read [here](https://goharbor.io/docs/2.3.0/working-with-projects/project-configuration/). + +For more granular control and for unblocking deployments you can configure a [per-project CVE allowlist](https://goharbor.io/docs/2.3.0/working-with-projects/project-configuration/configure-project-allowlist/). +This will allow certain images to run even though they have vulnerabilities. +However, these vulnerabilities would be manually curated and allow-listed by the repo admin. + +## Summary + +Scanning your container images and having visibility into the number of vulnerabilities inside them is critical for a secure SDLC. + +One place to do that is you CI pipeline (as seen in [Day 21](day21.md)). + +Another place is your container registry (as seen today). + +Both are good options, both have their pros and cons. +It is up to the DevSecOps architect to decide which approach works better for them and their thread model. +See you on [Day 23](day23.md). diff --git a/2023/day23.md b/2023/day23.md index e69de29..46071c0 100644 --- a/2023/day23.md +++ b/2023/day23.md @@ -0,0 +1,162 @@ +# Artifacts Scan + +In the previous two days we learned why and how to scan container images. + +However, usually our infrastructure consists of more than just container images. +Yes, our services will run as containers, but around them we can also have other artifacts like: + +- Kubernetes manifests +- Helm templates +- Terraform code + +For maximum security, you would be scanning all the artifacts that you use for your environment, not only your container images. + +The reason for that is that even if you have the most secure Docker images with no CVEs, +but run then on an insecure infrastructure with bad Kubernetes configuration, +then your environment will not be secure. + +**Each system is as secure as its weakest link.** + +Today we are going to take a look at different tools for scanning artifacts different than container images. + +## Kubernetes manifests + +Scanning Kubernetes manifests can expose misconfigurations and security bad practices like: + +- running containers as root +- running containers with no resource limits +- giving too much and too powerful capabilities to the containers +- hardcoding secrets in the templates, etc. + +All of these are part of the security posture of our Kubernetes workloads, and having a bad posture in security is just as bad as having a bad posture in real-life. + +One popular open-source tool for scanning Kubernetes manifests is [KubeSec](https://kubesec.io/). + +It outputs a list of misconfiguration. + +For example, this Kubernetes manifest taken from their docs has a lot of misconfigurations like missing memory limits, running as root, etc. + +```yaml +apiVersion: v1 +kind: Pod +metadata: + name: kubesec-demo +spec: + containers: + - name: kubesec-demo + image: gcr.io/google-samples/node-hello:1.0 + securityContext: + runAsNonRoot: false +``` + +Let's scan it and look at the results. + +```shell +$ kubesec scan kubesec-test.yaml +[ + { + "object": "Pod/kubesec-demo.default", + "valid": true, + "message": "Passed with a score of 0 points", + "score": 0, + "scoring": { + "advise": [ + { + "selector": ".metadata .annotations .\"container.seccomp.security.alpha.kubernetes.io/pod\"", + "reason": "Seccomp profiles set minimum privilege and secure against unknown threats" + }, + { + "selector": ".spec .serviceAccountName", + "reason": "Service accounts restrict Kubernetes API access and should be configured with least privilege" + }, + { + "selector": "containers[] .securityContext .runAsNonRoot == true", + "reason": "Force the running image to run as a non-root user to ensure least privilege" + }, + { + "selector": ".metadata .annotations .\"container.apparmor.security.beta.kubernetes.io/nginx\"", + "reason": "Well defined AppArmor policies may provide greater protection from unknown threats. WARNING: NOT PRODUCTION READY" + }, + { + "selector": "containers[] .resources .requests .memory", + "reason": "Enforcing memory requests aids a fair balancing of resources across the cluster" + }, + { + "selector": "containers[] .securityContext .runAsUser -gt 10000", + "reason": "Run as a high-UID user to avoid conflicts with the host's user table" + }, + { + "selector": "containers[] .resources .limits .cpu", + "reason": "Enforcing CPU limits prevents DOS via resource exhaustion" + }, + { + "selector": "containers[] .resources .requests .cpu", + "reason": "Enforcing CPU requests aids a fair balancing of resources across the cluster" + }, + { + "selector": "containers[] .securityContext .readOnlyRootFilesystem == true", + "reason": "An immutable root filesystem can prevent malicious binaries being added to PATH and increase attack cost" + }, + { + "selector": "containers[] .securityContext .capabilities .drop", + "reason": "Reducing kernel capabilities available to a container limits its attack surface" + }, + { + "selector": "containers[] .resources .limits .memory", + "reason": "Enforcing memory limits prevents DOS via resource exhaustion" + }, + { + "selector": "containers[] .securityContext .capabilities .drop | index(\"ALL\")", + "reason": "Drop all capabilities and add only those required to reduce syscall attack surface" + } + ] + } + } +] +``` + +As we see it produced 12 warnings about thing in this manifests we would want to change. +Each warning has an explanation telling us WHY we need to fix it. + +### Others + +Other such tools include [kube-bench](https://github.com/aquasecurity/kube-bench), [kubeaudit](https://github.com/Shopify/kubeaudit) and [kube-score](https://github.com/zegl/kube-score). + +They work in the same or similar manner. +You give them a resource to analyze and they output a list of things to fix. + +They can be used in a CI setup. +Some of them can also be used as [Kubernetes validating webhook](https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/), and can block resources from being created if they violate a policy. + +## Helm templates + +[Helm](https://helm.sh/) templates are basically templated Kubernetes resources that can be reused and configured with different values. + +There are some tools like [Snyk](https://docs.snyk.io/products/snyk-infrastructure-as-code/scan-kubernetes-configuration-files/scan-and-fix-security-issues-in-helm-charts) that have *some* support for scanning Helm templates for misconfigurations the same way we are scanning Kubernetes resources. + +However, the best way to approach this problem is to just scan the final templated version of your Helm charts. +E.g. use the `helm template` to substitute the templated values with actual ones and just scan that via the tools provided above. + +## Terraform + +The most popular tool for scanning misconfigurations in Terraform code is [tfsec](https://github.com/aquasecurity/tfsec). + +It uses static analysis to spot potential issues in your code. + +It support multiple cloud providers and points out issues specific to the one you are using. + +For example, it has checks for [using the default VPC in AWS](https://aquasecurity.github.io/tfsec/v1.28.1/checks/aws/ec2/no-default-vpc/), +[hardcoding secrets in the EC2 user data](https://aquasecurity.github.io/tfsec/v1.28.1/checks/aws/ec2/no-secrets-in-launch-template-user-data/), +or [allowing public access to your ECR container images](https://aquasecurity.github.io/tfsec/v1.28.1/checks/aws/ecr/no-public-access/). + +It allow you to enable/disable checks and to ignore warnings via inline comments. + +It also allows you to define your own policies via [Rego](https://www.openpolicyagent.org/docs/latest/policy-language/). + +## Summary + +A Secure SDLC would include scanning of all artifacts that end up in our production environment, not just the container images. + +Today we learned how to scan non-container artifacts like Kubernetes manifests, Helm charts and Terraform code. +The tools we looked at are free and open-source and can be integrated into any workflow or CI pipeline. +See you on [Day 24](day24.md). diff --git a/2023/day24.md b/2023/day24.md index e69de29..f81d157 100644 --- a/2023/day24.md +++ b/2023/day24.md @@ -0,0 +1,148 @@ +# Signing + +The process of signing involves... well, signing an artifact with a key, and later verifying that this artifact has not been tampered with. + +An "artifact" in this scenario can be anything + +- [code](https://venafi.com/machine-identity-basics/what-is-code-signing/#item-1) +- [git commit](https://docs.github.com/en/authentication/managing-commit-signature-verification/signing-commits) +- [container images](https://docs.sigstore.dev/cosign/overview/) + +Signing and verifying the signature ensures that the artifact(container) we pulled from the registry is the same one that we pushed. +This secures us from supply chain and man-in-the-middle attack where we download something different that we wanted. + +The CI workflow would look like this: + +0. Developer pushes code to Git +1. CI builds the code into a container +2. **CI signs the container with our private key** +3. CI pushes the signed container to our registry + +And then when we want to deploy this image: + +1. Pull the image +2. **Verify the signature with our public key** + 1. If signature does not match, fail the deploy - image is probably compromised +3. If signature does match, proceed with the deploy + +This workflow is based on public-private key cryptography. +When you sign something with your private key, everyone that has access to your public key can verify that this was signed by you. + +And since the public key is... well, public, that means everyone. + +## The danger of NOT signing your images + +If you are not signing your container images, there is the danger that someone will replace an image in your repository with another image that is malicious. + +For example, you can push the `my-repo/my-image:1.0.0` image to your repository, but image tags, even versioned ones (like `1.0.0`) are mutable. +So an attacker that has access to your repo can push another image, tag it the same way, and this way it will override your image. +Then, when you go an deploy this image, the image that will get deployed is the one that attacked forged. +This will probably be a maliciuos one. +For example, on that has malware, is stealing data, or using your infrastructure for mining crypto currencies. + +This problem can be solved by signing your images, because when you sign an images, then you can later verify that what you pull is what you uploaded in the first place. + +So let's take a look at how we can do this via a tool called [cosign](https://docs.sigstore.dev/cosign/overview/). + +## Signing container images + +First, download the tool, following the instructions for your OS [here](https://docs.sigstore.dev/cosign/installation/). + +Generate a key-pair if you don't have one: + +```console +cosign generate-key-pair +``` + +This will output two files in the current folder: + +- `cosign.key` - your private key. +DO NOT SHARE WITH ANYONE. +- `cosign.pub` - your public key. +Share with whoever needs it. + +We can use the private key to sign an image: + +```console +$ cosign sign --key cosign.key asankov/signed +Enter password for private key: + +Pushing signature to: index.docker.io/asankov/signed +``` + +This command signed the `asankov/signed` contaner image and pushed the signature to the container repo. + +## Verifying signatures + +Now that we have signed the image, let's verify the signature. + +For that, we need our public key: + +```console +$ cosign verify --key=cosign.pub asankov/signed | jq + +Verification for index.docker.io/asankov/signed:latest -- +The following checks were performed on each of these signatures: + - The cosign claims were validated + - The signatures were verified against the specified public key +[ + { + "critical": { + "identity": { + "docker-reference": "index.docker.io/asankov/signed" + }, + "image": { + "docker-manifest-digest": "sha256:93d62c92b70efc512379cf89317eaf41b8ce6cba84a5e69507a95a7f15708506" + }, + "type": "cosign container image signature" + }, + "optional": null + } +] +``` + +The output of this command showed us that the image is signed by the key we expected. +Since we are the only ones that have access to our private key, this means that no one except us could have pushed this image and signature to the container repo. +Hence, the contents of this image have not been tampered with since we pushed it. + +Let's try to verify an image that we have NOT signed. + +```console +$ cosign verify --key=cosign.pub asankov/not-signed +Error: no matching signatures: + +main.go:62: error during command execution: no matching signatures: +``` + +Just as expected, `cosign` could not verify the signature of this image (because there was not one). + +In this example, this image (`asankov/not-signed`) is not signed at all, but we would have gotten the same error if someone had signed this image with different key than the one we are using to verify it. + +### Verifying signatures in Kubernetes + +In the previous example, we were verifying the signatures by hand. +However, that is good only for demo purposes or for playing around with the tool. + +In a real-world scenario, you would want this verification to be done automatically at the time of deploy. + +Fortunately, there are many `cosign` integrations for doing that. + +For example, if we are using Kubernetes, we can deploy a validating webhook that will audit all new deployments and verify that the container images used by them are signed. + +For Kubernetes you can choose from 3 existing integrations - [Gatekeeper](https://github.com/sigstore/cosign-gatekeeper-provider), [Kyverno](https://kyverno.io/docs/writing-policies/verify-images/) or [Conaisseur](https://github.com/sse-secure-systems/connaisseur#what-is-connaisseur). +You can choose one of the three depending on your preference, or if you are already using them for something else. + +## Dangers to be aware of + +As with everything else, signing images is not a silver bullet and will not solve all your security problems. + +There is still the problem that your private keys might leak, in which case everyone can sign everything and it will still pass your signature check. + +However, integrating signing into your workflow adds yet another layer of defence and one more hoop for attackers to jump over. + +## Summary + +Signing artifacts prevents supply-chain and man-in-the-middle attacks, by allowing you to verify the integrity of your artifacts. + +[Sigstore](https://sigstore.dev/) and [cosign](https://docs.sigstore.dev/cosign/overview/) are useful tools to sign your artifacts and they come with many integrations to choose from. +See you on [Day 25](day25.md). diff --git a/2023/day25.md b/2023/day25.md index e69de29..25edd32 100644 --- a/2023/day25.md +++ b/2023/day25.md @@ -0,0 +1,85 @@ +# Systems Vulnerability Scanning + +## What is systems vulnerability scanning? + +Vulnerability scanning is the process of scanning a network or system to identify any existing security vulnerabilities. + +It is a proactive measure used to detect any weaknesses that an attacker may exploit to gain unauthorised access to a system or network. + +Vulnerability scanning can be either manual or automated. +It can involve scanning for known vulnerabilities, analysing the configuration of a system or network, or using an automated tool to detect any possible vulnerabilities. + +## How do you perform a vulnerability scan? + +A vulnerability scan is typically performed with specialised software that searches for known weaknesses and security issues in the system. + +The scan typically looks for missing patches, known malware, open ports, weak passwords, and other security risks. + +Once the scan is complete, the results are analysed to determine which areas of the system need to be addressed to improve its overall security. + +## What are the types of vulnerability scans? + +There are two main types of vulnerability scan: unauthenticated and authenticated. + +Unauthenticated scans are conducted without any credentials and, as such, can only provide limited information about potential vulnerabilities. +This type of scan helps identify low-hanging fruit, such as unpatched systems or open ports. + +Authenticated scans, on the other hand, are conducted with administrative credentials. +This allows the scanning tool to provide much more comprehensive information about potential vulnerabilities, including those that may not be easily exploitable. + +In the next two days we are going to take a look at containers and network vulnerability scan, which are more specific subsets os system vulnerability scanning. + +## Why are vulnerability scans important? + +Vulnerabilities are widespread across organisations of all sizes. +New ones are discovered constantly or can be introduced due to system changes. + +Criminal hackers use automated tools to identify and exploit known vulnerabilities and access unsecured systems, networks or data. + +Exploiting vulnerabilities with automated tools is simple: attacks are cheap, easy to run and indiscriminate, so every Internet-facing organisation is at risk. + +All it takes is one vulnerability for an attacker to access your network. + +This is why applying patches to fix these security vulnerabilities is essential. +Updating your software, firmware and operating systems to the newest versions will help protect your organisation from potential vulnerabilities. + +Worse, most intrusions are not discovered until it is too late. According to the global median, dwell time between the start of a cyber intrusion and its identification is 24 days. + +## What does a vulnerability scan test? + +Automated vulnerability scanning tools scan for open ports and detect common services running on those ports. +They identify any configuration issues or other vulnerabilities on those services and look at whether best practice is being followed, such as using TLSv1.2 or higher and strong cipher suites. + +A vulnerability scanning report is then generated to highlight the items that have been identified. +By acting on these findings, an organisation can improve its security posture. + +## Who conducts vulnerability scans? + +IT departments usually undertake vulnerability scanning if they have the expertise and software to do so, or they can call on a third-party security service provider. + +Vulnerability scans are also performed by attackers who scour the Internet to find entry points into systems and networks. + +Many companies have bug bountry programs, that allow enthical hackers to report vulnerabilities and gain money for that. +Usually the bug bountry programs have boundaries, e.g. they define what is allowed and what is not. + +Participating in big bounty programs must be done resposibly. +Hacking is a crime, and if you are caugh you cannot just claim that you did it for good, or that you were not going to exploit your findings. + +## How often should you conduct a vulnerability scan? + +Vulnerability scans should be performed regularly so you can detect new vulnerabilities quickly and take appropriate action. + +This will help identify your security weaknesses and the extent to which you are open to attack. + +## Penetration testing + +Penetration testing is the next step after vulnerability scanning. +In penetration testing professional ethical hackers combine the results of automated scans with their expertise to reveal vulnerabilities that may not be identified by scans alone. + +Penetration testers will also consider your environment (a significant factor in determining vulnerabilities’ true severity) and upgrade or downgrade the score as appropriate. + +A scan can detect something that is vulnerability, but it cannot be actively exploited, because of the way it is incorporated into our system. +This makes the vulnerability a low priority one, because why fix something that presents no danger to you. + +If an issue comes up in penetration testing then that means that this issue is exploitable, and probably a high priority - in the penetation testers managed to exploit it, so will the hackers. +See you on [Day 26](day26.md). diff --git a/2023/day26.md b/2023/day26.md index e69de29..63c985e 100644 --- a/2023/day26.md +++ b/2023/day26.md @@ -0,0 +1,130 @@ +# Containers Vulnerability Scanning + +[Yesterday](day25.md) we learned that vulnerability scanning is the process of scanning a network or system to identify any existing security vulnerabilities. +We also learned that Containers Vulnerability Scanning is a subset of Systems Vulnerability Scanning, e.g. we are only scanning the "containers" part of our system. + +In [Day 14](day14.md) we learned what container image vulnerability scanning and how it makes us more secure. +Then in [Day 15](day15.md) we learned more about that and on Days [21](day21.md) and [22](day22.md) we learned how to integrate the scanning process into our CI/CD pipelines +so that it is automatic and enforced. + +Today, we are going to look at other techniques of scanning and securing containers. +Vulnerability scanning is important, but is not a silver bullet and not a guarantee that you are secure. + +There are a few reasons for that. + +First, image scanning only shows you the list of _known_ vulnerabilities. +There might be many vulnerabilities which have not been discovered, but are still there and could be exploited. + +Second, the security of our deployments depends not only on the image and number of vulnerabilities, but also on the way we deploy that image. +For example, if we deploy an insecure application on the open internet where everyone has access to it, or leave the default SSH port and password of our VM, +then it does not matter whether our container has vulnerabilities or not, because the attackers will use the other holes in our system to get in. + +That is why today we are going to take a look at few other aspects of containers vulnerability scanning. + +## Host Security + +Containers run on hosts. + +Docker containers run on hosts that have the Docker Daemon installed. +Same is true for containerd, podman, cri-o, and other container runtimes. + +If your host is not secured, and someone manages to break it, they will probably have access to your containers and be able to start, stop, modify them, etc. + +That is why it's important to secure the host and secure it well. + +Securing VMs is a deep topic I will not go into today, but the most basic things you can do are: + +- limit the visibility of the machine on the public network +- if possible use a Load Balancer to access your containers, and make the host machine not visible on the public internet +- close all unnecessary ports +- use strong password for SSH and RDP + +In the bottom of the article I will link 2 articles from AWS and VMware about VM security. + +## Network Security + +Network security is another deep topic, which we will look into in better detail [tomorrow](day27.md). + +At a minimum, you should not have network exposure you don't need. +E.g. if Container A does not need to make network calls to Container B, it should not be able to make this calls at a first place. + +In Docker you can define [different network drivers](https://docs.docker.com/network/) that can help you with this. +In Kubernetes there are [network policies](https://kubernetes.io/docs/concepts/services-networking/network-policies/) that limit which container has access to what. + +## Security misconfiguration + +When working with containers, there are a few security misconfiguration which you can make that can put you in danger of being hacked. + +### Capabilities + +One such thing is giving your container excessive capabilities. + +[Linux capabilities](https://man7.org/linux/man-pages/man7/capabilities.7.html) determine what syscalls you container can execute. + +The best practice is to be aware of the capabilities your containers need and assign them only them. +That way you will be sure that a left-over capability that was never needed was not abused by an attacker. + +In practice, it is hard to know what capabilities exactly your containers need, because that involves complex monitoring of your container over time. +Even the developers that wrote the code are probably not aware of what capabilities exactly are needed to perform the actions that they code is doing. +That is so, because capabilities are a low-level construct and developers usually write higher-level code. + +However, it is good to know which capabilities you should avoid assigning to your containers, because they are too overpowered and give it too many permissions. + +One such capability is `CAP_SYS_ADMIN` which is way overpowered and can do a lot of things. +Even the Linux docs of this capability warn you that you should not be using this capability if you can avoid it. + +### Running as root + +Running containers as root is a really bad practice and it should be avoided as much as possible. + +Of course, there might be situations in which you _must_ run containers as root. +One such example are the core components of Kubernetes, which run as root containers, because they need to have a lot of priviledges on the host. + +However, if you are running a simple web server, or something like this, you should not have the need to run the container as root. + +Running a container as root means that basically you are throwing away all the isolation containers give you, as a root container have almost full control over the host. + +A lot of container runtime vulnerabilities are only applicable if containers are running as root. + +Tools like [falco](https://github.com/falcosecurity/falco) and [kube-bench](https://github.com/aquasecurity/kube-bench) will warn you if you are running containers as root, so that you can take actions and change that. + +### Resource limits + +Not defining resource limits for your containers can lead to a DDoS attack that brings down your whole infrastructure. + +When you are being DDoS-ed the workload starts consuming more memory and CPU. +If that workload is a container with no limits, at some point it will drain all the available resources from the host and there will be none left for the other containers on that host. +At some point, the whole host might go down, which will lead to more pressure on your other hosts and can have a domino effect on your whole infra. + +If you have sensible limits for your container, it will consume them, but the orchestrator would not give him more. +At some point, the container will die due to lack of resources, but nothing else will happen. +Your host and other containers will be safe. + +## Summary + +Containers Vulnerability Scanning is more than just scanning for CVEs. +It includes things like proper configuration, host security, network configuration, etc. + +There is not one tool that can help with this, but there are open source solutions that you can combine to achieve the desired results. + +Most of these lessons are useful no matter the orchestrator you are using. +You can be using Kubernetes, OpenShift, AWS ECS, Docker Compose, VMs with Docker, etc. +The basics are the same, and you should adapt them to the platform you are using. + +Some orchestrators give you more features than others. +For example, Kubernetes has [dynamic admission controllers](https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/) that lets you define custom checks for your resources. +As far as I am aware, Docker Compose does not have something like this, but if you know what you want to achieve it should not be difficult to write your own. + +## Resources + +[This article](https://sysdig.com/blog/container-security-best-practices/) by Sysdig contains many best practices for containers vulnerability scanning. + +Some of them like container image scanning and Infrastructure-as-Code scanning we already mentioned in previous days. +It also includes other useful things like [Host scanning](https://sysdig.com/blog/vulnerability-assessment/#host), [real-time logging and monitoring](https://sysdig.com/blog/container-security-best-practices/#13) and [security misconfigurations](https://sysdig.com/blog/container-security-best-practices/#11). + +More on VM security: + + + + +See you on [Day 27](day27.md). diff --git a/2023/day27.md b/2023/day27.md index e69de29..8e51b94 100644 --- a/2023/day27.md +++ b/2023/day27.md @@ -0,0 +1,86 @@ +# Network Vulnerability Scan + +On [Day 25](day25.md) we learned that vulnerability scanning is the process of scanning a network or system to identify any existing security vulnerabilities. +We also learned that Network Vulnerability Scanning is a subset of Systems Vulnerability Scanning, e.g. we are only scanning the network part of our system. + +Today we are going to dive deeper into what Network Vulnerability Scanning is and how we can do it. + +## Network Vulnerability Scanning + +**Network vulnerability scanning** is the process of identifying weaknesses on a network that is a potential target for exploitation by threat actors. + +Once upon a time, before the cloud, network security was easy (sort of, good security is never easy). +You build a huge firewall around your data center, allow traffic only to the proper entrypoints and assume that everything that managed to get inside is legitimate. + +This approach has one huge flaw - if an attacker managed to get through the wall, there are no more lines of defence to stop them. + +Nowadays, such an approach would work even less. +With the cloud and microservices architecture, the actors in a network has grown exponentially. + +This requires us to change our mindset and adopt new processes and tools in building secure systems. + +One such process is **Network Vulnerability Scanning**. +The tool that does that is called **Network Vulnerability Scanner**. + +## How does network vulnerability scanning work? + +Vulnerability scanning software relies on a database of known vulnerabilities and automated tests for them. +A scanner would scan a wide range of devices and hosts on your networks, identifying the device type and operating system, and probing for relevant vulnerabilities. + +A scan may be purely network-based, conducted from the wider internet (external scan) or from inside your local intranet (internal scan). +It may be a deep inspection that is possible when the scanner has been provided with credentials to authenticate itself as a legitimate user of the host or device. + +## Vulnerability management + +After a scan has been performed and has found vulnerabilities, the next step is to address them. +This is the vulnerability management phase. + +A vulnerability could be marked as false positive, e.g. the scanner reported something that is not true. +It could be acknowledged and then assessed by the security team. + +Many vulnerabilities can be addressed by patching, but not all. +A cost/benefit analysis should be part of the process because not all vulnerabilities are security risks in every environment, and there may be business reasons why you can’t install a given patch. +It would be useful if the scanner reports alternative means to remediate the vulnerability (e.g., disabling a service or blocking a port via firewall). + +## Caveats + +Similar to container image vulnerability scanning, network vulnerability scanning tests your system for _known_ vulnerabilities. +So it will not find anything that is not already reporter. + +Also, it will not protect you from something like exposing your admin panel to the internet and using the default password. +(Although I would assume that some network scanner are smart enough to test for well-known endpoints that should not be exposed). + +At the end of the day, it's up to you to know your system, and to know the way to test it, and protect it. +Tools only go so far. + +## Network Scanners + +Here is a list of network scanners that can be used for that purpose. + +**NOTE:** The tools on this list are not free and open-source, but most of them have free trials, which you can use to evaluate them. + +- [Intruder Network Vulnerability Scanner](https://www.intruder.io/network-vulnerability-scanner) +- [SecPod SanerNow Vulnerability Management](https://www.secpod.com/vulnerability-management/) +- [ManageEngine Vulnerability Manager Plus](https://www.manageengine.com/vulnerability-management/) +- [Domotz](https://www.domotz.com/features/network-security.php) +- [Microsoft Defender for Endpoint](https://www.microsoft.com/en-us/security/business/endpoint-security/microsoft-defender-endpoint) +- [Rapid7 InsightVM](https://www.rapid7.com/products/insightvm/) + +## Summary + +As with all the security processes we talked about in the previous day, network scanning is not a silver bullet. +Utilizing a network scanner would not make you secure if you are not taking care of the other aspects of systems security. + +Also, using a tool like a network scanner does not mean that you don't need a security team. + +Quite, the opposite, a good Secure SDLC starts with enabling the security team to run that kind of tool againts the system. +Then they would also be responsible for triaging the results and working with the revelant teams that need to fix the vulnerabilities. +That will be done by either patching up the system, closing a hole that is not necessary, or re-architecturing the system in a more secure manner. + +## Resources + + + + + +See you on [Day 28](day28.md). diff --git a/2023/day28.md b/2023/day28.md index e69de29..61ba4eb 100644 --- a/2023/day28.md +++ b/2023/day28.md @@ -0,0 +1,148 @@ +# Introduction to Runtime Defence & Monitoring + +Welcome to all the DevOps and DevSecOps enthusiasts! 🙌 + +We are here to learn about "Runtime defence". This is a huge subject, but we are not deterred by it and will learn about it together in the next 7 days. + +![](images/day28-0.png) + +This subject was split into major parts: +* Monitoring (1st and 2nd day) +* Intrusion detection +* Network defense +* Access control +* Application defense subjects (6th and 7th days) + +The goal is to get you up to a level in these subjects, where you can start to work on your own. + +Let's start 😎 + +# System monitoring and auditing + +## Why this is the first subject of the topic "Runtime defense and monitoring" subject? + +Monitoring computer systems is a fundamental tool for security teams, providing visibility into what is happening within the system. Without monitoring, security teams would be unable to detect and respond to security incidents. + +To illustrate this point, consider physical security. If you want to protect a building, you must have security personnel 24/7 at every entrance to control who is entering the building. In this same example, you are also tasked with controlling the security of everyone in the building therefore you must also have personnel all around. Of course, this is not scaling well therefore installing CCTV cameras at key places is a much better solution today. + +While scaling such physical security measures is difficult, for computer systems, it is easier to achieve through the installation of monitoring tools. Monitoring provides a basic level of control over the system, allowing security teams to detect problems, understand attack patterns, and maintain overall security. Beyond monitoring, there are additional security measures such as detection systems, which we can discuss further. + +Elaborating on this, here are the key reasons why monitoring is important for runtime security include: + +* Identifying security incidents: Monitoring can help organizations detect potential security incidents such as malware infections, unauthorized access attempts, and data breaches. + +* Mitigating risks: By monitoring for signs of security threats, organizations can take action to mitigate those risks before they lead to a breach or other security incident. + +* Complying with regulations: Many industries are subject to regulatory requirements that mandate certain security controls, including monitoring and incident response. + +* Improving incident response: Monitoring provides the necessary data to quickly identify and respond to security incidents, reducing the impact of a breach and allowing organizations to recover more quickly. + +* Gaining visibility: Monitoring provides insight into system activity, which can be used to optimize performance, troubleshoot issues, and identify opportunities for improvement. + +## What to monitor and record? + +In theory, the ideal solution would be to log everything that is happening in the system and keep the data forever. + +However, this is not practical. Let's take a look at what needs to be monitored and what events need to be recorded. + +When monitoring cloud-based computer services, there are several key components that should be closely monitored to ensure the system is secure and operating correctly. These components include: + +Control plane logging: all the orchestration of the infrastructure is going through this control plane, it is crucial to always know who did what at the infrastructure level. It does not just enable the identification of malicious activity but also enables troubleshooting of the system. + +Operating level logs: log operating system level events to track system activity and detect any errors or security-related events, such as failed login attempts or system changes. Deeper logs contain information about which use does what on the machine level which is important for identifying malicious behavior. + +Network activity: Monitor network traffic to identify any unusual or unauthorized activity that could indicate an attack or compromise of the network. + +Application activity and performance: Monitor application activity to detect misbehavior in case the attack is coming from the application level. Performance monitoring is important to ensure that services are running smoothly and to respond to any performance issues that may arise. + +Resource utilization: Monitor the use of system resources such as CPU, memory, and disk space to identify bottlenecks or other performance issues. Unusual activity can be a result of denial of service-like attacks or attackers using computation resources for their good. + +Security configurations: Monitor security configurations, such as firewall rules and user access controls, to ensure that they are correctly configured and enforced. + +Backup and disaster recovery systems: Monitor backup and disaster recovery systems to ensure that they are operating correctly and data can be recovered in the event of a failure or disaster. + +## A practical implementation + +In this part, we move from theory to practice. + +There isn't a silver bullet here, every system has its tools. We will work on Kubernetes as infrastructure with [Microservices demo](https://github.com/GoogleCloudPlatform/microservices-demo) application. + +### Control plane monitoring + +Kubernetes has an event auditing infrastructure called [audit logs](https://kubernetes.io/docs/tasks/debug/debug-cluster/audit/). + +Kubernetes API server has a configuration called `Audit Policy` which tells the API server what to log. The log can either be stored in a file or sent to a webhook. + +We are using Minikube in our example, and for the sake of testing this, we will send the audit logs to the `stdout` of the API server (which is its log). + +```bash +mkdir -p ~/.minikube/files/etc/ssl/certs +cat < ~/.minikube/files/etc/ssl/certs/audit-policy.yaml +# Log all requests at the Metadata level. +apiVersion: audit.k8s.io/v1 +kind: Policy +rules: +- level: RequestResponse +EOF +minikube start --extra-config=apiserver.audit-policy-file=/etc/ssl/certs/audit-policy.yaml --extra-config=apiserver.audit-log-path=- +``` + +You can follow the logs with this Kubectl command: +```bash +kubectl logs kube-apiserver-minikube -n kube-system | grep audit.k8s.io/v1 +``` + +Every API operation is logged to the stream. + +Here is an example of an event "getting all secrets in default namespace": +```json +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"RequestResponse","auditID":"8e526e77-1fd9-43c3-9714-367fde233c99","stage":"RequestReceived","requestURI":"/api/v1/namespaces/default/secrets?limit=500","verb":"list","user":{"username":"minikube-user","groups":["system:masters","system:authenticated"]},"sourceIPs":["192.168.49.1"],"userAgent":"kubectl/v1.25.4 (linux/amd64) kubernetes/872a965","objectRef":{"resource":"secrets","namespace":"default","apiVersion":"v1"},"requestReceivedTimestamp":"2023-02-11T20:34:11.015389Z","stageTimestamp":"2023-02-11T20:34:11.015389Z"} +``` + +As you can see, all key aspects of the infrastructure request are logged here (who, what, when). + +Storing this in a file is not practical. Audit logs are usually shipped to a logging system and database for later use. Managed Kubernetes services use their own "cloud logging" service to capture Kubernetes Audit logs. In native Kubernetes, you could use Promtail to ship logs to Prometheus as described [here](https://www.bionconsulting.com/blog/monitoring-and-gathering-metrics-from-kubernetes-auditlogs). + +### Resource monitoring + +Kubernetes ecosystem enables multiple ways to monitor resources and logging, however, the most common example is Prometheus (logging and event database) and Grafana (UI and dashboards). These two open-source tools are an easy one-stop shop for multiple tasks around monitoring. + +Out of the box, we will get resource monitoring Kubernetes nodes. + +Here is how we are installing it on the Minikube we started in the previous part. Make sure, you have `helm` installed before. + +```bash +helm repo add prometheus-community https://prometheus-community.github.io/helm-charts +helm repo add grafana https://grafana.github.io/helm-charts +helm install prometheus prometheus-community/prometheus +helm install grafana grafana/grafana +kubectl expose service grafana --type=NodePort --target-port=3000 --name=grafana-np +``` + +Now, these services should be installed. + +To access Grafana UI, first, get the first password + +```bash +kubectl get secret --namespace default grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo +``` + +Then login to the UI +```bash +minikube service grafana-np --url +``` + +![](images/day28-1.png) + +After you have logged in, go to "Data sources/Prometheus" and add our Prometheus service as a source. The URL has to be set to `http://prometheus-server` and click "save & test". + +Now, to set up resource dashboards, go to the "Dashboards" side menu and choose "Import". Here you can import premade dashboard. For example node metrics can be imported by putting the number `6126` in the field `Import via grafana.com` and clicking the `Load` button. + +![](images/day28-2.png) + +Browse Grafana for more dashboards [here](https://grafana.com/grafana/dashboards/). + +# Next... + +Tomorrow we will continue to the application level. Application logs and behavior monitoring will be in focue. We will continue to use the same setup and go deeper into the rabbit hole 😄 +See you on [Day 29](day29.md). diff --git a/2023/day29.md b/2023/day29.md index e69de29..245e750 100644 --- a/2023/day29.md +++ b/2023/day29.md @@ -0,0 +1,133 @@ +# Recap + +Last day we discussed why monitoring, logging and auditing are the basics of runtime defense. In short: you cannot protect a live system without knowing what is happening. We built a Minikube cluster yesterday with Prometheus and Grafana. We are continuing to build over this stack today. +Let's start 😎 + +# Application logging + +Application logs are important from many perspectives. This is the way operators know what is happening inside applications they run on their infrastructure. For the same reason, keeping application logs is important from a security perspective because they provide a detailed record of the system's activity, which can be used to detect and investigate security incidents. + +By analyzing application logs, security teams can identify unusual or suspicious activity, such as failed login attempts, access attempts to sensitive data, or other potentially malicious actions. Logs can also help track down the source of security breaches, including when and how an attacker gained access to the system, and what actions they took once inside. + +In addition, application logs can help with compliance requirements, such as those related to data protection and privacy. By keeping detailed logs, organizations can demonstrate that they are taking the necessary steps to protect sensitive data and comply with regulations. + +Loki is a component in the Grafana stack which collects logs using Promtail for Pods running in the Kubernetes cluster and stores them just as Prometheus does for metrics. + +To install Loki with Promtail on your cluster, install the following Helm chart. + +```bash +helm install loki --namespace=monitoring grafana/loki-stack +``` + +This will put a Promtail and a Loki instance in your Minikube and will start collecting logs. Note that this installation in not production grade and it is here to demonstrate the capabilities. + +You should be seeing the Pods are ready: +```bash +$ kubectl get pods | grep loki +loki-0 1/1 Running 0 8m25s +loki-promtail-mpwgq 1/1 Running 0 8m25s +``` + +Now go to your Grafana UI (just as we did yesterday): + +```bash +kubectl get secret --namespace default grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo +minikube service grafana-np --url +``` + +Take the secret of the admin password (if you haven't changed it already) and print the URL of the service, then go to the URL and log in. + +In order to see the logs in Grafana, we need to hook up Loki as a "data source" just as we did yesterday with Prometheus. + +![](images/day29-1.gif) + +Now add here a new Loki data source. + +The only thing that needs to be changed in the default configuration is the endpoint of the Loki service, in our case it is http://loki:3100, see it below: + +![](images/day29-2.png) + +Now click "Save & test" and your Grafana should be now connected to Loki. + +You can explore your logs in the "Explore" screen (click Explore in the left menu). + +To try our centralized logging system, we are going to check when Etcd container did compactization in the last hour. + +Choose Loki source on the top of the screen (left of the explore title) and switch from query builder mode (visual builder) to code. + +Add the following line in the query field: +``` +{container="etcd"} |= `compaction` +``` +and click "run query" on the top right part of the screen. + +You should see logs in your browser, like this: + +![](images/day29-3.png) + + +Voila! You have a logging system ;-) + + +# Application behavior monitoring + +We start to come over from general monitoring needs to low-level application monitoring for security purposes. A modern way to do this is to monitor fine-grade application behavior using eBPF. + +Monitoring applications with eBPF (extended Berkeley Packet Filter) is important from a security perspective because it provides a powerful and flexible way to monitor and analyze the behavior of applications and the underlying system. Here are some reasons why eBPF is important for application monitoring and security: + +1. Fine-grained monitoring: eBPF allows for fine-grained monitoring of system and application activity, including network traffic, system calls, and other events. This allows you to identify and analyze security threats and potential vulnerabilities in real-time. + +2. Relatively low overhead: eBPF has very low overhead, making it ideal for use in production environments. It can be used to monitor and analyze system and application behavior without impacting performance or reliability at scale. + +3. Customizable analysis: eBPF allows you to create custom analysis and monitoring tools that are tailored to the specific needs of your application and environment. This allows you to identify and analyze security threats and potential vulnerabilities in a way that is tailored to your unique needs. + +4. Real-time analysis: eBPF provides real-time analysis and monitoring, allowing you to detect and respond to security threats and potential vulnerabilities as they occur. This helps you to minimize the impact of security incidents and prevent data loss or other negative outcomes. + +Falco is a well-respected project which installs agents on your Kubernetes nodes and monitors applications at the eBPF level. + +In this part, we will install Falco in our Minikube and channel the data it collects to Prometheus (and eventually, Grafana). This part is based on this great [tutorial](https://falco.org/blog/falco-kind-prometheus-grafana/). + +In order to install Falco, you need to create private keys and certificates for client-server communication between the Falco and its exporter. + +We will use `falcoctl` for this, however you could generate your certificates and keys with `openssl` if you want. + +To install `falcoctl`, run the following command (if you are running Linux on amd64 CPU, otherwise check out [here](https://github.com/falcosecurity/falcoctl#installation)): +```bash +LATEST=$(curl -sI https://github.com/falcosecurity/falcoctl/releases/latest | awk '/location: /{gsub("\r","",$2);split($2,v,"/");print substr(v[8],2)}') +curl --fail -LS "https://github.com/falcosecurity/falcoctl/releases/download/v${LATEST}/falcoctl_${LATEST}_linux_amd64.tar.gz" | tar -xz +sudo install -o root -g root -m 0755 falcoctl /usr/local/bin/falcoctl +``` + +Now generate key pair: +```bash +FALCOCTL_NAME=falco-grpc.default.svc.cluster.local FALCOCTL_PATH=$PWD falcoctl tls install +``` + +We need to add Falco Helm repo and install the Falco services and the exporter: +```bash +helm repo add falcosecurity https://falcosecurity.github.io/charts +helm repo update +helm install falco falcosecurity/falco --set driver.kind=ebpf --set-file certs.server.key=$PWD/server.key,certs.server.crt=$PWD/server.crt,certs.ca.crt=$PWD/ca.crt --set falco.grpc.enabled=true,falco.grpcOutput.enabled=true,falco.grpc_output.enabled=true +helm install falco-exporter --set-file certs.ca.crt=$PWD/ca.crt,certs.client.key=$PWD/client.key,certs.client.crt=$PWD/client.crt falcosecurity/falco-exporter +``` + +Make sure that all Falco Pods are running OK +```bash +$ kubectl get pods | grep falco +falco-exporter-mlc5h 1/1 Running 3 (32m ago) 38m +falco-mlvc4 2/2 Running 0 31m +``` + +Since Prometheus detects the exporter automatically and we already added the Prometheus data source, we can go directly to Grafana and install the [Falco dashboard](https://grafana.com/grafana/dashboards/11914-falco-dashboard/). + +Go to "Dashboard" left side menu and click import. In "Import via grfana.com" insert the ID `11914` and click "load". + +Now you should see Falco events in your Grafana! 😎 + +![](images/day29-4.png) + + +# Next... + +Next day we will look into how to detect attacks in runtime. +See you tomorrow 😃 [Day 30](day30.md). diff --git a/2023/day30.md b/2023/day30.md index e69de29..f5c89ab 100644 --- a/2023/day30.md +++ b/2023/day30.md @@ -0,0 +1,116 @@ +# Recap + +We were deep yesterday in setting up Falco in our Minikube. It is a great tool for detecting application and container behavior during runtime. We took its output and exported it to our Prometheus instance in the cluster and viewed the results in a dedicated Grafana dashboard. + +Today, we are going to set up some rules and alerts in Falco and see how detection and alerting work. + +Is your coffee around? Have your hacker hoodie on you? Let's do it 😈 + +# Runtime detection with Falco + +Falco is a powerful open-source tool that is designed for Kubernetes runtime security. Here are some reasons why Falco is a good choice for securing your Kubernetes environment. Falco provides real-time detection of security threats and potential vulnerabilities in your Kubernetes environment. It uses a rule-based engine to detect and alert suspicious activity, allowing you to quickly respond to security incidents. + +Falco allows you to create custom rules that are tailored to the specific needs of your environment. This allows you to detect and respond to security threats and potential vulnerabilities in a way that is tailored to your unique needs. Falco provides rich metadata about security events, including information about the container, pod, namespace, and other details. This makes it easy to investigate and respond to security incidents. + +## Using built-in rules to detect malicious events + +By this time you should have all the moving parts in place: +* Prometheus +* Grafana +* Falco + +Let's do something that is somewhat unusual for a production system. We will open a shell on a workload and install a package during runtime of the container. + +Let's install a minimalistic Nginx deployment: +```bash +kubectl create deployment nginx --image=nginx:1.19 +``` + +Now open a shell inside the Pod of the Nginx deployment: +```bash +kubectl exec -it `kubectl get pod | grep nginx | awk '{print $1}'` -- bash +``` + +And install a "curl" on the Pod using APT: +```bash +apt update && apt install -y curl +``` + +Since we are using Falco to monitor application behavior it should see all these activities, and it does! Let's go to our Grafana back (see previous days to see how to reconnect). + +In Grafana, go to the "explore" screen. Make sure that you use the Prometheus data source. + +In the query builder select metric "falco_events" and label filter "k8s_pod_name" and set the filter to your Nginx Pod name. + +You will now see all the Falco events from this Pod + +![](images/day30-1.png) + +Note the rules that cause the events, among them you'll see "Launch Package Management Process in Container" rule that failed. This event was generated due to our `apt install` command above. + + +Take note here to appreciate the potential here. By installing this well proven open-source stack you can create a complete runtime monitoring system and know what is happening in real-time in the systems you want to monitor an protect! + + +## Creating custom rules + + +Let's say you or your security team wants to know if a the CLI tool `curl` has been invoked in one of Pods (which should rarely happen in a production cluster, but an attacker would use it to report back information to her/himself). + +We need to write a "Falco rule" to detect it. + +Here are the basic steps to add a custom Falco rule: + +### Create the rule +First, create a new rule file that defines the behavior you want to detect. Falco rules are written in YAML format and typically include a description of the behavior, a set of conditions that trigger the rule, and an output message that is generated when the rule is triggered. + +To detect that the "apt" command is executed using a Falco rule, you could create a new rule file with the following content: + +```yaml +customRules: + rules-curl.yaml: |- + - rule: DetectCurlCommandExecution + desc: Detects the execution of the "curl" command + condition: spawned_process and proc.name == curl + output: "Curl command executed: %proc.cmdline" + priority: WARNING +``` + +Let's dive a little bit into what we have here. + +Falco instruments events in the Linux kernel and sends them to its rule engine. The rule engine goes over all the rules and tries to match them to the event. If a matching event is found, Falco itself fires a rule based event. These are the entries we see in Prometheus/Grafana. In our custom rule, the `condition` field if the "heart" of the rule and it is used to match the rule to the event. + +In this case, we have used a macro called `spawned_process` which evaluates to `true` if the event is system call from the user-space to the kernel for spawning a new process (`execve` and friends). The second condition is on the name of the new process, which matches `curl`. + +To install this new rule, use the following Helm command to add it to our current deployment: +```bash +helm upgrade --install falco falcosecurity/falco --set driver.kind=ebpf --set-file certs.server.key=$PWD/server.key,certs.server.crt=$PWD/server.crt,certs.ca.crt=$PWD/ca.crt --set falco.grpc.enabled=true,falco.grpcOutput.enabled=true,falco.grpc_output.enabled=true -f +``` + +Make sure that Falco Pod restarted and running correctly. + +Let's return to our shell inside the Nginx pod. +```bash +kubectl exec -it `kubectl get pod | grep nginx | awk '{print $1}'` -- bash +``` + +We have installed here `curl` before, so we can invoke it now and simulate a malicious behavior. +```bash +curl https://google.com +``` + +Falco with our new rule should have picked up this event, so you should go back to Grafana and check the Falco dashboard: + + +![](images/day30-2.png) + +Voila! + +You have implemented and applied a custom rule in Falco!!! + +I hope this part gave you an insight into how this system works. + +# Next + +Tomorrow we will move away from the world of applications and go to the network layer, see you then! +Unto [Day 31](day31.md). diff --git a/2023/day31.md b/2023/day31.md index e69de29..4b06687 100644 --- a/2023/day31.md +++ b/2023/day31.md @@ -0,0 +1,92 @@ +# Network security in runtime + +Network security is crucial in the context of runtime protection as it aims to safeguard the communication channels between different components of an application or system. In a modern microservices-based architecture, where an application is comprised of several smaller services communicating with each other over the network, securing the network becomes even more critical. + +One of the main reasons network security is essential in this context is to prevent attackers from exploiting network vulnerabilities, spreading in a system and gaining unauthorized access to sensitive data or systems. For instance, if an attacker is successful in intercepting the communication between two microservices, they can easily eavesdrop on the sensitive information exchanged between them or even manipulate the data, potentially leading to a significant security breach. + +Moreover, network security also helps in protecting against distributed denial-of-service (DDoS) attacks, where the attacker overwhelms the network with a large number of requests or traffic, making the application or system unavailable. By implementing network security controls such as firewalls, intrusion detection/prevention systems (IDS/IPS), and load balancers, organizations can mitigate the risk of DDoS attacks and ensure the availability of their services. + +Additionally, network security is essential in compliance with industry and regulatory standards, such as the Payment Card Industry Data Security Standard (PCI DSS), General Data Protection Regulation (GDPR), and Health Insurance Portability and Accountability Act (HIPAA). These standards mandate the protection of sensitive data during its transmission over the network, and organizations must implement appropriate security controls to comply with these standards. + +## Network security basics +Network security is a broad field, but it's important to cover the basics so everyone is on the same page. This could include topics such as network topologies, network protocols (such as TCP/IP), firewalls, and access control mechanisms like ACLs and RBAC. You should also cover the OSI model, which is a conceptual model that describes how network protocols work. Understanding the OSI model is essential for troubleshooting network issues and implementing network security measures. + +## Kubernetes network architecture +Kubernetes uses a complex network architecture to manage network traffic between Pods and Services. It's important to understand this architecture in order to secure it. At a high level, the Kubernetes network consists of a cluster-wide Pod network and a Service network. The Pod network allows Pods to communicate with each other, while the Service network provides a stable IP address and DNS name for a set of Pods. Kubernetes also supports Ingress, which is used to route external traffic into the cluster. Ingress is typically secured using TLS encryption and client authentication. + +## Network policies +Kubernetes Network Policies allow you to control network traffic between Pods and Services. You can use Network Policies to limit the attack surface of your cluster, for example by blocking traffic from Pods that are not part of your application. Network Policies use selectors to specify which Pods or Services they apply to, and can be configured to allow or deny traffic based on a variety of criteria, such as IP addresses, port numbers, or protocols. + +## Container networking +Containers are isolated from each other by default, but they can still communicate over the network. Container networking can be complex, especially when using container orchestration platforms like Kubernetes. It's important to understand how container networking works in order to secure it. Kubernetes uses a variety of networking plugins to enable communication between Pods, such as Calico, Weave Net, and Flannel. These plugins can be configured to use different networking modes, such as host networking, bridge networking, or overlay networking. + +## Service mesh security +Service meshes like Istio and Linkerd are becoming increasingly popular in Kubernetes environments. Service meshes provide advanced traffic management features, such as load balancing, traffic shaping, and circuit breaking. They also provide security features such as mutual TLS authentication, RBAC, and traffic management. It's important to understand the principles of service mesh security, including how to configure and manage these features. + +## Network monitoring and logging +Network monitoring and logging are critical for detecting and responding to security incidents. You should cover best practices for network monitoring and logging in Kubernetes, including the use of tools like Falco, Prometheus, and Grafana. Falco is a runtime security tool that can be used to detect suspicious behavior in Kubernetes, while Prometheus and Grafana can be used for monitoring and alerting. + +## Zero trust networking +Zero trust networking is a security model that assumes all network traffic is untrusted, and requires authentication and authorization for every connection. Zero trust networking can be implemented in Kubernetes using tools like Istio, which provides mutual TLS authentication and RBAC features. You should cover the principles of zero trust networking, including how to implement it in Kubernetes, and how it can help to improve security in your environment. + +# Kubernetes native network policies + +Kubernetes native network policies are a mechanism for enforcing network segmentation and controlling the communication between pods in a Kubernetes cluster. Network policies allow administrators to define rules that specify which pods can communicate with each other based on their labels. + +Network policies use labels to select pods and define rules to allow or deny traffic between them. The labels can be applied to the pods themselves or to their associated services. By default, Kubernetes denies all incoming and outgoing network traffic between pods, and network policies allow administrators to selectively open up communication between specific pods or groups of pods. + +In the context of network security, ingress and egress policies are used to control traffic that enters and exits a network or a specific network segment. In Kubernetes, these policies are implemented using Network Policies. + +### Ingress +An ingress policy specifies the rules that control incoming traffic to a network or network segment. These policies define what types of traffic are allowed to enter the network, from which sources, and through which ports. In Kubernetes, an ingress policy is applied to a specific set of pods or namespaces, and it can be used to allow or deny incoming traffic from other pods or external sources. + + +### Egress +An egress policy, on the other hand, controls the outgoing traffic from a network or network segment. Egress policies are used to restrict what types of traffic are allowed to leave the network, and to which destinations. In Kubernetes, an egress policy is also applied to a specific set of pods or namespaces, and it can be used to allow or deny outgoing traffic to other pods or external destinations. + +### Creating policies +To create a network policy, you first need to create a YAML file that defines the policy. The YAML file should specify the pods or pod selectors to which the policy applies, and the rules to allow or deny traffic between them. Here's an example YAML file for a network policy that allows traffic between pods with the label `app=frontend` and denies traffic to all other pods: + +```yaml +apiVersion: networking.k8s.io/v1 +kind: NetworkPolicy +metadata: + name: frontend-policy +spec: + podSelector: + matchLabels: + app: frontend + policyTypes: + - Ingress + ingress: + - from: + - podSelector: {} +``` + +In this example, the `podSelector` section specifies that the policy applies to all pods with the label `app=frontend`. The `policyTypes` section specifies that the policy applies to incoming traffic (Ingress), and the ingress section specifies that all pods can receive traffic from pods that match the `podSelector`. + +Once you've created the YAML file, you can apply the network policy to your Kubernetes cluster using the kubectl apply command: + +```bash +kubectl apply -f .yaml +``` + +After applying the network policy, traffic will be restricted between pods based on the rules defined in the policy. Kubernetes network policies are enforced by network plugins, which may vary depending on the platform and environment in which Kubernetes is running. Some popular network plugins that support Kubernetes network policies include Calico, Cilium, and Weave Net. Note, that if you want to test this on Minikube, you will need to enable Calico CNI (`minikube start --cni calico`) since the default CNI implementation does not support it. + +In summary, Kubernetes native network policies are a mechanism for enforcing network segmentation and controlling communication between pods in a Kubernetes cluster. Network policies use labels to select pods and define rules to allow or deny traffic between them. You can create a network policy by defining a YAML file that specifies the policy's rules, and then apply the policy to your cluster using the kubectl apply command. + +# Network monitoring in Kubernetes + +There are several tools available to monitor network traffic in Kubernetes, each with their own set of features and capabilities. Here are a few popular tools that you can use to monitor network traffic in Kubernetes: + +* Cilium: Cilium is a powerful networking and security solution for Kubernetes that provides observability, security, and networking services for your Kubernetes cluster. Cilium can monitor network traffic at the container and pod level, and provide detailed insights into the traffic flows between pods and services. Cilium also provides network policies and can enforce them at the kernel level using eBPF technology. + +* Istio: Istio is a service mesh for Kubernetes that provides traffic management, observability, and security features for your Kubernetes applications. Istio includes a powerful sidecar proxy called Envoy that can capture and monitor network traffic between your Kubernetes services, and provides rich observability features such as distributed tracing and metrics. + +* Calico: Calico is a popular networking and security solution for Kubernetes that provides network policies, observability, and security features for your Kubernetes cluster. Calico includes a powerful network policy engine that allows you to define and enforce policies at the pod and namespace level, and provides detailed insights into network traffic flows. + +* Weave Scope: Weave Scope is a Kubernetes monitoring and visualization tool that allows you to monitor your Kubernetes network and applications in real time. Weave Scope includes a network traffic view that allows you to visualize the traffic flows between your Kubernetes services and pods, and provides rich insights into your Kubernetes infrastructure. + +These are just a few examples of the many tools available for monitoring network traffic in Kubernetes. When selecting a tool, consider the specific needs of your application and infrastructure, and choose a tool that provides the features and capabilities that best fit your requirements. + +See you on [Day 32](day32.md). \ No newline at end of file diff --git a/2023/day32.md b/2023/day32.md index e69de29..82ca171 100644 --- a/2023/day32.md +++ b/2023/day32.md @@ -0,0 +1,116 @@ +# Vulnerability and patch management + +Vulnerability and patch management is a crucial process for ensuring the security of computer systems and networks. In simple terms, it involves identifying, prioritizing, and addressing weaknesses or flaws in software and hardware systems that can be exploited by attackers to gain unauthorized access or perform other malicious activities. + +Vulnerabilities can arise due to various reasons, such as coding errors, configuration mistakes, or design flaws. Once a vulnerability is known, attackers may use it to gain access or steal data. This is why it is essential to identify and prioritize vulnerabilities and take necessary steps to mitigate them by applying patches or updates released by vendors. + +To effectively manage vulnerabilities and patches, DevOps teams need to have a system in place for identifying and prioritizing vulnerabilities. This can be achieved through the use of vulnerability scanners or manual assessments. After prioritizing vulnerabilities, teams need to assess their level of risk and plan for their remediation. + +Applying patches or updates to address vulnerabilities is a critical step, and it is important to test patches in a staging environment before deploying them in production. This helps ensure that patches do not introduce new problems or conflicts with other software components. + +To maintain the security of systems over time, ongoing monitoring and review are crucial. This helps identify new vulnerabilities promptly and ensures that systems remain secure. In summary, effective vulnerability and patch management is a key component of a robust cybersecurity strategy for DevOps engineers to help ensure the security and integrity of computer systems and networks. + + +# Monitoring vulnerabilities and misconfigurations + +The first step in vulnerability management is to monitor the current posture in runtime. + +Let's assume the technology stack we have been using: +* Linux/Mac hosts +* Kubernetes (Minikube) +* Containerized applications + +Given this stack, we need to monitor vulnerabilities at the host level, Kubernetes component and configuration and container level. + +## Host-level vulnerability scanning + +There are multiple solutions and projects that can help you find out host vulnerabilities. To decide which one to choose you need to know your constraints and needs. + +A few examples include: +* [AWS Inspector](https://aws.amazon.com/inspector/) which is good if you are running your hosts in AWS EC2. You can turn this on in AWS console or API and get results +* [OpenVAS](https://www.openvas.org/) is an open-source vulnerability scanner, a fork of the "since become closed-source" project Nessus. It container +* [Vuls](https://vuls.io/) another open-source vulnerability scanner and management system. You can install it in a centralized component and let it connect all your host via SSH and scan them. +* [lynis](https://cisofy.com/lynis/) is a simple but powerful scanner for single hosts + +Here is an example, how to scan your machine with `lynis`. We will install it with our package manager: + +Ubuntu/Debian: +```bash +sudo apt install lynis +``` + +RHEL/CentOs: +```bash +sudo yum install lynis +``` + +Now run the host audit: +```bash +sudo lynis audit system +``` + +It will return you a report of your host system with potential security issues: + +![](images/day32-1.png) + +This is great to see to get a first impression of what such a tool can give you, but I encourage you to think about a more complex system where you need to manage multiple hosts and it is preferable to use a centralized solution to overview the whole system (like mentioned in the above examples). + + +## Kubernetes vulnerabilities and misconfigurations + +Managing vulnerabilities in a Kubernetes cluster requires a multi-faceted approach. + +It is important to Kubernetes and its components up-to-date: Make sure that the Kubernetes version and its components (such as etcd, kube-apiserver, kubelet, and others) are up-to-date with the latest patches and security fixes. This can be achieved by following the Kubernetes release notes and upgrading the cluster to the latest version as soon as possible. + +In general, these components are tracked in vulnerability databases like any other project and the host scanner will most likely find related vulnerabilities, so you should able to track them with a good host scanner. + +Auditing Kubernetes configuration is simple and there are multiple tools you can use here: +* Kubescape - CNCF Project for Kubernetes security, its CLI can give you instant feedback about potential security and compliance issues +* Trivy - Aqua Security's open-source scanner used for both image, cloud and Kubernetes scanning +* Checkov - Bridgecrew's open-source tool scanning cloud infrastructure and Kubernetes + + +We will see the simple way to scan our cluster with Kubescape: + +``` +kubescape installation in macOs M1 and M2 chip error fixed + +[kubescape](https://github.com/kubescape/kubescape) + +``` + + + +```bash +curl -s https://raw.githubusercontent.com/kubescape/kubescape/master/install.sh | /bin/bash +kubescape scan --enable-host-scan --verbose +``` + +![](https://raw.githubusercontent.com/kubescape/kubescape/master/docs/img/summary.png) + +## Application vulnerabilities + +Scanning application images is an important aspect of ensuring the security of the entire application stack. Application images are a fundamental part of container-based deployment systems, and they are used to package applications and all their dependencies into a single, deployable artifact. These images are often pulled from public or private repositories and can contain vulnerabilities, misconfigurations, or other security issues that could be exploited by attackers. + +Image scanning tools can analyze images for known vulnerabilities and misconfigurations, as well as other issues such as insecure software libraries, outdated packages, or default passwords. These tools compare the contents of an image with a database of known vulnerabilities and can provide information on the severity of the issue. + +Trivy project has an operator which monitors application vulnerabilities in containers in the Kubernetes cluster. + +It is very easy to install it: +```bash +helm repo add aqua https://aquasecurity.github.io/helm-charts/ +helm repo update +helm install trivy-operator aqua/trivy-operator \ + --namespace trivy-system \ + --create-namespace \ + --set="trivy.ignoreUnfixed=true" \ + --version 0.11.1 +``` + +After the installation you can access the vulnerabilities via CRD with kubectl: +```bash +kubectl get vulnerabilityreports --all-namespaces -o wide +``` +![](images/day32-2.png) + +[Day 33](day33.md). diff --git a/2023/day33.md b/2023/day33.md index e69de29..a7c18a6 100644 --- a/2023/day33.md +++ b/2023/day33.md @@ -0,0 +1,298 @@ +# Application runtime policies + +## Introduction + +Application runtime policies are a set of rules and controls that determine how an application behaves at runtime. These policies are implemented to ensure that an application behaves securely and within the constraints of its intended purpose. + +Some common examples of runtime policies include access controls, and network restrictions. Access controls determine who has access to various parts of an application and what level of access they have. Application policies dictate what system resources an application can consume. Network restrictions can control which network resources an application can access and limit what kind of network traffic it can send or receive. + +Runtime policies can be implemented in several ways, including through the use of security frameworks, application-specific configuration settings, or specialized security software. For example, some web application firewalls (WAFs) are designed to enforce runtime policies for web applications by analyzing incoming traffic and blocking or allowing requests based on predefined policies. + +Effective implementation of application runtime policies can help mitigate security risks and ensure that an application behaves as intended. By monitoring and enforcing policies at runtime, organizations can reduce the likelihood of unauthorized access, data breaches, and other security incidents that can result in loss or damage to critical assets. Additionally, application runtime policies can help ensure that an application is performing optimally and can deliver its intended functionality without disruption or unexpected behavior. + +Defining and maintaining application runtime policies can be a challenging task for a number of reasons. + +1. Modern applications can be very complex, with multiple components and dependencies, making it difficult to define a clear set of policies that cover all possible scenarios. Adding to microservice architecture to this complexity is even increasing the challenge. + +2. Rapidly changing applications and technology: Technology is constantly evolving, with new applications and platforms being developed and updated regularly. This means that policies that were once effective may quickly become outdated, requiring frequent updates. + +3. Application policies must strike a balance between providing strong security measures and not hindering user productivity. This can be a delicate balance to achieve, as overly strict policies can make it difficult for users to perform their work, while overly permissive policies can leave the system vulnerable to security breaches. + +4. Implementing and enforcing application policies can require significant resources, including time, money, and expertise. Organizations may face budgetary and staffing limitations that make it difficult to fully implement and maintain application policies. + +In this session, we will see how application and network policies can be implemented and see an interesting approach: generating policies using monitoring application behavior. + +## Kubernetes Pod security contexts + +Let's start a new Minikube (in anticipation of the next part, we are already creating it with a CNI that implements network policies). +```bash +minikube start --cni cilium +``` + +Let's take the simple example of an Nginx web-server. We want to make it more secure than the default settings of the container. Kubernetes and container runtime gives an option to create `securityContext` configuration which limits the container runtime in different aspects: + +### User and group ID of the container + +Containers use user and group `0` (root) by default. Root on the host machine is not the same as root in the container. Defining the difference between these two is beyond our scope, but in short, the containerized root is confined by the container boundaries. Despite this, an attack that can penetrate a container that is running as root has much more attack surface for container escape than a container that runs as a non-root. + +Therefore it is important to define a user ID different from than root in the `securityContext`. **Note:** you have to make sure that the container is built to run as non-root. Running `nginx:latest` as a non-root user will fail since the file permissions in the container image are built for root user. + +Here is an example of creating a Nginx instance in Kubernetes which is not running as root. + +```bash +kubectl apply -f - << EOF +apiVersion: v1 +kind: Pod +metadata: + name: nginx-non-root +spec: + containers: + - name: nginx + image: nginxinc/nginx-unprivileged + securityContext: + runAsUser: 1000 + runAsGroup: 1000 + allowPrivilegeEscalation: false + +EOF +``` + +Note the `runAsUser` and `runAsGroup` fields where we are limiting the user ID of who is running this container. There is an additional field that was set here called `allowPrivilegeEscalation`. It removes the capability of the processes running inside the container to escalate privileges using [sticky bit](https://en.wikipedia.org/wiki/Sticky_bit). + + +### Runtime system call policies + +By default, every process is allowed to use any system calls of the kernel. The kernel might decide not to complete these system calls depending on its logic, but in general 500+ system calls are available for applications. + +If an attacker penetrated a container, she/he can try to use all these system calls to trick kernel to escape the container or do other damage. In practice, containerized applications are using only a limited number of system calls out of the 500+ and usually, they are less prone to vulnerabilities. For this reason, it is a good defense to limit the system calls a containerized application can do. + +The configuration in `securityContext` enables users to implement restrictions on a container using [seccomp](https://kubernetes.io/docs/tutorials/security/seccomp/). From version 1.25, Kubernetes has a default application seccomp profile called `RuntimeDefault`. It is a permissive restriction, but it is a good start. See here how to create a Pod with this policy: + +```bash +kubectl apply -f - << EOF +apiVersion: v1 +kind: Pod +metadata: + name: nginx-seccomp-confined +spec: + securityContext: + seccompProfile: + type: RuntimeDefault + containers: + - name: nginx + image: nginxinc/nginx-unprivileged + securityContext: + runAsUser: 1000 + runAsGroup: 1000 + allowPrivilegeEscalation: false + +EOF +``` + +Note, this enables 90% of all system calls to the application and limits a few. This won't break most applications but will limit the attacker to some extent. + +See later how to tailor this to your application. + +## Kubernetes native network policies + +By default, Pods in a Kubernetes cluster have no limits on network communication. Any Pod can talk to any other Pod in the "Pod network". Creating micro-segmentation around Pods is an important way to limit the "blast radius" of an attack: only enable network connections which are required by the application. + +Let's create another Nginx deployment and service in the cluster with: +```bash +kubectl create deployment nginx --image=nginx +kubectl expose deployment nginx --port=80 +``` + +Now let's test the connection from another Pod: +```bash +kubectl run curl --rm -ti --image=curlimages/curl:latest -- sh +``` +Now you can use curl to test the connection from the new Pod: +```bash +curl nginx +``` + +Now let's apply a network policy that only enables access to Nginx Pod from other Pods that are marked "nginx:client" label + +```bash +kubectl apply -f - << EOF +apiVersion: networking.k8s.io/v1 +kind: NetworkPolicy +metadata: + name: nginx-client-access +spec: + podSelector: + matchLabels: + app: nginx + ingress: + - from: + - podSelector: + matchLabels: + nginx: "client" +EOF +``` + +Running the same test as above will fail: +```bash +kubectl run curl --rm -ti --image=curlimages/curl:latest -- sh +``` +This should timeout: +```bash +curl --connect-timeout 1 nginx +``` + +If we want it to work, we need to add the label "nginx: client" to the curl Pod: +```bash +kubectl run curl --rm -ti --labels="nginx=client" --image=curlimages/curl:latest -- sh +``` +Now the request will succeed: +```bash +curl --connect-timeout 1 nginx +``` + +🆒 😄 + +This is a simple example of how Kubernetes native network policies working. + + +## Generating policies from application behavior + +As it was discussed in the intro, there is some considerable complexity in defining these policies. + +On one hand, it takes time to define them properly and with changes, these policies tend to break applications. This causes practitioners to define lenient policies. + +On the other hand, if they are not defined strictly enough, they are less effective in protecting your systems. + +There is hope though 😉 + +Newer technologies are striving to monitor application behavior (both network and runtime) and turn them automatically to policies. + +A great example is [Inspektor Gadget](https://www.inspektor-gadget.io/). + +We will see here how to install it and see how it generates network and seccomp profiles. + +You can install the controller of Inspektor Gadget using [krew](https://krew.sigs.k8s.io/). +```bash +kubectl krew install gadget +``` +and install Gadgets with +```bash +kubectl gadget deploy +``` + +Now you can start monitoring the above Nginx Pod and generating seccomp profile for it: +```bash +kubectl gadget advise seccomp-profile start -n default -p $(kubectl get pods | grep nginx | head -n 1 | awk '{print $1}') +``` + +This command started monitoring and returns a trace ID, if you think that you got enough activity stop the tracing with: +```bash +kubectl gadget advise seccomp-profile stop +``` + +Example: +```bash +$ kubectl gadget advise seccomp-profile stop jd4VM2jWhnONfakF +{ + "defaultAction": "SCMP_ACT_ERRNO", + "architectures": [ + "SCMP_ARCH_X86_64", + "SCMP_ARCH_X86", + "SCMP_ARCH_X32" + ], + "syscalls": [ + { + "names": [ + "access", + "arch_prctl", + "brk", + "chown", + "clone", + "close", + "connect", + "dup", + "dup2", + "execve", + "exit_group", + "faccessat", + "fcntl", + "fstat", + "futex", + "getcwd", + "getdents64", + "getegid", + "geteuid", + "getgid", + "getpgrp", + "getpid", + "getppid", + "getuid", + "ioctl", + "lseek", + "mmap", + "mprotect", + "munmap", + "openat", + "pipe", + "prlimit64", + "pselect6", + "read", + "rt_sigaction", + "rt_sigprocmask", + "rt_sigreturn", + "select", + "set_robust_list", + "set_tid_address", + "setns", + "setpgid", + "socket", + "stat", + "statfs", + "sysinfo", + "uname", + "wait4", + "write" + ], + "action": "SCMP_ACT_ALLOW" + } + ] +} +``` + +The same tool helps you to generate network policy. Let's start network monitoring with this command: +```bash +kubectl gadget advise network-policy monitor -p $(kubectl get pods | grep nginx | head -n 1 | awk '{print $1}') --output /tmp/network.log +``` + +When you think the monitoring have seen enough activity, you can stop with `ctrl-c`. Then generate the policy yaml with this command: +```bash +kubectl gadget advise network-policy report --input /tmp/network.log +``` + +This is the policy you get: +```yaml +apiVersion: networking.k8s.io/v1 +kind: NetworkPolicy +metadata: + creationTimestamp: null + name: nginx-network + namespace: default +spec: + ingress: + - from: + - podSelector: {} + ports: + - port: 80 + protocol: TCP + podSelector: + matchLabels: + app: nginx + policyTypes: + - Ingress + - Egress +status: {} +``` +### Summary +These were examples of how to turn behavior to policy! Good stuff 😃 + +See you on [Day 34](day34.md). diff --git a/2023/day34.md b/2023/day34.md index e69de29..04e19db 100644 --- a/2023/day34.md +++ b/2023/day34.md @@ -0,0 +1,219 @@ +# Runtime access control + +Runtime access control is crucial in a computer system because it helps ensure the security and integrity of a computer system cluster and the applications running on it. A computer system is a complex system with many moving parts, and it is essential to control access to these components to prevent unauthorized access or malicious activities. + +Here are some reasons why runtime access control is important in a computer system: + +Protects the Cluster from Unauthorized Access: Access control ensures that only authorized users or processes can interact with the computer system API server or cluster components. Unauthorized access could result in data breaches, theft of sensitive information, or compromise of the entire cluster. + +Prevents Misuse of Resources: computer system manages and allocates resources such as CPU, memory, and network bandwidth. Access control helps ensure that these resources are used appropriately and that applications are not using more resources than they need. + +Ensures Compliance: Access control helps ensure that the computer system and the applications running on it comply with organizational policies, industry standards, and regulatory requirements such as HIPAA, GDPR, or PCI-DSS. + +Facilitates Auditing and Accountability: Access control provides an audit trail of who accessed what resources and when. This information is useful for tracking down security incidents, troubleshooting, and compliance reporting. + +For example, Kubernetes provides several mechanisms for access control, including authnetication mechanisms, access control (RBAC), admission control, Network Policies, and more. It is important to properly configure and manage access control to ensure the security and reliability of a computer system cluster. + +## Authentication + +Authentication is the process of verifying the identity of a user or process attempting to access the Kubernetes API server or cluster resources. Kubernetes provides several authentication mechanisms, including X.509 client certificates, bearer tokens, and OpenID Connect (OIDC) tokens. + +X.509 client certificates are the most secure and widely used authentication mechanism in Kubernetes. In this method, a client presents a valid X.509 client certificate to the API server, which verifies the certificate against a trusted Certificate Authority (CA). + +Bearer tokens are another popular authentication mechanism in Kubernetes. A bearer token is a string of characters that represents the identity of a user or process. The API server validates the token against a configured TokenReview API server. + +OIDC tokens are a newer authentication mechanism in Kubernetes. OIDC is an identity layer on top of the OAuth 2.0 protocol that enables authentication and authorization using third-party identity providers such as Google, Azure, or Okta. + +Kubernetes also supports Webhook token authentication, in which the API server sends an authentication request to a configured webhook service. The webhook service validates the request and returns a response indicating whether the authentication succeeded or failed. + +In addition to authentication, Kubernetes provides authorization mechanisms that control access to specific resources. Role-Based Access Control (RBAC) is the most widely used authorization mechanism in Kubernetes. RBAC allows administrators to define roles and permissions for users or groups of users based on their job functions or responsibilities. + +Kubernetes also provides other authorization mechanisms such as Attribute-Based Access Control (ABAC) and Node Authorization. + +Authentication and authorization are essential components of securing a Kubernetes cluster. They help ensure that only authorized users and processes can access cluster resources and protect against unauthorized access, data breaches, and other security threats. + +Kubernetes administrators should carefully configure and manage authentication and authorization to ensure the security and reliability of their clusters. Best practices include using secure authentication mechanisms such as X.509 certificates, restricting access to the Kubernetes API server, and enabling RBAC to control access to resources. + +Kubernetes authentication is a complex topic that requires a deep understanding of the underlying security mechanisms and protocols. Kubernetes administrators and security professionals should stay up-to-date with the latest authentication and authorization best practices and security updates to keep their clusters secure and compliant. + +No question, that authentication tokens and credentials are cornerstones of the security of a Kubernetes cluster. This is true for any computer system for access control. + +Here is an example of how different credentials can be used in a way that was not planned by the design. + +I assume that your Minikube is still up and running. You can obtain the Kubernetes Service Account token of the Kube-proxy component with the following command: +```bash +kubectl -n kube-system exec $(kubectl get pods -n kube-system | grep kube-proxy | head -n 1 | awk '{print $1}') -- cat /var/run/secrets/kubernetes.io/serviceaccount/token +``` + +Note: if you want to learn more about the content of this JWT go to [jwt.io](https://jwt.io/) and parse the token you got with the previous command! + +![](images/day34-1.png) + +We will see here how easy it is to masquerade as someone else if the above token is obtained. We will set up `kubectl` to use this instead the default credentials. + +```bash +export KUBE_PROXY_POD_NAME=`kubectl get pods -n kube-system | grep kube-proxy | head -n 1 | awk '{print $1}'` +export TOKEN=`kubectl -n kube-system exec $KUBE_PROXY_POD_NAME -- cat /var/run/secrets/kubernetes.io/serviceaccount/token` +export API_SERVER_URL=`kubectl config view --minify --output jsonpath="{.clusters[*].cluster.server}"` +kubectl -n kube-system exec $KUBE_PROXY_POD_NAME -- cat /var/run/secrets/kubernetes.io/serviceaccount/ca.crt > /tmp/ca.crt +kubectl config set-cluster access-test --server=$API_SERVER_URL --certificate-authority=/tmp/ca.crt +kubectl config set-context access-test --cluster=access-test +kubectl config set-credentials user --token=$TOKEN +kubectl config set-context access-test --user=user +kubectl config use-context access-test +``` + +Now that we have set up our `kubectl` to use the above token we "stole" from the Kube-proxy, we can see it working in action: +```bash +kubectl get nodes +``` + +Voila! 😄 + +This was a simple example of how credentials can be used by malicious actors in case they're stolen. + +(if you used Minikube, revert to your original context by `kubectl config use-context minikube`) + +## Authorization + +Let's continue the above journey with what is after authentication. + +Kubernetes Role-Based Access Control (RBAC) is a security mechanism used to control access to resources within a Kubernetes cluster. RBAC is used to define policies that determine what actions users and service accounts are allowed to perform on Kubernetes resources. + +In Kubernetes, RBAC works by defining two main types of objects: roles and role bindings. A role is a collection of permissions that can be applied to one or more resources in a Kubernetes cluster. Role binding is used to grant a role to a user, group of users or service accounts. + +When a user or service account attempts to perform an action on a resource in Kubernetes, the Kubernetes API server checks the permissions defined in the relevant role binding. If the user or service account is authorized to perform the action, the API server grants access. If the user or service account is not authorized, the API server denies access. + +RBAC can be used to control access to a wide range of Kubernetes resources, including pods, services, deployments, and more. RBAC policies can be defined at various levels of the Kubernetes cluster, including the cluster level, namespace level, and individual resource level. + +RBAC can be configured using the Kubernetes API or using tools such as `kubectl`. With RBAC, administrators can enforce strict security policies and help to ensure that only authorized users and service accounts are able to access and modify Kubernetes resources, reducing the risk of unauthorized access and data breaches. + +In the case above with Kube-proxy, this workload has a service account. How do we know it? Run the following command: +```bash +kubectl -n kube-system get daemonset kube-proxy -o=jsonpath='{.spec.template.spec.serviceAccount}' +``` +It returns `kube-proxy` as the associated service account. + +If you list all the `ClusterRoleBindings`, you will see that this service account is bound with `kubeadm:node-proxier` and `system:node-proxier` `ClusterRoles`. +```bash +kubectl get clusterrolebindings -o wide | grep kube-proxy +``` + +You can see what these `ClusterRoles` allow this service account to do by doing querying them with `kubectl`: +```bash +kubectl get clusterrole system:node-proxier -o yaml +``` + +You will see that this role enables: +* List and watch on `endpoint` and `service` objects +* Get, list and watch on `nodes` +* Create, patch, update on `events` + +This is why we did `kubectl get nodes` in the previous section. + +Another example is the ClusterRole called `system:controller:deployment-controller`, it is the role associated with the service account of the Deployment Controller component which is in charge of managing `ReplicaSets` for `Deployments` and they need to make sure that the downstream object (`ReplicaSet`) is always consolidated with the definitions of `Deployments`. + +```bash +kubectl get clusterrole system:controller:deployment-controller -o yaml +``` + +Here you can see that this role for example authorizes the subject to create, delete, update and etc. on `ReplicaSets`, which makes sense given the functionality this component has. + +Is Kubernetes RBAC a good authorization system? Yes, but... +* It can be a bit complex to manage sometimes +* Authorization can be given to combinations of verb and object (what can you do with what) + +The latter is not an obvious limitation. You can allow someone to create Pods but you cannot limit the same subject to creating only un-privileged Pods since both are the same objects. + +This brings us to the last part of today's content. + +## Runtime admission controllers + +In Kubernetes, an admission controller is a type of plug-in that intercepts requests to the Kubernetes API server before they are processed, allowing administrators to enforce custom policies and restrictions on the resources being created or modified. + +Admission controllers are used to validate and modify resource specifications before they are persisted to the Kubernetes API server. They can be used to enforce a wide range of policies, such as ensuring that all pods have a specific label, preventing the creation of privileged containers, or restricting access to certain namespaces. + +Admission controllers in Kubernetes can be either/or type of: +* MutatingAdmissionWebhook: This controller can modify or mutate requests to the Kubernetes API server before they are persisted. +* ValidatingAdmissionWebhook: This controller can validate or reject requests to the Kubernetes API server based on custom policies. + +Admission controllers can be customized or extended to meet the specific needs of an organization or application. By using admission controllers, administrators can ensure that resources in the Kubernetes cluster conform to specific policies and security requirements, helping to reduce the risk of security breaches and ensuring a consistent and secure deployment environment. + +There are two great examples of open-source admission controller projects: [OPA Gatekeeper](https://open-policy-agent.github.io/gatekeeper/website/docs/) and [Kyverno](https://kyverno.io/). We will use Kyverno today. + + +Kyverno allows users to define policies as code and apply them to Kubernetes resources such as pods, deployments, services, and more. Policies can be written in YAML or JSON and can be customized to enforce specific requirements for an organization or application. Kyverno policies can be applied to resources at the time of creation or updated later as needed. + +Kyverno is a powerful tool that can help to ensure that Kubernetes resources are configured and managed according to organizational policies and best practices. It can help to improve the security, compliance, and consistency of Kubernetes deployments while also simplifying policy management for administrators and developers. + +To install Kyverno on our Minikube, use the following commands: +```bash +helm repo add kyverno https://kyverno.github.io/kyverno/ +helm repo update +helm install kyverno kyverno/kyverno -n kyverno --create-namespace --set replicaCount=1 +helm install kyverno-policies kyverno/kyverno-policies -n kyverno +``` + +Let's create a policy that prevents privileged Pods. +```bash +kubectl apply -f - << EOF +apiVersion: kyverno.io/v1 +kind: ClusterPolicy +metadata: + name: no-privileged-containers + annotations: + policies.kyverno.io/title: No Privileged Containers + policies.kyverno.io/subject: Pod +spec: + validationFailureAction: Enforce + rules: + - name: no-privileged-containers + match: + any: + - resources: + kinds: + - Pod + validate: + message: >- + Privileged containers are not allowed! + pattern: + spec: + containers: + - =(securityContext): + =(privileged): "false" +EOF +``` + +You can see that this policy validates that the `privileged` flag is false under `securityContext` field in Pods. + +Now if I try to spawn up a privileged Pod, it will fail. Try it: + +```bash +kubectl apply -f - << EOF +apiVersion: v1 +kind: Pod +metadata: + name: privileged-container-demo +spec: + containers: + - name: privileged-container-demo + image: nginx:latest + securityContext: + privileged: true +EOF +``` + +This should fail (without the Kyverno policy, this will succeed. + +``` +admission webhook "validate.kyverno.svc-fail" denied the request: + +policy Pod/default/privileged-container-demo for resource violation: + +no-privileged-containers: + no-privileged-containers: 'validation error: Privileged containers are not allowed!. + rule no-privileged-containers failed at path /spec/containers/0/securityContext/privileged/' +``` + +I hope this short intro gave a little taste of how admission controllers can help you to enforce runtime rules over a Kubernetes cluster!. +See you on [Day 35](day35.md). diff --git a/2023/day35.md b/2023/day35.md index e69de29..47fd241 100644 --- a/2023/day35.md +++ b/2023/day35.md @@ -0,0 +1,49 @@ +# Understanding the Importance of Secrets Management + +## Introduction +Regardless of the type of environment you work in, there will be privileged credentials needed by applications, users, or other software platforms to manage your environment. Secrets can be anything your organization deems confidential and could cause harm to the company if shared or exposed. Examples could be database credentials to read customer data, a private key used to decrypt communications to your app server, or domain admin creds used by your vulnerability scanner during nightly runs. Managing these privileged credentials is an essential process that is critical to an organization's security posture. + +Secrets are used EVERYWHERE in organizations. Think about the credentials that were required for the last application or deployment you participated in, regardless of how basic or complex it was. As a human user, you likely need privileged credentials to provision resources in your production environment, like gaining access to VMware vCenter to deploy virtual machines, requesting a TLS certificate for your application, or logging into Terraform Cloud to provision Amazon EC2 instances. Moving over to the application side, they need access to additional services within your organization, like an internal API, a file share, or the ability to read/write to a database server to store data. The applications might need to register the service within your service catalog (service mesh) or execute a script that traverses a proxy and pulls down packages from Artifactory. These actions all require some privileged credential or secret that needs to be managed appropriately. + +## Consolidation + +So where should all these secrets live? Most organizations understand these secrets should be managed in some secret management solution. However, that doesn't always reflect what is actually in practice. I've worked with countless organizations that keep credentials in an Excel sheet, a OneNote document, or even a text file on their desktop. That strategy provides absolutely no security and exposes these companies to security breaches. Other organizations have taken a step further and used a consumer-based solution, like 1Password or LastPass, to store these long-lived credentials. It's better than nothing, but it doesn't provide the organization with complete visibility and management of credentials. Plus, we're talking about the practice of DevOps here, so it doesn't offer much in terms of automated retrieval or rotation either. + +Ideally, organizations need to adopt a proper secret management tool that can be used to consolidate secrets and provide features such as role-based access control, rotation and revocation, expiration, and auditing capabilities. + +## Long-Lived Secrets vs. Dynamic Secrets +Let's talk about the difference between long-lived secrets and dynamic secrets + +### Long-Lived Credentials +Not all secrets are created equal. Most organizations default to creating long-lived, static credentials that are often shared among teams and applications. Creating these credentials usually requires a long process, such as ticket creation, security approval, management approval, etc. Because obtaining credentials is often tedious, engineers and administrators will reuse or share these credentials among different applications rather than repeat this process. Be honest, how many times have you clicked this button in Active Directory? I know I have done it 100s of times in the past…. + +![](images/day35-0.png) + +These reused and often shared credentials are hard to audit, can be impossible to rotate, and provide very little accountability. Additionally, these static credentials offer 24/7 access to the target system, even though access might only be needed for minutes per day. + +### Dynamic Secrets + +In contrast with static credentials, many organizations realize the benefits of migrating to dynamically generated secrets. Rather than create the credentials beforehand, applications can request credentials on-demand when needed. The application uses dynamic credentials to access a system or platform to perform work, and the credentials are then revoked/deleted afterward. If these dynamic credentials are accidentally written to a log file or committed to a code repository, it no longer becomes a security threat because they are already invalidated. And because dynamic credentials are accessible to applications (with proper authentication, of course), each instance of an application can generate its own credential to access the backend system. + +For example, let's assume we're using Terraform to deploy our infrastructure to our favorite public cloud platform. If you were using static credentials, you would log into the cloud platform, create static credentials (probably highly privileged ones), and provide those credentials for Terraform to provision and manage your infrastructure. Those highly privileged credentials are valid 24/7, even though you only run Terraform a few times daily. On the other hand, if you were using a dynamic credential, Terraform could first obtain a credential, provision, or manage the infrastructure, and the credential would be invalidated after. When Terraform isn't running, there is no credential that can be exposed or misused. Even if the dynamic credential were written to logs or accidentally committed to a public GitHub repo, it wouldn't matter since it was revoked when the job was completed or after a minimal TTL. + +![](images/day35-1.png) + +## Access Control and Auditing + +Access to secrets should be tightly controlled, and only authorized personnel should be able to access them. Ideally, two-factor authentication or a multi-step approval process should be in place for highly-privileged credentials, such as domain access, root credentials, or secrets used to obtain confidential data. Access should be limited to secrets based on an employee's role within the organization or an application's requirements to fulfill its duties. + +It is important that access to secrets should be closely monitored, and a log should be maintained of all actions taken of them. Logs should be ingested into a SIEM or log correlation systems, like Splunk, SumoLogic, or DataDog, to create dashboards and alert on specific actions. This can help quickly detect and respond to potential security threats within the organization. + +## Common Solutions + +In a DevOps and automated world, secrets management solutions must be centered around a fully featured REST API. With such, access to the platform can be automated entirely by any orchestrator or pipeline tool the organization uses, simplifying company-wide adoption. Secrets Management tools such as HashiCorp Vault, AWS Secrets Manager, or Azure Key Vault can provide organizations with features such as encryption at rest, role-based access control, and auditing capabilities to help protect secrets. From my experience, the most popular tools used by organizations are: + +* HashiCorp Vault +* CyberArk +* AWS Secrets Manager +* Azure Key Vault +* GCP Secret Manager +* Thycotic Secret Server + +See you on [Day 36](day36.md). \ No newline at end of file diff --git a/2023/day36.md b/2023/day36.md index e69de29..c23625d 100644 --- a/2023/day36.md +++ b/2023/day36.md @@ -0,0 +1,49 @@ +# Securing Secrets with HashiCorp Vault +  +In the world of secrets management, HashiCorp Vault tends to be the de facto standard, especially when it comes to DevOps environments. Tools such as Jenkins, Terraform, or even Kubernetes have tight integrations with Vault that allow you to securely store and retrieve secrets from your infrastructure as code pipelines. With a fully featured REST API, it's relatively simple to integrate into your existing workflows. As a result, secrets are consolidated and retrieved from a secure platform, all while improving your organization's security posture. +  +## Deploying a Simple Vault Environment +  +You have plenty of options when you need to get started with HashiCorp Vault. Depending on your skill set and available environment, Vault can be deployed on a physical server, a virtual machine (Amazon EC2, VMware vSphere, etc.), or in a containerized environment like Docker or Kubernetes. You can even launch Vault on a laptop/desktop if you just want to play around with a temporary instance using Vault "dev" mode. Regardless of your preference, integrating Vault with your applications and pipelines will be very similar. +  +## Deploy Vault on Kubernetes +  +When it comes to deploying Vault on Kubernetes, HashiCorp has made it incredibly simple by providing an official Helm chart. This [Helm chart](https://github.com/hashicorp/vault-helm) can be customized per your needs and can allow you to simply "install" an entire Vault environment right to your k8s cluster. Personally, I prefer [minikube](https://minikube.sigs.k8s.io/docs/start/) on my local machine to quickly launch a k8s cluster and, ultimately, quickly deploy a Vault environment to use for testing. If you want an example of a customized Helm chart, check out this [simple example](https://github.com/btkrausen/hashicorp/blob/master/vault/k8s/values.yml) on my GitHub, which was written for an OpenShift environment. More advanced configurations can be added, but this example should get you up and running quickly. +  +## Deploying on Virtual Machines +  +If Kubernetes isn't your thing, Vault also works flawlessly on traditional virtual machines. It's not as simple as a Helm chart, but having scripts and productional-level configuration files does simplify the process. From different Linux distros to Windows, you can choose almost any operating system you're comfortable with to run Vault in your environment. The Vault binary can be downloaded from the [HashiCorp releases page](https://releases.hashicorp.com/vault). This site makes it easy to download Vault manually or through automated means. Vault simply needs to be placed in your **$PATH** to start using it. +  +Beyond installing Vault, there are additional requirements that you'll want to consider. These requirements are similar to what you would need when running any service on a server, such as configuration files, service files, etc. The following are some of the requirements to consider: +* A [Vault configuration file](https://github.com/btkrausen/hashicorp/blob/master/vault/scripts/install_vault.sh) for each server +* A [system](https://github.com/btkrausen/hashicorp/blob/master/vault/config_files/vault.service) (or similar) file to manage the service (start, stop, etc.) +* Directory to store config files and logs +* A local, non-root user to run the Vault service +* Permissions/ownership of the directories for the user +  +As somebody who has worked on Vault for over six years and a dedicated member of the HashiCorp community, I have all of this on [my GitHub](https://github.com/btkrausen/hashicorp) for your consumption. These are files that I use for production-level deployments, so they are tried and tested in the real world. Feel free to use these as a starting point and customize them per your needs. +  +> If all this seems confusing, you can check out my [Getting Started with HashiCorp Vault Course](https://btk.me/v) to learn all about these configurations (and so much more!), along with getting access to hands-on labs. +  +## Vault is Up and Running. What's Next? +  +Once you have Vault up and running, there are a few steps to complete before integrating your workflows and applications. When any Vault cluster is first started, it needs to be initialized. In short, initialization is when Vault creates the encryption key, unseal or recovery keys, and prepares the storage backend for you. The simplest way to initialize a cluster is to use the 'vault operator init' command. If you're doing this in a production environment, consider encrypting the resulting unseal/recovery keys using PGP keys to ensure no one person has access to all the keys to the kingdom (pun intended!). Check out [my video here](https://youtu.be/QErHqzGH1mk) to see how to perform this step securely. Vault initialization will also return the initial root token, which, at this point, is the ONLY authentication mechanism to gain access to Vault. + + +![](images/day36-1.png) + +Once Vault is initialized, you're only one step away from consuming all the goodness Vault has to offer. If you decided to use auto unseal, you're already there! Without auto unseal, Vault needs to be unsealed. Unsealing is the process of reconstructing the root key used to decrypt the encryption key, which is ultimately stored in memory and used to read/write data to the storage backend. If Vault is sealed, it's essentially useless, so this is an important step. You can use the 'vault operator unseal' command to unseal Vault. Vault will request an 'unseal key,' which was returned during the initialization process discussed above. Perform this step three times (assuming the defaults) to unseal Vault. By the way, you can [migrate to an auto unseal mechanism](https://youtu.be/HolUACQutpk) when you're ready. Once Vault is unsealed, we can start configuring the various components, such as auth methods, secrets engines, and audit devices. More on those on a later day! + + +![](images/day36-2.png) +  +Before wrapping up the day, there are a few additional topics I wanted to mention and discuss. Some aren't required for a lab environment but should be considered (or required!) for a production environment: +  +* Use TLS everywhere. Go ahead and mint a certificate from a trusted (internal) CA and practice good security from the start. If you like running vulnerable and insecure environments, or if you are running in a lab or for testing purposes, Vault supports disabling TLS by setting 'tls_disable = true' in the configuration file (listener +stanza). +  +* Using a root token gives you complete, unrestricted access to anything in Vault. The root token is highly privileged and should NOT be shared. In fact, it is not evaluated against any Vault policies. Therefore, it is recommended to use the root token to perform the initial configuration, namely auth methods, and then the token should be revoked. [Another root token can be generated](https://youtu.be/rcQsNinVl0Y) in the future if needed. +  +* A single Vault node may be sufficient for lab environments if redundancy and high availability aren't a concern. If service uptime is essential, use a minimum of 3 nodes (assuming integrated storage). I recommend five nodes for production clusters to give you n + 2 redundancy, meaning you can lose up to two nodes, and the Vault service remains functional. + +See you on [Day 37](day37.md). \ No newline at end of file diff --git a/2023/day37.md b/2023/day37.md index e69de29..de53109 100644 --- a/2023/day37.md +++ b/2023/day37.md @@ -0,0 +1,86 @@ +# Working with HashiCorp Vault's Secrets Engines + +While there are multiple components in HashiCorp Vault that are important, none are more foundational than secrets engines. That's because secrets engines are responsible for providing the functionality that you want from Vault. All other components, such as auth methods, audit devices, and storage backends, can be viewed as supporting components and ultimately provide the mechanism to get to a secrets engine. + +## Enabling a Secrets Engine + +By default, Vault does not enable any secrets engines. Therefore, any functionality needed from a secrets engine requires that you enable it. You can enable as many secrets engines as you need and enable many secrets engines of the same type (as long as they are enabled on different paths), which is very common with Vault customers. Many will enable 10s or 100s of the key/value secrets engine to segregate secrets by a team, business unit, or application. Or you can use a single key/value secrets engine and separate each team under it. It's totally up to you or whatever works for your organization. + +Since secrets engines are the core functionality of Vault, HashiCorp has included many secrets engines out of the box. You can use a community or vendor-supported plugin if you need additional functionality. An example of the most prevalent secrets engines that Vault supports include: + +• Key/Value – store and retrieve static, long-lived credentials +• PKI – configure Vault as an intermediate/issuing CA to automate TLS certificates +• Transit – centralize your encryption workflow across your organization +• AWS/Azure/GCP – dynamically generate AWS credentials to gain access to your accounts +• Database – dynamically generate credentials against your databases + +You can use the `vault secrets enable ` command to enable a secrets engine. You can also enable and configure many secrets engines directly in the Vault UI. + +![](images/day37-1.png) + +## Working with the KV Secrets Engine + +As a consultant working on Vault for quite a while, I've yet to work with a customer/client that didn't want to use the Key/Value secrets engine. I attribute this to the fact that most organizations have been using static, long-lived credentials for decades (and probably won't go away anytime soon!) and need a place to securely store them. When working with the key/value secrets engine, remember that it does NOT interact with any external source to replicate/update/retrieve secrets. It's simply a key/value store where you can store, update, and retrieve your credentials through the UI, CLI, or API request. + +Let's enable a KV secrets engine (version 2) to see how this works, and we'll start storing and retrieving secrets from it. On the command line, use `vault secrets enable -path=90daysofdevops kv-v2`. This enables the KVv2 secrets engine on the path of `90daysofdevops`, which means that all interactions with this secrets engine will use the `90daysofdevops/` path, such as reading, writing, or updating secrets. + +![](images/day37-2.png) + +## Writing Data to the KV Secrets Engine + +We now have a new, blank key/value store to store our secrets. We can organize these secrets any way that we want beneath this path. Many organizations choose to organize by teams or applications but talk with your team to determine the best structure for your organization. The biggest factor here is simplifying the policies that will permit/deny access to these secrets. If you can write a simple policy or even a templated policy, it will make your Day 2 Ops much easier. In this example, let's assume we have three different teams using this key/value secrets engine, the **cloud** team, the **automation** team, and the **development** team. + +Let's write our first secret to the KV secrets engine for the cloud team. Again, like anything else in Vault, you can do this on any of the three Vault interfaces, the UI, CLI, or API. To write a secret, you can use the following command: + +`vault kv put 90daysofdevops/cloud/aws secret_key=ABC123 access_key=987zyx` + +![](images/day37-3.png) + +In this example, we wrote two key/value pairs, one for our _secret_key_ and one for our _access_key_, each with its respective value. The path that these secrets are now stored is `90daysofdevops/data/cloud/aws`. Don't let that _data_ segment fool you. It's necessary when working with the KVv2 secrets engine. The `vault kv put` obfuscates the need to add `data` in our path but this is the path you'll need to retrieve secrets from when reading from the API and when writing policies to access this path. + +Let's write some data for the development team. In this scenario, the dev team has decided to organize secrets based on the applications they are responsible for. They need to store a certificate and a private key for application deployment, along with a static database credential for another app. + +`vault kv put 90daysofdevops/development/apps/customer-app user=db-admin password=P@ssw0rd1` + +`vault kv put 90daysofdevops/development/apps/cache-app cert="----BEGIN CERTIFICATE----asdfwefsadfa23jjklnsdfkl2jns9n2a32sdaffgrsyhgsfwefdsan---END CERTIFICATE----" private_key="---BEGIN PRIVATE KEY----nwljdwsxcvmnrejhq394hdsfjfgadjkhfajkl----END PRIVATE KEY---"` +![](images/day37-4.png) + +In this example, we wrote different types of secrets to two different paths: +• `90daysofdevops/development/apps/customer-app` +• `90daysofdevops/development/apps/cache-app` + +Again, you and your team should decide how to organize and store the credentials in your organization. It's common that the Vault operators "own" the organization of the paths down to a certain level but then allow the teams to organize their data however they see fit. Different teams are, well, different and likely have different needs. + +## Reading Data from the KV Secrets Engine + +Ok, now that we have secrets written to our KV secrets engine, it makes sense that we will want to read these secrets. These secrets may be manually retrieved by a developer. They may be retrieved by an Azure DevOps pipeline when a containerized application is provisioned on AKS. Either way, the data is consumed by _something_ and used for deployment or configuration. + +When reading a secret, you will use the same path as you used when writing the secret to the KV secrets engine. The path will vary slightly depending on if you're using the CLI vs. API (I know, it's sort of annoying!), but it's not too confusing. API calls must include that _data_ path we mentioned earlier. In this example, we will assume the CLI for now. However, remember that many orchestrators or provisioning tools include native integrations with Vault, such as the Jenkins plugin or AzureDevOps Extensions. GitLab also includes tight integrations to consume the HashiCorp Vault service as well. + +To read the secret stored for the cloud team using the Vault CLI, use the following command: + +`vault kv get 90daysofdevops/cloud/aws` + +![](images/day37-5.png) + +Note some of the key components of the response. Vault displays the API path (which includes that _data_ segment), the metadata associated with the secret (because this is a key/value version 2 secrets engine), and the data we want (the secrets!). But what if we want to return ONLY the value of our secret and not include the additional information? We can do that in several ways. + +The first way is to use the -field flag on the command line: + +`vault kv get -field=secret_key 90daysofdevops/cloud/aws` + +![](images/day37-6.png) + +In this case, Vault returned ONLY the value for `secret_key`, which may be helpful for an automated job where we don't want to parse through the entire response. The other way we can easily do this is to request the response be JSON-formatted and parse through the data using `jq` to obtain what we need: + +`vault kv get -format=json 90daysofdevops/cloud/aws | jq -r '.data.data.secret_key'` + +![](images/day37-7.png) + +## Summary + +I hope that this quick tutorial gave you a glimpse of how you can use Vault's KV secrets engine to write and read data form your applications. There are, of course, lots of additional configurations and settings you can you in the KV secrets engine to improve the security and organization of your data, but this should at least get you started. + +> Don't forget to check out my [YouTube channel](https://btk.me/yt) that showcase lots of different configurations for Vault and other tools. Planning to continue to adding more and more content to this channel, so subscribe and let me know what else you want to see. + +See you on [Day 38](day38.md). \ No newline at end of file diff --git a/2023/day38.md b/2023/day38.md index e69de29..e4d8c7d 100644 --- a/2023/day38.md +++ b/2023/day38.md @@ -0,0 +1,93 @@ +# Increase the Security Posture of Your Organization with Dynamic Credentials + +As we talked about yesterday, Vault is commonly used as a platform to consolidate your static, long-lived credentials. However, you're still stuck with the management nightmare of rotating those credentials based on your organization's security policies. This credential rotation "tradition" is a manual, laborious task and is susceptible to errors resulting in application downtime. But… + +What if you could get rid of static credentials altogether? If your app only needs database access once a week to run reports, why do you give it a credential that is valid 24/7/365? Wouldn't it be great to have your applications generate dynamic, self-destructing credentials on-demand for the systems needed to function? + +Well, it's all possible using many of the secrets engines available in Vault. + +## Intro to Dynamic Secrets + +Dynamic secrets are credentials that are generated on demand on behalf of the requesting Vault client. Rather than simply reading a static credential stored in the KV store, Vault can make an API call to the requested platform, create a credential, and pass the credential back to the user. In the process, Vault attaches a lease (TTL) to the credential, which indicates how long the credential is valid. The Vault client can then use the credential to communicate directly with the platform for its intended function. Once the credential's lease expires, Vault calls back to the platform and deletes the credential, making it invalid. + +## Benefits of Using Dynamic Secrets + +There are so many benefits of migrating to dynamic credentials. The obvious benefit is not having long-lived credentials that are manually rotated. Because these long-lived credentials are often shared between teams and application stacks, they are more susceptible to misuse or abuse. However, when you migrate to dynamic creds, each application instance can retrieve a unique credential to access the required platform when using dynamic credentials. And if that application instance is terminated (think containerization or auto-scaling), the credential will be invalidated by Vault and not impact other instances or applications in your environment. + +Dynamic secrets also eliminate the manual process of rotating credentials. Rather than rotating the credentials once a year, these highly privileged creds are now rotated once a month, once a week, or once every hour. For example, consider how you might use Terraform to deploy resources on your public or private cloud. You likely create a credential on the target platform and use it repeatedly via environment variables or sensitive workspace variables in TFC/TFE. But why are you giving Terraform highly privileged credentials that are valid 24/7/365 when your Terraform runs only take 15 minutes each day? Switch to dynamic credentials. Using a combination of Vault secrets engine and the Vault provider for Terraform, you can have Terraform generate a dynamic credential for the platform it needs to access for resource deployment or management. + +## Configure a Dynamic Secrets Engine + +With that long-winded introduction out of the way, let's talk about how we can accomplish this goal of using dynamic credentials. HashiCorp Vault offers a plethora of secrets engines that generate dynamic credentials or data, such as: +• AWS +• Azure +• GCP +• Active Directory +• AliCloud +• Consul +• Databases (supports about 15 different database platforms) +• PKI certificates +• Kubernetes +• RabbitMQ +• SSH +• Terraform Cloud + +I think you'd agree that's a lot of options for a single platform. The cool thing is that you can use as many of these secrets engines as you want, and even enable many of the same type of secrets engine. Let's take a look at how we would enable one of these, using AWS as the example. + +Each secrets engine must be enabled on a path, and all interactions with the secrets engine is then done using the path. Because of this, each secrets engine must be enabled on a unique path so Vault knows where to route the request. To enable a secrets engine, use the following structure for the command `vault secrets enable -path= `. Enabling the AWS secrets engine on the path of `cloud` would look like this: + +`vault secrets engine -path=cloud aws` + +> Note that if you do not provide the path flag, the secrets engine will be enabled on the default path, which is the same name of the secrets engine type. For example, the AWS secrets engine would be enabled at aws/. + +Ok, so we've got a secrets engine enabled, let's start configuring it. Configuration of a secrets engine generally requires a few things. The first is a way for Vault to communicate with the platform (in this case, AWS). Just like any other AWS client, Vault needs credentials to authenticate to the target platform to perform actions. In the case of AWS, you can provide Vault with an Access Key and Secret Key or use an IAM role if Vault was deployed on AWS. + +In addition to authentication, Vault needs the proper authorization to perform actions on the platform. For AWS, that equates to having an IAM policy attached to the credentials you will give to Vault. Depending on the type of credential you want to generate (Vault supports 3 types for AWS), the policy should allow permission to create/manage/delete a user, generate keys, manage the keys, etc. These policies are provided by HashiCorp in their documentation. I also have some pre-defined policies for Vault [on my GitHub](https://github.com/btkrausen/hashicorp). + +To provide credentials to Vault to access your AWS account, you can use the following command: + +``` +vault write aws/config/root \ + access_key=AKIAIOSFODNN7EXAMPLE \ + secret_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY \ + region=us-east-1 +``` + +> Although you can add your credentials using this configuration, you can also provide them using environment variables as well. + +Ok, now Vault has access to our AWS account, it doesn't yet know what credentials to create and the level of access those credentials should have in your AWS account. Each unique requirement for credentials will be defined in a role (that's a Vault role, not to be confused with an AWS role). Roles are used to map a user to a set of permissions on the platform. For example, you can create a role for a developer that provides read-only access to the AWS account, or you can create a role for Terraform that provides a broader set of privileges to create, manage, and delete resources. Roles can be used by many applications, but keep in mind that a different role will be required for each UNIQUE set of permissions you want to give the Vault client. + +Let's create our first role. This role will be for our developer who needs read-only access to an AWS so they can obtain logs for troubleshooting an application. The role name will be `developer`. + +``` +vault write aws/roles/developer \ + policy_arns=arn:aws:iam::aws:policy/AmazonEC2ReadOnlyAccess \ + credential_type=iam_user +``` + +> In this example, I used the IAM_USER credential type but for production environments, I'd recommend using ASSUME_ROLE so you can have a + +When a developer requests credentials, they will be tied to the AWS-managed policy named ` arn:aws:iam::aws:policy/AmazonEC2ReadOnlyAccess`. You can use AWS-managed policies, Customer-Managed policies, or simply provide the policy within the Vault role configuration and Vault will create the inline policy when the user is created. + +## Let's Get Credentials + +Ok, we have the secrets engine mounted (enabled!), the secrets engine configured to access our account, and now we have a role. The next logical step is to test it and obtain our first set of dynamic credentials. Since the role we created is named `developer`, that will come into play for the path needed to get credentials. To get creds, use the following command: + +`vault read aws/creds/developer` + +If successful, Vault should have returned a set of credentials that the client can use to interact directly with AWS. Woohoo! + +Keep in mind that when the lease (TTL) expires, Vault will go back and delete the credentials on AWS, permanently invaliding them. + +## Day 2 Ops + +The last thing I wanted to touch on was managing the credentials used by Vault to access the platform. The whole purpose of a dynamic secrets engine is to eliminate your static, long-lived credentials. However, the first step here was to provide Vault…..static, long-lived credentials to access the platform? Hmm…sounds somewhat counterproductive, right? What if THAT credential gets compromised or shared? + +Fear not, as Vault provides a simple endpoint for secrets engines which allows Vault to quickly rotate that 'root' credential. You can hit this endpoint as often as needed to rotate the credential Vault uses to access the platform. In this example, you can use the following command to rotate the AWS credential we provided above. + +`vault write -f aws/config/rotate-root` + +Once you run this command, only AWS and Vault know the credentials. No human user has the root credential, and even a Vault administrator can read back the full access key and secret key. This operation can be run as often as needed to meet your internal security policies for credential rotation. + +See you on [Day 39](day39.md) + diff --git a/2023/day42.md b/2023/day42.md index e69de29..9618ba3 100644 --- a/2023/day42.md +++ b/2023/day42.md @@ -0,0 +1,75 @@ +# Day 42 - Programming Language:Introduction to Python + +Guido van Rossum created Python, a high-level, interpreted and dynamic programming language, in the late 1980s. It is widely used in range of applications, including web development, devops and data analysis, as well as artificial intelligence and machine learning. + +## Installation and Setting up the Environment: + +Python is available for download and installation on a variety of platforms, including Windows, Mac, and Linux. Python can be downloaded from [the official website](https://www.python.org/.). +![Python Website](/2023/images/day42-01.png) + +Following the installation of Python, you can configure your environment with an Integrated Development Environment (IDE) such as [PyCharm](https://www.jetbrains.com/pycharm/), [Visual Studio Code](https://code.visualstudio.com/), or IDLE (the default IDE that comes with Python). +I personally use Visual Studio Code. + +You can also use cloud environment, where you will not have to configure and install python locally, like [Replit](https://replit.com/). +![Replit Website](/2023/images/day42-02.png) + +## Basic Data Types: + +Python includes a number of built-in data types for storing and manipulating data. The following are the most common ones: + +- Numbers: integers, floating-point numbers, and complex numbers +- Strings are character sequences. +- Lists are ordered groups of elements. +- Tuples are ordered immutable collections of elements. +- Dictionaries are collections of key-value pairs that are not ordered. + +## Operations and Expressions: + +With the above data types, you can perform a variety of operations in Python, including arithmetic, comparison, and logical operations. +Expressions can also be used to manipulate data, such as combining multiple values into a new value. + +## Variables: + +A variable is declared and assigned a value in Python by using the assignment operator =. The variable is on the left side of the operator, and the value being assigned is on the right, which can be an expression like `2 + 2` or even other variables. As an example: + +``` python +a = 7 # assign variable a the value 7 +b = x + 3 # assign variable b the value of a plus 3 +c = b # assign variable c the value of b +``` + +These examples assign numbers to variables, but numbers are only one of the data types supported by Python. There is no type declaration for the variables. This is due to the fact that Python is a dynamically typed language, which means that the variable type is determined by the data assigned to it. The x, y, and z variables in the preceding examples are integer types, which can store both positive and negative whole numbers. + +Variable names are case sensitive and can contain any letter, number, or underscore ( ). They cannot, however, begin with a number. +Also, with numbers, strings are among the most commonly used data types. A string is a sequence of one or more characters. Strings are typically declared with single quotation marks, but they can also be declared with double quotation marks: + +``` python +a = 'My name is Rishab' +b = "This is also a string" +``` + +You can add strings to other strings — an operation known as "concatenation" — with the same + operator that adds two numbers: + +``` python +x = 'My name is' + ' ' + 'Rishab' +print(x) # outputs: My name is Rishab +``` + +## Printing to the console: + +The print function in Python is one of more than 60 built-in functions. It outputs text to the screen. +Let's see an example of the most famous "Hello World!": + +``` python +print('Hello World!') +``` + +The print argument is a string, which is one of Python's basic data types for storing and managing text. Print outputs a newline character at the end of the line by default, so subsequent calls to print will begin on the next line. + +## Resources: + +- [Learn Python - Full course by freeCodeCamp](https://youtu.be/rfscVS0vtbw) +- [Python tutorial for beginners by Nana](https://youtu.be/t8pPdKYpowI) +- [Python Crash Course book](https://amzn.to/40NfY45) + +See you on [Day 43](day43.md). \ No newline at end of file diff --git a/2023/day43.md b/2023/day43.md index e69de29..56373d7 100644 --- a/2023/day43.md +++ b/2023/day43.md @@ -0,0 +1,114 @@ +# Day 43 - Programming Language: Python Loops, functions, modules and libraries + +Welcome to the second day of Python, and today we will cover some more concepts: +- Loops +- Functions +- Modules and libraries +- File I/O + +## Loops (for/while): + +Loops are used to repeatedly run a block of code. + +### for loop + +Using the `for` loop, a piece of code is executed once for each element of a sequence (such as a list, string, or tuple). Here is an example of a for loop that prints each programming language in a list: + +``` python +languages = ['Python', 'Go', 'JavaScript'] + +# for loop +for language in languages: + print(language) +``` + +Output +``` +Python +Go +JavaScript +``` + +### while loop + +The `while loop` is used to execute a block of code repeatedly as long as a condition is True. Here's an example of a while loop that prints the numbers from 1 to 5: + +``` python +i = 1 +n = 5 + +# while loop from i = 1 to 5 +while i <= n: + print(i) + i = i + 1 +``` + +Output: +``` +1 +2 +3 +4 +5 +``` + +## Functions +Functions are reusable chunks of code with argument/parameters and return values. +Using the `def` keyword in Python, you can define a function. In your programme, functions can be used to encapsulate complex logic and can be called several times. +Functions can also be used to simplify code and make it easier to read. Here is an illustration of a function that adds two numbers: + +``` python +# function has two arguments num1 and num2 +def add_numbers(num1, num2): + sum = num1 + num2 + print('The sum is: ',sum) +``` + +``` python +# calling the function with arguments to add 5 and 2 +add_numbers(5, 2) + +# Output: The sum is: 9 +``` + +## Understanding Modules and Importing Libraries: +A module is a file in Python that contains definitions and statements. Modules let you arrange your code and reuse it across many apps. +The Standard Library, a sizable collection of Python modules, offers a wide range of capabilities, such as file I/O, regular expressions, and more. +Additional libraries can be installed using package managers like pip. +You must import a module or library using the import statement in order to use it in your programme. Here is an illustration of how to load the math module and calculate a number's square root using the sqrt() function: + +``` python +import math + +print(math.sqrt(16)) # 4.0 +``` + +## File I/O +File I/O is used to read and write data to and from files on disk. +The built-in Python function open() can be used to open a file, after which you can read from and write to it using methods like read() and write(). +To save system resources, you should always close the file after you are done with it. +An example of reading from a file and printing its content: + +``` python +f = open("90DaysOfDevOps.txt", "r") +print(f.read()) +f.close() +``` + +## Exception Handling: + +Exceptions are runtime errors that happen when your programme runs into unexpected circumstances, such dividing by zero or attempting to access a list element that doesn't exist. +Using a try/except block, you can manage exceptions in Python. The try block's code is run, and if an exception arises, the except block's code is run to handle the exception. + +``` python +try: + f = open("90DaysOfDevOps.txt") + try: + f.write("Python is great") + except: + print("Something went wrong when writing to the file") +``` + +## Conclusion + +That is it for today, I will see you tomorrow in [Day 44 | Day 3 of Python!](day44.md). diff --git a/2023/day44.md b/2023/day44.md index e69de29..3ccea18 100644 --- a/2023/day44.md +++ b/2023/day44.md @@ -0,0 +1,126 @@ +# Day 44 - Programming Language: Python Data Structures and OOP + +Welcome to the third day of Python, and today we will cover some more advanced concepts: + +- Data Structures +- Object Oriented Programming (OOP) + +## Data Structures: + +Python includes a number of data structures for storing and organizing data. The following are some of the most common ones: + +### Lists: + +Lists are used to store multiple items in a single variable. They can hold any type of collection of items (including other lists), and their elements can be accessed via an index. +Lists are mutable, which means they can be changed by adding, removing, or changing elements. +Here's an example of how to make a list and access its elements: + +``` python +thislist = ["apple", "banana", "orange"] +print(thislist[0]) # OUTPUT apple +print(thislist[2]) # OUTPUT orange +``` + +### Tuples: + +Tuples are similar to lists, but they are immutable, which means they cannot be **changed** once created. They are frequently used to represent fixed sets of data. +Tuples can be created with or without parentheses, but they are typically used to make the code more readable. Here's an example of a tuple and how to access its elements: + +``` python +my_tuple = (1, 2, [4, 5]) +print(my_tuple[0]) # OUTPUT 1 +print(my_tuple[2]) # OUTPUT "three" +print(my_tuple[3][0]) # OUTPUT 4 +``` + +### Dictionaries: + +Dictionaries are yet another versatile Python data structure that stores a collection of key-value pairs. The keys must be unique and unchangeable (strings and numbers are common), and the values can be of any type. +Dictionaries can be changed by adding, removing, or changing key-value pairs. +Here's an example of creating and accessing a dictionary's values: + +``` python +my_dict = {"name": "Rishab", "project": "90DaysOfDevOps", "country": "Canada"} +print(my_dict["name"]) # OUTPUT "Rishab" +print(my_dict["project"]) # OUTPUT "90DaysOfDevOps" +print(my_dict["country"]) # OUTPUT "Canada" +``` + +### Sets: + +Sets are used to store multiple items in a single variable. They are frequently used in mathematical operations such as union, intersection, and difference. +Sets are mutable, which means they can be added or removed, but the elements themselves must be immutable and sets cannot have two items with the same value. +Here's an example of how to make a set and then perform operations on it: + +``` python +my_set = {1, 2, 3, 4, 5} +other_set = {3, 4, 5, 6, 7} +print(my_set.union(other_set)) # {1, 2, 3, 4, 5, 6, 7} +print(my_set.intersection(other_set)) # {3, 4, 5} +print(my_set.difference(other_set)) # {1, 2} +``` + +## Object Oriented Programming: + +I also want to talk about object-oriented programming (OOP) concepts in Python, which are used to structure code into reusable and modular components, in addition to data structures. Here are some of the most important OOP concepts to understand: + +### Class + +A class is a template for creating objects. A class specifies the attributes (data) and methods (functions) that a class's objects can have. Classes are defined using the `class` keyword, and objects are created using the class constructor. Here's an example of defining a `Person` class and creating an object of that class: + +``` python +class Person: + def __init__(self, name, country): + self.name = name + self.country = country +person = Person("Rishab", "Canada") +print(person.name) # OUTPUT "Alice" +print(person.country) # OUTPUT "Canada" +``` + +### Inheritance: + +Inheritance is a technique for creating a new class from an existing one. The new class, known as a subclass, inherits the attributes and methods of the existing superclass. +Subclasses can extend or override the superclass's attributes and methods to create new functionality. Here's an example of defining a `Person` subclass called `Student`: + +``` python +class Student(Person): + def __init__(self, name, country, major): + super().__init__(name, country) + self.major = major + +student = Student("Rishab", "Canada", "Computer Science") +print(student.name) # OUTPUT "Rishab" +print(student.country) # OUTPUT "Canada" +print(student.major) # OUTPUT "Computer Science" +``` + +### Polymorphism: + +Polymorphism refers to the ability of objects to take on different forms or behaviors depending on their context. +Polymorphism can be achieved by using inheritance and method overriding, as well as abstract classes and interfaces. Here's an example of a speak() method being implemented in both the Person and Student classes: + +``` python +class Person: + def __init__(self, name, country): + self.name = name + self.country = country + + def speak(self): + print("Hello, my name is {} and I am from {}.".format(self.name, self.country)) + +class Student(Person): + def __init__(self, name, country, major): + super().__init__(name, country) + self.major = major + + def speak(self): + print("Hello, my name is {} and I am a {} major.".format(self.name, self.major)) + +person = Person("Rishab", "Canada") +student = Student("John", "Canada", "Computer Science") + +person.speak() # "Hello, my name is Rishab and I am from Canada." +student.speak() # "Hello, my name is John and I am a Computer Science major." +``` + See you tomorrow in [Day 45](day45.md). \ No newline at end of file diff --git a/2023/day45.md b/2023/day45.md index e69de29..64804ad 100644 --- a/2023/day45.md +++ b/2023/day45.md @@ -0,0 +1,127 @@ +# Day 45 - Python: Debugging, testing and Regular expression + +Welcome to Day 4 of Python! +Today we will learn about: + +- Debugging and testing +- Regular expressions +- Datetime library + +Let's start! + +## Debugging and testing + +Debugging is the process of finding and correcting errors or bugs in code. Python includes a debugger called `pdb` that allows you to step through your code and inspect variables as you go. You can use `pdb` to help you figure out where your code is going wrong and how to fix it. + +``` python +import pdb + +def add_numbers(x, y): + result = x + y + pdb.set_trace() # Start the debugger at this point in the code + return result + +result = add_numbers(2, 3) +print(result) +``` + +In this example, we define the `add_numbers` function, which adds two numbers and returns the result. To start the debugger at a specific point in the code, we use the pdb.set trace() function (in this case, after the result has been calculated). This enables us to inspect variables and step through the code to figure out what's going on. + +In addition to debugging, testing is an important part of programming. It entails creating test cases to ensure that your code is working properly. Python includes a `unittest` module that provides a framework for writing and running test cases. + +``` python +import unittest + +def is_prime(n): + if n < 2: + return False + for i in range(2, n): + if n % i == 0: + return False + return True + +class TestIsPrime(unittest.TestCase): + def test_is_prime(self): + self.assertTrue(is_prime(2)) + self.assertTrue(is_prime(3)) + self.assertTrue(is_prime(5)) + self.assertFalse(is_prime(4)) + +if __name__ == '__main__': + unittest.main() + +``` + +Output: + +``` bash +---------------------------------------------------------------------- +Ran 1 test in 0.000s + +OK +``` + +## Regular expressions: + +In Python, regular expressions are a powerful tool for working with text data. They enable you to search for and match specific character patterns within a string. Python's `re` module includes functions for working with regular expressions. +For example, you can use regular expressions to search for email addresses within a larger block of text, or to extract specific data from a string that follows a particular pattern. + +``` python +import re + +# Search for a phone number in a string +text = 'My phone number is 555-7777' +match = re.search(r'\d{3}-\d{4}', text) +if match: + print(match.group(0)) + +# Extract email addresses from a string +text = 'My email is example@devops.com, but I also use other@cloud.com' +matches = re.findall(r'\S+@\S+', text) +print(matches) +``` + +Output: + +``` bash +555-7777 +['example@devops.com,', 'other@cloud.com'] +``` + +## Datetime library: + +As the name suggests, Python's `datetime` module allows you to work with dates and times in your code. It includes functions for formatting and manipulating date and time data, as well as classes for representing dates, times, and time intervals. +The datetime module, for example, can be used to get the current date and time, calculate the difference between two dates, or convert between different date and time formats. + +``` python +from datetime import datetime, timedelta + +# Get the current date and time +now = datetime.now() +print(now) # Output: 2023-02-17 11:33:27.257712 + +# Create a datetime object for a specific date and time +date = datetime(2023, 2, 1, 12, 0) +print(date) # Output: 2023-02-01 12:00:00 + +# Calculate the difference between two dates +delta = now - date +print(delta) # Output: 15 days, 23:33:27.257712 +``` + +Output: + +``` bash +2023-02-17 11:33:27.257712 +2023-02-01 12:00:00 +15 days, 23:33:27.257712 +``` + +## Resources + +- [pdb - The Python Debugger](https://docs.python.org/3/library/pdb.html) +- [re - Regular expressions operations](https://docs.python.org/3/library/re.html) +- [datetime - Basic date and time types](https://docs.python.org/3/library/datetime.html) + + See you tomorrow in [Day 46](day46.md). + \ No newline at end of file diff --git a/2023/day46.md b/2023/day46.md index e69de29..7b87890 100644 --- a/2023/day46.md +++ b/2023/day46.md @@ -0,0 +1,48 @@ +# Day 46 - Web development in Python + +Python is quite capable when it comes to web development, and there are a variety of frameworks and modules are available for it. These can be used to create web applications. +Flask, Django, and Pyramid are a few well-known frameworks. The choice of framework will rely on the project's requirements. Each of these frameworks has advantages and disadvantages of its own. + +## Creating a basic web app using Flask: + +Creating a basic web application using Flask: Flask is a micro web framework for Python that is easy to learn and use. It provides a simple way to create web applications and APIs using Python. Here are some examples of Flask code for creating a basic web application: + +``` python +from flask import Flask + +app = Flask(__name__) + +@app.route('/') +def hello_world(): + return 'Hello, World!' +``` +This code creates a Flask application and defines a single route for the root URL (/). When the user visits the URL, the hello_world() function is called and returns the string 'Hello, World!'. + +## Working with databases: + +The majority of online applications need some sort of permanent storage, and Python offers a number of modules and frameworks for doing so. Popular options include Django ORM, Peewee, and SQLAlchemy. Here is an illustration of how to work with a SQLite database using SQLAlchemy: + +``` python +from flask import Flask +from flask_sqlalchemy import SQLAlchemy + +app = Flask(__name__) +app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///test.db' +db = SQLAlchemy(app) + +class User(db.Model): + id = db.Column(db.Integer, primary_key=True) + name = db.Column(db.String(50)) + +@app.route('/') +def index(): + users = User.query.all() + return render_template('index.html', users=users) +``` +This code creates a SQLite database and a User table using SQLAlchemy. The index() function queries the database for all users and passes them to the template for rendering. + +Having a good understanding of how these web apps work, will help you with automation and deployment when it comes to practicing DevOps. +You can dive deeper into how you can build APIs using Python and serverless technologies like AWS Lambda, Azure Functions etc. + +I have a demo on [how I built a serverless resume API](https://github.com/rishabkumar7/AzureResumeAPI). +See you tomorrow in [Day 47](day47.md). diff --git a/2023/day47.md b/2023/day47.md index e69de29..b89b27b 100644 --- a/2023/day47.md +++ b/2023/day47.md @@ -0,0 +1,64 @@ +# Day 47 - Automation with Python + +Using Python for infrastructure management involves automating the management of IT infrastructure, such as servers, databases, and networking equipment. This can include tasks like provisioning, configuration, and orchestration. +Python is a popular language for infrastructure management, and there are several tools and libraries available to help with this. Some popular tools for infrastructure management that use Python include: + +- Fabric +- PyWinRM +- Pulumi + +## Fabric + +Fabric is a Python library that can be used for streamlining SSH commands and remote execution of scripts, which can be used to automate server configuration and deployment. +Here is an example in which we will be using the Fabric library to connect to a remote server using SSH, and then run the `ls -l` command on the remote server. The output of the command will be printed to the console. + +``` python +from fabric import Connection + +# Connect to the remote server +c = Connection('user@remote.host') + +# Run a command on the remote server +result = c.run('ls -l') + +# Print the output of the command +print(result.stdout) +``` + + +## PyWinRM + + A Python library that can be used to automate Windows Remote Management tasks, which can be used to automate Windows server configuration and management. + +## Pulumi + +Pulumi is a cloud infrastructure as code (CIaC) tool that lets you define and manage cloud resources in a variety of programming languages, including Python. + +You can use Pulumi to write Python code to describe your infrastructure as code, and then use the Pulumi CLI to deploy and manage it. Here is an example: + +``` python +import pulumi +from pulumi_aws import ec2 + +# Define an EC2 instance +server = ec2.Instance('server', + instance_type='t2.micro', + ami='ami-0c55b159cbfafe1', + tags={ + 'Name': 'cloud-server', + }, +) + +# Export the server's IP address +pulumi.export('ip_address', server.public_ip) +``` + +In this example, we're using the Pulumi Python SDK to define an EC2 instance on AWS. We specify the instance type, the AMI ID, and some tags for the instance, and then export the instance's public IP address. ou can then use the Pulumi CLI to deploy this infrastructure, which will create the EC2 instance on AWS. You can also use the Pulumi CLI to manage your infrastructure over time, making changes and updates as needed. + +## Resources: + +- [Learn more about Fabric](https://docs.fabfile.org/en/stable/index.html) +- [PyWinRM](https://github.com/diyan/pywinrm) +- [Pulumi - IaC Tool](https://www.pulumi.com/docs/reference/pkg/python/pulumi/) + +See you tomorrow in [Day 48](day48.md). diff --git a/2023/day48.md b/2023/day48.md index e69de29..daaabac 100644 --- a/2023/day48.md +++ b/2023/day48.md @@ -0,0 +1,157 @@ +# Day 47 - Let's build an App in Python + +Let's create a simple blog app with the help of [Flask](https://flask.palletsprojects.com/en/2.2.x/) that supports posts in [markdown.](https://www.markdownguide.org/basic-syntax/) + +## Initiating virtual env and installing packages + +Let's create a directory for our blog project. After you have created your project directory, create virtual environment using the following commands: +- Windows + ``` bash + c:\>python -m venv c:\path\to\myenv + ``` +- Linux//MacOs + ``` bash + python3 -m venv /path/to/new/virtual/environment + ``` + +Activate the virtual environment: + - Windows cmd + ``` bash + C:\> \Scripts\activate.bat + ``` + + - Windows powershell + ``` powershell + \Scripts\Activate.ps1 + ``` + + - Linux//MacOs + ``` bash + source /bin/activate + ``` + +Now let's use `pip` to install required modules and packages that we will be using in this project. +``` bash +pip install flask markdown +``` + +## Creating the flask app + +First, create a new Flask app, by creating a file in root of the project directory called `main.py`: + +``` python +from flask import Flask, render_template +import markdown + +app = Flask(__name__) +``` + +Define a route for the home page: +``` python +@app.route('/') +def home(): + return render_template('index.html') +``` + +Define a route to handle requests for individual blog posts: + +``` python +@app.route('/posts/') +def post(path): + with open(f'posts/{path}.md', 'r') as file: + content = file.read() + html = markdown.markdown(content) + return render_template('post.html', content=html) +``` + +Create templates for the home page and individual blog posts, we can do this by creating a new directory in root of project called `templates`. And then further create the two following `html` files: + +- `index.html`: + +``` html + + + + My Blog + + +

My Blog

+ {% for post in posts %} +

{{ post }}

+ {% endfor %} + + +``` + +- `post.html`: + +``` html + + + + {{ title }} + + +

{{ title }}

+
{{ content|safe }}
+ + +``` + +Modify the home route to display a list of blog post titles: + +``` python +@app.route('/') +def home(): + posts = [] + for file in os.listdir('posts'): + if file.endswith('.md'): + title = file[:-3] + posts.append(title) + return render_template('index.html', posts=posts) +``` + +## Adding markdown posts + +Now before running the app, let's add few posts. +Create a directory called `posts` and add some Markdown files with blog post content. +Let's add a `hello.md`: + +``` markdown +# Hello + +This is my first blog post +### Heading level 3 +#### Heading level 4 +##### Heading level 5 +###### Heading level 6 + +I just love **bold text**. + +``` + +Now, let's run the app, type the following command: + +``` bash +python main.py +``` + +And you should see the following output in the termainal: + +``` bash + python main.py * Serving Flask app 'main' * Debug mode: on WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead. + * Running on http://127.0.0.1:5000 +Press CTRL+C to quit + * Restarting with stat + * Debugger is active! +``` + +Here is how it would look, I have 2 blog posts and have some gifs in my blog posts. Navigate to `127.0.0.0:5000` in a browser window: + +![Home Page of our blog](/2023/images/day48-1.png) + +If we click on the `hello` blog post: + +![Hello blog post](/2023/images/day48-2.png) + +See you tomorrow in [Day 49](day49.md). diff --git a/2023/day49.md b/2023/day49.md index 95dee99..0a1dc24 100644 --- a/2023/day49.md +++ b/2023/day49.md @@ -1,15 +1,48 @@ +# Day 49: AWS Cloud Overview + +Welcome to the AWS section of the 90 Days of DevOps! Picking 7 items to learn about is difficult for several reasons: + +1. At last count, there were 250+ AWS services +2. Each service could get it's own multi-day deep dive 😅 + +Because of that, we're going to do a gentle intro that starts off easy, goes into some very DevOps-salient services, then ends with a section-capstone project that will give you a lot of exposure to AWS DevOps services. + +I hope you enjoy the next 7 days as much as I did creating them. If you have any questions feel free to ask! + AWS Cloud is a cloud computing platform provided by Amazon Web Services (AWS). It offers a wide range of services, including computing, storage, networking, database, analytics, machine learning, security, and more. AWS Cloud allows businesses and organizations to access these services on a pay-as-you-go basis, which means they only pay for what they use and can scale their resources up or down as needed. +![](images/day49-1.png) + +## Flexibility + One of the main benefits of AWS Cloud is its flexibility. You can choose the services that best meet your needs and only pay for what you use. This makes it an ideal solution for small businesses, startups, and enterprises, as it allows them to access the resources they need without having to make a significant upfront investment in infrastructure. +## Security + Another benefit of AWS Cloud is its security. AWS has a number of security measures in place to protect your data and resources, including encryption, identity and access management, and network security. It also has a number of compliance programs in place, including HIPAA, PCI DSS, and GDPR, to ensure that your data is secure and compliant with relevant regulations. AWS Cloud also offers a range of tools and services to help you manage your resources and infrastructure. For example, the AWS Management Console allows you to monitor and control your resources from a single, centralized dashboard. The AWS Command Line Interface (CLI) allows you to manage your resources from the command line, making it easier to automate tasks and integrate with other tools. +## EC2 + One of the most popular services offered by AWS Cloud is Amazon Elastic Compute Cloud (EC2). EC2 allows you to easily launch and manage virtual servers in the cloud, making it easy to scale your resources up or down as needed. You can choose from a range of instance types and sizes, and you only pay for the resources you use. +![](images/day49-2.png) + +## S3 + Another popular service offered by AWS Cloud is Amazon Simple Storage Service (S3). S3 is an object storage service that allows you to store and retrieve large amounts of data from anywhere on the internet. It is highly scalable, durable, and secure, making it an ideal solution for storing and managing data in the cloud. +![](images/day49-3.png) + +## Databases + AWS Cloud also offers a range of other services, including Amazon Relational Database Service (RDS) for managing databases, Amazon Redshift for data warehousing and analytics, and Amazon Elasticsearch Service for search and analytics. These services make it easy to build and manage complex applications in the cloud, without having to worry about infrastructure or scaling. -Overall, AWS Cloud is a powerful and flexible cloud computing platform that offers a wide range of services and tools for businesses and organizations of all sizes. Whether you are a small business, startup, or enterprise, AWS Cloud has something to offer you. With its pay-as-you-go pricing, security, and management tools, it is an ideal solution for anyone looking to take advantage of the benefits of cloud computing. \ No newline at end of file +![](images/day49-4.png) + +Overall, AWS Cloud is a powerful and flexible cloud computing platform that offers a wide range of services and tools for businesses and organizations of all sizes. Whether you are a small business, startup, or enterprise, AWS Cloud has something to offer you. With its pay-as-you-go pricing, security, and management tools, it is an ideal solution for anyone looking to take advantage of the benefits of cloud computing. + +## Resources + +See you tomorrow in [Day 50](day50.md). diff --git a/2023/day50.md b/2023/day50.md index e69de29..d485968 100644 --- a/2023/day50.md +++ b/2023/day50.md @@ -0,0 +1,45 @@ +# Day 50: Get a Free Tier Account & Enable Billing Alarms + +AWS offers a free tier account that allows users to access and experiment with various AWS services without incurring any charges for a limited period of time. In this article, we will guide you through the steps to sign up for a free tier AWS account. + +## Step 1: Go to the AWS website + +The first step to signing up for a free tier AWS account is to go to the AWS website. You can access the website at https://aws.amazon.com. On the website, click on the "Create an AWS Account" button on the top right corner of the page: +![](images/day50-1.png) + +## Step 2: Create an AWS account + +Once you click on the "Create an AWS Account" button, you will be directed to the AWS sign-in page. If you already have an AWS account, you can sign in using your email address and password. If you do not have an account, provide an email address, an AWS account name, & click the "Verify email address" button. You will then be sent an email with the a verification code to provide back. +![](images/day50-2.png) +![](images/day50-3.png) + +## Step 3: Provide your account information + +On the next page, you will be asked to provide your account information. You will be required to provide your password, full name, company name, and a phone number. After entering your information, click on the "Continue" button. +![](images/day50-5.png) +![](images/day50-4.png) + + +## Step 4: Provide your payment information + +To sign up for the free tier account, you will need to provide your payment information. AWS requires this information to verify your identity and prevent fraud. However, you will not be charged for the free tier services, as they are provided at no cost for 1 year. After providing your payment information, click on the "Verify and Continue" button. The next page will send an SMS or voice call to your phone to verify your identity. +![](images/day50-6.png) +![](images/day50-7.png) + +## Step 5: Select a support plan + +After providing your payment information, you will be directed to the support plan page. Here you can choose what level of support you want, for our needs we will use the *Basic support - Free* option. Once you have provided this information, click on the "Complete sign up" button. +![](images/day50-8.png) + +## Next steps: + +Once you have access to your free tier account, there are a few additional steps you'll want to perform. Of these steps, I'd argue that creating a billing alarm is THE most important... *so don't skip it!!* +1. [Create a billing alarm](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/monitor_estimated_charges_with_cloudwatch.html) +2. [Enable MFA on your root user](https://docs.aws.amazon.com/accounts/latest/reference/root-user-mfa.html) +3. [Create an IAM user](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_users_create.html) for regular tasks and *never* use the root user account except for tasks that can only be performed by it. + +## Resources +[Create your free AWS account](https://youtu.be/uZT8dA3G-S4) + +[Generate credentials, budget, and billing alarms via CLI](https://youtu.be/OdUnNuKylHg) +See you in [Day 52](day52.md). diff --git a/2023/day51.md b/2023/day51.md index e69de29..3798f7e 100644 --- a/2023/day51.md +++ b/2023/day51.md @@ -0,0 +1,27 @@ +# Day 51: Infrastructure as Code (IaC) and CloudFormation + +Infrastructure as code (IaC) is a process that allows developers and operations teams to manage and provision infrastructure through code rather than manual processes. With IaC, infrastructure resources can be managed using configuration files and automation tools, resulting in faster, more consistent, and more reliable infrastructure deployments. + +One of the most popular IaC tools is AWS CloudFormation, it allows operations, devops, & developers to define infrastructure resources using templates in YAML or JSON format. These templates can be version-controlled and shared across teams, allowing for easy collaboration and reducing the likelihood of configuration drift. + +![](images/day51-1.png) + +CloudFormation offers a number of benefits for those looking to implement IaC. One key advantage is the ability to automate infrastructure deployment and management, which saves time and reduces the risk of human error. By using CloudFormation, developers and operations teams can define infrastructure resources such as virtual machines, databases, and networking configurations, and then deploy them in a repeatable and consistent way. + +Another benefit of using CloudFormation is the ability to track changes to infrastructure resources. When a change is made to a CloudFormation template, the service can automatically update the resources to reflect the new configuration. This ensures that all resources are kept in sync and reduces the likelihood of configuration errors. + +CloudFormation also provides the ability to manage dependencies between resources. This means that resources can be provisioned in the correct order and with the correct configuration, reducing the likelihood of errors and making the deployment process more efficient. + +In addition to these benefits, CloudFormation also offers a range of other features, such as the ability to roll back changes and the ability to create templates that can be used to deploy entire applications. These features make it easier to manage infrastructure resources and ensure that deployments are consistent and reliable. + +## Resources: + +[What is AWS CloudFormation? Pros & Cons?](https://youtu.be/0Sh9OySCyb4) + +[CloudFormation Tutorial](https://www.youtube.com/live/gJjHK28b0cM) + +[AWS CloudFormation User Guide](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html) + +[AWS CloudFormation Getting Started step-by-step guides](https://aws.amazon.com/cloudformation/getting-started/) + +See you in [Day 52](day52.md). \ No newline at end of file diff --git a/2023/day52.md b/2023/day52.md index e69de29..56856d7 100644 --- a/2023/day52.md +++ b/2023/day52.md @@ -0,0 +1,57 @@ +# Day 52: Identity and Access Management (IAM) + +As cloud computing continues to gain popularity, more and more organizations are turning to cloud platforms to manage their infrastructure. However, with this comes the need to ensure proper security measures are in place to protect data and resources. One of the most critical tools for managing security in AWS is Identity and Access Management (IAM). + +## What is AWS IAM? +|![](images/day52-1.png)| +|:-:| +| IAM is (1) WHO (2) CAN ACCESS (3) WHAT| + + +AWS IAM is a web service that allows you to manage users and their access to AWS resources. With IAM, you can create and manage AWS users and groups, control access to AWS resources, and set permissions that determine what actions users can perform on those resources. IAM provides fine-grained access control, which means that you can grant or deny permissions to specific resources at a granular level. + +IAM is an essential tool for securing your AWS resources. Without it, anyone with access to your AWS account would have unrestricted access to all your resources. With IAM, you can control who has access to your resources, what actions they can perform, and what resources they can access. IAM also enables you to create and manage multiple AWS accounts, which is essential as large organizations will always have many accounts that will need some level of interaction with each other: + +|![](images/day52-2.png)| +|:-:| +| Multi-Account IAM access is essential knowledge| + + +## How to Get Started with AWS IAM + +Getting started with AWS IAM is straightforward. Here are the steps you need to follow: + +### Step 1: Create an AWS Account + +The first step is to create an AWS account if you don't already have one. We did this on day 50 so you should be good to go 😉 + +### Step 2: Set up IAM + +Once you have an AWS account, you can set up IAM by navigating to the IAM console. The console is where you'll manage IAM users, groups, roles, and policies. + +### Step 3: Create an IAM User + +The next step is to create an IAM user. An IAM user is an entity that you create in IAM that represents a person or service that needs access to your AWS resources. When you create an IAM user, you can specify the permissions that the user should have. One of the homework assignments from Day 50 was to [Create an IAM user](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_users_create.html), if you haven't completed that go back and make one now. + +### Step 4: Create an IAM Group + +After you've created an IAM user, the next step is to create an IAM group. An IAM group is a collection of IAM users. When you create an IAM group, you can specify the permissions that the group should have. Watch "IAM Basics" and read "IAM User Guide:Getting Started" in the resources section to accomplish this. + +### Step 5: Assign Permissions to the IAM Group + +Once you've created an IAM group, you can assign permissions to the group. This involves creating an IAM policy that defines the permissions that the group should have. You can then attach the policy to the group. Watch "IAM Tutorial & Deep Dive" and go through the IAM Tutorial in the resources section to accomplish this. + +### Step 6: Test the IAM User + +After you've assigned permissions to the IAM group, you can test the IAM user to ensure that they have the correct permissions. To do this, you can log in to the AWS Management Console using the IAM user's credentials and attempt to perform the actions that the user should be able to perform. + +## Resources: +[IAM Basics](https://youtu.be/iF9fs8Rw4Uo) + +[IAM User Guide: Getting started](https://docs.aws.amazon.com/IAM/latest/UserGuide/getting-started.html) + +[IAM Video Tutorial & Deep Dive](https://youtu.be/ExjW3HCFG1U) + +[IAM Tutorial: Delegate access across AWS accounts using IAM roles](https://docs.aws.amazon.com/IAM/latest/UserGuide/tutorial_cross-account-with-roles.html) + +See you in [Day 53](day53.md). diff --git a/2023/day53.md b/2023/day53.md index e69de29..776e832 100644 --- a/2023/day53.md +++ b/2023/day53.md @@ -0,0 +1,50 @@ +# Day 53: AWS Systems Manager + +![](images/day53-01.png) + +AWS Systems Manager is a fully managed service that allows users to manage and automate operational tasks both on their AWS and on-premises resources. It provides a centralized platform for managing AWS resources, virtual machines, and applications. It enables DevOps professionals to automate operational tasks, maintain compliance, and reduce operational costs. + +With AWS Systems Manager, users can perform tasks such as automating patch management, automating OS and application deployments, creating and managing Amazon Machine Images (AMIs), and monitoring resource utilization. It also provides a set of tools for configuring and managing instances, which includes run commands, state manager, inventory, and maintenance windows. + +Furthermore, AWS Systems Manager provides a unified view of operational data, allowing users to visualize and monitor operational data across their AWS infrastructure, including EC2 instances, on-premises servers, and AWS services. This allows users to identify and resolve issues faster, improving operational efficiency and reducing downtime. + +## How to Get Started with AWS System Manager? + +Getting started with AWS System Manager is as easy as 1, 2, 3, 4 😄: + +![](images/day53-03.png) + +### Step 1: Navigate to the AWS System Manager Console + +Once you have an AWS account, create 2 windows servers and 2 linus servers (free tier of course 😉) and navigate to the AWS System Manager console. The console provides a unified interface for managing AWS resources, including EC2 instances, on-premises servers, and other resources: + +![](images/day53-02.png) +Click the "get started" button and choose your preferred region (I picked us-east-1) + +### Step 2: Choose a configuration type + +The next step is to configure AWS Systems Manager to manage your resources. You can do this by selecting one of the quick setup common tasks (or create a custom setup type of your own choosing): +![](images/day53-04.png) +For my needs I'm going to choose "Patch Manager" - in the resources below we will have additional scenarios that you can experiment with. Watch "Patch and manage your AWS Instances in MINUTES with AWS Systems Manager" to see this step in action. + +### Step 3: Specify configuration options + +Each configuration type has a unique set of parameters to apply for this step... +|![](images/day53-05.png)| +|:-:| +| You will see something different depending on which quick start config you chose| + +so I won't be getting into the required arguments for each one. Generally speaking the next step is to create a resource group to organize your resources. Resource groups are collections of resources that share common attributes. By grouping resources, you can view them collectively and apply policies and actions to them together. Watch "Patch and manage your AWS Instances in MINUTES with AWS Systems Manager" to see this step in action. + +### Step 4: Deploy, Review, and Manage Your Resources + +Once you have created a resource group, you can view and manage your resources from the AWS System Manager console. You can also create automation workflows, run patch management, and perform other operations on your resources. + +## Resources: +[AWS Systems Manager Introduction](https://youtu.be/pSVK-ingvfc) + +[Patch and manage your AWS Instances in MINUTES with AWS Systems Manager](https://youtu.be/DEQFJba3h4M) + +[Getting started with AWS System Manager](https://docs.aws.amazon.com/systems-manager/latest/userguide/getting-started-launch-managed-instance.html) + +See you in [Day 54](day54.md). diff --git a/2023/day54.md b/2023/day54.md index e69de29..777ee55 100644 --- a/2023/day54.md +++ b/2023/day54.md @@ -0,0 +1,31 @@ +# Day 54: AWS CodeCommit + +![](images/day54-01.png) + +AWS CodeCommit is a fully managed source control service provided by Amazon Web Services (AWS) that makes it easy for developers to host and manage private Git repositories. Think "GitHub but with less features" 🤣 (j/k, see the resource "CodeCommit vs GitHub" for a breakdown) It allows teams to collaborate on code and keep their code securely stored in the cloud, with support for secure access control, encryption, and automatic backups. + +With AWS CodeCommit, developers can easily create, manage, and collaborate on Git repositories with powerful code review and workflow tools. It integrates seamlessly with other AWS services like AWS CodePipeline and AWS CodeBuild, making it easier to build and deploy applications in a fully automated manner. + +Some key features of AWS CodeCommit include: + +- Git-based repositories with support for code reviews and pull requests +- Integration with AWS Identity and Access Management (IAM) for secure access control (this is a big plus) +- Encryption of data at rest and in transit +- Highly scalable and available, with automatic backups and failover capabilities +- Integration with other AWS developer tools like AWS CodePipeline and AWS CodeBuild + +In order to effectively leverage CodeCommit, you of course need to know how to use Git. There are [many](https://www.youtube.com/playlist?list=PL2rC-8e38bUXloBOYChAl0EcbbuVjbE3t) [excellent](https://youtu.be/tRZGeaHPoaw) [Git](https://youtu.be/USjZcfj8yxE) [tutorials](https://youtu.be/RGOj5yH7evk) out there, (and that's not my section anyway 😉) so I won't go into that myself. + +Overall, AWS CodeCommit is a powerful tool for teams that need to collaborate on code, manage their repositories securely, and streamline their development workflows. + +## Resources: + +[AWS CodeCommit User Guide](https://docs.aws.amazon.com/codecommit/latest/userguide/welcome.html) + +[AWS CodeCommit Overview](https://youtu.be/5kFmfgFYOx4) + +[AWS CodeCommit tutorial: your first Repo, Commit and Push](https://youtu.be/t7M8pHCh5Xs) + +[AWS CodeCommit vs GitHub: Which will Shine in 2023?](https://appwrk.com/aws-codecommit-vs-github) + +See you in [Day 55](day55.md). diff --git a/2023/day55.md b/2023/day55.md index e69de29..b12958e 100644 --- a/2023/day55.md +++ b/2023/day55.md @@ -0,0 +1,66 @@ +# Day 55: AWS CodePipeline + +On this last day of AWS services we are going to talk about a big one that has a lot of moving parts and integrations. There are a few free resources out there that will help in your learning/understanding of this... but honestly some of the best ones will cost you some money. I will list them out seperately in the resources section and call them out, but I would be remiss in NOT mentioning them as they are fantastic for learning this complex service + +CodePipeline is a fully managed continuous delivery service that allows you to automate your IaC or software release processes. It enables you to create pipelines that build, test, and deploy your code changes continuously and (with proper testing in place) reliably: + +![](images/day55-01.jpg) + +With CodePipeline, you can create pipelines that automate your build, test, and deployment workflows, ensuring that your code changes are reliably deployed to your target environments. It enables you to achieve faster release cycles, improve collaboration among development and operations teams, and improve the overall quality and reliability of your software releases. + +AWS CodePipeline integrates with other AWS services: + +- [Source Action Integrations](https://docs.aws.amazon.com/codepipeline/latest/userguide/integrations-action-type.html#integrations-source) +- [Build Action Integrations](https://docs.aws.amazon.com/codepipeline/latest/userguide/integrations-action-type.html#integrations-build) +- [Test Action Integrations](https://docs.aws.amazon.com/codepipeline/latest/userguide/integrations-action-type.html#integrations-test) +- [Deploy Action Integrations](https://docs.aws.amazon.com/codepipeline/latest/userguide/integrations-action-type.html#integrations-deploy) +- [Approval Action Integrations](https://docs.aws.amazon.com/codepipeline/latest/userguide/integrations-action-type.html#integrations-approval) +- [Invoke Action Integrations](https://docs.aws.amazon.com/codepipeline/latest/userguide/integrations-action-type.html#integrations-invoke) + + It also integrates with third-party tools such as GitHub, Jenkins, and Bitbucket. You can use AWS CodePipeline to manage your application updates across multiple AWS accounts and regions. + +## Getting started with AWS CodePipeline + +To get started with AWS CodePipeline, there are several excellent [tutorials](https://docs.aws.amazon.com/codepipeline/latest/userguide/tutorials.html) in the [AWS User Guide](https://docs.aws.amazon.com/codepipeline/latest/userguide/welcome.html). They all basically break down into the following 3 steps: + +### Step 1: Create an IAM role + +You need to create an IAM role that allows AWS CodePipeline to access the AWS resources required to run your pipelines. To create an IAM role, review the steps from [Day 52](day52.md) + +### Step 2: Create a CodePipeline pipeline + +To create a CodePipeline pipeline, go to the AWS CodePipeline console, click on the "Create pipeline" button, and then follow the instructions to create your pipeline. You will need to specify the source location for your code, the build provider you want to use, the deployment provider you want to use, and the IAM role you created in step 2. + +### Step 3: Test and deploy your code changes + +Once you have created your CodePipeline pipeline, you can test and deploy your code changes. AWS CodePipeline will automatically build, test, and deploy your code changes to your target environments. You can monitor the progress of your pipeline in the AWS CodePipeline console. + +## Capstone Project + +To tie up this AWS section of the 90 Days of DevOps, I recommend that you go through Adrian Cantrill's excellent mini-project, the [CatPipeline](https://www.youtube.com/playlist?list=PLTk5ZYSbd9MgARTJHbAaRcGSn7EMfxRHm). In it you will be exposed to CodeCommit, CodeBuild, CodeDeploy, and CodePipeline in a fun little project that will give you a taste of a day in the life of a DevOps engineer. + +- [YouTube CatPipeline Playlist](https://www.youtube.com/playlist?list=PLTk5ZYSbd9MgARTJHbAaRcGSn7EMfxRHm) +- [GitHub CatPipeline Repo](https://github.com/acantril/learn-cantrill-io-labs/tree/master/aws-codepipeline-catpipeline) + +## Resources (Free) + +[AWS: Real-world CodePipeline CI/CD Examples](https://youtu.be/MNt2HGxClZ0) + +[AWS CodePipeline User Guide](https://docs.aws.amazon.com/codepipeline/latest/userguide/welcome.html) + +[AWS CodePipeline Tutorials](https://docs.aws.amazon.com/codepipeline/latest/userguide/tutorials.html) + +[AWS CodeCommit tutorial: your first Repo, Commit and Push](https://youtu.be/t7M8pHCh5Xs) + +[AWS CodeCommit vs GitHub: Which will Shine in 2023?](https://appwrk.com/aws-codecommit-vs-github) + +## Resources (Paid) + +There are a number of excellent instructors out there and picking 2-3 is always hard, but [Adrian Cantrill](https://learn.cantrill.io/), [Andrew Brown](https://www.exampro.co/), and [Stephane Maarek](https://www.udemy.com/user/stephane-maarek/) always come to mind when discussing fantastic content out there. + +## Final Thoughts + +I hope that this section of the 90 Days of DevOps has given you a taste of what is available in the AWS ecosystem. + +Good luck in your studies! Up next is Red Hat OpenShift! +See you in [Day 56](day56.md). diff --git a/2023/day56.md b/2023/day56.md index e69de29..9e15c62 100644 --- a/2023/day56.md +++ b/2023/day56.md @@ -0,0 +1,111 @@ +# Why choose an enterprise Kubernetes platform? + +In the original #90DaysOfDevOps, [Michael covered Kubernetes](https://github.com/MichaelCade/90DaysOfDevOps/blob/main/2022.md#kubernetes) from what it is, to a basic installation, and looking around the various components that make up the ability to deploy and consume containers. + +When you look at Kubernetes offerings, there is the open-source do-it-yourself offering, typically known as vanilla Kubernetes, or you have an enterprise offering. An enterprise Kubernetes platform provides a more comprehensive set of features and services than a vanilla Kubernetes. These features and services may include advanced security, auditing, and logging capabilities, as well as simplified deployment, configuration, and management capabilities. In addition, enterprise Kubernetes platforms provide support for a variety of cloud providers, and often come with additional features such as multi-cluster management, cloud-native storage and networking, and automated compliance checks. These features and services make it easier for organizations to manage their Kubernetes clusters and ensure that they are secure, compliant, and optimized for performance. + +Some of the leading vendors offering Enterprise Kubernetes include Red Hat OpenShift, Google Anthos, Amazon EKS, Microsoft Azure Kubernetes Service, and VMware Tanzu. There are of course a lot more to add to this list! + +Of course for this section, we are dedicating ourselves to Red Hat OpenShift. + +I decided to cheat a bit for this opening, and consult ChatGPT, the AI Service of the moment, to provide an opinion on why Red Hat OpenShift. + +>Why choose an enterprise Kubernetes platform such as Red Hat OpenShift? +> +> +>1. Automation and Enterprise-grade Security: Red Hat OpenShift provides an automated platform to help you deploy, manage, and scale your applications quickly and easily while ensuring that the underlying infrastructure is secure. +> +>2. Open Source: Red Hat OpenShift is built on top of open source technologies such as Kubernetes, Docker, and Red Hat Enterprise Linux. This ensures that your applications are always up-to-date with the latest technologies. +> +>3. Continuous Integration and Delivery: Red Hat OpenShift provides an integrated set of tools for continuous integration and delivery that make it easy to deploy and manage your applications in a secure and reliable manner. +> +>4. Scalability and High Availability: Red Hat OpenShift provides a highly available and scalable platform that can handle large amounts of traffic and data without any downtime. +> +>5. Cost Savings: Red Hat OpenShift provides a cost-effective solution for running your applications in the cloud. You can save money on infrastructure and operations costs by leveraging OpenShift's automated platform. + + +# What does Red Hat OpenShift bring to the party? + +Red Hat has developed OpenShift based on a Open Souce platform (Kubernetes) and even distributes the OpenShift platform enhancements as Open Source as well under the guise of [OpenShift Kubernetes Distribution (OKD)](https://www.okd.io). + +This distribution of Kubernetes is designed around providing the user continous application developlment and multi-tenant capabilities, with embedded security tooling, lifecycle management, and operational management. + +## Out-of-the-Box Features + +Again, this is not an exhausive list: + +- Pre-built container images and a container runtime environment. +- Integrated, open source platform and container runtime environment. +- Access to a wide range of services such as databases, messaging, and storage. + - These services are provided by [Red Hat Ecosystem Catalog](https://catalog.redhat.com/), which allows third parties to ensure their software is certified for the platform, and provides users an easy way to consume the software within the platform. +- Platform for deploying custom applications. +- Web-based user interface, command line tools, and an API. +- Monitoring and logging capabilities. +- Security and resource isolation. +- Automated build and deployment pipelines. +- Continuous integration and continuous delivery (CI/CD) capabilities. + +You can read a more indepth coverage of the benefits and features of Red Hat OpenShift in [this datasheet](https://www.redhat.com/en/resources/openshift-container-platform-datasheet), or a full breakdown on the [Red Hat Developers page](https://developers.redhat.com/products/openshift/overview) + +![OpenShift Overview](images/Day56-OpenShift-container-platform-datasheet.png) + +## Where can I deploy OpenShift? + +As mentioned early, OpenShift can be deployed across the majority of platforms you can think of, within your own datacenter, either bare metal or to a hypervisor, stretching out into the Cloud offerings, either self-managed or managed by Red Hat. Below are the current platforms listed as covered, at the time of writing this article. + +- Cloud Services Editions - Managed by Red Hat + - [AWS (ROSA)](https://www.redhat.com/en/technologies/cloud-computing/openshift/aws) + - Billed by AWS + - [Azure](https://www.redhat.com/en/technologies/cloud-computing/openshift/azure) + - Billed by Microsoft + - [IBM Cloud](https://www.redhat.com/en/technologies/cloud-computing/openshift/ibm) + - Billed by IBM + - [Red Hat Dedicated](https://www.redhat.com/en/resources/openshift-dedicated-datasheet) - Hosted in the cloud, dedicated to a single customer. + - Deployed to either AWS or GCP + - Billed by Red Hat for the OpenShift Software, billed by AWS/GCP for the cloud infrastructure used + +How is Red Hat OpenShift Service on AWS/Azure different to Red Hat OpenShift Dedicated? + +``` + +Red Hat OpenShift Service on AWS is a fully managed implementation of OpenShift Container Platform deployed and operated on AWS, jointly managed and supported by both Red Hat and AWS. + +Red Hat OpenShift Dedicated is a service hosted and fully-managed by Red Hat that offers clusters in a virtual private cloud on AWS or Google Cloud Platform. +``` + +- Self-Managed Editions - Managed by you + - Amazon Web Services (AWS) + - Google Cloud Platform (GCP) + - Microsoft Azure + - Microsoft Azure Stack Hub + - Red Hat OpenStack Platform (RHOSP) versions 16.1 and 16.2 + - IBM Cloud VPC + - Nutanix + - Red Hat Virtualization (RHV) + - VMware vSphere + - VMware Cloud (VMC) on AWS + - Alibaba Cloud + - Bare metal + - IBM Z or LinuxONE + - IBM Power + +## Getting access to a trial + +Getting started with OpenShift is simple. They give you the ability trial three options: +- Developer Sandbox - A hosted instance of OpenShift for you to consume straight away for 30 days +- Managed Service - A fully managed Red Hat OpenShift dedicated instance for you to consume, you will need to provide the AWS or GCP cloud account to deploy this into. 60 day trial. +- Self-Managed - Deploy OpenShift yourself to any of the platforms named above. 60 day trial. + +You'll need to sign up for a Red Hat account to access the trial and get the software details to deploy. +- [Try Red Hat OpenShift](https://www.redhat.com/en/technologies/cloud-computing/openshift/try-it) + +# Next Steps - Understanding the OpenShift Architecture + Spinning up an instance! + +In [day 57](/day57.md) we will dive into the Architecture and components of OpenShift, moving onto spinning up our own OpenShift Environment in [day 58](/day58.md). + +# Resources + +- [OKD](https://www.okd.io/) +- [Official Red Hat OpenShift product page](https://www.redhat.com/en/technologies/cloud-computing/openshift) +- [Red Hat Hybrid Cloud Learning Hub](https://cloud.redhat.com/learn) + diff --git a/2023/day57.md b/2023/day57.md index e69de29..6c025e3 100644 --- a/2023/day57.md +++ b/2023/day57.md @@ -0,0 +1,163 @@ +# Red Hat OpenShift - Architecture + +## Base Operating System - Red Hat CoreOS + +[In 2018 Red Hat acquired](https://www.redhat.com/en/about/press-releases/red-hat-acquire-coreos-expanding-its-kubernetes-and-containers-leadership) a small startup called CoreOS, which designed and produced the cloud-native focused operating system "CoreOS". + +This product was folding into the portfolio as "Red Hat CoreOS" (RHCOS), to become their primary operating system for Red Hat OpenShift. In fact, RHCOS is only supported for use as part of a Red Hat OpenShift environment. Meaning you cannot just spin an instance to use as your general purpose linux. This is different to competitors such as VMware, whom are the guardians of [PhotonOS](https://vmware.github.io/photon/assets/files/html/3.0/Introduction.html), which is the base OS for their Tanzu Kubernetes Grid platform, as well as many other of their software appliances, and available for general use by the community as an open-source project. + +The most important note about RHCOS, is that it is the only supported operating system for the Red Hat OpenShift Control Plane (a.k.a Master) nodes. For Compute Plane (a.k.a Worker) nodes, you have the choice to deploy either RHCOS or[ Red Hat Enterprise Linux (RHEL)](https://www.redhat.com/en/technologies/linux-platforms/enterprise-linux) as the operating system. You can read about the RHCOS [key features here](https://docs.openshift.com/container-platform/4.12/architecture/architecture-rhcos.html#rhcos-key-features_architecture-rhcos). + +RHCOS is designed as a minimal user-interaction platform from a configuration standpoint. It is not [encouraged to directly configure](https://docs.openshift.com/container-platform/4.12/architecture/architecture-rhcos.html#rhcos-configured_architecture-rhcos) a RHCOS instance, as it's management comes from the Red Hat OpenShift platform itself, meaning any configuarations would be controlled via Kubernetes Objects. + +Bringing a RHCOS machine online is enabled through [Ignition](https://docs.openshift.com/container-platform/4.12/architecture/architecture-rhcos.html#rhcos-about-ignition_architecture-rhcos), a utility designed to manipulate the disks during initial configuration of the machine. This runs at first boot, and typically will be used to configure disk partitions for the machine, and provide the necessary details for the machine to connect ot the bootstrapping machine in the environment, from which it will recieve it's configuration to become part of the Red Hat OpenShift Cluster. + +- When booting an RHCOS machine, you provide an ignition file, which contains the various components/settings for first boot. This is a JSON file which is base64 encoded. Typically for a Cluster Node, this will be details on how to connect to the bootstrap machine. For the bootstrap machine, when building a new Red Hat OpenShift cluster, this ignition file will contain details such as secrets/locations to pull the necessary Red Hat software and configuration manifests for the Red Hat OpenShift Cluster. +- Ignition files are typically created from the install-config.yaml file used with the OpenShift-Install CLI tool. + +To summarize this section, RHCOS brings the following, as a specifically designed cloud native operating system: + +- Ignition, for first boot configuration of machines. +- CRI-O, a Kubernetes native container runtime implementation. (OpenShift 3.x (Deprecated version) installations used Docker). +- Kubelet, a kubernetes node agent for launching and monitoring containers. + +## Product Architecture + +At a basic level, Red Hat OpenShift if built ontop of the open-source platform, Kubernetes. Meaning that all components you have learned about from this base platform, are apparent and available in the Red Hat OpenShift platform. + +If you haven't visited the [#90DaysOfDevOps - Kubernetes section](https://github.com/MichaelCade/90DaysOfDevOps/blob/main/2022.md#kubernetes), then I urge you to do so, before continuing with this section on Red Hat OpenShift. + +![Red Hat OpenShift - Product Architect](images/Day57%20-%20Red%20Hat%20OpenShift%20Architecture/Red%20Hat%20OpenShift%20-%20Product%20Architecture.png) + +Ontop of the Kubernetes platform, Red Hat then delivers it's enterprise sauce sprinkled around to help make your cloud native strategy a sucess: + +- Ability to deploy to variety of clouds or your on-premises datacenter. +- Integrating Red Hat Technologies from Red Hat Enterprise Linux +- Open Source development mode. This means source code is available in public software repositories. + +Red Hat believes that although Kubernetes is a great platform for managing your applicaitons, it doesn't do a great job of platform-level requirements management (think supporting services to make your apps work) or deployment process handling. Therefore they layer ontop they additional components to give you a full enterprise ready Kubernetes platform. + +- Custom Operating system based on Red Hat Enterprise Linux (RHCOS)(See above). +- Simplified installation and lifecycle management at a cluster platform level (See below). +- Operators - serving as platform foundation, removing the need to upgrade operating systems and control-plane applications, leading to a simplier lifecycle management. This is based on [OperatorHub](https://operatorhub.io/). (See below for an explanation). +- Red Hat Quay Container Image Registry - based on [Quay.io](quay.io) +- Other Enhancements to the base Kubernetes platform include: + - Software Defined Networking + - Authentication + - Log aggregation + - Montioring + - Routing + +And finally to round off, you can interact with a Red Hat OpenShift Cluster, either via a "Comprehensive" web console, or the custom [OpenShift CLI tool ```oc```](https://docs.openshift.com/container-platform/4.12/cli_reference/openshift_cli/getting-started-cli.html), which is a mix of ```kubectl```, ```kubeadm``` and some specific CLI for Red Hat OpenShift. + +The below image nicely finishes off this section covering the product and it's components and why you would potentially choose Red Hat OpenShift over a vanilla Kubernetes platform. + +- Simplification of creating and managing a cluster +- Built in tooling for the Application Developer to create and deploy their applications, with workload lifecycle management included, such as ability to monitor and scale those applications. + +![Red Hat OpenShift Container Platform Lifecycle](images/Day57%20-%20Red%20Hat%20OpenShift%20Architecture/OpenShift%20Container%20Platform%20lifecycle.png) + +For a further deep dive into the control plane architecture, you can read the [official documentation here](https://docs.openshift.com/container-platform/4.12/architecture/control-plane.html). + +### What is an Operator? + +A little side note here, to explain what an Operator is in regards to a Kubernetes platform. It was created by CoreOS, and hence it's significance in the Red Hat OpenShift Platform. + +> Operators implement and automate common Day-1 (installation, configuration, etc) and Day-2 (re-configuration, update, backup, failover, restore, etc.) activities in a piece of software running inside your Kubernetes cluster, by integrating natively with Kubernetes concepts and APIs. We call this a Kubernetes-native application. With Operators you can stop treating an application as a collection of primitives like Pods, Deployments, Services or ConfigMaps, but instead as a single object that only exposes the knobs that make sense for the application. + +[Source](https://operatorhub.io/what-is-an-operator) + +# Installation methods for Red Hat OpenShift + +Red Hat OpenShift Container Platform (OCP) offers the flexibility of: + +- Deploy a cluster on provisioned infrastructure and the cluster it maintains. +- Deploy a cluster on infrastructure that you prepare and maintain. + +And with these options, there are two types of installation methods/deployment methods for clusters: + +- Installer provisioned infrastructure (IPI) +- User provisioned infrastructure (UPI) + +There is a third method, which is Agent-based, providing the flexbility of UPI, driven by the Assisted Installer (AI) tool. + +Either method, IPI or UPI is driven from the ```openshift-install``` installation program, which is a CLI tool provided for Linux and Mac Operating systems only. + +The installation program will generate the necessary components to build a cluster such as the Ignition files for bootstrap, master and worker machines. It will further monitor the installation for known targets that an installation must achieve for a successful deployment of a cluster, and provide error handling in the event of a failed cluster deployment, by collecting the necessary troubleshooting logs. + +To visualise bringing all these moving parts together, I have provided the below image from the Red Hat OpenShift documentation. + +A cluster definition is created in a special file called ```install-config.yaml```, this file contains the following information: + +- Cluster name +- Base domain (FDQN for the network where the cluster will run) +- Details to pull the software from an image registry (Pull Secret) +- SSH Key (so you can access the nodes for troubleshooting) +- Specific Infrastructure platform details (Login details, which networks and storage to use, for example) +- Workload Customizations, such what instance types to use for your Control Plane (Master) and Compute Plane (Worker) nodes. + +There is also additional files which may be stored along side the root of the ```install-config.yaml``` in a folder called ```manifests``` these are additional files which can be configured to assist the bootstrapping of a cluster to integrate with your infrastructure, such as your Networking platform. + +Once you have all of these files, by running the ```openshift-install``` CLI tool, this will create the ignition files for your boostrap, control plane, and compute plane nodes. Returning to the earlier descriptions of RHCOS, these files contain the first boot information to configure the Operation System and start the process of building a consistent Kubernetes cluster with minimal to no interaction. + +![OpenShift Container Platform installation targets and dependencies](images/Day57%20-%20Red%20Hat%20OpenShift%20Architecture/OpenShift%20Container%20Platform%20installation%20targets%20and%20dependencies.png) + +## Installer provisioned infrastructure (IPI) + +This is the default installation method, and preferred by Red Hat for their customers to initiate a cluster installation, as it provides a reference architectural deployment out of the box. + +The ```openshift-install``` CLI tool can act as it's own installation wizard, presenting you with a number of queries for the values it needs to deploy to your choosen platform. You can also customize the installation process to support more advanced scenerios, such as the number of machines deployed, instance type/size, CIDR range for the Kubernetes service network, + +The main point here, is that the installation software provisions the underlying infrastructure for the cluster. + +By using an IPI installation method, the provisioned cluster then has the further ability to continue to manage all aspects of the cluster and provisioned infrastructure going forward from a lifecycle management point of view. For example, if you scale the number of compute plane (worker) nodes in your cluster, the OpenShift Container Platform can interact with the underlying platform (for example, AWS, VMware vSphere) to create the new virtual machines and bootstrap them to the cluster. + + +## User provisioned infrastructure (UPI) + +With a UPI method, the OpenShift Container Platform will be installed to infrastucture that you have provided. The installation software will still be used to generate the assets needed to provision the cluster, however you will manually build the nodes and provide the necessary ignition to bring the nodes online. You must also manage the infrastructure supporting cluster resources such as: + +- Any infrastructure the nodes are deployed to/upon (Azure Stack Hub, vSphere, IBM Power, Bare Metal, for example) +- Load Balancers +- Cluster networking, including DNS records and required subnets +- Storage for both cluster infrastructure and workloads + +When using a UPI installation, you have the option to deploy your Compute Plane (worker) nodes as Red Hat Enterprise Linux machines. + +## Assisted Installer + +As mentioned earlier, the assisted installer is a kind of hybrid of the UPI method, but offers the hosting of the installation artifacts and removing the need for a bootstrap machine, essentially you provision/install your nodes from a live boot cd, which has the necessary configuration to bring up your node and pull down the rest of the hosted files from a known location. + +You can find out more from this [Red Hat blog post](How to use the OpenShift Assisted Installer), or [official documentation](https://docs.openshift.com/container-platform/4.12/installing/installing_on_prem_assisted/installing-on-prem-assisted.html) + +# Installation Process + +A temporary bootstrap machine is provisioned using IPI or UPI, which contains the necessary information to build the OpenShift cluster itself (which becomes the permanent control plane nodes). Once the control plane is online, the control plane will initiate the creation of the compute plane (worker) nodes. + +![Creating the bootstrap, control plane, and compute machines](images/Day57%20-%20Red%20Hat%20OpenShift%20Architecture/Creating%20the%20bootstrap%20control%20plane%20and%20compute%20machines.png) + +Once the control plane is initialised, the bootstrap machine is destroyed. If you are manually provisioning the platform (UPI), then you complete a number of the provisioning steps manually. + +>Bootstrapping a cluster involves the following steps: +> 1. The bootstrap machine boots and starts hosting the remote resources required for the control plane machines to boot. (Requires manual intervention if you provision the infrastructure) +> 2. The bootstrap machine starts a single-node etcd cluster and a temporary Kubernetes control plane. +> 3. The control plane machines fetch the remote resources from the bootstrap machine and finish booting. (Requires manual intervention if you provision the infrastructure) +> 4. The temporary control plane schedules the production control plane to the production control plane machines. +> 5. The Cluster Version Operator (CVO) comes online and installs the etcd Operator. The etcd Operator scales up etcd on all control plane nodes. +> 6. The temporary control plane shuts down and passes control to the production control plane. +> 7. The bootstrap machine injects OpenShift Container Platform components into the production control plane. +> 8. The installation program shuts down the bootstrap machine. (Requires manual intervention if you provision the infrastructure) +> 9. The control plane sets up the compute nodes. +> 10. The control plane installs additional services in the form of a set of Operators. +> +>The result of this bootstrapping process is a running OpenShift Container Platform cluster. The cluster then downloads and configures remaining components needed for the day-to-day operation, including the creation of compute machines in supported environments. + +# Summary + +We have covered the components that make up a Red Hat OpenShift Container Platform environment, why they are important to the environment, and what enteprise features they bring over a vanilla Kubernetes environment. We then dived into the methods available to deploy an OpenShift Cluster and the process that a Cluster build undertakes. + +In [Day 58](/day58.md) will cover the steps to install Red Hat OpenShift to a VMware vSphere environment. + +# Resources + +- [Glossary of common terms for OpenShift Container Platform architecture](https://docs.openshift.com/container-platform/4.12/architecture/index.html#openshift-architecture-common-terms_architecture-overview) \ No newline at end of file diff --git a/2023/day58.md b/2023/day58.md index e69de29..cef241d 100644 --- a/2023/day58.md +++ b/2023/day58.md @@ -0,0 +1,328 @@ +# Installing Red Hat OpenShift on VMware vSphere + +In the [previous day](day57.md) one of the areas covered was the available installation methods for Red Hat OpenShift. In this guide, I am going to detail the IPI method, where by the installation software deploys the necessary infrastructure as part of the cluster deployment. You will see that even with this method, we still get a lot of control around the deployment of our cluster. + +The platform for this example will be [VMware vSphere](https://www.vmware.com/uk/cloud-solutions/cloud-infrastructure.html), the popular hypervisor virtualisation platform available for your datacenter and public cloud environments. + +## Pre-requisites + +We will need the following: +- Jump host to run the installation software from +- Access to the DNS server which supports the infrastructure platform you are deploying to +- A pull secret file/key from the Red Hat Cloud Console website + - You can get one of these by just signing up for an account, any cluster created using this key will get a trial activation for a cluster for 60 days +- A SSH Key used for access to the deployed nodes + +### Configuring the Jump host Machine + +For this example, I've used a Ubuntu Server Virtual Machine, you can use another distribution of Linux or Mac OS X for these steps. (Note: the ```OpenShift-install``` CLI tool only supports Linux and MAC OS X) + +Download the OpenShift-Install tool and OpenShift-Client (OC) command line tool. (I’ve used version 4.12.6 in my install) + +- https://mirror.openshift.com/pub/openshift-v4/clients/ocp/ + +![OpenShift Clients Download](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift%20Clients%20Download.jpg) + +Extract the files and copy to your /usr/bin/local directory +```` +tar -zxvf openshift-client-linux.tar.gz +tar -zxvf openshift-install-linux.tar.gz + +sudo cp openshift-install /usr/bin/local/openshift-install +sudo cp oc /usr/bin/local/oc +sudo cp kubectl /usr/bin/local/kubectl +```` +Have an available SSH key from your jump box, so that you can connect to your CoreOS VMs one they are deployed for troubleshooting purposes. Generate one using ````ssh-keygen```` if needed. + +Next, we need to download the VMware vCenter trusted root certificates and import them to your Jump Host. + +```` +curl -O https://{vCenter_FQDN}/certs/download.zip +```` + +Now unzip the file (you may need to install a software package for this ````sudo apt install unzip````), and import them to the trusted store (ubuntu uses the .crt files, hence importing the win folder). +```` +unzip download.zip +cp certs/win/* /usr/local/share/ca-certificates +update-ca-certificates +```` +You will need a user account to connect to vCenter with the correct permissions for the OpenShift-Install to deploy the cluster. If you do not want to use an existing account and permissions, you can use this [PowerCLI script](https://github.com/saintdle/PowerCLI/blob/master/Create_vCenter_OpenShift_Install_Role.ps1) to create the roles with the correct privileges based on the Red Hat documentation. + +### Configuring DNS Records + +A mandatory pre-req is DNS records. You will need the two following records to be available on your OpenShift cluster network in the same IP address space that your nodes will be deployed to. These records will follow the format: +```` + {clusterID}.{domain_name} + example: ocp412.veducate.local + *.apps.{clusterID}.{domain_name} + example: *.apps.ocp412.veducate.local +```` +If your DNS is a Windows server, you can use this [script here](https://github.com/saintdle/OCP-4.3-vSphere-Static-IP/tree/master/DNS). I've included a quick screenshot of my DNS Server settings below for both records. + +![OpenShift - Example DNS Records](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift%20-%20Example%20DNS%20records.jpg) + +### Minimum Resources to deploy a cluster + +You need to be aware of the [minimum deployment options](https://docs.openshift.com/container-platform/4.12/installing/installing_vsphere/installing-vsphere.html#installation-minimum-resource-requirements_installing-vsphere) to successfully bring up a cluster. +```` + 1 Bootstrap + This machine is created automatically and deleted after the cluster build. + 3 Control Plane + 2 Compute Plane +```` +![OpenShift - Minimum resource requirements](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift%20-%20Minimum%20resource%20requirements.jpg) + +## Using the OpenShift-Install tool + +Now that we have our pre-reqs in place, we can start to deploy our cluster. When using the ````OpenShift-Install```` tool, you have three main command line options when creating a cluster + +>````openshift-install create cluster```` +>- This will run you through a wizard to create the install-config.yaml file and then create the cluster automatically using terraform which is packaged as part of the installer software (meaning you don't need terraform on your system as a pre-req). +>- If you run the below two commands listed, you can then still run this command to provision your cluster. +> +>````openshift-install create install-config```` +>- This will run you through a wizard to create the install-config.yaml file, and leave it in the root directory, or directory you specify with the --dir= argument. +>- It is supported for you to modify the install-config.yaml file, before running the above ```create cluster``` command. +> +>````openshift-install create manifests```` +>- This will create the manifests folder which controls the provisioning of the cluster. Most of the time this command is only use with UPI installations. However some platform integrations support IPI installation, such as VMware's NSX Advanced Load Balancer, but they require you create the manifest folder and upload adding YAML files to this folder, which helps OpenShift integrate to the Load Balancer upon deployment.. + +There are other commands such as ```create ignition``` which would be used for when you are performing the UPI installation method. + +![OpenShift-install create help](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift-Install%20create%20help.jpg) + +Now let's jump into creating our cluster in the easiest possible way, with the ```openshift-install create cluster```command and press enter, this will take you into the wizard format. Below I've selected my SSH key I want to use and the Platform as vSphere. + +![OpenShift-Install Create cluster](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift-Install%20create%20cluster.jpg) + +Next I enter the vCenter FQDN, the username, and password. The tool then connects to the vCenter and pulls the necessary datastores and networks I can deploy to. If you have missed the certificate step above, it will error out here. + +After selecting datastore and the network, I need to now input the address for: +> api.{cluster_name}.{base_domain} +> *.apps.{cluster_name}.{base_domain} + +However I hit a bug ([GitHub PR](https://github.com/openshift/installer/pull/6783),[Red Hat Article](https://access.redhat.com/solutions/6994972)) in the installer, where by the software installer is hardcoded to only accept addresses in the 10.0.0.0/16 range. + +![OpenShift-Install create cluster - Sorry, your reply was invalid: IP expected to be in one of the machine networks: 10.0.0.0/16](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift-Install%20create%20cluster%20-%20Sorry%2C%20your%20reply%20was%20invalid-%20IP%20expected%20to%20be%20in%20one%20of%20the%20machine%20networks-%2010.0.0.0-16.jpg) + +The current work around for this is to run ````openshift-install create install-config```` provide ip addresses in the 10.0.0.0/16 range, and then alter the ```install-config.yaml``` file manually before running ````openshift-install create cluster````, which will read the available ```install-config.yaml``` file and create the cluster (rather than presenting you another wizard). + +So, let's back track a bit, and do that. Running the ```create install-config``` argument, provides the same wizard run through as before. + +In the wizard, I've provided IP's on the range from above, and set my base domain and cluster name as well. The final piece is to paste in my Pull Secret from the Red Hat Cloud console. + +![OpenShift-install create install-config](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift-install%20create%20install-config.jpg) + +Now if I run ```ls``` on my current directory I'll see the ```install-config.yaml``` file. It is recommended to save this file now before you run the ```create cluster``` command, as this file will be removed after this, as it contains plain text passwords. + +I've highlighted in the below image the lines we need to alter. + +![OpenShift-install install-config.yaml file](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift-install%20-%20install-config.yaml%20file.jpg) + +For the section +```` + machineNetwork: + - cidr: 10.0.0.0/16 +```` +This needs to be changed the network subnet the nodes will run on. And for the platform section, you need to map the right IP addresses from your DNS records. + +```` +platform: + vsphere: + apiVIP: 192.168.200.192 <<<<<<< This is your api.{cluster_name}.{base_domain} DNS record + cluster: Cluster-1 + folder: /vEducate-DC/vm/OpenShift/ + datacenter: vEducate-DC + defaultDatastore: Datastore01 + ingressVIP: 192.168.200.193 <<<<<<< This is your *.apps.{cluster_name}.{base_domain} DNS record +```` + +I've also included a further example of a ```install-config.yaml``` file, I want to highlight under the "compute" and "controlPlane" sections, where by I've specified resouce configuration settings for my virtual machines. You cannot change these below the minimum specified in the documentation, otherwise you will your cluster will not build successfully. + +You can read about further [supported customizations here](https://github.com/openshift/installer/blob/master/docs/user/customization.md). + +```` +apiVersion: v1 +baseDomain: veducate.local +compute: +- hyperthreading: Enabled + name: worker + replicas: 1 + platform: + vsphere: + cpus: 8 + coresPerSocket: 4 + memoryMB: 16384 + osDisk: + diskSizeGB: 120 +controlPlane: + hyperthreading: Enabled + name: master + replicas: 3 + platform: + vsphere: + cpus: 8 + coresPerSocket: 4 + memoryMB: 16384 + osDisk: + diskSizeGB: 120 +metadata: + creationTimestamp: null + name: ocp48 +networking: + clusterNetwork: + - cidr: 10.128.0.0/14 + hostPrefix: 23 + machineNetwork: + - cidr: 10.0.0.0/16 + networkType: OpenShiftSDN + serviceNetwork: + - 172.30.0.0/16 +platform: + vsphere: + apiVIP: 192.168.200.192 + cluster: Cluster-1 + folder: /vEducate-DC/vm/OpenShift/ + datacenter: vEducate-DC + defaultDatastore: Datastore01 + ingressVIP: 192.168.200.193 + network: "network_NW1" + password: Password@! + username: admin@veducate.local + vCenter: vcenter.veducate.local +publish: External +pullSecret: '{"auths":{"cloud.openshift.com":{"auth":"bxxxxxx==","email":"openshift@veducate.co.uk"},"registry.redhat.io":{"auth":"Nxxx=","email":"openshift@veducate.co.uk"}}}' +sshKey: | + ssh-rsa AAAABxxxxxx openshift@veducate +```` +Now that we have our correctly configured ```install-config.yaml``` file, we can proceed with the installation of the cluster, which after running the ```openshift-install create cluster``` command, is hands off from this point forward. The system will output logging to the console for you, which you can modify using the ```--log-level=``` argument at the end of the command. + +Below is the normal output without any modifiers. We now have a working Red Hat OpenShift Cluster, and can use the export command provided to access the cluster via the ```oc``` CLI tool, or you can use ```kubectl``` + +```` +dean@dean [ ~/90days-ocp412 ] # ./openshift-install create cluster +INFO Consuming Install Config from target directory +INFO Creating infrastructure resources... + +INFO Waiting up to 20m0s (until 9:52AM) for the Kubernetes API at https://api.90days-ocp.simon.local:6443... +INFO API v1.25.4+18eadca up +INFO Waiting up to 30m0s (until 10:04AM) for bootstrapping to complete... +INFO Destroying the bootstrap resources... +INFO Waiting up to 40m0s (until 10:30AM) for the cluster at https://api.90days-ocp.simon.local:6443 to initialize... +INFO Checking to see if there is a route at openshift-console/console... +INFO Install complete! +INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/dean/90days-ocp412/auth/kubeconfig' +INFO Access the OpenShift web-console here: https://console-openshift-console.apps.90days-ocp.simon.local +INFO Login to the console with user: "kubeadmin", and password: "ur6xT-gxmVW-WVUuD-Sd44J" +INFO Time elapsed: 35m16s +```` +![OpenShift-Install Create Cluster - output](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift-Install%20create%20cluster%20-%20output.jpg) + +### Viewing the installation logs + +If we now look within our directory where we ran the ```openshift-install``` installation from, you can see a number of new folders and files are created: + +- auth Folder + - Within this folder is your kubeconfig file, as mentioned in the above console output +- tls Folder + - this contains the certificates of the journal-gateway service on the nodes to collect logs and debug +- Terraform files + - There are various ```.tfvars``` and ```.tfstate``` files used by the terraform component which is part of ```openshift-install``` software, and well as the output Terraform state file. +- Log Files + - Finally the verbose output is located in the hidden file ```.openshift_install.log```, this contains all the details about your installation and the running of Terraform to create the various resources. + +Below is a screenshot showing the directory, folders and example of my logging output. + +![OpenShift-Install - .openshift_install.log output](images/Day58%20-%20OpenShift%20Cluster%20Install/OpenShift-Install%20create%20cluster%20-%20.openshift_install.log%20output.jpg) + +## Connecting to your cluster + +To communicate with your cluster, like a vanilla Kubernetes environment, you can interact via the CLI tooling or directly with the API. However with Red Hat OpenShift, you also get a web console out of the box as well, this web console is designed for both personas, the platform administrator, and the developer who is deploying their applications. There is actually a drop down to change between these persona views as well (If you have the appropiate permissions to see both interfaces). + +### Using the Openshift Client (oc) and Kubectl + +Aa you will have seen from the final output of the installation, you will be provided a kubeconfig file in the ```auth``` folder, and the ouput provides you the necessary command to start consuming that straight away, as per the below example. + +> INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/dean/90days-ocp412/auth/kubeconfig' + +Once set as your environment variable, you can now interact with the cluster the same way you would with a vanilla Kubernetes cluster. When using the OpenShift Client (oc) tool, you'll find that all of your favourite ```kubectl``` commands will still work, you just replace the first part of the command with ```oc```. Below I've detailed a few examples: + +```` +kubectl get ns +oc get ns + +kubectl get pods -A +oc get pods -A + + +kubectl get pods -n openshift-apiserver +oc get pods -n openshift-apiserver +```` +![kubectl get pods -n openshift-apiserver - oc get pods -n openshift-apiserver ](images/Day58%20-%20OpenShift%20Cluster%20Install/kubectl%20get%20pods%20-n%20openshift-apiserver%20-%20oc%20get%20pods%20-n%20openshift-apiserver%20.jpg) +![kubectl get pods -A - oc get pods -A](images/Day58%20-%20OpenShift%20Cluster%20Install/kubectl%20get%20pods%20-A%20-%20oc%20get%20pods%20-A.jpg) +![kubectl get ns - oc get ns](images/Day58%20-%20OpenShift%20Cluster%20Install/kubectl%20get%20ns%20-%20oc%20get%20ns.jpg) +I've created an image of the output from ```oc -help``` and ```kubectl -help``` and mapped the two commands together, you will see that the ```oc``` tool is far more rich in terms of functionality + +![oc -help compared to kubectl -help](images/Day58%20-%20OpenShift%20Cluster%20Install/oc%20-help%20compared%20to%20kubectl%20-help.jpg) + +You can also login into the OpenShift cluster via the ```oc login``` command. + +```` +# Log in to the given server with the given credentials (will not prompt interactively) +oc login localhost:8443 --username=myuser --password=mypass +```` +A final footnote here, if you are not planning on using an image registry in your environment, it recommended to run this command to use the inbuilt registry as ephemeral whilst you do your testing: + +```` +oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"managementState":"Managed","storage":{"emptyDir":{}}}}' +```` + +### Using the OpenShift Console UI + +The final access point into the cluster, is via the UI, again the output of the installation software, gives you the full FQDN to access this console, if you look closely you'll see it uses the ingress record under *.apps.{cluster_name}.{base_domain}. + +```` +INFO Access the OpenShift web-console here: https://console-openshift-console.apps.90days-ocp.simon.local +INFO Login to the console with user: "kubeadmin", and password: "ur6xT-gxmVW-WVUuD-Sd44J" +```` +![Red Hat OpenShift Web Console](images/Day58%20-%20OpenShift%20Cluster%20Install/Red%20Hat%20OpenShift%20Web%20Console.jpg) + +Once logged in, you'll view the persona that you have access to (1). In my example, I'm using the kubeadmin account, so I see the administrative view first, and I can change this to the Developer view as well (see second screenshot). + +Under the left-hand navigation pane (2), you can easily browse all the common areas for platform administration, and view details of the live cluster, as well as make changes to existing configurations, or commit new configurations. + +In the middle (3) we have an overall status of the cluster, and connectivity to update services, and Red Hat cloud services such as their Insights feature. An activity log flanks the far right-hand side (4) of all the events in the system. Clicking any of these will take you into the object they are related to for further details. If it's about a pod, you then can see the logs from each container that runs within the pod. + +![Red Hat OpenShift - Web Console - Administrator Homepage](images/Day58%20-%20OpenShift%20Cluster%20Install/Red%20Hat%20OpenShift%20-%20Web%20Console%20-%20Administrator%20Homepage.jpg) + +Clicking the Administrator word in the top left-hand side (above screenshot, 1), you can switch to the Developer mode, which you can see below. + +On the the developer homepage screen, you can see straight away you are presented with a rich-deployment options to get up and running, you can deploy Kubernetes Operators for services, Helm Charts, import code from Git which can be built into a container by the cluster, deploy app samples, bring in individual containers, import content from your local machine, and control who can access your projects (Kubernetes namespaces with more features added in). + +![Red Hat OpenShift - Web Console - Developer Homepage](images/Day58%20-%20OpenShift%20Cluster%20Install/Red%20Hat%20OpenShift%20-%20Web%20Console%20-%20Developer%20Homepage.jpg) + +For this example today, I deployed my trusty [pacman app](https://github.com/saintdle/pacman-tanzu) from the [Helm Chart hosted on GitHub](https://github.com/saintdle/helm-charts), unfortunately I've not configured images for the app, but you can see, a topology is built, I can click into each component and see information about it. + +![Red Hat OpenShift - Web Console - Developer Topology](images/Day58%20-%20OpenShift%20Cluster%20Install/Red%20Hat%20OpenShift%20-%20Web%20Console%20-%20Developer%20Topology.jpg) + +If I take a step back I also can look at my project as a whole, see resource utilization, and events in my project, as well as control access for other developers to collaborate with me. + +![Red Hat OpenShift - Web Console - Developer Project](images/Day58%20-%20OpenShift%20Cluster%20Install/Red%20Hat%20OpenShift%20-%20Web%20Console%20-%20Developer%20Project.jpg) + +# Summary + +I think I'll stop here and wrap up. As you now know from [day 57](/day57.md), there are a few deployment methods, and numerous platforms to deploy to. This walkthrough covered the simpliest deployment to one of the most popular platforms, VMware vSphere. For those of you who want to try out OpenShift, you have two options, you can now deploy a [single node OpenShift environment](https://cloud.redhat.com/blog/visual-guide-to-single-node-openshift-deploy) running on your local machine, you can run [OpenShift sandbox](https://developers.redhat.com/developer-sandbox) via their website, or you can run [OKD](https://www.okd.io/), the open-source version in your home lab. Or stick with a trial of the enterprise software like I have. + +In [day 59](/day59.md), we will cover application deployment in a little more detail, and look start to look at Security Contraints Context (SCC), the out of the box security features of OpenShift which enhance further upon the older PodSecurityPolicies from Kubernetes. SCC is sometimes a little hard to get used to, and be a source of frustration out of the box for many when getting started with OpenShift. + +# Resources + +- vEducate.co.uk + - [OpenShift on VMware – Integrating with vSphere Storage, Networking and Monitoring](https://veducate.co.uk/openshift-on-vmware/) + - [How to specify your vSphere virtual machine resources when deploying Red Hat OpenShift](https://veducate.co.uk/deploy-vsphere-openshift-machine-resources/) + - [Red Hat OpenShift on VMware vSphere – How to Scale and Edit your cluster deployments](https://veducate.co.uk/openshift-vsphere-scale-clusters/) +- Red Hat OpenShift Commons - Community sessions helping steer the future of OpenShift as an open-source developed project - [Link](https://cloud.redhat.com/blog/tag/openshift-commons) +- Red Hat Sysadmin Blog - [Deploy and run OpenShift on AWS: 4 options](https://www.redhat.com/sysadmin/run-openshift-aws) +- Red Hat OpenShift Documentation - [Installing a cluster quickly on Azure](https://docs.openshift.com/container-platform/4.12/installing/installing_azure/installing-azure-default.html) +- YouTube - [TAM Lab 069 - Deploying OpenShift 4.3 to VMware vSphere (UPI install)](https://www.youtube.com/watch?v=xZpoZZ2EfYc) +- [Red Hat OpenShift Container Platform 4.10 on VMware Cloud Foundation 4.5](https://core.vmware.com/resource/red-hat-openshift-container-platform-410-vmware-cloud-foundation-45) \ No newline at end of file diff --git a/2023/day59.md b/2023/day59.md index e69de29..17ff16a 100644 --- a/2023/day59.md +++ b/2023/day59.md @@ -0,0 +1,489 @@ +# Deploying a Sample Application on Red Hat OpenShift: Handling Security Context Constraints (SCC) + +On [Day 58](/day58.md) we finished looking around the developer and administrator interfaces of a newly deployed cluster. + +In this submission (Day 59), we will walk through the process of deploying a sample MongoDB application to a newly deployed Red Hat OpenShift cluster. However, this deployment will fail due to the default security context constraints (SCC) in OpenShift. We will explain why the deployment fails, how to resolve the issue, and provide a brief overview of SCC in OpenShift with examples. + +## Understanding Security Context Constraints (SCC) + +Security context constraints in OpenShift are a security feature that allows administrators to control various aspects of the container runtime, such as user and group IDs, SELinux context, and the use of host resources. In Short, SCCs determine which security settings are allowed or disallowed for containerized applications. By default, OpenShift comes with several predefined SCCs, such as ```restricted```, ```anyuid```, and ```hostaccess```. These SCCs serve as templates for creating custom SCCs to meet specific security requirements. + +> Warning: Do not modify the default SCCs. Customizing the default SCCs can lead to issues when some of the platform pods deploy or OpenShift Container Platform is upgraded. Additionally, the default SCC values are reset to the defaults during some cluster upgrades, which discards all customizations to those SCCs. Instead of modifying the default SCCs, create and modify your own SCCs as needed. + +For example, the restricted SCC (default for most deployments, or restricted-v2 for new installs of OCP 4.11 and later) does not allow containers to run as root or with privileged access, while the ```anyuid``` SCC permits containers to run with any user ID, including root. By creating custom SCCs and granting them to service accounts or users, administrators can ensure that applications adhere to the desired security policies without compromising functionality. + +Security context constraints allow an administrator to control: + + - Whether a pod can run privileged containers with the allowPrivilegedContainer flag + + - Whether a pod is constrained with the allowPrivilegeEscalation flag + + - The capabilities that a container can request + + - The use of host directories as volumes + + - The SELinux context of the container + + - The container user ID + + - The use of host namespaces and networking + + - The allocation of an FSGroup that owns the pod volumes + + - The configuration of allowable supplemental groups + + - Whether a container requires to write access to its root file system + + - The usage of volume types + + - The configuration of allowable seccomp profiles + +To learn more details about what each of the out-of-the-box default security context constraints does, see [this official documentation page](https://docs.openshift.com/container-platform/4.12/authentication/managing-security-context-constraints.html#default-sccs_configuring-internal-oauth). + +![Red Hat OpenShift - oc get scc](/2023/images/day59-Red%20Hat%20OpenShift%20-%20oc%20get%20scc.jpg) + +### Anatomy of a Security Context Constraint configuration + +SCCs consist of settings and strategies that control the security features that a pod has access to. These settings fall into three categories: + +- Controlled by a boolean + - Fields of this type default to the most restrictive value. For example; + - ```AllowPrivilegedContainer``` is always set to ```false``` if unspecified. +- Controlled by an allowable set + - Fields of this type are checked against the set to ensure their value is allowed. +- Controlled by a strategy + - Items that have a strategy to generate a value provide: + - A mechanism to generate the value, and + - A mechanism to ensure that a specified value falls into the set of allowable values. + +CRI-O has the following [default list of capabilities](https://github.com/cri-o/cri-o/blob/main/docs/crio.conf.5.md#crioruntime-table) that are allowed for each container of a pod: + +```` + default_capabilities = [ + "CHOWN", + "DAC_OVERRIDE", + "FSETID", + "FOWNER", + "SETGID", + "SETUID", + "SETPCAP", + "NET_BIND_SERVICE", + "KILL", + ] +```` + +You can learn more about Linux capabilities [here](https://linuxera.org/container-security-capabilities-seccomp/) and [here](https://man7.org/linux/man-pages/man7/capabilities.7.html). The containers use the capabilities from this default list, but pod manifest authors (the person writing the application YAML for Kubernetes) can alter the list by requesting additional capabilities or removing some of the default behaviors. To control the capabilities allowed or denied for Pods running in the cluster, use the ```allowedCapabilities```, ```defaultAddCapabilities```, and ```requiredDropCapabilities``` parameters in your SCC to control such requests from the pods. + +#### Quick Snippet: configuring a pod with capabilities + +You can [specify additional capabilities for your pod](https://kubernetes.io/docs/tasks/configure-pod-container/security-context/#set-capabilities-for-a-container) as per the below example. + +````yaml +apiVersion: v1 +kind: Pod +metadata: + name: security-context-demo-4 +spec: + containers: + - name: sec-ctx-4 + image: gcr.io/google-samples/node-hello:1.0 + securityContext: + capabilities: + add: ["NET_ADMIN", "SYS_TIME"] +```` + +Let's look at some of the default contexts in further detail. + +### Example SCC Configurations + +1. Restricted SCC: + +Denies access to all host features and requires pods to be run with a UID, and SELinux context that are allocated to the namespace. + +The restricted-v2 SCC: + + Ensures that pods cannot run as privileged + + Ensures that pods cannot mount host directory volumes + + Requires that a pod is run as a user in a pre-allocated range of UIDs + + Requires that a pod is run with a pre-allocated MCS label + + Allows pods to use any FSGroup + + Allows pods to use any supplemental group + + Ensures that no child process of a container can gain more privileges than its parent (AllowPrivilegeEscalation=False) + +You can get this SCC configuration by running ```oc get scc restricted-v2 -o yaml``` + +````yaml +allowHostDirVolumePlugin: false +allowHostIPC: false +allowHostNetwork: false +allowHostPID: false +allowHostPorts: false +allowPrivilegeEscalation: true +allowPrivilegedContainer: false +allowedCapabilities: null +apiVersion: security.openshift.io/v1 +defaultAddCapabilities: null +fsGroup: + type: MustRunAs +groups: [] +kind: SecurityContextConstraints +metadata: + annotations: + include.release.openshift.io/ibm-cloud-managed: "true" + include.release.openshift.io/self-managed-high-availability: "true" + include.release.openshift.io/single-node-developer: "true" + kubernetes.io/description: restricted denies access to all host features and requires + pods to be run with a UID, and SELinux context that are allocated to the namespace. + release.openshift.io/create-only: "true" + creationTimestamp: "2023-03-16T09:34:36Z" + generation: 1 + name: restricted + resourceVersion: "401" + uid: 8ced4b4e-7fed-4369-a0b8-da40880f4a3d +priority: null +readOnlyRootFilesystem: false +requiredDropCapabilities: +- KILL +- MKNOD +- SETUID +- SETGID +runAsUser: + type: MustRunAsRange +seLinuxContext: + type: MustRunAs +supplementalGroups: + type: RunAsAny +users: [] +volumes: +- configMap +- downwardAPI +- emptyDir +- ephemeral +- persistentVolumeClaim +- projected +- secret +```` + +2. Privileged SCC: + +Allows access to all privileged and host features and the ability to run as any user, any group, any FSGroup, and with any SELinux context. + +The privileged SCC allows: + + Users to run privileged pods + + Pods to mount host directories as volumes + + Pods to run as any user + + Pods to run with any MCS label + + Pods to use the host’s IPC namespace + + Pods to use the host’s PID namespace + + Pods to use any FSGroup + + Pods to use any supplemental group + + Pods to use any seccomp profiles + + Pods to request any capabilities + +You can get this SCC configuration by running ```oc get scc privileged -o yaml``` + +````yaml +allowHostDirVolumePlugin: true +allowHostIPC: true +allowHostNetwork: true +allowHostPID: true +allowHostPorts: true +allowPrivilegeEscalation: true +allowPrivilegedContainer: true +allowedCapabilities: +- '*' +allowedUnsafeSysctls: +- '*' +apiVersion: security.openshift.io/v1 +defaultAddCapabilities: null +fsGroup: + type: RunAsAny +groups: +- system:cluster-admins +- system:nodes +- system:masters +kind: SecurityContextConstraints +metadata: + annotations: + include.release.openshift.io/ibm-cloud-managed: "true" + include.release.openshift.io/self-managed-high-availability: "true" + include.release.openshift.io/single-node-developer: "true" + kubernetes.io/description: 'privileged allows access to all privileged and host + features and the ability to run as any user, any group, any fsGroup, and with + any SELinux context. WARNING: this is the most relaxed SCC and should be used + only for cluster administration. Grant with caution.' + release.openshift.io/create-only: "true" + creationTimestamp: "2023-03-16T09:34:35Z" + generation: 1 + name: privileged + resourceVersion: "398" + uid: 19a16cc2-ce1f-4037-b70e-49ba261cb599 +priority: null +readOnlyRootFilesystem: false +requiredDropCapabilities: null +runAsUser: + type: RunAsAny +seLinuxContext: + type: RunAsAny +seccompProfiles: +- '*' +supplementalGroups: + type: RunAsAny +users: +- system:admin +- system:serviceaccount:openshift-infra:build-controller +volumes: +- '*' +```` +Now let's look at some specific items from the above YAML: + +- **allowedCapabilities:** - A list of capabilities that a pod can request. An empty list means that none of the capabilities can be requested while the special symbol * allows any capabilities. +- **defaultAddCapabilities: []** - A list of additional capabilities that are added to any pod. +- **fsGroup:** - The FSGroup strategy, dictates the allowable values for the security context. +- **groups** - The groups that can access this SCC. +- **requiredDropCapabilities** A list of capabilities to drop from a pod. Or, specify ALL to drop all capabilities. +- **runAsUser:** - The runAsUser strategy type, which dictates the allowable values for the security context. +- **seLinuxContext:** - The seLinuxContext strategy type, dictates the allowable values for the security context. +- **supplementalGroups** - The supplementalGroups strategy, dictates the allowable supplemental groups for the security context. +- **users:** - The users who can access this SCC. +- **volumes:** - The allowable volume types for the security context. In the example, * allows the use of all volume types. + +The users and groups fields on the SCC control which users can access the SCC. By default, cluster administrators, nodes, and the build controller are granted access to the privileged SCC. All authenticated users are granted access to the restricted-v2 SCC. + +## Let's deploy a sample application + +I'm going to deploy some of the basic components of my [trusty Pac-Man application for Kubernetes](https://github.com/saintdle/pacman-tanzu). The MongoDB deployment, PVC and Secret. + +First, I need to create the namespace to place the components in, ```oc create ns pacman```. + +Now I apply the below YAML file ```oc apply -f mongo-test.yaml``` + +````yaml +apiVersion: apps/v1 +kind: Deployment +metadata: + labels: + name: mongo + name: mongo + namespace: pacman + annotations: + source: "https://github.com/saintdle/pacman-tanzu" +spec: + replicas: 1 + selector: + matchLabels: + name: mongo + template: + metadata: + labels: + name: mongo + spec: + initContainers: + - args: + - | + mkdir -p /bitnami/mongodb + chown -R "1001:1001" "/bitnami/mongodb" + command: + - /bin/bash + - -ec + image: docker.io/bitnami/bitnami-shell:10-debian-10-r158 + imagePullPolicy: Always + name: volume-permissions + resources: {} + securityContext: + runAsUser: 0 + terminationMessagePath: /dev/termination-log + terminationMessagePolicy: File + volumeMounts: + - mountPath: /bitnami/mongodb + name: mongo-db + restartPolicy: Always + schedulerName: default-scheduler + securityContext: + fsGroup: 1001 + serviceAccountName: default + terminationGracePeriodSeconds: 30 + volumes: + - name: mongo-db + persistentVolumeClaim: + claimName: mongo-storage + containers: + - image: bitnami/mongodb:4.4.8 + name: mongo + env: + - name: MONGODB_ROOT_PASSWORD + valueFrom: + secretKeyRef: + key: database-admin-password + name: mongodb-users-secret + - name: MONGODB_DATABASE + valueFrom: + secretKeyRef: + key: database-name + name: mongodb-users-secret + - name: MONGODB_PASSWORD + valueFrom: + secretKeyRef: + key: database-password + name: mongodb-users-secret + - name: MONGODB_USERNAME + valueFrom: + secretKeyRef: + key: database-user + name: mongodb-users-secret + ports: + - name: mongo + containerPort: 27017 + volumeMounts: + - name: mongo-db + mountPath: /bitnami/mongodb/ +--- +kind: PersistentVolumeClaim +apiVersion: v1 +metadata: + name: mongo-storage + namespace: pacman +spec: + accessModes: + - ReadWriteOnce + resources: + requests: + storage: 1Gi +--- +apiVersion: v1 +kind: Secret +metadata: + name: mongodb-users-secret + namespace: pacman +type: Opaque +data: + database-admin-name: Y2x5ZGU= + database-admin-password: Y2x5ZGU= + database-name: cGFjbWFu + database-password: cGlua3k= + database-user: Ymxpbmt5 +```` +Once applied, I see the following output: + +>Warning: would violate PodSecurity "restricted:v1.24": allowPrivilegeEscalation != false (containers "volume-permissions", "mongo" must set securityContext.allowPrivilegeEscalation=false), unrestricted capabilities (containers "volume-permissions", "mongo" must set securityContext.capabilities.drop=["ALL"]), runAsNonRoot != true (pod or containers "volume-permissions", "mongo" must set securityContext.runAsNonRoot=true), runAsUser=0 (container "volume-permissions" must not set runAsUser=0), seccompProfile (pod or containers "volume-permissions", "mongo" must set securityContext.seccompProfile.type to "RuntimeDefault" or "Localhost") +> +>deployment.apps/mongo created +> +>secret/mongodb-users-secret created + +If I now inspect the deployment and replicaset in the ```pacman``` namespace, we'll see that's stuck, I have no pods running. + +```` +# oc get all -n pacman + +NAME READY UP-TO-DATE AVAILABLE AGE +deployment.apps/mongo 0/1 0 0 3m9s + +NAME DESIRED CURRENT READY AGE +replicaset.apps/mongo-56cc764fb 1 0 0 3m9s +```` + + +## Why the Deployment Fails + +The provided Kubernetes application includes an initContainer with the following security context: + +````yaml +securityContext: + runAsUser: 0 +```` + +This configuration means that the initContainer will attempt to run as the root user (UID 0). However, OpenShift's default SCCs restrict the use of the root user for security reasons. As a result, the deployment fails because it violates the default security context constraints. The same is true of the other configuration settings mentioned in the above output as well. Remember in OCP 4.11 and later (new installs), the default SCC is the restricted-v2 policy. + +## How to Resolve the Issue + +To resolve this issue, we need to modify the deployment configuration to comply with the SCC policies in OpenShift. There are several ways to achieve this, but in this example, we will create a custom SCC that allows the initContainer to run as root. Follow these steps: + +1. Create a new custom SCC, and save the below YAML in a file called mongo-custom-scc.yaml: + +````yaml +apiVersion: security.openshift.io/v1 +kind: SecurityContextConstraints +metadata: + name: mongo-custom-scc +allowPrivilegedContainer: false +allowHostNetwork: false +allowHostPorts: false +allowHostPID: false +allowHostIPC: false +runAsUser: + type: RunAsAny +seLinuxContext: + type: MustRunAs +fsGroup: + type: RunAsAny +supplementalGroups: + type: RunAsAny +```` + +2. Apply the custom SCC to your OpenShift cluster: + +````sh +oc apply -f mongo-custom-scc.yaml +```` + +3. Grant the mongo-custom-scc SCC to the service account that the MongoDB deployment is using: + +````sh +oc adm policy add-scc-to-user mongo-custom-scc system:serviceaccount::default + +# In my environment, I run: +oc adm policy add-scc-to-user mongo-custom-scc system:serviceaccount:pacman:default +```` + +Replace with the namespace where your MongoDB deployment is located. + +4. Redeploy the MongoDB application. + +```` +# oc scale deploy mongo -n pacman --replicas=0 + +deployment.apps/mongo scaled + +# oc scale deploy mongo -n pacman --replicas=1 + +deployment.apps/mongo scaled +```` +In the real world, the first port of call should always be to work to ensure your containers and applications run with the least privileges necessary and therefore don't need to run as root. + +If they do need some sort of privilege, then defining tight RBAC and SCC control in place is key. + +# Summary + +In this post, we discussed how the default security context constraints in OpenShift can prevent deployments from running as expected. We provided a solution to the specific issue of running an initContainer as root for a MongoDB application. Understanding and managing SCCs in OpenShift is essential for maintaining secure and compliant applications within your cluster. + +On [Day 60](/day60.md)](/day60.md), we will look at OpenShift Projects Creation, Configuration and Governance, for example consuming SCC via the project level, and other features of Red Hat OpenShift. + +## Resources + +- Red Hat OpenShift - [Managing security context constraints](https://docs.openshift.com/container-platform/4.12/authentication/managing-security-context-constraints.html) +- Red Hat Blog - [Managing SCCs in OpenShift](https://cloud.redhat.com/blog/managing-sccs-in-openshift) +- Linuxera - [Capabilities and Seccomp Profiles on Kubernetes](https://linuxera.org/capabilities-seccomp-kubernetes/) +- Red Hat OpenShift - [Important OpenShift changes to Pod Security Standards](https://connect.redhat.com/en/blog/important-openshift-changes-pod-security-standards) + - OCP 4.11 and later - With the introduction of a new built-in admission controller that enforces the [Pod Security Standards](https://kubernetes.io/docs/concepts/security/pod-security-standards/), namespaces and pods can be defined with three different policies: Privileged, Baseline and Restricted. Therefore, pods not configured according to the enforced security standards defined globally, or on the namespace level, will not be admitted and will not run. +- [Pods fail to create due to "allowPrivilegeEscalation: true" in OpenShift 4.11](https://access.redhat.com/solutions/6976492) +- [Using the legacy restricted SCC in OCP 4.11+](https://access.redhat.com/articles/6973044) +- [Role-based access to security context constraints](https://docs.openshift.com/container-platform/4.12/authentication/managing-security-context-constraints.html#role-based-access-to-ssc_configuring-internal-oauth) + - You can specify SCCs as resources that are handled by RBAC. This allows you to scope access to your SCCs to a certain project or to the entire cluster. +- Kubernetes.io - [Configure a Security Context for a Pod or Container](https://kubernetes.io/docs/tasks/configure-pod-container/security-context/) \ No newline at end of file diff --git a/2023/day60.md b/2023/day60.md index e69de29..a87ddff 100644 --- a/2023/day60.md +++ b/2023/day60.md @@ -0,0 +1,272 @@ +# OpenShift Projects - Creation, Configuration and Governance + +## Understanding OpenShift Projects: How They Differ from Kubernetes Namespaces + +Red Hat OpenShift adds many features to simplify and enhance the management of Kubernetes clusters. One such feature is OpenShift Projects, which are similar to Kubernetes Namespaces but with added benefits tailored to the enterprise environment. In this post, we will explore the concept of OpenShift Projects, how they differ from Kubernetes Namespaces, and provide examples of creating and configuring Projects. + +### OpenShift Projects: A Brief Overview + +OpenShift Projects are an abstraction layer built on top of Kubernetes Namespaces. They provide a convenient way to organize and manage resources within an OpenShift cluster, and they offer additional features such as: + +- Simplified multi-tenancy: Projects enable better isolation between users and teams, ensuring that each group works within its own environment without impacting others. +- Access control: Projects facilitate role-based access control (RBAC), allowing administrators to define and manage user permissions at the project level. +- Resource quotas and limits: Projects support setting resource quotas and limits to prevent overconsumption of cluster resources by individual projects. + +## Creating and Configuring an OpenShift Project + +Let's walk through the process of creating and configuring an OpenShift Project. + +1. Create a new project: + +To create a new project, use the oc new-project command: + +````sh + +$ oc new-project my-sample-project --description="My Sample OpenShift Project" --display-name="Sample Project" +```` +This command creates a new project called my-sample-project with a description and display name. + +2. Switch between projects: + +You can switch between projects using the oc project command: + +````sh +$ oc project my-sample-project +```` + +This command sets the active project to my-sample-project. + +3. Configure resource quotas: + +You can apply resource quotas to your project to limit the consumption of resources. Create a file called resource-quota.yaml with the following content: + +````yaml + +apiVersion: v1 +kind: ResourceQuota +metadata: + name: my-resource-quota +spec: + hard: + requests.cpu: "2" + requests.memory: 2Gi + limits.cpu: "4" + limits.memory: 4Gi +```` +## Adding Resource Quotas to projects + +To apply the resource quota to your project: + +````sh +$ oc apply -f resource-quota.yaml -n my-sample-project +```` + +This command applies the resource quota to the my-sample-project, limiting the total CPU and memory consumption for the project. + +5. Configure role-based access control (RBAC): + +To manage access control for your project, you can define and assign roles to users. For example, create a file called developer-role.yaml with the following content: + +````yaml + +apiVersion: rbac.authorization.k8s.io/v1 +kind: Role +metadata: + name: developer +rules: +- apiGroups: [""] + resources: ["pods", "services", "configmaps", "persistentvolumeclaims"] + verbs: ["create", "get", "list", "watch", "update", "delete"] + ```` + +Apply the role to your project: + +````sh +$ oc apply -f developer-role.yaml -n my-sample-project +```` + +Now, you can grant the developer role to a specific user: + +````sh +$ oc policy add-role-to-user developer my-user -n my-sample-project +```` +This command grants the developer role to my-user in the my-sample-project. + +## Adding SCC to a project + +Remember in [Day 59](/2023/day59.md), we covered the Security Context Contraints, and how they provide security against the workloads we run inside the cluster, in the examples I provided, we fixed the security violation of the workload (pod) by ensuring the Service Account that it uses, is added to the correct SCC policy. + +In this example, I'm going to which SCC at the project level, so that any workloads deployed to this project, conform to the correct policy. + +1. Create a new project and change to that projects context + +````sh +$ oc new-project scc-ns-test + +$ oc project ssc-ns-test +```` + +2. Create a file called ```ngnix.yaml``` with the below content + +````yaml +apiVersion: apps/v1 +kind: Deployment +metadata: + name: nginx-deployment +spec: + selector: + matchLabels: + app: nginx + replicas: 2 # tells deployment to run 2 pods matching the template + template: + metadata: + labels: + app: nginx + spec: + containers: + - name: nginx + image: nginx:1.14.2 + ports: + - containerPort: 80 +```` +2. Deploy an Ngnix Deployment to this project, and watch for the failure + +````sh +$ oc apply -f ngnix.yaml + +Warning: would violate PodSecurity "restricted:v1.24": allowPrivilegeEscalation != false (container "nginx" must set securityContext.allowPrivilegeEscalation=false), unrestricted capabilities (container "nginx" must set securityContext.capabilities.drop=["ALL"]), runAsNonRoot != true (pod or container "nginx" must set securityContext.runAsNonRoot=true), seccompProfile (pod or container "nginx" must set securityContext.seccompProfile.type to "RuntimeDefault" or "Localhost") +deployment.apps/nginx-deployment created +```` +As per Day 59's example, the deployment is created, but the pod will not be running. + +3. Let's inspect the project's configuration before we continue further + +````sh +$ oc get project scc-ns-test -o json +```` +````json +{ + "apiVersion": "project.openshift.io/v1", + "kind": "Project", + "metadata": { + "annotations": { + "openshift.io/description": "", + "openshift.io/display-name": "", + "openshift.io/requester": "system:admin", + "openshift.io/sa.scc.mcs": "s0:c27,c4", + "openshift.io/sa.scc.supplemental-groups": "1000710000/10000", + "openshift.io/sa.scc.uid-range": "1000710000/10000" + }, + "creationTimestamp": "2023-03-29T09:23:18Z", + "labels": { + "kubernetes.io/metadata.name": "scc-ns-test", + "pod-security.kubernetes.io/audit": "restricted", + "pod-security.kubernetes.io/audit-version": "v1.24", + "pod-security.kubernetes.io/warn": "restricted", + "pod-security.kubernetes.io/warn-version": "v1.24" + }, + "name": "scc-ns-test", + "resourceVersion": "11247602", + "uid": "3f720113-1e30-4a3f-b97e-48f88735e510" + }, + "spec": { + "finalizers": [ + "kubernetes" + ] + }, + "status": { + "phase": "Active" + } +} +```` + +Note that under ```labels``` section, we have several pod-security settings that are specified by default. That is because the most restrictive policy is applied to namespaces and their workloads by default. + +4. Now let's delete our deployment + +````sh +$ oc delete -f nginx.yaml +```` + +5. Let's alter the configuration of this project to consume the ````privileged```` SCC, allowing us to brute force our pod to run. (In the real world, we would create an appropriate SCC and this use, rather than giving workloads god mode type access) + +We are going to use the `oc patch` command and pass in the modifications to the labels. There are two ways to achieve this using the patch argument, we can either pass in the changes within the command line in JSON format, or we can pass in a file that is either JSON or YAML content. I'll detail both options below. + +This first command passes JSON content as part of the executions to alert the configuration. + +````sh +$ oc patch namespace/scc-ns-test -p '{"metadata":{"labels":{"pod-security.kubernetes.io/audit":"privileged","pod-security.kubernetes.io/enforce":"privileged","pod-security.kubernetes.io/warn":"privileged","security.openshift.io/scc.podSecurityLabelSync":"false"}}}' +```` + +To break this down further, from the above example showing the Project configuration in JSON, we are altering the "audit", "warn" and "enforce" settings for Pod-Security to have the "privileged" value, and we also add a new label called "security.openshift.io/scc.podSecurityLabelSync" with a value of false. This stops the security admission controller from overwriting our changes. As the default SCC enforced is "restricted". + +Rather than including the JSON changes in the same command line, which can get very long if you have a lot of changes, you can simply create a JSON or YAML file, containing content such as below and then apply it using the ```--patch-file``` argument. + +````yaml +metadata: + labels: + pod-security.kubernetes.io/audit: privileged + pod-security.kubernetes.io/enforce: privileged + pod-security.kubernetes.io/warn: privileged + security.openshift.io/scc.podSecurityLabelSync: false +```` + +````sh +oc patch namespace/scc-ns-test --patch-file ns-patch.yaml +```` + +5. Now if we inspect our Project, we will see the changes in effect. + +````sh +oc get project scc-ns-test -o json +```` + +```json +{ + "apiVersion": "project.openshift.io/v1", + "kind": "Project", + "metadata": { + "annotations": { + "openshift.io/description": "", + "openshift.io/display-name": "", + "openshift.io/requester": "system:admin", + "openshift.io/sa.scc.mcs": "s0:c27,c4", + "openshift.io/sa.scc.supplemental-groups": "1000710000/10000", + "openshift.io/sa.scc.uid-range": "1000710000/10000" + }, + "creationTimestamp": "2023-03-29T09:23:18Z", + "labels": { + "kubernetes.io/metadata.name": "scc-ns-test", + "pod-security.kubernetes.io/audit": "privileged", + "pod-security.kubernetes.io/audit-version": "v1.24", + "pod-security.kubernetes.io/enforce": "privileged", + "pod-security.kubernetes.io/warn": "privileged", + "pod-security.kubernetes.io/warn-version": "v1.24", + "security.openshift.io/scc.podSecurityLabelSync": "false" + }, + "name": "scc-ns-test", + "resourceVersion": "11479286", + "uid": "3f720113-1e30-4a3f-b97e-48f88735e510" + }, + "spec": { + "finalizers": [ + "kubernetes" + ] + }, + "status": { + "phase": "Active" + } +} +```` + +6. Redeploy the nginx instances or other containers you've been working with. + +# Summary + +There is just so much to cover, but hopefully you've now learned that Projects are more than just a Kubernetes Namespace with a different name. One of the areas we didn't cover, is the ability to [control Project creation](https://docs.openshift.com/container-platform/4.12/applications/projects/configuring-project-creation.html) by OpenShift users, either from a governed default template, or simply removing the ability for self-service access to create templates. + +On [Day 61](/2023/day61.md), we shall cover the larger subject of RBAC within the cluster, and bring it back to applying access to projects. + +## Resources + +- Red Hat OpenShift Documentation - Building Applications - [Projects](https://access.redhat.com/documentation/en-us/openshift_container_platform/4.12/html/building_applications/projects#doc-wrapper) \ No newline at end of file diff --git a/2023/day61.md b/2023/day61.md index e69de29..7c183bd 100644 --- a/2023/day61.md +++ b/2023/day61.md @@ -0,0 +1,484 @@ +# Understanding Authentication, Role-Based Access Control (RBAC) and Auditing in Red Hat OpenShift: Control and Secure Your Cluster + +In this post, we are going to look at expanding access to our clusters to other users, we've already tackled the more complex subject of Security Contexts, which looks at the permissions that workloads have when they run on the platform, now we turn this focus to the users of the platform. + +## Back to Basics: Authentication, Authorization, Accounting + +AAA stands for Authentication, Authorization, and Accounting. These are three essential components of IT systems' security and access control. AAA ensures that users are who they claim to be, have the right permissions to access resources, and keep track of their activities within the system. Let's break down each component: + +- **Authentication**: This is the process of validating a user's identity when they attempt to access an IT system. Authentication typically involves requesting a user to provide their credentials, such as a username and password, or using other mechanisms like multi-factor authentication (MFA) and single sign-on (SSO). + +- **Authorization**: After a user has been authenticated, authorization determines the level of access they have within the system. It controls which resources a user can access and what actions they can perform. This is usually managed by defining roles or permissions and assigning them to users or groups. + +- **Accounting**: Also referred to as auditing, is the process of recording and monitoring user activities within an IT system. This includes logging information like when a user logs in, what actions they perform, and what resources they access. Accounting is essential for security, compliance, and troubleshooting purposes. + +Together, these three components form the AAA framework that helps IT administrators manage and secure access to their systems, ensuring that only authorized users can access resources and that their actions are logged for auditing purposes. +## Back to Red Hat Openshift: Introduction to Authentication, Access Control and Auditing + +Authentication in Red Hat OpenShift is the process of validating the identity of a user or system attempting to access the cluster. OpenShift supports various identity providers (IdPs) for authentication, such as LDAP, GitHub, GitLab, Google, Keystone, and many more. The authentication process in OpenShift 4 is handled by the OAuth server, which is responsible for managing OAuth tokens and interacting with the configured identity providers. + +Role-Based Access Control (RBAC) (Authorization) is an essential security feature in Red Hat OpenShift that enables administrators to manage and control access to resources within a cluster. + +Red Hat OpenShift uses the Kubernetes audit logging mechanism to perform accounting. The audit logs record requests made to the Kubernetes API server, providing detailed information about the user, resource, action, and outcome. The audit logs are essential for understanding user behavior, detecting security incidents, and meeting compliance requirements. + +## Configuring an Identity provider for Authorization + +Before we dig into any RBAC configurations, we need to start by giving our OpenShift cluster some form of identity provider that allows our users to login. In my previous posts, I was simply using the ```kubeadmin``` god mode account that is generated at bootstrap. + +To specify an identity provider, will need to create a custom resource (CR) that describes that identity provider and add it to the cluster. For the example of this post, I will detail how to configure a ldap identity provider to validate user names and passwords against an LDAPv3 server, using simple bind authentication. In my lab environment, I already have a Windows Server which is set up as a [domain controller](https://learn.microsoft.com/en-us/windows-server/identity/ad-ds/get-started/virtual-dc/active-directory-domain-services-overview). + +In short, when a user logs in to the OpenShift cluster, OpenShift will contact the domain controller via a configured provided domain account, and perform a lookup of the users account, if it is returned, it will try to bind to the LDAP provider with the users account and password provided. If this bind is successful, the user will be authenticated to the OpenShift cluster. + +1. On your domain controller, create a user account for the OpenShift Cluster to use for lookups, and ensure this account has the appropriate permissions. For Windows Server domain services, this user account can be a member of the standard ```domain users``` group. It is also a good time to record and have to hand the following information ready; + +- LDAP server URL (e.g., ldap://ldap.example.com:389) +- Bind DN and password for the LDAP server (e.g., cn=admin,dc=example,dc=com and password) + - This password will be [base64](https://en.wikipedia.org/wiki/Base64) encoded in the secret. +- User search base and filter (e.g., ou=users,dc=example,dc=com and (uid=%u)) +- Group search base and filter (e.g., ou=groups,dc=example,dc=com and (member=%u)) + +2. Create a secret that contains the ```bindPassword```, i.e the password of the domain account used to connect to the LDAP server for the user lookups. + +````sh +$ oc create secret generic ldap-secret --from-literal=bindPassword= -n openshift-config + +# my example +oc create secret generic ldap-secret --from-literal=bindPassword=VMware1! -n openshift-config +```` + +3. Now we apply the configuration that tells the OAuth service about our LDAP server and how to connect to it. I have not performed the extra steps to save the CA cert from the LDAP Server, as I am using the insecure LDAP port 389. + +Save the below file as ```ldap-provider.yaml```, change for your user details, and apply to your cluster using ```oc apply -f ldap-provider.yaml```. + +````yaml +apiVersion: config.openshift.io/v1 +kind: OAuth +metadata: + name: cluster +spec: + identityProviders: + - name: ldapidp + mappingMethod: claim + type: LDAP + ldap: + attributes: + id: + - name + name: + - cn + preferredUsername: + - sAMAccountName + bindDN: "CN=svc_openshift,OU=Services,OU=Accounts,DC=simon,DC=local" + bindPassword: + name: ldap-secret + insecure: true + url: "ldap://sc-step-01.simon.local:389/CN=Users,DC=simon,DC=local?sAMAccountName" +```` + +Some notes about the above configuration; +- attributes - The first non-empty attribute is used. At least one attribute is required. If none of the listed attribute have a value, authentication fails. Defined attributes are retrieved as raw, allowing for binary values to be used. + - Ensure the values provided appear as attributes in your domain controller, this is usually a cause of failures. +- bindDN - DN to use to bind during the search phase. Must be set if bindPassword is defined. +- insecure - When true, no TLS connection is made to the server. When false, ldaps:// URLs connect using TLS, and ldap:// URLs are upgraded to TLS. +- url - ensure you add the port, and that your search OU/CN path is correct, as well as the [search filter attribute](https://docs.openshift.com/container-platform/4.12/authentication/identity_providers/configuring-ldap-identity-provider.html#identity-provider-about-ldap_configuring-ldap-identity-provider), in this example it is ```sAMAccountName``` + +> If a CR does not exist, oc apply creates a new CR and might trigger the following warning: Warning: oc apply should be used on resources created by either oc create --save-config or oc apply. In this case you can safely ignore this warning. + + +4. Now you can login to the OpenShift cluster as an LDAP user either via the ```oc login``` CLI command, or via the Console UI. You can logout with ```oc logout``` + +![oc login](/2023/images/Day61%20-%20Authentication%20-%20Role-Based%20Access%20Control%20and%20Auditing%20in%20Red%20Hat%20OpenShift/oc%20login.jpg) + +Final note on this subject which caught me out. Once you log out, you will remain in the ```oc context``` of that user you've logged in, and if you view your ```KUBECONFIG``` file, you will see that user's context has now been added. So for me, I wanted to get back to using my kubeadmin account, but I had to run ```oc config use-context admin``` command. + +Now we have a way for our users to log into the platform, we can start to look at controlling what they can do on the platform. + +## What is Role-Based Access Control (RBAC)? + +RBAC is a method of managing permissions by assigning roles to users, groups, or service accounts. In OpenShift, roles are sets of rules that define the actions (verbs) allowed on specific resources (API objects). By granting roles to users or groups, you control their access to cluster resources based on the principle of least privilege, ensuring that users have only the necessary permissions to perform their tasks. Here, Red Hat OpenShift is just consuming the native features of Kubernetes, concerning RBAC. However, it's important to understand this area, as it then features in the enterprise features OpenShift brings, such as Projects and pipelines to name but a few. + +## RBAC in Red Hat OpenShift + +In OpenShift, RBAC is implemented through a set of built-in roles and custom roles, which can be assigned to users, groups, and service accounts. The key components of RBAC in OpenShift are: + +- Roles: A role is a collection of policies that define a set of permissions, including what actions users can perform on resources. These are applied to a namespace. +- ClusterRoles: Similar to roles, but these permissions are applicable cluster-wide, rather than in a specific namespace. +- RoleBindings: These are objects that associate roles with users, groups, or service accounts, granting them the permissions defined by the role + +The below image shows the relationships between the different components. + +![Red Hat OpenShift - Relationships between cluster roles, local roles, cluster role bindings, local role bindings, users, groups and service accounts](/2023/images/Day61%20-%20Authentication%20-%20Role-Based%20Access%20Control%20and%20Auditing%20in%20Red%20Hat%20OpenShift/Red%20Hat%20OpenShift%20-%20Access%20Control%20-%20Relationship%20between%20cluster%20roles%2C%20local%20roles%20and%20role%20bindings.png) + +To set up a new RBAC for a user to deploy and manage an application in a new project called "rbac-test-ns", follow the steps below: + +1. First, we need to create the "rbac-test-ns" project. Run the following command: + +````sh +$ oc new-project rbac-test-ns +```` + +2. Create a new custom role that grants the necessary permissions for deploying and managing applications. In this example, we will create a role called "app-mgr". Save the following YAML content to a file named "app-mgr-role.yaml": + +````yaml +kind: Role +apiVersion: rbac.authorization.k8s.io/v1 +metadata: + name: app-mgr + namespace: rbac-test-ns +rules: +- apiGroups: ["project.openshift.io"] + resources: ["projects"] + verbs: ["get"] +- apiGroups: [""] + resources: ["pods", "services", "endpoints", "persistentvolumeclaims", "configmaps", "secrets"] + verbs: ["get", "list", "watch", "create", "update", "patch", "delete"] +- apiGroups: ["apps"] + resources: ["deployments", "replicasets", "statefulsets"] + verbs: ["get", "list", "watch", "create", "update", "patch", "delete"] +```` + +Create the custom role by applying the YAML file: + +````sh +$ oc apply -f app-mgr-role.yaml +```` + +3. Now, we need to bind the custom role to the user. In this example, let's assume the user's username is "johndoe". Create a RoleBinding by saving the following YAML content to a file named "app-mgr-rolebinding.yaml": + +````yaml +kind: RoleBinding +apiVersion: rbac.authorization.k8s.io/v1 +metadata: + name: app-mgr-binding + namespace: rbac-test-ns +subjects: +- kind: User + name: test + apiGroup: rbac.authorization.k8s.io +roleRef: + kind: Role + name: app-mgr + apiGroup: rbac.authorization.k8s.io +```` + +Create the RoleBinding by applying the YAML file: +As a alternative to add a user to an existing role, we can use the following command line: + +````sh +$ oc adm policy add-role-to-user -n + +# For my example above, once I created the "app-mgr" role in the rbac-test-ns namespace I can run the following to create the roleBinding +oc adm policy add-role-to-user app-mgr test -n rbac-test-ns +```` +We can also see who can perform actions against certain resources too by using the command: + +````sh +oc adm policy who-can {verb} {resource} + +# for example +oc adm policy who-can create pods -n rbac-test-ns + +# below is the output (shortened) you can see my test user at the bottom +resourceaccessreviewresponse.authorization.openshift.io/ + +Namespace: rbac-test-ns +Verb: create +Resource: pods + +Users: system:admin + system:serviceaccount:kube-system:daemon-set-controller + system:serviceaccount:kube-system:job-controller + ....... + system:serviceaccount:rbac-test-ns:deployer + test +Groups: system:cluster-admins + system:masters + +```` + +With these steps, we have successfully set up a brand new RBAC for the user "test" (from my LDAP setup and testing earlier) to deploy and manage an application in the "rbac-test-ns" project. The user can now interact with the cluster, creating deployments, managing services, and configuring resources within the scope of the "app-mgr" role in the "rbac-test-ns" namespace. + +## How Accounting Works in Red Hat OpenShift 4 + +Here are the main components of accounting in Red Hat OpenShift: + +- Audit Policy: The audit policy determines which requests should be logged and the level of detail to include in the logs. You can configure the audit policy using a YAML file that specifies rules for each type of resource and action. + +- Audit Backend: The audit backend is responsible for processing and storing the audit logs. Red Hat OpenShift supports two types of audit backends: log backend and webhook backend. The log backend writes logs to a file on the API server node, while the webhook backend sends logs to an external HTTP(S) endpoint. + +- Log Retention and Rotation: OpenShift provides mechanisms for managing audit log retention and rotation to ensure that logs do not consume excessive disk space. Log rotation settings can be configured to control the maximum log file size and the number of old log files to keep. + +To enable and configure audit logging in OpenShift, administrators can create an audit policy, configure the audit backend, and set log retention and rotation settings. Once configured, the audit logs can be used to monitor user activities, identify security issues, and comply with regulatory requirements. + +Auditing is conducted at the API Server level, as it captures all requests coming into the server. This means that the audit logs by default will be stored on each of the control-plane nodes. + +Each audit log will contain the following fields: + +- level - The audit level at which the event was generated. + +- auditID - A unique audit ID, generated for each request. + +- stage - The stage of the request handling when this event instance was generated. + +- requestURI - The request URI is sent by the client to a server. + +- verb - The Kubernetes verb associated with the request. For non-resource requests, this is the lowercase HTTP method. + +- user - The authenticated user information. + +- impersonatedUser - Optional. The impersonated user information, if the request is impersonating another user. + +- sourceIPs - Optional. The source IPs, from where the request originated and any intermediate proxies. + +- userAgent - Optional. The user agent string is reported by the client. Note that the user agent is provided by the client, and must not be trusted. + +- objectRef - Optional. The object reference this request is targeted at. This does not apply to List-type requests, or non-resource requests. + +- responseStatus - Optional. The response status is populated even when the ResponseObject is not a Status type. For successful responses, this will only include the code. For non-status type error responses, this will be auto-populated with the error message. + +- requestObject - Optional. The API object from the request is in JSON format. The RequestObject is recorded as is in the request (possibly re-encoded as JSON), prior to version conversion, defaulting, admission or merging. It is an external versioned object type, and might not be a valid object on its own. This is omitted for non-resource requests and is only logged at the request level and higher. + +- responseObject - Optional. The API object is returned in the response, in JSON format. The ResponseObject is recorded after conversion to the external type and serialized as JSON. This is omitted for non-resource requests and is only logged at the response level. + +- requestReceivedTimestamp - The time that the request reached the API server. + +- stageTimestamp - The time that the request reached the current audit stage. + +- annotations - Optional. An unstructured key-value map is stored with an audit event that may be set by plugins invoked in the request serving chain, including authentication, authorization and admission plugins. Note that these annotations are for the audit event, and do not correspond to the ```metadata.annotations``` of the submitted object. Keys should uniquely identify the informing component to avoid name collisions, for example, podsecuritypolicy.admission.k8s.io/policy. Values should be short. Annotations are included in the metadata level. + +Below is an example of output from the Kubernetes API Server from the official documentation: + +````json +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"ad209ce1-fec7-4130-8192-c4cc63f1d8cd","stage":"ResponseComplete","requestURI":"/api/v1/namespaces/openshift-kube-controller-manager/configmaps/cert-recovery-controller-lock?timeout=35s","verb":"update","user":{"username":"system:serviceaccount:openshift-kube-controller-manager:localhost-recovery-client","uid":"dd4997e3-d565-4e37-80f8-7fc122ccd785","groups":["system:serviceaccounts","system:serviceaccounts:openshift-kube-controller-manager","system:authenticated"]},"sourceIPs":["::1"],"userAgent":"cluster-kube-controller-manager-operator/v0.0.0 (linux/amd64) kubernetes/$Format","objectRef":{"resource":"configmaps","namespace":"openshift-kube-controller-manager","name":"cert-recovery-controller-lock","uid":"5c57190b-6993-425d-8101-8337e48c7548","apiVersion":"v1","resourceVersion":"574307"},"responseStatus":{"metadata":{},"code":200},"requestReceivedTimestamp":"2020-04-02T08:27:20.200962Z","stageTimestamp":"2020-04-02T08:27:20.206710Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":"RBAC: allowed by ClusterRoleBinding \"system:openshift:operator:kube-controller-manager-recovery\" of ClusterRole \"cluster-admin\" to ServiceAccount \"localhost-recovery-client/openshift-kube-controller-manager\""}} +```` + +To view the audit logs: + +1. List the available audit logs on the control-plane nodes + +````sh +$ oc adm node-logs --role=master --path=openshift-apiserver/ + +# Example output +90days-ocp-72ptq-master-0 audit-2023-03-18T13-32-30.141.log +90days-ocp-72ptq-master-0 audit-2023-03-20T18-52-05.290.log +90days-ocp-72ptq-master-0 audit-2023-03-22T23-59-32.898.log +90days-ocp-72ptq-master-0 audit-2023-03-25T05-18-17.982.log +90days-ocp-72ptq-master-0 audit-2023-03-27T10-18-07.255.log +90days-ocp-72ptq-master-0 audit-2023-03-29T15-39-12.983.log +90days-ocp-72ptq-master-0 audit.log +90days-ocp-72ptq-master-1 audit-2023-03-18T13-40-29.849.log +90days-ocp-72ptq-master-1 audit-2023-03-20T18-48-37.329.log +90days-ocp-72ptq-master-1 audit-2023-03-23T00-03-57.031.log +90days-ocp-72ptq-master-1 audit-2023-03-25T05-14-28.573.log +90days-ocp-72ptq-master-1 audit-2023-03-27T10-25-27.601.log +90days-ocp-72ptq-master-1 audit-2023-03-29T15-34-14.462.log +90days-ocp-72ptq-master-1 audit.log +90days-ocp-72ptq-master-2 audit-2023-03-18T13-15-35.530.log +90days-ocp-72ptq-master-2 audit-2023-03-20T18-22-40.880.log +90days-ocp-72ptq-master-2 audit-2023-03-22T23-18-33.055.log +90days-ocp-72ptq-master-2 audit-2023-03-25T04-18-56.637.log +90days-ocp-72ptq-master-2 audit-2023-03-27T09-44-50.243.log +90days-ocp-72ptq-master-2 audit-2023-03-29T14-39-01.789.log +90days-ocp-72ptq-master-2 audit.log +```` + +2. To view a specific audit log: + +````sh +$ oc adm node-logs --path=openshift-apiserver/ + +# Example command +$ oc adm node-logs 90days-ocp-72ptq-master-2 --path=openshift-apiserver/audit-2023-03-29T14-39-01.789.log +```` + +Example output: + +````json +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"5d08341a-8fa2-4fab-8e4a-4fb1c01d2d6e","stage":"ResponseStarted","requestURI":"/apis/template.openshift.io/v1/namespaces/openshift/templates?allowWatchBookmarks=true\u0026resourceVersion=9537849\u0026timeout=5m44s\u0026timeoutSeconds=344\u0026watch=true","verb":"watch","user":{"username":"system:serviceaccount:openshift-cluster-samples-operator:cluster-samples-operator","groups":["system:serviceaccounts","system:serviceaccounts:openshift-cluster-samples-operator","system:authenticated"],"extra":{"authentication.kubernetes.io/pod-name":["cluster-samples-operator-7f8d575897-s7566"],"authentication.kubernetes.io/pod-uid":["8a96caaf-1de9-4cef-915f-ace02c764e52"]}},"sourceIPs":["192.168.200.181","10.130.0.2"],"userAgent":"cluster-samples-operator/v0.0.0 (linux/amd64) kubernetes/$Format","objectRef":{"resource":"templates","namespace":"openshift","apiGroup":"template.openshift.io","apiVersion":"v1"},"responseStatus":{"metadata":{},"code":200},"requestReceivedTimestamp":"2023-03-27T09:44:50.239076Z","stageTimestamp":"2023-03-27T09:44:50.242747Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":"RBAC: allowed by RoleBinding \"shared-resource-viewers/openshift\" of Role \"shared-resource-viewer\" to Group \"system:authenticated\""}} +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"e65876d9-6fca-422c-93a9-110921648d1b","stage":"ResponseComplete","requestURI":"/metrics","verb":"get","user":{"username":"system:serviceaccount:openshift-monitoring:prometheus-k8s","groups":["system:authenticated"]},"sourceIPs":["10.129.2.13"],"userAgent":"Prometheus/2.39.1","responseStatus":{"metadata":{},"code":200},"requestReceivedTimestamp":"2023-03-27T09:44:51.044096Z","stageTimestamp":"2023-03-27T09:44:51.065007Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":"RBAC: allowed by ClusterRoleBinding \"prometheus-k8s\" of ClusterRole \"prometheus-k8s\" to ServiceAccount \"prometheus-k8s/openshift-monitoring\""}} +```` + +Next, we have the OpenShift OAuth API Server audit logs, which will capture our user interactions + +1. List the relevant logs on the control-plane nodes + +````sh +oc adm node-logs --role=master --path=oauth-apiserver/ + +# Example output +90days-ocp-72ptq-master-0 audit-2023-03-22T20-22-19.424.log +90days-ocp-72ptq-master-0 audit-2023-03-29T08-44-53.926.log +90days-ocp-72ptq-master-0 audit.log +90days-ocp-72ptq-master-1 audit-2023-03-22T20-34-32.796.log +90days-ocp-72ptq-master-1 audit-2023-03-29T08-41-39.406.log +90days-ocp-72ptq-master-1 audit.log +90days-ocp-72ptq-master-2 audit-2023-03-22T20-08-20.762.log +90days-ocp-72ptq-master-2 audit-2023-03-29T08-10-51.942.log +90days-ocp-72ptq-master-2 audit.log +```` + +2. View a specific OAuth API Server log: + +````sh +$ oc adm node-logs --path=oauth-apiserver/ + +# Example command +$ oc adm node-logs 90days-ocp-72ptq-master-2 --path=oauth-apiserver/audit-2023-03-29T08-10-51.942.log +````` + +Example output + +````json +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"6472c130-436a-4454-9bf9-77b6066d8ce2","stage":"ResponseComplete","requestURI":"/apis/oauth.openshift.io/v1/oauthclients/console","verb":"get","user":{"username":"system:serviceaccount:openshift-console-operator:console-operator","groups":["system:serviceaccounts","system:serviceaccounts:openshift-console-operator","system:authenticated"],"extra":{"authentication.kubernetes.io/pod-name":["console-operator-7cc8457b5b-rpz7f"],"authentication.kubernetes.io/pod-uid":["4b73b593-9cde-4ae4-a8f7-00e7f7ee7902"]}},"sourceIPs":["192.168.200.181","10.129.0.2"],"userAgent":"console/v0.0.0 (linux/amd64) kubernetes/$Format","objectRef":{"resource":"oauthclients","name":"console","apiGroup":"oauth.openshift.io","apiVersion":"v1"},"responseStatus":{"metadata":{},"code":200},"requestReceivedTimestamp":"2023-03-22T23:35:00.970020Z","stageTimestamp":"2023-03-22T23:35:00.972703Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":"RBAC: allowed by ClusterRoleBinding \"console-operator\" of ClusterRole \"console-operator\" to ServiceAccount \"console-operator/openshift-console-operator\""}} +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"db3d3280-fcb9-4368-b7db-17b97bcb9826","stage":"ResponseComplete","requestURI":"/apis/oauth.openshift.io/v1/oauthclients/console","verb":"get","user":{"username":"system:serviceaccount:openshift-console-operator:console-operator","groups":["system:serviceaccounts","system:serviceaccounts:openshift-console-operator","system:authenticated"],"extra":{"authentication.kubernetes.io/pod-name":["console-operator-7cc8457b5b-rpz7f"],"authentication.kubernetes.io/pod-uid":["4b73b593-9cde-4ae4-a8f7-00e7f7ee7902"]}},"sourceIPs":["192.168.200.181","10.129.0.2"],"userAgent":"console/v0.0.0 (linux/amd64) kubernetes/$Format","objectRef":{"resource":"oauthclients","name":"console","apiGroup":"oauth.openshift.io","apiVersion":"v1"},"responseStatus":{"metadata":{},"code":200},"requestReceivedTimestamp":"2023-03-22T23:35:00.976516Z","stageTimestamp":"2023-03-22T23:35:00.980651Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":"RBAC: allowed by ClusterRoleBinding \"console-operator\" of ClusterRole \"console-operator\" to ServiceAccount \"console-operator/openshift-console-operator\""}} +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"b5a99a12-637a-4bb2-b733-1f3812ca76fe","stage":"ResponseComplete","requestURI":"/openapi/v2","verb":"get","user":{"username":"system:aggregator","groups":["system:authenticated"]},"sourceIPs":["10.128.0.2"],"responseStatus":{"metadata":{},"code":304},"requestReceivedTimestamp":"2023-03-22T23:35:21.077019Z","stageTimestamp":"2023-03-22T23:35:21.085460Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":"RBAC: allowed by ClusterRoleBinding \"cluster-status-binding\" of ClusterRole \"cluster-status\" to Group \"system:authenticated\""}} +```` + +And finally the OAuth server audit logs + +1. List the available logs on the control-plane nodes: + +````sh +oc adm node-logs --role=master --path=oauth-server/ + +# Example output +90days-ocp-72ptq-master-0 audit.log +90days-ocp-72ptq-master-1 audit.log +90days-ocp-72ptq-master-2 audit.log +```` + +2. View a specific log: + +````sh +$ oc adm node-logs --path=oauth-server/ + +# Example command +$ oc adm node-logs 90days-ocp-72ptq-master-2 --path=oauth-server/audit.log +```` + +Example output: + +````json +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"0ae79d4b-a44e-4f16-aadf-a600f42a63d0","stage":"RequestReceived","requestURI":"/","verb":"head","user":{"username":"system:anonymous","groups":["system:unauthenticated"]},"sourceIPs":["10.131.0.2"],"userAgent":"Go-http-client/1.1","requestReceivedTimestamp":"2023-03-30T14:13:04.446550Z","stageTimestamp":"2023-03-30T14:13:04.446550Z"} +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"0ae79d4b-a44e-4f16-aadf-a600f42a63d0","stage":"ResponseComplete","requestURI":"/","verb":"head","user":{"username":"system:anonymous","groups":["system:unauthenticated"]},"sourceIPs":["10.131.0.2"],"userAgent":"Go-http-client/1.1","responseStatus":{"metadata":{},"status":"Failure","message":"forbidden: User \"system:anonymous\" cannot head path \"/\"","reason":"Forbidden","details":{},"code":403},"requestReceivedTimestamp":"2023-03-30T14:13:04.446550Z","stageTimestamp":"2023-03-30T14:13:04.456751Z","annotations":{"authorization.k8s.io/decision":"forbid","authorization.k8s.io/reason":""}} +{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"a151df17-578c-415f-a83e-64753a0d16dc","stage":"RequestReceived","requestURI":"/oauth/authorize?client_id=openshift-challenging-client\u0026code_challenge=L56_-VuTMU7qF36WuKxF6mnA2nj_oEEETPsAdQ-w24I\u0026code_challenge_method=S256\u0026redirect_uri=https%3A%2F%2Foauth-openshift.apps.90days-ocp.simon.local%2Foauth%2Ftoken%2Fimplicit\u0026response_type=code","verb":"get","user":{"username":"system:anonymous","groups":["system:unauthenticated"]},"sourceIPs":["10.131.0.2"],"userAgent":"Go-http-client/1.1","requestReceivedTimestamp":"2023-03-30T14:13:04.489643Z","stageTimestamp":"2023-03-30T14:13:04.489643Z"} +```` + +You can filter the logs using the ```jq``` tool (See the [jq Manual](https://stedolan.github.io/jq/manual/) for detailed information). An example command would be: + +````sh +$ oc adm node-logs 90days-ocp-72ptq-master-2 --path=openshift-apiserver/audit.log | jq 'select(.user.username == "test")' +```` + +Example output: + +````json +{ + "kind": "Event", + "apiVersion": "audit.k8s.io/v1", + "level": "Metadata", + "auditID": "97ce5c38-4e0c-447b-8e9f-a2c8c84ebc19", + "stage": "ResponseComplete", + "requestURI": "/apis/project.openshift.io/v1/projectrequests", + "verb": "list", + "user": { + "username": "test", + "groups": [ + "system:authenticated:oauth", + "system:authenticated" + ], + "extra": { + "scopes.authorization.openshift.io": [ + "user:full" + ] + } + }, + "sourceIPs": [ + "10.129.0.35", + "10.129.0.2" + ], + "objectRef": { + "resource": "projectrequests", + "apiGroup": "project.openshift.io", + "apiVersion": "v1" + }, + "responseStatus": { + "metadata": {}, + "status": "Success", + "code": 200 + }, + "requestReceivedTimestamp": "2023-03-30T14:42:37.237408Z", + "stageTimestamp": "2023-03-30T14:42:37.250606Z", + "annotations": { + "authorization.k8s.io/decision": "allow", + "authorization.k8s.io/reason": "RBAC: allowed by ClusterRoleBinding \"basic-users\" of ClusterRole \"basic-user\" to Group \"system:authenticated\"" + } +} +{ + "kind": "Event", + "apiVersion": "audit.k8s.io/v1", + "level": "Metadata", + "auditID": "5868d505-1c46-47ed-b0ab-d53d9878d495", + "stage": "ResponseStarted", + "requestURI": "/apis/project.openshift.io/v1/projects?cluster=local-cluster&watch=true", + "verb": "watch", + "user": { + "username": "test", + "groups": [ + "system:authenticated:oauth", + "system:authenticated" + ], + "extra": { + "scopes.authorization.openshift.io": [ + "user:full" + ] + } + }, + "sourceIPs": [ + "192.168.200.10", + "10.129.0.35", + "10.129.0.2" + ], + "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36", + "objectRef": { + "resource": "projects", + "apiGroup": "project.openshift.io", + "apiVersion": "v1" + }, + "responseStatus": { + "metadata": {}, + "code": 101 + }, + "requestReceivedTimestamp": "2023-03-30T14:42:40.166647Z", + "stageTimestamp": "2023-03-30T14:42:40.170013Z", + "annotations": { + "authorization.k8s.io/decision": "allow", + "authorization.k8s.io/reason": "RBAC: allowed by ClusterRoleBinding \"basic-users\" of ClusterRole \"basic-user\" to Group \"system:authenticated\"" + } +} +```` + +To wrap up this section, I think it's worth highlighting that keeping the logs on the nodes themselves is not best practice, and you will want to offload these to an external logging service. I won't cover that in detail in this post, but I will provide you a [link to a blog post](https://veducate.co.uk/openshift-forward-logs-log-insight-cloud/) I created previously, showing how you can offload the logs to the VMware Aria Operations for Logs product (previously known as vRealize Log Insight) + +# Summary + +In this post, we've seen more of how Red Hat OpenShift takes the out-of-the-box functionality from upstream Kubernetes and entwines it with enterprise engineering, such as the ability to easily add an Identity provider for Authorization without having to pull in more open-source components. The AAA model is a basic premise when it comes to managing the security stance of your environment, and before you let users consume the Red Hat OpenShift platform, it's key to understand how this works and start putting in the structure upfront around the likes of Roles and Role Bindings for user privileges. + +This post only takes you into the beginnings of setting up RBAC, and we haven't discussed a cohesive strategy of how to implement it within your organisation. It's safe to say least privilege is the best, and the outcome you need to aim for. I've included several links below for you to understand RBAC in Kubernetes and OpenShift in more detail, and I'm sure with a quick search on your favourite search engine, you'll also find lots of posts around how best to implement a least privilege model. + +To wrap up this section on Red Hat OpenShift with [Day 62](/2023/day62.md) we will cover compliance and vulnerability scanning provided by Red Hat Operators. + +## Resources +- Kubernetes.io + - [Authenicating](https://kubernetes.io/docs/reference/access-authn-authz/authentication/) + - [Using RBAC Authorization](https://kubernetes.io/docs/reference/access-authn-authz/rbac/) +- Red Hat OpenShift Documentation + - [Configuring an LDAP identity provider](https://docs.openshift.com/container-platform/4.12/authentication/identity_providers/configuring-ldap-identity-provider.html) + - [Using RBAC to define and apply permissions](https://access.redhat.com/documentation/en-us/openshift_container_platform/4.12/html/authentication_and_authorization/using-rbac) + - [Viewing Audit logs](https://docs.openshift.com/container-platform/4.12/security/audit-log-view.html) + - [Configuring the audit log policy](https://docs.openshift.com/container-platform/4.12/security/audit-log-policy-config.html#audit-log-policy-config) + - [Monitoring cluster events and logs](https://docs.openshift.com/container-platform/4.12/security/container_security/security-monitoring.html) +- Red Hat Blog - [Multiple ways of Authentication on OpenShift Container Platform (OCP), Part 2](https://cloud.redhat.com/blog/multiple-ways-of-authentication-on-openshift-container-platform-ocp-part-2) +- OpenShift Examples - [Active Directory/LDAP](https://examples.openshift.pub/cluster-configuration/authentication/activedirectory-ldap/) +- vEducate.co.uk - [How to configure Red Hat OpenShift to forward logs to VMware vRealize Log Insight Cloud](https://veducate.co.uk/openshift-forward-logs-log-insight-cloud/) \ No newline at end of file diff --git a/2023/day62.md b/2023/day62.md index e69de29..e706b50 100644 --- a/2023/day62.md +++ b/2023/day62.md @@ -0,0 +1,711 @@ +# Compliance and Vulnerability Scanning provided by Red Hat OpenShift Operators + +Many components make up the security posture of a well-designed and architected platform. For a Red Hat OpenShift platform, this will include implementing the AAA model we covered on [Day 61](/2023/day61.md), container security, certificates to validate access to the platform and between the workloads that run and communicate on and with the platform, data encryption, vulnerability scanning, compliance auditing and remediation, as just a shortlisted example. + +In this post, I'm going to focus on just two areas of security inside of Red Hat OpenShift; Compliance and Vulnerability Scanning. + +# Red Hat OpenShift Compliance Operator + +## Compliance Overview + +In the context of Kubernetes, compliance refers to the adherence of OpenShift deployments to various industry standards, regulations, and best practices. Compliance is essential for organizations operating in regulated industries like healthcare, finance, or government sectors, as well as for those who prioritize security and privacy. + +OpenShift, as a Kubernetes-based container orchestration platform, provides several features and tools to help organizations achieve and maintain compliance. These features include: + +- Security and access control: OpenShift provides robust security features like Role-Based Access Control (RBAC), network policies, and Security Context Constraints (SCCs) to manage access to cluster resources and ensure the secure deployment and operation of applications. + +- Auditing and monitoring: OpenShift's built-in auditing and monitoring capabilities make it easy to track user activities, resource usage, and system events. This information is crucial for detecting and responding to security incidents, meeting regulatory requirements, and troubleshooting issues. + +- Image and container security: OpenShift's integrated container registry, image signing, and image scanning features help ensure the integrity and security of container images. Additionally, OpenShift enforces security best practices through resource constraints and pod security policies. + +- Encrypted communication: OpenShift supports TLS/SSL for secure communication between cluster components, as well as between the cluster and external clients. This helps protect sensitive data in transit. + +- Compliance Operator: Red Hat OpenShift provides the Compliance Operator, with an OpenShift-native tool that helps organizations evaluate and enforce compliance policies. The Compliance Operator leverages the OpenSCAP framework and can be configured to meet specific regulatory requirements or security standards, such as NIST, PCI-DSS, HIPAA, or GDPR. + +Achieving and maintaining compliance in OpenShift involves configuring the platform according to industry standards, regulations, and best practices, continuously monitoring and auditing the environment, and promptly addressing any identified issues. By utilising the capabilities and resources offered by OpenShift, organisations have the opportunity to establish secure and regulation-compliant ecosystems for their applications and workloads, ensuring optimal performance and adherence to industry standards. + +In this post, we'll be focusing on the Compliance Operator, which empowers the platform administrators by allowing them to define the desired compliance state for their cluster. It offers a comprehensive overview of discrepancies between the current and target states, as well as actionable insights to address these gaps effectively. + +The Compliance Operator provides the ability to describe the required compliance state of a cluster and report overviews of gaps and ways to remediate them. The Compliance Operator assesses compliance of both the Kubernetes API resources of OpenShift Container Platform, as well as the nodes running the cluster. The Compliance Operator uses OpenSCAP, a NIST-certified tool, to scan and enforce security policies provided by the content. You can view details of the out-of-the-box compliance profiles that are [provided here](https://docs.openshift.com/container-platform/4.12/security/compliance_operator/compliance-operator-supported-profiles.html). + +### Installing the Compliance Operator + +1. We need to create a specially managed OpenShift namespace. Save the below content as ```openshift-compliance-namespace.yaml``` and apply using the ```oc apply -f openshift-compliance-namespace.yaml``` command. + +````yaml +apiVersion: v1 +kind: Namespace +metadata: + labels: + openshift.io/cluster-monitoring: "true" + pod-security.kubernetes.io/enforce: privileged + name: openshift-compliance +```` + +2. Now we need to define an ```OperatorGroup``` for the Compliance operator. Save the below content as ```openshift-compliance-operator-group.yaml``` and apply using the ```oc apply -f openshift-compliance-operator-group.yaml``` command. + +````yaml +apiVersion: operators.coreos.com/v1 +kind: OperatorGroup +metadata: + name: compliance-operator + namespace: openshift-compliance +spec: + targetNamespaces: + - openshift-compliance +```` + +3. Define and apply a subscription to the Operator. Save the below content as ```openshift-compliance-operator-subscription.yaml``` and apply using the ```oc apply -f openshift-compliance-operator-subscription.yaml``` command. + +````yaml +apiVersion: operators.coreos.com/v1alpha1 +kind: Subscription +metadata: + name: compliance-operator-sub + namespace: openshift-compliance +spec: + channel: "release-0.1" + installPlanApproval: Automatic + name: compliance-operator + source: redhat-operators + sourceNamespace: openshift-marketplace +```` + +4. You can verify the Operator installation with the below command; + +````sh +$ oc get csv -n openshift-compliance +$ oc get deploy -n openshift-compliance +```` +### Reviewing the profiles and the rules + +We can see the installed profiles by running the below command, each profile has the product name that it applies to added as a prefix to the profile’s name. ocp4-e8 applies the Essential 8 benchmark to the OpenShift Container Platform product, while rhcos4-e8 applies the Essential 8 benchmark to the Red Hat Enterprise Linux CoreOS (RHCOS) product. + +````sh +$ oc get -n openshift-compliance profiles.compliance +NAME AGE +ocp4-cis 107m +ocp4-cis-node 107m +ocp4-e8 107m +ocp4-high 107m +ocp4-high-node 107m +ocp4-moderate 107m +ocp4-moderate-node 107m +ocp4-nerc-cip 107m +ocp4-nerc-cip-node 107m +ocp4-pci-dss 107m +ocp4-pci-dss-node 107m +rhcos4-e8 107m +rhcos4-high 107m +rhcos4-moderate 107m +rhcos4-nerc-cip 107m +```` + +We can view the details of a profile by running: + +````sh +$ oc get -n openshift-compliance -oyaml profiles.compliance ocp4-cis +```` + +````yaml +apiVersion: compliance.openshift.io/v1alpha1 +description: This profile defines a baseline that aligns to the Center for Internet + Security® Red Hat OpenShift Container Platform 4 Benchmark™, V1.1. This profile + includes Center for Internet Security® Red Hat OpenShift Container Platform 4 CIS + Benchmarks™ content. Note that this part of the profile is meant to run on the Platform + that Red Hat OpenShift Container Platform 4 runs on top of. This profile is applicable + to OpenShift versions 4.6 and greater. +id: xccdf_org.ssgproject.content_profile_cis +kind: Profile +metadata: + annotations: + compliance.openshift.io/image-digest: pb-ocp477wpm + compliance.openshift.io/product: redhat_openshift_container_platform_4.1 + compliance.openshift.io/product-type: Platform + creationTimestamp: "2023-03-31T09:09:52Z" + generation: 1 + labels: + compliance.openshift.io/profile-bundle: ocp4 + name: ocp4-cis + namespace: openshift-compliance + ownerReferences: + - apiVersion: compliance.openshift.io/v1alpha1 + blockOwnerDeletion: true + controller: true + kind: ProfileBundle + name: ocp4 + uid: 19c2e4a5-094f-416a-a06b-eb0598e39618 + resourceVersion: "12971302" + uid: 6dc3cca4-5649-43ae-8c46-614f82fd6744 +rules: +- ocp4-accounts-restrict-service-account-tokens +- ocp4-accounts-unique-service-account +- ocp4-api-server-admission-control-plugin-alwaysadmit +- ocp4-api-server-admission-control-plugin-alwayspullimages +- ocp4-api-server-admission-control-plugin-namespacelifecycle +- ocp4-api-server-admission-control-plugin-noderestriction +- ocp4-api-server-admission-control-plugin-scc +- ocp4-api-server-admission-control-plugin-securitycontextdeny +- ocp4-api-server-admission-control-plugin-service-account +- ocp4-api-server-anonymous-auth +- ocp4-api-server-api-priority-flowschema-catch-all +- ocp4-api-server-api-priority-gate-enabled +- ocp4-api-server-audit-log-maxbackup +- ocp4-api-server-audit-log-maxsize +- ocp4-api-server-audit-log-path +- ocp4-api-server-auth-mode-no-aa +- ocp4-api-server-auth-mode-node +- ocp4-api-server-auth-mode-rbac +- ocp4-api-server-basic-auth +- ocp4-api-server-bind-address +... +- ocp4-scc-limit-privileged-containers +- ocp4-scc-limit-process-id-namespace +- ocp4-scc-limit-root-containers +- ocp4-scheduler-no-bind-address +- ocp4-secrets-consider-external-storage +- ocp4-secrets-no-environment-variables +- ocp4-version-detect-in-hypershift +- ocp4-version-detect-in-ocp +title: CIS Red Hat OpenShift Container Platform 4 Benchmark +```` + +To read the descriptions of one of the rules that form the policy: + +````sh +$ oc get -n openshift-compliance rules ocp4-api-server-anonymous-auth -oyaml +```` + +````yaml +apiVersion: compliance.openshift.io/v1alpha1 +checkType: Platform +description: |- + By default, anonymous access to the OpenShift API is enabled, but at the same time, all requests must be authorized. If no authentication mechanism is used, the request is assigned the system:anonymous virtual user and the system:unauthenticated virtual group. This allows the authorization layer to determin which requests, if any, is an anonymous user authorized to make. To verify the authorization rules for anonymous requests run the following: + + $ oc describe clusterrolebindings + + and inspect the bidnings of the system:anonymous virtual user and the system:unauthenticated virtual group. To test that an anonymous request is authorized to access the readyz endpoint, run: + + $ oc get --as="system:anonymous" --raw='/readyz?verbose' + + In contrast, a request to list all projects should not be authorized: + + $ oc get --as="system:anonymous" projects +id: xccdf_org.ssgproject.content_rule_api_server_anonymous_auth +instructions: |- + Run the following command to view the authorization rules for anonymous requests: + $ oc describe clusterrolebindings + Make sure that there exists at least one clusterrolebinding that binds + either the system:unauthenticated group or the system:anonymous + user. + To test that an anonymous request is authorized to access the readyz + endpoint, run: + $ oc get --as="system:anonymous" --raw='/readyz?verbose' + In contrast, a request to list all projects should not be authorized: + $ oc get --as="system:anonymous" projects +kind: Rule +metadata: + annotations: + compliance.openshift.io/image-digest: pb-ocp477wpm + compliance.openshift.io/rule: api-server-anonymous-auth + control.compliance.openshift.io/CIS-OCP: 1.2.1 + control.compliance.openshift.io/NERC-CIP: CIP-003-8 R6;CIP-004-6 R3;CIP-007-3 + R6.1 + control.compliance.openshift.io/NIST-800-53: CM-6;CM-6(1) + control.compliance.openshift.io/PCI-DSS: Req-2.2 + policies.open-cluster-management.io/controls: 1.2.1,CIP-003-8 R6,CIP-004-6 R3,CIP-007-3 + R6.1,CM-6,CM-6(1),Req-2.2 + policies.open-cluster-management.io/standards: CIS-OCP,NERC-CIP,NIST-800-53,PCI-DSS + creationTimestamp: "2023-03-31T09:09:53Z" + generation: 1 + labels: + compliance.openshift.io/profile-bundle: ocp4 + name: ocp4-api-server-anonymous-auth + namespace: openshift-compliance + ownerReferences: + - apiVersion: compliance.openshift.io/v1alpha1 + blockOwnerDeletion: true + controller: true + kind: ProfileBundle + name: ocp4 + uid: 19c2e4a5-094f-416a-a06b-eb0598e39618 + resourceVersion: "12971338" + uid: 12db5786-4ff6-4e80-90e0-2b370541f6e1 +rationale: When enabled, requests that are not rejected by other configured authentication + methods are treated as anonymous requests. These requests are then served by the + API server. If you are using RBAC authorization, it is generally considered reasonable + to allow anonymous access to the API Server for health checks and discovery purposes, + and hence this recommendation is not scored. However, you should consider whether + anonymous discovery is an acceptable risk for your purposes. +severity: medium +title: Ensure that anonymous requests to the API Server are authorized +```` + +### Running a Scan + +Now that we have the operator installed, we have two key configurations: + +- ScanSettings - This is the Schema for the scansettings API, and therefore you will provide configurations for running the scan, such as where it stores data, configurations for the container that is run on the platform to perform the scan, which components are subject to be scanned, and schedules to run the scan. +- ScanSettingsBinding - This is the Schema for the scansettingbindings API. This is used to bind the ScanSettings configuration to the compliance profiles you want to run against your chosen components. + +There is a default ScanSettings called ```default``` supplied when you install the Compliance Operator, which you can run against your system. + +````sh +$ oc describe scansettings default -n openshift-compliance + +Name: default +Namespace: openshift-compliance +Labels: +Annotations: +API Version: compliance.openshift.io/v1alpha1 +Kind: ScanSetting +Max Retry On Timeout: 3 +Metadata: + Creation Timestamp: 2023-03-31T09:09:33Z + Generation: 1 + Resource Version: 12971055 + UID: 78945c1e-c323-40d8-87d9-c571275d58e3 +Raw Result Storage: + Node Selector: + node-role.kubernetes.io/master: + Pv Access Modes: + ReadWriteOnce + Rotation: 3 + Size: 1Gi + Tolerations: + Effect: NoSchedule + Key: node-role.kubernetes.io/master + Operator: Exists + Effect: NoExecute + Key: node.kubernetes.io/not-ready + Operator: Exists + Toleration Seconds: 300 + Effect: NoExecute + Key: node.kubernetes.io/unreachable + Operator: Exists + Toleration Seconds: 300 + Effect: NoSchedule + Key: node.kubernetes.io/memory-pressure + Operator: Exists +Roles: + master + worker +Scan Tolerations: + Operator: Exists +Schedule: 0 1 * * * +Show Not Applicable: false +Strict Node Scan: true +Timeout: 30m +Events: +```` +You can read more details about the above [configuration here](https://docs.openshift.com/container-platform/4.12/security/compliance_operator/compliance-scans.html#running-compliance-scans_compliance-operator-scans), however, most of the lines are self-explanatory. + +There is a second provided ScanSettings called ```default-auto-apply```, which follows the same premise as the above, however` will auto-remediate any findings as part of the scan. + +Now we need to create a ScanSettingBinding to the CIS benchmark profiles. Create a YAML file using the below content called ````compliance-scansettingbinding.yaml```` and apply with ````oc apply -f compliance-scansettingbinding.yaml````. + +````yaml +apiVersion: compliance.openshift.io/v1alpha1 +kind: ScanSettingBinding +metadata: + name: cis-compliance + namespace: openshift-compliance +profiles: + - name: ocp4-cis-node + kind: Profile + apiGroup: compliance.openshift.io/v1alpha1 + - name: ocp4-cis + kind: Profile + apiGroup: compliance.openshift.io/v1alpha1 +settingsRef: + name: default + kind: ScanSetting + apiGroup: compliance.openshift.io/v1alpha1 +```` + +At this stage of the workflow, the Compliance Operator reconciles the ScanSettingBinding object, taking into account both the ```Binding``` and ```Bound``` settings. As a result, it generates a ComplianceSuite object along with the corresponding ComplianceScan objects to streamline the compliance evaluation process. + + +````sh +$ oc get compliancescan -n openshift-compliance +NAME PHASE RESULT +ocp4-cis AGGREGATING NOT-AVAILABLE +ocp4-cis-node-master AGGREGATING NOT-AVAILABLE +ocp4-cis-node-worker AGGREGATING NOT-AVAILABLE +```` +The scans will now work through the scanning phases and finish on the ```DONE``` phase once completed. At this point, you are probably going to find that the result is ```NON-COMPLIANT```. Now we can review the scan results and apply any necessary remediations to bring the cluster into compliance with the profile. + +````sh +$ oc get compliancescan -n openshift-compliance +NAME PHASE RESULT +ocp4-cis DONE NON-COMPLIANT +ocp4-cis-node-master DONE NON-COMPLIANT +ocp4-cis-node-worker DONE NON-COMPLIANT +```` + +Let's look at the first scan in more detail, as we also want to capture the label attached, so we can get the full results to view. + +````sh +$ oc get compliancescan -n openshift-compliance ocp4-cis -o yaml +```` + +````yaml +oc get compliancescan -n openshift-compliance ocp4-cis -o yaml +apiVersion: compliance.openshift.io/v1alpha1 +kind: ComplianceScan +metadata: + creationTimestamp: "2023-03-31T10:49:41Z" + finalizers: + - scan.finalizers.compliance.openshift.io + generation: 1 + labels: + compliance.openshift.io/suite: cis-compliance + name: ocp4-cis + namespace: openshift-compliance + ownerReferences: + - apiVersion: compliance.openshift.io/v1alpha1 + blockOwnerDeletion: true + controller: true + kind: ComplianceSuite + name: cis-compliance + uid: c40db43f-0635-4731-b537-5ad3fc08cc06 + resourceVersion: "13035410" + uid: 9d5b10b8-f67c-44f3-b13d-0765cb037091 +spec: + content: ssg-ocp4-ds.xml + contentImage: registry.redhat.io/compliance/openshift-compliance-content-rhel8@sha256:c4bf5b2b20ff538adbc430b7ee993fbd7c291203a9810534005148304e3b169b + maxRetryOnTimeout: 3 + profile: xccdf_org.ssgproject.content_profile_cis + rawResultStorage: + nodeSelector: + node-role.kubernetes.io/master: "" + pvAccessModes: + - ReadWriteOnce + rotation: 3 + size: 1Gi + tolerations: + - effect: NoSchedule + key: node-role.kubernetes.io/master + operator: Exists + - effect: NoExecute + key: node.kubernetes.io/not-ready + operator: Exists + tolerationSeconds: 300 + - effect: NoExecute + key: node.kubernetes.io/unreachable + operator: Exists + tolerationSeconds: 300 + - effect: NoSchedule + key: node.kubernetes.io/memory-pressure + operator: Exists + scanTolerations: + - operator: Exists + scanType: Platform + showNotApplicable: false + strictNodeScan: true + timeout: 30m +status: + conditions: + - lastTransitionTime: "2023-03-31T10:51:20Z" + message: Compliance scan run is done running the scans + reason: NotRunning + status: "False" + type: Processing + - lastTransitionTime: "2023-03-31T10:51:20Z" + message: Compliance scan run is done and has results + reason: Done + status: "True" + type: Ready + phase: DONE + remainingRetries: 3 + result: NON-COMPLIANT + resultsStorage: + name: ocp4-cis + namespace: openshift-compliance + warnings: |- + could not fetch /apis/flowcontrol.apiserver.k8s.io/v1alpha1/flowschemas/catch-all: the server could not find the requested resource + could not fetch /apis/logging.openshift.io/v1/namespaces/openshift-logging/clusterlogforwarders/instance: the server could not find the requested resource + could not fetch /apis/apps/v1/namespaces/openshift-sdn/daemonsets/sdn: daemonsets.apps "sdn" not found + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch "/api/v1/nodes/NODE_NAME/proxy/configz": the server could not find the requested resource + could not fetch /apis/hypershift.openshift.io/v1beta1/namespaces/clusters/hostedclusters/None: the server could not find the requested resource + Kubelet configs for 90days-ocp-72ptq-master-1 are not consistent with role master, Diff: [{"op":"replace","path":"/address","value":"192.168.200.183"}] of KubeletConfigs for master role will not be saved. + Kubelet configs for 90days-ocp-72ptq-worker-x7v4j are not consistent with role worker, Diff: [{"op":"replace","path":"/address","value":"192.168.200.194"}] of KubeletConfigs for worker role will not be saved. + Kubelet configs for 90days-ocp-72ptq-master-2 are not consistent with role master, Diff: [{"op":"add","path":"/address","value":"192.168.200.181"}] of KubeletConfigs for master role will not be saved. + Kubelet configs for 90days-ocp-72ptq-master-0 are not consistent with role control-plane, Diff: [{"op":"replace","path":"/address","value":"192.168.200.185"}] of KubeletConfigs for control-plane role will not be saved. + Kubelet configs for 90days-ocp-72ptq-master-2 are not consistent with role control-plane, Diff: [{"op":"add","path":"/address","value":"192.168.200.181"}] of KubeletConfigs for control-plane role will not be saved. + Kubelet configs for 90days-ocp-72ptq-worker-5cgp8 are not consistent with role worker, Diff: [{"op":"add","path":"/address","value":"192.168.200.187"}] of KubeletConfigs for worker role will not be saved. +```` + +In the output, we can see the warnings from the results straight away. To view the full results we can run the command below using the label from the above output. Alternatively, I can list all failed results across the conducted scans by running the command: + +````sh +$ oc get compliancecheckresults -n openshift-compliance -l 'compliance.openshift.io/check-status=FAIL' +NAME STATUS SEVERITY +ocp4-cis-api-server-encryption-provider-cipher FAIL medium +ocp4-cis-api-server-encryption-provider-config FAIL medium +ocp4-cis-audit-log-forwarding-enabled FAIL medium +ocp4-cis-configure-network-policies-namespaces FAIL high +ocp4-cis-kubeadmin-removed FAIL medium +ocp4-cis-node-master-kubelet-enable-protect-kernel-defaults FAIL medium +ocp4-cis-node-master-kubelet-enable-protect-kernel-sysctl FAIL medium +ocp4-cis-node-worker-kubelet-enable-protect-kernel-defaults FAIL medium +ocp4-cis-node-worker-kubelet-enable-protect-kernel-sysctl FAIL medium +```` + +We can look at the individual ```ComplianceRemediation``` in more detail with the command; + +````sh + oc get compliancecheckresults -n openshift-compliance ocp4-cis-audit-log-forwarding-enabled -o yaml +```` + +Which provides us the following output: + +````yaml +apiVersion: compliance.openshift.io/v1alpha1 +description: |- + Ensure that Audit Log Forwarding Is Enabled + OpenShift audit works at the API server level, logging all requests coming to the server. Audit is on by default and the best practice is to ship audit logs off the cluster for retention. The cluster-logging-operator is able to do this with the + + ClusterLogForwarders + + resource. The forementioned resource can be configured to logs to different third party systems. For more information on this, please reference the official documentation: https://docs.openshift.com/container-platform/4.6/logging/cluster-logging-external.html +id: xccdf_org.ssgproject.content_rule_audit_log_forwarding_enabled +instructions: |- + Run the following command: + oc get clusterlogforwarders instance -n openshift-logging -ojson | jq -r '.spec.pipelines[].inputRefs | contains(["audit"])' + The output should return true. +kind: ComplianceCheckResult +metadata: + annotations: + compliance.openshift.io/rule: audit-log-forwarding-enabled + creationTimestamp: "2023-03-31T10:51:02Z" + generation: 1 + labels: + compliance.openshift.io/check-severity: medium + compliance.openshift.io/check-status: FAIL + compliance.openshift.io/scan-name: ocp4-cis + compliance.openshift.io/suite: cis-compliance + name: ocp4-cis-audit-log-forwarding-enabled + namespace: openshift-compliance + ownerReferences: + - apiVersion: compliance.openshift.io/v1alpha1 + blockOwnerDeletion: true + controller: true + kind: ComplianceScan + name: ocp4-cis + uid: 9d5b10b8-f67c-44f3-b13d-0765cb037091 + resourceVersion: "13034914" + uid: c5b7342d-af35-4944-86bd-8a4f907acccc +rationale: Retaining logs ensures the ability to go back in time to investigate or + correlate any events. Offloading audit logs from the cluster ensures that an attacker + that has access to the cluster will not be able to tamper with the logs because + of the logs being stored off-site. +severity: medium +status: FAIL +```` + +This particular remediation has no automatic remediation, but you can see [another example here](https://docs.openshift.com/container-platform/4.12/security/compliance_operator/compliance-operator-remediation.html#compliance-review_compliance-remediation), whereby a ```MachineConfig``` resource will be applied by the remediation. Applying remediation can take different forms, depending on what the remediation is. Therefore I won't dive into this detail today, I think we've covered enough to understand how to run and view compliance checks against our platform. You can read more about [remediations here](https://docs.openshift.com/container-platform/4.12/security/compliance_operator/compliance-operator-remediation.html#compliance-applying_compliance-remediation). The final point I wanted to highlight on this topic, is the ```oc-compliance``` plugin, which extends the functionality of the ```oc``` CLI tool, you can few the [details and how to use it here](https://docs.openshift.com/container-platform/4.12/security/compliance_operator/oc-compliance-plug-in-using.html). + +# Red Hat Quay Container Security Operator + +## Vulnerability Scanning Overview + +Vulnerability scanning in Red Hat OpenShift refers to the process of inspecting container images for known security issues, such as outdated software packages, misconfigurations, or exposed sensitive information. The goal of vulnerability scanning is to identify and remediate potential security risks in container images before they are deployed to the OpenShift cluster, thus enhancing the overall security posture of the platform. + +OpenShift provides several features and tools to facilitate vulnerability scanning: + +- Integrated container registry: OpenShift includes a built-in container registry to store and manage container images. The integrated registry allows for a more streamlined and secure process when scanning images for vulnerabilities, as it eliminates the need to rely on external registries. + +- ImageStreams: An ImageStream in OpenShift is an abstraction that represents a series of related container images, typically different versions of the same application. ImageStreams simplify the process of tracking and deploying container images, making it easier to apply vulnerability scanning and remediation across multiple versions of an application. + +- Image signing and trust: OpenShift supports container image signing and the enforcement of signature-based trust policies. This feature ensures that only trusted and verified images can be deployed to the cluster, helping to prevent the deployment of images with known vulnerabilities. + +- Third-party integrations: OpenShift can be easily integrated with external vulnerability scanning tools and platforms, such as Aqua Security, Sysdig, or Twistlock. These tools can be configured to automatically scan container images stored in the OpenShift registry and provide detailed reports on identified vulnerabilities and suggested remediation steps. + +- OpenShift Operators: OpenShift supports the use of Operators, which are automated software extensions that manage applications and their components. Operators can be used to deploy and manage vulnerability scanning tools within the OpenShift cluster, ensuring a consistent and automated scanning process. Red Hat provides the ```Red Hat Quay Container Security Operator```, however, you can also implement third-party scanners such as [Trivy](https://github.com/aquasecurity/trivy) from [Aqua Security](https://aquasec.com/). + +By leveraging these features and tools, Red Hat OpenShift enables organizations to perform comprehensive vulnerability scanning on container images, reducing the risk of security breaches and enhancing the overall security of the platform. + +Focusing on the ```Red Hat Quay Container Security Operator```, this provides the following: + +- Watches containers associated with pods on all or specified namespaces + +- Queries the container registry where the containers came from for vulnerability information, provided an image’s registry is running image scanning (such as Quay.io or a Red Hat Quay registry with Clair scanning) + +- Exposes vulnerabilities via the ImageManifestVuln object in the Kubernetes API + +## Installing the Red Hat Quay Container Security Operator + +This time I'm going to provide instructions on how to perform these steps in the Red Hat Console interface, rather than CLI. + +1. In the administrator view within the console, navigate to Operators > OperatorHub and search for "Red Hat Quay Container Security Operator". +2. Select the tile, and click to install. +3. Confirm the settings + - All namespaces and automatic approval strategy are selected, by default. +4. Select Install. The Container Security Operator appears after a few moments on the Installed Operators screen. + +When you now browse to the homepage of the Red Hat OpenShit Console, you will see an "Image vulnerability" component on the status tile, which you can select to see high-level information about your estate. + +![Red Hat OpenShift Console - Image vulnerability](/2023/images/Day62%20-%20Red%20Hat%20Quay%20Container%20Security%20Operator/Red%20Hat%20Console%20-%20Image%20vulnerability.jpg) + +You can click on the circle graph or the namespaces to see more details which takes you to the navigation page of Adminstration (1) > Image Vulnerabilities (2). + +Now you can see a list of the vulnerabilities and you can change the project view for all projects or a specific one to curate this list. + +![Red Hat OpenShift Console - Administration - Image vulnerabilities](/2023/images/Day62%20-%20Red%20Hat%20Quay%20Container%20Security%20Operator/Red%20Hat%20OpenShift%20Console%20-%20Administration%20-%20Image%20vulnerabilities.jpg) + +Clicking the image name (3) will show further manifest details via the OpenShift console, including which pods are affected. Or you can click the Manifest details on the right-hand side (4) which will take you to the Quay Security Scanner report hosted on [Quay.io](https://Quay.io). + +Below shows the Image manifest details including each vulnerability found with that image, and links to appropriate documentation, such as CVE information held on [access.redhat.com](https://access.redhat.com +) +![Red Hat OpenShift Console - Administration - Image vulnerabilities - Manifest details](/2023/images/Day62%20-%20Red%20Hat%20Quay%20Container%20Security%20Operator/Red%20Hat%20OpenShift%20Console%20-%20Administration%20-%20Image%20vulnerabilities%20-%20Manifest%20details.jpg) + +Below is the ```affected pods``` tab view on the Image manifests page. + +![Red Hat OpenShift Console - Administration - Image vulnerabilities - Manifest details - Affected pods](/2023/images/Day62%20-%20Red%20Hat%20Quay%20Container%20Security%20Operator/Red%20Hat%20OpenShift%20Console%20-%20Administration%20-%20Image%20vulnerabilities%20-%20Manifest%20details%20-%20Affected%20pods.jpg) + +And finally the Quay Security Scanner page for one of the images shown in the report. This was for my pacman application, you can see the Quay.io report yourself [here](https://quay.io/repository/ifont/pacman-nodejs-app/manifest/sha256:196ae9a1a33a2d32046a46739779ca273667f1d4f231f8a721e8064c3509405e?tab=vulnerabilities)(free sign up account required). + +![Red Hat OpenShift Console - Administration - Image vulnerabilities - Quay Manifest](/2023/images/Day62%20-%20Red%20Hat%20Quay%20Container%20Security%20Operator/Red%20Hat%20OpenShift%20Console%20-%20Administration%20-%20Image%20vulnerabilities%20-%20Quay%20Manifest.jpg) + +Of course we can also see information in the command line too, to see all vulnerabilities found, use the command: + +```sh +oc get vuln --all-namespaces +NAMESPACE NAME AGE +openshift-apiserver-operator sha256.01974e4c0e0d112e09bee8fe2625d565d3d62fa42013b38d7ce43d2d40f6057a 20h +openshift-apiserver sha256.13640b919950fc648219c528ee7ed30262bae856566fbd6c4cb5e15ffd457d6f 20h +openshift-apiserver sha256.8829aefa24dd606d2fe3ff86b97858c07acedae5f5eb3f044c20395762e7c02b 20h +openshift-authentication-operator sha256.31b617cec5c22e187cc22da606fc6998ea3529b1b6e8d80d1799c3dc9705997e 20h +openshift-authentication sha256.41e06255fc823c0082a74466b69ccfb672947b7075ea43a10e729c5f39314d00 20h +openshift-cloud-controller-manager-operator sha256.a7856b6371fc4a7ade8a678daca149db6c6a55ee7137d9e308721d2d3bebf364 20h +openshift-cloud-credential-operator sha256.1986315effe0f3ee415e86df3a87765268ed1da405c7a297c278e1d7030286a4 20h +... +openshift-vsphere-infra sha256.ddf81e535cf7a6b2775f3db690ec1e6eaa1c7427a0f9b98ce120d8ad06520440 20h +test-app sha256.196ae9a1a33a2d32046a46739779ca273667f1d4f231f8a721e8064c3509405e 20h +``` + +You can inspect the details of a specific vulnerability by running the command: + +```sh +oc describe vuln -n {namespace} {sha ID of vuln} + +# Example + +oc describe vuln -n openshift-apiserver-operator sha256.01974e4c0e0d112e09bee8fe2625d565d3d62fa42013b38d7ce43d2d40f6057a +``` + +Example output: + +```yaml +Name: sha256.01974e4c0e0d112e09bee8fe2625d565d3d62fa42013b38d7ce43d2d40f6057a +Namespace: openshift-apiserver-operator +Labels: openshift-apiserver-operator/openshift-apiserver-operator-7bd84bd596-pgpct=true +Annotations: +API Version: secscan.quay.redhat.com/v1alpha1 +Kind: ImageManifestVuln +Metadata: + Creation Timestamp: 2023-03-30T19:01:40Z + Generation: 17 + Resource Version: 13206497 + UID: dbec02e5-e4c6-412f-b561-757237844d43 +Spec: + Features: + Name: pip + Version: 9.0.3 + Vulnerabilities: + Description: Pip 21.1 updates its dependency 'urllib3' to v1.26.4 due to security issues. + Metadata: {"UpdatedBy": "pyupio", "RepoName": "pypi", "RepoLink": "https://pypi.org/simple", "DistroName": "", "DistroVersion": "", "NVD": {"CVSSv3": {"Vectors": "CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:L/I:L/A:N", "Score": 6.5}}} + Name: pyup.io-40291 (CVE-2021-28363) + Namespace Name: pyupio + Severity: Medium + Description: A flaw was found in python-pip in the way it handled Unicode separators in git references. A remote attacker could possibly use this issue to install a different revision on a repository. The highest threat from this vulnerability is to data integrity. This is fixed in python-pip version 21.1. + Metadata: {"UpdatedBy": "pyupio", "RepoName": "pypi", "RepoLink": "https://pypi.org/simple", "DistroName": "", "DistroVersion": "", "NVD": {"CVSSv3": {"Vectors": "CVSS:3.1/AV:N/AC:L/PR:L/UI:R/S:U/C:N/I:H/A:N", "Score": 5.7}}} + Name: pyup.io-42559 (CVE-2021-3572) + Namespace Name: pyupio + Severity: Medium + Description: Pip before 19.2 allows Directory Traversal when a URL is given in an install command, because a Content-Disposition header can have ../ in a filename, as demonstrated by overwriting the /root/.ssh/authorized_keys file. This occurs in _download_http_url in _internal/download.py. + Metadata: {"UpdatedBy": "pyupio", "RepoName": "pypi", "RepoLink": "https://pypi.org/simple", "DistroName": "", "DistroVersion": "", "NVD": {"CVSSv3": {"Vectors": "CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:N/I:H/A:N", "Score": 7.5}}} + Name: pyup.io-38765 (CVE-2019-20916) + Namespace Name: pyupio + Severity: High + Name: openssl-libs + Version: 1:1.1.1k-7.el8_6 + Vulnerabilities: + Description: OpenSSL is a toolkit that implements the Secure Sockets Layer (SSL) and Transport Layer Security (TLS) protocols, as well as a full-strength general-purpose cryptography library. + +Security Fix(es): + +* openssl: X.400 address type confusion in X.509 GeneralName (CVE-2023-0286) + +For more details about the security issue(s), including the impact, a CVSS score, acknowledgments, and other related information, refer to the CVE page(s) listed in the References section. + Fixedby: 1:1.1.1k-8.el8_6 + Link: https://access.redhat.com/errata/RHSA-2023:1441 https://access.redhat.com/security/cve/CVE-2023-0286 + Metadata: {"UpdatedBy": "RHEL8-rhel-8.6-eus", "RepoName": "cpe:/o:redhat:rhel_eus:8.6::baseos", "RepoLink": null, "DistroName": "Red Hat Enterprise Linux Server", "DistroVersion": "8", "NVD": {"CVSSv3": {"Vectors": "CVSS:3.1/AV:N/AC:H/PR:N/UI:N/S:U/C:H/I:N/A:H", "Score": 7.4}}} + Name: RHSA-2023:1441: openssl security update (Important) + Namespace Name: RHEL8-rhel-8.6-eus + Severity: High + Name: urllib3 + Version: 1.24.2 + Vulnerabilities: + Description: Urllib3 1.26.5 includes a fix for CVE-2021-33503: When provided with a URL containing many @ characters in the authority component, the authority regular expression exhibits catastrophic backtracking, causing a denial of service if a URL were passed as a parameter or redirected to via an HTTP redirect. + Metadata: {"UpdatedBy": "pyupio", "RepoName": "pypi", "RepoLink": "https://pypi.org/simple", "DistroName": "", "DistroVersion": "", "NVD": {"CVSSv3": {"Vectors": "CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:N/I:N/A:H", "Score": 7.5}}} + Name: pyup.io-43975 (CVE-2021-33503) + Namespace Name: pyupio + Severity: High + Description: urllib3 before 1.25.9 allows CRLF injection if the attacker controls the HTTP request method, as demonstrated by inserting CR and LF control characters in the first argument of putrequest(). NOTE: this is similar to CVE-2020-26116. + Metadata: {"UpdatedBy": "pyupio", "RepoName": "pypi", "RepoLink": "https://pypi.org/simple", "DistroName": "", "DistroVersion": "", "NVD": {"CVSSv3": {"Vectors": "CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:C/C:L/I:L/A:N", "Score": 7.2}}} + Name: pyup.io-38834 (CVE-2020-26137) + Namespace Name: pyupio + Severity: High + Name: setuptools + Version: 39.2.0 + Vulnerabilities: + Description: Python Packaging Authority (PyPA) setuptools before 65.5.1 allows remote attackers to cause a denial of service via HTML in a crafted package or custom PackageIndex page. There is a Regular Expression Denial of Service (ReDoS) in package_index.py. + Metadata: {"UpdatedBy": "pyupio", "RepoName": "pypi", "RepoLink": "https://pypi.org/simple", "DistroName": "", "DistroVersion": "", "NVD": {"CVSSv3": {"Vectors": "CVSS:3.1/AV:N/AC:H/PR:N/UI:N/S:U/C:N/I:N/A:H", "Score": 5.9}}} + Name: pyup.io-52495 (CVE-2022-40897) + Namespace Name: pyupio + Severity: Medium + Image: quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256 + Manifest: sha256:01974e4c0e0d112e09bee8fe2625d565d3d62fa42013b38d7ce43d2d40f6057a +Status: + Affected Pods: + openshift-apiserver-operator/openshift-apiserver-operator-7bd84bd596-pgpct: + cri-o://dd4fcb700a95c041d19bf7829d3e07516ccf2a36522027f920d76ed0aa57f84c + Fixable Count: 1 + High Count: 4 + Highest Severity: High + Last Update: 2023-03-31 15:31:32.853602342 +0000 UTC + Medium Count: 3 +Events: +``` + +# Summary + +Whilst for this 2023 edition focusing on DevSecOps, we could have purely spent time focusing on Security and Compliance for Red Hat OpenShift in-depth, I wanted to start at a higher level, understanding why you would choose an enterprise Kubernetes offering, and what features will enhance your cloud-native platform. Hopefully, this has given you a solid understanding of this offering, as well as being able to understand the basics of how to run and operate it. Another area we only touched upon briefly was application deployment, instead focusing on the security posture of deploying workloads, rather than the methods of building and running the applications themselves. This topic of application build, deployment and management requires a whole section on its own. + +I urge you to spend time reading through the official documentation for Red Hat OpenShift, it's quite comprehensive with the information you need to fully get to grips and operate the platform. + +## Resources + +- Red Hat OpenShift Documentation + - [OpenShift Container Platform security and compliance](https://docs.openshift.com/container-platform/4.12/security/index.html) + - [Understanding container security](https://docs.openshift.com/container-platform/4.12/security/container_security/security-understanding.html#security-understanding) + - [Troubleshooting the Compliance Operator](https://docs.openshift.com/container-platform/4.12/security/compliance_operator/compliance-operator-troubleshooting.html) + - [Running the Red Hat Quay Container Security Operator](https://docs.openshift.com/container-platform/4.12/security/pod-vulnerability-scan.html) + - [Securing container content](https://docs.openshift.com/container-platform/4.12/security/container_security/security-container-content.html) +- [Red Hat OpenShift security guide (ebook)](https://www.redhat.com/en/resources/openshift-security-guide-ebook) +- YouTube - [ CVE and CVSS explained | Security Detail | Presented by Red Hat](https://www.youtube.com/watch?v=oSyEGkX6sX0) \ No newline at end of file diff --git a/2023/day63.md b/2023/day63.md index e69de29..8dc0ac9 100644 --- a/2023/day63.md +++ b/2023/day63.md @@ -0,0 +1,136 @@ +# An introduction to databases + +Welcome to the 90DaysOfDevOps database series. Over the next seven days we’ll be talking about all things database related! + +The aim of this series of blog posts is to provide an introduction to databases and their various concepts so that you will be able to make an informed choice when deciding how to store data in your future projects. + +Here’s what we’ll be covering: - + +- An introduction to databases +- Querying data in databases +- Backing up databases +- High availability and disaster recovery +- Performance tuning +- Database security +- Monitoring and troubleshooting database issues + +We’ll also be providing examples to accompany the concepts discussed. In order to do so you will need Docker Desktop installed. Docker can be downloaded here (https://www.docker.com/products/docker-desktop/) and is completely free. + +Alternatives to Docker Desktop can be used (such as Rancher Desktop or Finch) but the examples will focus on Docker. + +We'll be using a custom PostgreSQL image in the examples and connecting with pgAdmin: - +https://www.pgadmin.org/ + +
+ +# About Us + +Andrew Pruski
+Andrew is a Field Solutions Architect working for Pure Storage. He is a Microsoft Data Platform MVP, Certified Kubernetes Administrator, and Raspberry Pi tinkerer. You can find him on twitter @dbafromthecold, LinkedIn, and blogging at dbafromthecold.com + +Taylor Riggan
+Taylor is a Sr. Graph Architect on the Amazon Neptune development team at Amazon Web Services. He works with customers of all sizes to help them learn and use purpose-built NoSQL databases via the creation of reference architectures, sample solutions, and delivering hands-on workshops. You can find him on twitter @triggan and LinkedIn. + +
+ +# Why databases? + +The total amount of data created worldwide is predicted to reach 181 zetabytes by 2025. + +That’s 181 billion terabytes! + +![](images/day63-1.png) + +source - https://www.statista.com/statistics/871513/worldwide-data-created/ + + +Imagine if all that data was stored in flat files, for example excel sheets! OK, storing that data might not be such an issue, just save the file on a networked drive and all good! But what about when it comes to retrieving that data? What about updating a single record amongst hundreds, thousands, millions of files? + +This is where database technologies come into play. Databases give us the ability to not only store data but to easily retrieve, update, and delete individual records. + +
+ +# Relational databases + +When it comes to databases, there are two main types...relational and non-relational (or NoSQL) databases. + +SQL Server, Oracle, MySQL, and PostgreSQL are all types of relational databases. + +Relational databases were first described by Edgar Codd in 1970 whilst he was working at IBM in a research paper , “A Relation Model of Data for Large Shared Data Banks”. + +This paper led the way for the rise of the various different relational databases that we have today. + +In a relational database, data is organised into tables (containing rows and columns) and these tables have “relationships” with each other. + +For example, a Person table may have an addressID column which points to a row within an Address table, this allows for an end user or application to easily retrieve a record from the Person table and the related record from the Address table. + +The addressID column is a unique “key” in the Address table but is present in the Person table as a “foreign key”. + +The design of the tables and the relations between them in a relational database is said to be the database schema. The process of building this schema is called database normalisation. + +Data is selected, updated, or deleted from a relational database via a programming language called SQL (Structured Query Language). + +In order to support retrieving data from tables in a relational database, there is the concept of “indexes”. In order to locate one row or a subset of rows from a table, indexes provide a way for queries to quickly identify the rows they are looking for, without having to scan all the rows in the table. + +The analogy often used when describing indexes is an index of a book. The user (or query) uses the index to go directly to the page (or row) they are looking for, without having to “scan” all the way through the book from the start. + +Queries accessing databases can also be referred to as transactions…a logical unit of work that accesses and/or modifies the data. In order to maintain consistency in the database, transactions must have certain properties. These properties are referred to as ACID properties: - + +A - Atomic - all of the transaction completes or none of it does
+C - Consistency - the data modified must not violate the integrity of the database
+I - Isolation - multiple transactions take place independently of one another
+D - Durability - Once a transaction has completed, it will remain in the system, even in the event of a system failure. + +We will go through querying relational databases in the next blog post. + +
+ +# Non-Relational databases + +The downside of relational databases is that the data ingested has to "fit" to the structure of the database schema. But what if we're dealing with large amounts of data that doesn't match that structure? + +This is where non-relational databases come into play. These types of databases are referred to as NoSQL (non-SQL or Not Only SQL) databases and are either schema-free or have a schema that allows for changes in the structure. + +Apache Cassandra, MongoDB, and Redis are all types of NoSQL databases. + +Non-relational databases have existed since the 1960s but the term “NoSQL” was used in 1998 by Carlo Strozzi when naming his Strozzi NoSQL database, however that was still a relational database. It wasn’t until 2009 when Johan Oskarsson reintroduced the term when he organised an event to discuss “open-source distributed, non-relational databases”. +There are various different types of NoSQL databases, all of which store and retrieve data differently. + +For example: - + +Apache Cassandra is a wide-column store database. It uses tables, rows, and columns like a relational database but the names and formats of the columns can vary from row to row in the same table. It uses Cassandra Query Language (CSQL) to access the data stored. + +MongoDB is a document store database. Data is stored as objects (documents) within the database that do not adhere to a defined schema. MongoDB supports a variety of methods to access data, such as range queries and regular expression searches. + +Redis is a distributed in-memory key-value database. Redis supports many different data structures - sets, hashes, lists, etc. - https://redis.com/redis-enterprise/data-structures/ +The records can be identified using a unique key. Redis supports various different programming languages in order to access the data stored. + +NoSQL databases generally do not comply with ACID properties but there are exceptions. + +Each has pros and cons when it comes to storing data, which one to use would be decided on the type of data that is being ingested. + +
+ +# When to use relational vs non-relational databases + +This is an interesting question and the answer, unfortunately, is it depends. + +It all depends on the type of data being stored, where it is to be stored, and how it is to be accessed. + +If you have data that is highly structured, stored in a central location, and will be accessed by complex queries (such as reports), then a relational database would be the right choice. + +If however, the data is loosely-structured, needs to be available in multiple regions, and will be retrieved with a specific type of query (e.g.- a quick lookup in a key/value store), then a non-relational database would be the right choice. + +There is a massive caveat with the statements above however…there are types of non-relational databases that can handle large, complex queries likewise relational databases have features that allow for data to be available in multiple regions. + +It also comes down to the skillset of the people involved, for example, Andrew is a former SQL Server DBA…so we know what his default choice would be when choosing a type of database! + +While, in contrast, Taylor works on the development team for one of the more popular, cloud-hosted, graph databases, so he is more likely to start with a NoSQL data store. + +The great thing about databases is that there are so many choices to choose from within the realm of commercial offerings, cloud services, and the open-source ecosystem. The amount of choice, however, can be daunting for someone new to this space + +Join us tommorrow when we'll be talking about querying databases. + +Thanks for reading! + +See you in [Day 64](day64.md). diff --git a/2023/day64.md b/2023/day64.md index e69de29..df46157 100644 --- a/2023/day64.md +++ b/2023/day64.md @@ -0,0 +1,292 @@ +# Querying data in databases + +Hello and welcome to the second post in the database part of the 90 Days of DevOps blog series! + +In this post we will be going through spinning up an instance of PostgreSQL in a docker container, retrieving data, and then updating that data. + +So let’s get started! + +
+ +# Software needed + +To follow along with the scripts in this blog post, you will need docker installed and pgAdmin. + +Both are completely free and can be downloaded here: - + +Docker - https://www.docker.com/products/docker-desktop/
+pgAdmin - https://www.pgadmin.org/ + +
+ +# Running PostgreSQL + +We have created a custom PostgreSQL docker image which has a demo database ready to go. + +In order to run the container, open a terminal and execute: - + + docker run -d \ + --publish 5432:5432 \ + --env POSTGRES_PASSWORD=Testing1122 \ + --name demo-container \ + ghcr.io/dbafromthecold/demo-postgres:latest + +This will pull the image down from our github repository and spin up an instance of PostgreSQL with a database, dvdrental, ready to go. + +Note - the image size is 437MB which may or may not be an issue depending on your internet connection + +Confirm the container is up and running with: - + + docker container ls + +Then open pgAdmin and connect with the server name as *localhost* and the password as *Testing1122* + +
+ +# Selecting data + +Once you’ve connected to the instance of PostgreSQL running in the container, let’s look at the staff table in the dvdrental database. Right click on the dvdrental database in the left-hand menu and select Query Tool. + +To retrieve data from a table we use a SELECT statement. The structure of a SELECT statement is this: - + + + SELECT data_we_want_to_retrieve + FROM table + WHERE some_condition + + +So to retrieve all the data from the staff table, we would run: - + + SELECT * + FROM staff + +The * indicates we want to retrieve all the columns from the table. + +If we wanted to only retrieve staff members called “Mike” we would run: - + + SELECT * + FROM staff + WHERE first_name = ‘Mike’ + +OK, now let’s look at joining two tables together in the SELECT statement. + +Here is the relationship between the staff and address tables: - + +![](images/day64-1.png) + +From the Entity Relational Diagram (ERD), which is a method of displaying tables in a relational database, we can see that the tables are joined on the address_id column. + +The address_id column is a primary key in the address table and a foreign key in the staff table. + +We can also see (by looking at the join) that this is a many-to-one relationship…aka rows in the address table can be linked to more than one row in the staff table. + +Makes sense as more than one member of staff could have the same address. + +Ok, in order to retrieve data from both the staff and address tables we join them in our SELECT statement: - + + SELECT * + FROM staff s + INNER JOIN address a ON s.address_id = a.address_id + +That will retrieve all the rows from the staff table and also all the corresponding rows from the address table…aka we have retrieved all staff members and their addresses. + +Let’s limit the query a little. Let’s just retrieve some data from the staff table and some from the address table for one staff member + + SELECT s.first_name, s.last_name, a.address, a.district, a.phone + FROM staff s + INNER JOIN address a ON s.address_id = a.address_id + WHERE first_name = ‘Mike’ + +Here we have only retrieved the name of any staff member called Mike and their address. + +You may have noticed that when joining the address table to the staff table we used an INNER JOIN. + +This is a type of join that specifies only to retrieve rows in the staff table that has a corresponding row in the address table. + +The other types of joins are: - + +LEFT OUTER JOIN - this would retrieve data in the staff table even if there was no row in the address table + +RIGHT OUTER JOIN - this would retrieve data in the address table even if there was no row in the staff table + +FULL OUTER JOIN - this would retrieve all data from the tables even if there was no corresponding matching row in the other table + +If we run: - + + SELECT * + FROM staff s + RIGHT OUTER JOIN address a ON s.address_id = a.address_id + +We will get all the rows in the address table that do not have a corresponding row in the staff table. + +But, if we run: - + + SELECT * + FROM staff s + LEFT OUTER JOIN address a ON s.address_id = a.address_id + +We will still only get records in the staff table that have a record in the address table. + +
+ +# Inserting data + +This is due to the FOREIGN KEY constraint linking the two tables, if we tried to insert a row into the staff table and the address_id we specified did not exist in the address table we would get an error: - + + ERROR: insert or update on table "staff" violates foreign key constraint "staff_address_id_fkey" + +This is because the foreign key is saying that a record in the staff table must reference a valid row in the address table. + +Enforcing this relationship is enforcing the referential integrity of the database…i.e. - maintaining consistent and valid relationships between the data in the tables. + +So we have to add a row to the staff table that references an existing row in the address table. + +So an example of this would be: - + + INSERT INTO staff( + staff_id, first_name, last_name, address_id, + email, store_id, active, username, password, last_update, picture) + VALUES + (999, 'Andrew', 'Pruski', 1, 'andrew.pruski@90daysofdevops.com', + '2', 'T', 'apruski', 'Testing1122', CURRENT_DATE, ''); + +Notice that we specify all the columns in the table and then the corresponding values. + +To verify that the row has been inserted: - + + SELECT s.first_name, s.last_name, a.address, a.district, a.phone + FROM staff s + INNER JOIN address a ON s.address_id = a.address_id + WHERE first_name = 'Andrew' + +And there is our inserted row! + +
+ +# Updating data + +To update a row in a table we use a statement in the format: - + + UPDATE table + SET column = new_value + WHERE some_condition + +OK, now let’s update the row that we inserted previously. Say the staff member’s email address has changed. To view the current email address: - + + SELECT s.first_name, s.last_name, s.email + FROM staff s + WHERE first_name = 'Andrew' + +And we want to change that email value to ‘andrewxpruski@outlook.com’. To update that value: - + + UPDATE staff + SET email = 'apruski@90daysofdevops.com' + WHERE first_name = 'Andrew' + +You should see that one row has been updated in the output. To confirm run the SELECT statement again: - + + SELECT s.first_name, s.last_name, s.email + FROM staff s + WHERE first_name = 'Andrew' + +
+ +# Deleting data + +To delete a row from a table we use a statement in the format: - + + DELETE FROM table + WHERE some_condition + +So to delete the row we inserted and updated previously, we can run: - + + DELETE FROM staff + WHERE first_name = ‘Andrew’ + +You should see that one row was deleted in the output. To confirm: - + + SELECT s.first_name, s.last_name, s.email + FROM staff s + WHERE first_name = 'Andrew' + +No rows should be returned. + +
+ +# Creating tables + +Let’s have a look at the definition of the staff table. This can be scripted out by right-clicking on the table, then Scripts > CREATE Script + +This will open a new query window and show the statement to create the table. + +Each column will be listed with the following properties: - + + Name - Data type - Constraints + +If we look at the address_id column we can see: - + + address_id smallint NOT NULL + +So we have the column name, that it is a smallint data type (https://www.postgresql.org/docs/9.1/datatype-numeric.html), and that it cannot be null. It cannot be null as a FOREIGN KEY constraint is going to be created to link to the address table. + +The columns that are a character datatype also have a COLLATE property. Collations specify case, sorting rules, and accent sensitivity properties. Each character datatype here is using the default setting, more information on collations can be found here: - +https://www.postgresql.org/docs/current/collation.html + +Other columns also have default values specified…such as the last_update column: - + + last_update timestamp without time zone NOT NULL DEFAULT 'now()' + +This says that if no value is set for the column when a row is inserted, the current time will be used. + +Then we have a couple of constraints defined on the table. Firstly a primary key: - + + CONSTRAINT staff_pkey PRIMARY KEY (staff_id) + +A primary key is a unique identifier in a table, aka this row can be used to identify individual rows in the table. The primary key on the address table, address_id, is used as a foreign key in the staff table to link a staff member to an address. + +The foreign key is also defined in the CREATE TABLE statement: - + + CONSTRAINT staff_address_id_fkey FOREIGN KEY (address_id) + REFERENCES public.address (address_id) MATCH SIMPLE + ON UPDATE CASCADE + ON DELETE RESTRICT + +We can see here that the address_id column in the staff table references the address_id column in the address table. + +The ON UPDATE CASCADE means that if the address_id in the address table is updated, any rows in the staff table referencing it will also be updated. (Note - it’s very rare that you would update a primary key value in a table, I’m including this here as it’s in the CREATE TABLE statement). + +The ON DELETE RESTRICT prevents the deletion of any rows in the address table that are referenced in the staff table. This prevents rows in the staff table having references to the rows in the address table that are no longer there…protecting the integrity of the data. + +OK so let’s create our own table and import some data into it: - + + CREATE TABLE test_table ( + id smallint, + first_name VARCHAR(50), + last_name VARCHAR(50), + dob DATE, + email VARCHAR(255), + CONSTRAINT test_table_pkey PRIMARY KEY (id) + ) + +NOTE - VARCHAR is an alias for CHARACTER VARYING which we saw when we scripted out the staff table + +Ok, so we have a test_table with 6 columns and a primary key (the id column). + +Let’s go and import some data into it. The docker image that we are using has a test_data.csv file in the /dvdrental directory and we can import that data with: - + + COPY test_table(id,first_name, last_name, dob, email) + FROM '/dvdrental/test_data.csv' + DELIMITER ',' + CSV HEADER; + +To verify: - + + SELECT * FROM test_table + +So that’s how to retrieve, update, and delete data from a database. We also looked at creating tables and importing data. + +Join us tommorrow where we will be looking at backing up and restoring databases. + +Thank you for reading! + +See you in [Day 65](day65.md). diff --git a/2023/day65.md b/2023/day65.md index e69de29..2fab0a7 100644 --- a/2023/day65.md +++ b/2023/day65.md @@ -0,0 +1,255 @@ +# Backing up and restoring databases + +Hello and welcome to the third post in the database part of the 90 Days of DevOps blog series! Today we’ll be talking about backing up and restoring databases. + +One of the (if not the) most vital tasks a Database Administrator performs is backing up databases. + +Things do go wrong with computer systems not to mention with the people who operate them 🙂 and when they do, we need to be able to recover the data. + +This is where backups come in. There are different types of backups, and different types of databases perform their backups in different ways…but the core concepts are the same. + +The core backup is the full backup. This is a backup of the entire database, everything, at a certain point in time. These backups are the starting point of a recovery process. + +Then there are incremental/differential backups. Certain databases allow for this type of backup to be taken which only includes the data changes since the last full backup. This type of backup is useful when dealing with large databases and taking a full backup is a long process. In the recovery process, the full backup is restored first and then the applicable incremental/differential backup. + +Another important type of backup is backing up the “log”. Databases have a log of transactions that are executed against the data stored. Typically the log is written to before any data changes are made so that in the event of a failure, the log can be “replayed” (aka rolling forward any committed transactions in the log, and rolling back any uncommitted transactions) so that the database comes back online in a consistent state. + +Log backups allow database administrators to achieve point-in-time recovery. By restoring the full backup, then any incremental/differential backups, and then subsequential log backups, the DBA can roll the database to a certain point in time (say before a data loss event to recover data). + +Backups are kept separate from the server that hosts the databases being backed up. You don’t want a server to go down and take its database backups with it! Typically backups will be stored in a centralised location and then shipped to a 3rd site (just in case the whole primary site goes down). + +One motto of DBAs is “It’s not a backup process, it’s a recovery process” (or so Andrew says). Meaning that backing up the databases is useless if those backups cannot be restored easily. So DBAs will have a whole host of scripts ready to go if a database needs to be restored to make the process as painless as possible. You really don’t want to be scrabbling around looking for your backups when you need to perform a restore! + +Let’s have a look at backing up and restoring a database in PostgreSQL. + +
+ +# Setup + +For the demos in this blog post we’ll be using the dvdrental database in the custom PostgreSQL docker image. To spin this image up, start docker, open a terminal, and run: - + + docker run -d \ + --publish 5432:5432 \ + --env POSTGRES_PASSWORD=Testing1122 \ + --name demo-container \ + ghcr.io/dbafromthecold/demo-postgres:latest + +Note - the image size is 497MB which may or may not be an issue depending on your internet connection + +
+ +# Taking a full backup + +Starting with the simplest of the backup types, the full backup. This is a copy (or dump) of the database into a separate file that can be used to roll the database back to the point that the backup was taken. + +Let’s run through taking a backup of the *dvdrental* database in the PostgreSQL image. + +Connect into the server via pgAdmin (server name is *localhost* and the password is *Testing1122*), right-click on the *dvdrental* database and select *Backup*… + +![](images/day65-1.png) + +Enter a directory and filename on your local machine to store the backup file (in this example, I’m using *C:\temp\dvdrental.backup*). + +Then hit Backup! Nice and simple! + +If we click on the Processes tab in pgAdmin, we can see the completed backup. What’s nice about this is that if we click on the file icon, it will give us a dialog box of the exact command executed, and a step-by-step log of the process run. + +![](images/day65-2.png) + + +The process used a program called pg_dump (https://www.postgresql.org/docs/current/backup-dump.html) to execute the backup and store the files in the location specified. + +This is essentially an export of the database as it was when the backup was taken. + +
+ +# Restoring the full backup + +Ok, say that database got accidentally dropped (it happens!)…we can use the backup to restore it. + +Open a query against the PostgreSQL database and run: - + + DROP DATABASE dvdrental + +Note - if that throws an error, run this beforehand: - + + SELECT pg_terminate_backend(pg_stat_activity.pid) + FROM pg_stat_activity + WHERE pg_stat_activity.datname = 'dvdrental' + AND pid <> pg_backend_pid(); + +OK, now we need to get the database back. So create a new database: - + + CREATE DATABASE dvdrental_restore + +Execute that command and then right-click on the newly created database in the left-hand menu, then select *Restore*… + +![](images/day65-3.png) + +Select the filename of the backup that we performed earlier, then click Restore. + +Let that complete, refresh the database on the left-hand menu…and there we have it! Our database has been restored…all the tables and the data is back as it was when we took the backup! + +As with the backup, we can see the exact command used to restore the database. If we click on the processes tab in pgAdmin, and then the file icon next to our restore, we will see: - + +![](images/day65-4.png) + +Here we can see that a program called pg_restore was used to restore the database from the backup file that we created earlier. + +
+ +# Point in time restores + +Now that we’ve run through taking a full backup and then restoring that backup…let’s have a look at performing a point-in-time restore of a database. + +Full backups are great to get the data at a certain point…but we can only get the data back to the point when that full backup was taken. Typically full backups are run once daily (at the most) so if we had a data loss event several hours after that backup was taken…we would lose all data changes made since that backup if we just restored the full backup. + +In order to recover the database to a point in time after the full backup was taken we need to restore additional backups to “roll” the database forward. + +We can do this in PostgreSQL as PostgreSQL maintains a write ahead log (WAL) that records every change (transaction) made to the database. The main purpose of this log is that if the server crashes the database can be brought back to a consistent state by replaying the transactions in the log. + +But this also means that we can archive the log (or WAL files) and use them to perform a point in time restore of the database. + +Let’s run through setting up write ahead logging and then performing a point in time restore. + +First thing to do is run a container with PostgreSQL installed: - + + docker run -d \ + --publish 5432:5432 \ + --env POSTGRES_PASSWORD=Testing1122 \ + --name demo-container \ + ghcr.io/dbafromthecold/demo-postgres:latest + +Jump into the container: - + + docker exec -it -u postgres demo-container bash + +In this container image there are two locations that we will use for our backups. +*/postgres/archive/base* for the baseline backup and */Postgres/archive/wal* for the log archive. + +Now we’re going to edit the *postgresql.conf* file to enable WAL archiving: - + + vim $PGDATA/postgresql.conf + +Drop the following lines into the config file: - + + archive_mode = on + archive_command = 'cp %p /postgres/archive/wal/%f' + +- archive_mode - enables WAL archiving +- archive_command - the command used to archive the WAL files (%p is replaced by the path name of the file to archive, and any %f is replaced by the file name). + +Exit the container and restart to enable WAL archiving: - + + docker container restart demo-container + +OK, the next thing to do is take a base backup of the database cluster. Here we are using pg_basebackup (https://www.postgresql.org/docs/current/app-pgbasebackup.html) which is different from the command used to take a full backup as it backs up all the files in the database cluster. + +Aka it’s a file system backup of all the files on the server whereas the full backup used pg_dump which is used to backup only one database. + +Jump back into the container: - + + docker exec -it -u postgres demo-container bash + +And take the backup: - + + pg_basebackup -D /postgres/archive/base + +We will use the files taken in this backup as the starting point of our point in time restore. + +To test our point in time restore, connect to the database dvdrental in pgAdmin (server is localhost and password is Testing1122), create a table, and import sample data (csv file is in the container image): - + + CREATE TABLE test_table ( + id smallint, + first_name VARCHAR(50), + last_name VARCHAR(50), + dob DATE, + email VARCHAR(255), + CONSTRAINT test_table_pkey PRIMARY KEY (id) + ) + + COPY test_table(id,first_name, last_name, dob, email) + FROM '/dvdrental/test_data.csv' + DELIMITER ',' + CSV HEADER; + +Confirm the data is in the test table: - + + SELECT * FROM test_table + +![](images/day65-5.png) + +What we’re going to do now is simulate a data loss event. For example, an incorrect DELETE statement executed against a table that removes all the data. + +So wait a few minutes and run (make a note of the time): - + + DELETE FROM test_table + +Ok, the data is gone! To confirm: - + + SELECT * FROM test_table + +![](images/day65-6.png) + +We need to get this data back! So, jump back into the container: - + + docker exec -it -u postgres demo-container bash + +The first thing to do in the recovery process is create a recovery file in the location of our base backup: - + + touch /postgres/archive/base/recovery.signal + +This file will automatically get deleted when we perform our point in time restore. + +Now we need to edit the *postgresql.conf* file to tell PostgreSQL to perform the recovery: - + + vim $PGDATA/postgresql.conf + +Add in the following to the top of the file (you can leave the WAL archiving options there): - + + restore_command = 'cp /postgres/archive/wal/%f %p' + recovery_target_time = '2023-02-13 10:20:00' + recovery_target_inclusive = false + data_directory = '/postgres/archive/base' + + +- restore_command - this is the command to retrieve the archived WAL files +- recovery_target_time - this is the time that we are recovering to (change for just before you executed the DELETE statement against the table) +- recovery_target_inclusive - this specifies to stop the recovery before the specified recovery time +- data_directory - this is where we point PostgreSQL to the files taken in the base backup + +Now we need to tell PostgreSQL to switch to a new WAL file, allowing for the old one to be archived (and used in recovery): - + + psql -c "select pg_switch_wal();" + +Almost there! Jump back out of the container and then restart: - + + docker container restart demo-container + +If we check the logs of the container, we can see the recovery process: - + + docker container logs demo-container + +![](images/day65-7.png) + +We can see at the end of the logs that we have one more thing to do, so, one more time, jump back into the container: - + + docker exec -it -u postgres demo-container bash + +And resume replay of the WAL files: - + + psql -c "select pg_wal_replay_resume();" + +OK, finally to confirm, in pgAdmin, connect to the dvdrental database and run: - + + SELECT * FROM test_table + +![](images/day65-8.png) + +The data is back! We have successfully performed a point in time restore of our database! + +Join us tomorrow where we will be talking about high availability and disaster recovery. + +Thanks for reading! + +See you in [Day 66](day66.md). diff --git a/2023/day66.md b/2023/day66.md index e69de29..3601640 100644 --- a/2023/day66.md +++ b/2023/day66.md @@ -0,0 +1,209 @@ +# High availability and disaster recovery + +Hello and welcome to the fourth post in the database part of the 90 Days of DevOps blog series! Today we’ll be talking about high availability and disaster recovery. + +One of the main jobs of a database administrator is to configure and maintain disaster recovery and high availability strategies for the databases that they look after. In a nutshell they boil down to: - + +Disaster recovery (DR) - recovering databases in the event of a site outage.
+High availability (HA) - ensuring databases stay online in the event of a server outage. + +Let’s go through both in more detail. + +
+ +# Disaster recovery + +Database administrators are a paranoid bunch (Andrew nodding his head). It’s their job to think about how the database servers will fail and how best to recover from that failure. + +Two main factors come into play when thinking about disaster recovery… + +RTO - Recovery Time Objective - How long can the databases be offline after a failure?
+RPO - Recovery Point Objective - How much data can be lost in the event of a failure? + +Basically, RTO is how quickly do we need to get the databases online after a failure and RPO is can we lose any data in the event of a failure? + +In the last post we talked about backing up and restoring databases…and backups could be good enough for a disaster recovery strategy. Now, there’s a load of caveats with that statement! + +In the event of a site outage…can we easily and quickly restore all of the databases with the RTO and to the RPO? More often than not, for anyone looking after anything more than a couple of small databases, the answer is no. + +So an alternate strategy would need to be put into place. + +A common strategy is to have what is known as a “warm standby”. Another server is spun up in a different site to the primary server (could potentially be another private data centre or the cloud) and a method of pushing data changes to that server is put into place. + +There’s a couple of methods of doing this…one is referred to as “log shipping”. A full backup of the database is restored to the disaster recovery server and then the logs of the database are “shipped” from the primary server and restored to the secondary. +In the event of an outage on the primary site, the secondary databases are brought online and the applications pointed to that server. + +This means that the databases can be brought online in a relatively short period of time but caution needs to be taken as there can be data loss with this method. It depends on how often the logs are being restored to the secondary…which is where the RPO comes into play. + +The Database Administrator needs to ensure that the logs are shipped frequently enough to the secondary so that in the event of a primary site outage, the amount of data loss falls within the RPO. + +Another method of keeping a warm standby is asynchronous replication or mirroring. In this method, the full backup of the database is restored as before but then transactions are sent to the secondary when they are executed against the primary server. + +Again, data loss can occur with this method as there is no guarantee that the secondary is “up-to-date” with the primary server. The transactions are sent to the secondary and committed on the primary…with no waiting from the secondary to acknowledge that the transaction has been committed there. This means that the secondary can lag behind the primary…the amount of lag would be determined by the network connectivity between the primary and secondary sites, the amount of transactions hitting the primary, and the amount of data being altered. + +
+ +# High availability + +Disaster recovery strategies really do mean recovering from a “disaster”, typically the entire primary site going down. + +But what if just one server goes down? We wouldn’t want to enact our DR strategy just for that one server…this is where high availability comes in. + +High availability means that if a primary server goes down, a secondary server will take over (pretty much) instantly…with no data loss. + +In this setup, a primary server and one or more secondary servers are set up in a group (or cluster). If the primary server has an issue…one of the secondaries will automatically take over. + +There are various different methods of setting this up…PostgreSQL and MySQL have synchronous replication and this is the method we will focus on here. + +Synchronous replication means that when a transaction is executed against the primary server, it is also sent to the secondaries, and the primary waits for acknowledgement from the secondaries that they have committed the transaction before committing it itself. + +Now, this means that the network between the primary and secondaries has to be able to handle the amount of transactions and data that is being sent between all the servers in the cluster because if the secondaries take a long time to receive, commit, and acknowledge transactions the transactions on the primary will take longer as well. + +Let’s have a look at setting up replication between two instances of PostgreSQL. + +
+ +# Setting up replication for PostgreSQL + +What we’re going to do here is spin up two containers running PostgreSQL and then get replication set up from the “primary” to the “secondary”. + +One thing we’re not going to do here is configure the servers for automatic failover, i.e. - the secondary server taking over if there is an issue with the primary. + +As noted in the PostgreSQL documentation (https://www.postgresql.org/docs/current/warm-standby-failover.html), PostgreSQL does not natively implement a system to provide automatic failover, external tools such as PAF (http://clusterlabs.github.io/PAF/) have to be used…so we’ll skip that here and just get replication working. + +First thing to do is create a docker custom bridge network: - + + docker network create postgres + +This will allow our two containers to communicate using their names (instead of IP addresses) + +Now we can run our first container on the custom network which is going to be our “primary” instance: - + + docker run -d + --publish 5432:5432 + --network=postgres + --volume C:\temp\base:/postgres/archive/base + --env POSTGRES_PASSWORD=Testing1122 + --name demo-container + ghcr.io/dbafromthecold/demo-postgres + +This container run statement is a little different than the ones used in the previous blog posts. + +We’ve included: - + +--network=postgres - this is the custom docker network that we’ve created
+-v C:\temp\base:/postgres/archive/base - mounting a directory on our local machine to /postgres/archive/base in the container. This is where we will store the base backup for setting up the secondary. Change the location based on your local machine, I’m using C:\temp\base in this example. + +Now exec into the container: - + + docker exec -it -u postgres demo-container bash + +We need to update the pg_hba.conf file to allow connections to our secondary instance: - + + vim $PGDATA/pg_hba.conf + +Add in the following lines to the top of the file: - + + # TYPE DATABASE USER ADDRESS METHOD + host replication replicator 172.18.0.1/24 trust + +172.18.0.1/24 is the address range of containers on the custom network. If you have other custom docker networks this will change (confirm the address of the primary container with docker container inspect demo-container) + +OK, connect to the primary container in pgAdmin (server is *localhost* and password is *Testing1122*) and create a user for replication: - + + CREATE USER replicator WITH REPLICATION ENCRYPTED PASSWORD 'Testing1122'; + +Then create a slot for replication: - + + SELECT * FROM pg_create_physical_replication_slot('replication_slot_slave1'); + +N.B. - Replication slots provide an automated way to ensure that a primary server does not remove WAL files until they have been received by the secondaries. Aka they ensure that the secondaries remain up-to-date. + +Confirm that the slot has been created: - + + SELECT * FROM pg_replication_slots; + +![](images/day66-1.png) + +Now back in the container, we take a base backup: - + + pg_basebackup -D /postgres/archive/base -S replication_slot_slave1 -X stream -U replicator -Fp -R + +Alright, what’s happening here? + +-D /postgres/archive/base - specify the location for the backup
+-S replication_slot_slave1 - specify the replication slot we created (N.B. - this uses out-of-date terminology which will hopefully be changed in the future)
+-X stream - Include WAL files in backup (stream whilst the backup is being taken)
+-U replicator - specify user
+-Fp - specify format of the output (plain)
+-R - creates the standby.signal file in the location of the directory (for setting up the standby server using the results of the backup)
+ +More information about these parameters can be found here: - +https://www.postgresql.org/docs/current/app-pgbasebackup.html + +Now we are ready to create our secondary container. + + docker run -d + --publish 5433:5432 + --network=postgres + --volume C:\temp\base:/var/lib/postgresql/data + --env POSTGRES_PASSWORD=Testing1122 + --name demo-container2 + ghcr.io/dbafromthecold/demo-postgres + +Again this container run statement is a little different than before. We’re on the custom network (as with the first container) but we also have: - + +-p 5433:5432 - changing the port that we connect to the instance on as we already have our primary container on port 5432.
+-v C:\temp\base:/var/lib/postgresql/data - this is saying to use the directory that we stored our base backup as the data location for the postgres instance in the secondary. We’re doing this so we don’t have to copy the base backup into the secondary container and change the default data directory. + +Once the secondary is running, jump into it: - + + docker exec -it -u postgres demo-container2 bash + +And open the postgresql.auto.conf file: - + + vim $PGDATA/postgresql.auto.conf + +Here we are going to add in information about the primary container. Replace the *primary_conninfo* line with: - + + primary_conninfo = 'host=demo-container port=5432 user=replicator password=Testing1122' + +Exit out of the container and restart both the primary and secondary: - + + docker container restart demo-container demo-container2 + +We’re now ready to test replication from the primary container to the secondary! Connect to the *dvdrental* database in the primary container in pgAdmin (server is *localhost* and password is *Testing1122*). + +Create a test table and import some data: - + + CREATE TABLE test_table ( + id smallint, + first_name VARCHAR(50), + last_name VARCHAR(50), + dob DATE, + email VARCHAR(255), + CONSTRAINT test_table_pkey PRIMARY KEY (id) + ) + + COPY test_table(id,first_name, last_name, dob, email) + FROM '/dvdrental/test_data.csv' + DELIMITER ',' + CSV HEADER; + +Then connect to the dvdrental database in pgAdmin in the secondary container (server name and password are the same as the primary container but change the port to *5433*). + +Run the following to check the data: - + + SELECT * FROM test_table + +![](images/day66-2.png) + +And there’s the data. We have successfully configured replication between two instances of PostgreSQL! + +You can further test this by deleting the data on the primary and querying the data on the secondary. + +Join us tomorrow where we'll be talking about performance tuning. + +Thanks for reading! + +See you in [Day 67](day67.md). diff --git a/2023/day67.md b/2023/day67.md index e69de29..3671d3c 100644 --- a/2023/day67.md +++ b/2023/day67.md @@ -0,0 +1,140 @@ +# Performance tuning + +Hello and welcome to the fifth post in the database part of the 90 Days of DevOps blog series! Today we’ll be talking about performance tuning. + +Performance tuning is a massive area in the database field. There are literally thousands of books, blog posts, videos, and conference talks on the subject. People have made (and are still making) careers out of performance tuning databases. + +We’re not going to cover everything here, it’s pretty much impossible to do in one blog post so what we’ll do is talk about the main areas of focus when it comes to ensuring that the database systems we are looking after hits the performance target required. + +
+ +# Server performance tuning + +Andrew always tells people to know their environment completely when it comes to approaching performance tuning. + +This means we need to start off by looking at the hardware our database is running on. + +This used to be “relatively” simple. We had physical servers attached to storage where we would install an OS, and then install our database engine. Here we’re concerned with the specifications of the server, CPU, Memory, and Storage. + +CPU - does the server have enough compute power to handle the amount of transactions the database engine will be executing? + +Memory - database systems cache data in memory to perform operations (certain ones work entirely in memory - Redis for example). Does the server have enough memory to handle the amount of data that it’ll be working with? + +Storage - is the storage available to the server fast enough so that when data is requested from disk it can server up that data with minimal latency? + +Nowadays the most common setup for database servers is running on a virtual machine. A physical machine is carved up into virtual machines in order to make resource usage more efficient, improve manageability, and reduce cost. + +But this means that we have another layer to consider when looking at getting the maximum performance out of our servers. + +Not only do we have the same areas to look at with physical machines (CPU, Memory, Storage) but we also now have to consider the host that the virtual machine is running on. +Does that have enough resources to handle the traffic that the virtual machine will be running? What other virtual machines are on the host that our database server is on? Is the host oversubscribed (i.e. - the virtual machines on the host have more resources assigned to them than the actual physical host has)? + +Running database engines in containers is now becoming more popular (as we have been doing in the demos for this series). However just running a database server in one container can lead to issues (see this series’ post on high availability). For production workloads, a container orchestrator is used. There are a few types out there but the main one that has come to the front is Kubernetes. + +So this means that we have a whole bunch of other considerations when thinking about performance for our database engine. + +What spec are the hosts in the Kubernetes cluster? Will they have enough resources to handle the traffic of our database engine? What else is running on that cluster? Have we got the correct setting in our deployment manifest for our database engine? + +Knowing your environment completely is the first step in building a database server that will perform to the required standard. Once we know we have built a server that can handle the transactions hitting our databases we can move onto the next step, tuning the database engine itself. + +
+ +# Database engine performance tuning + +Database systems come with a huge variety of different settings that can be used to tune them. Now there are settings that Database Administrators will 100% say that need to be altered for all workloads, no matter what they are, but then there are others that depend on the workload itself. + +For example, the memory available to the database engine may not be enough for the workload that the system will be dealing with, in which case it will need to be increased. Or conversely, it may not be limited at all…which would allow the database engine to consume all the memory on the server, starving the OS and leading to issues…so that would need to be limited. + +Getting the right configuration settings can be a daunting process…especially anyone new to the particular database system being tuned. This is where development environments come into play…having a development environment that is (somewhat) similar to a production environment allows Database Administrators to make configuration changes and monitor. + +Ok, the challenge here is that typically, development environments do not get the throughput that production environments do, and the databases are smaller as well. + +To get around this, there are a host of tools out there that can simulate workload activity. A DBA would run a tool to get a baseline of the performance of the system, make some configuration changes, then run the tool again to see what (if any 🙂 ) the increase in performance is. + +Once the database engine is configured we can then move onto the next area of performance tuning, query performance. + +
+ +# Query performance tuning + +Even with a powerful server and properly configured database engine, query performance can still be poor. + +Thankfully there are a host of tools that can capture queries hitting databases and report on their performance. If a particular query starts suffering, a DBA needs to go and analyse what has gone wrong. + +When a query hits a database, an execution plan for that query is generated…an execution plan is how the data will be retrieved from the database. + +The plan is generated from statistics stored in the database which could potentially be out of date. If they are out of date then the plan generated will result in the query being inefficient. + +For example…if a large dataset has been inserted into a table, the statistics for that table may not have been updated, resulting in any queries to that table then having an inefficient plan generated as the database engine does not know about the new data that has been inserted. + +Another key factor when it comes to query performance is indexing. If a query hits a large table and does not have a supporting index, it will scan through every row in the table until it finds the row required…not an efficient way to retrieve data. + +Indexes solve this problem by pointing the query to the correct row in the table. They are often described as the index of a book. Instead of a reader going through each page in a book to find what they need, they simply go to the index, find the entry in the index that points them to the page in the book they are looking for, and then go straight to that page. + +So the key questions a Database Administrator will ask when troubleshooting query performance are…are the statistics up to date? Are there any supporting indexes for this query? + +It can be tempting to add indexes to a table to cover all queries hitting it, however when data in a table is updated, any indexes on that table need to be updated as well so there is a performance hit on INSERT/UPDATE/DELETE queries. It’s all about finding the correct balance. + +Let’s have a look at indexes in the *dvdrental* database. + +Run a container: - + + docker run -d \ + --publish 5432:5432 \ + --env POSTGRES_PASSWORD=Testing1122 \ + --name demo-container \ + ghcr.io/dbafromthecold/demo-postgres:latest + +Connect to the dvdrental database in pgAdmin (server is *localhost* and password is *Testing1122*). Open a new query window and run the following: - + + SELECT * FROM actor WHERE last_name = ‘Cage’ + +We can see that 200 rows are returned. If we want to see the execution plan being used we can hit the Explain button: - + +![](images/day67-1.png) + +Here we can see that the plan is really simple. We have just one operation, a scan on the actor table. + +However, if we look at the actor table in the left hand side menu, there is an index on the last_name column! + +![](images/day67-2.png) + +So why didn’t the query use that index? + +This is due to the size of the table…it only has 200 rows so the database engine decided that a full table scan would be more efficient than doing an index lookup. This is just one of the very many nuances of query performance! + +Let’s force PostgreSQL to use that index. Run the following: - + + SET enable_seqscan=’false’ + +NOTE - this setting is just for developing queries to see if a particular query would use an index on a large dataset. Don’t go doing this in a production environment! + +Then highlight the SELECT statement and hit the Explain button: - + +![](images/day67-3.png) + +And there we can see that the query now is using the index and then going back to the table! So if the dataset here was larger, we know that we have an index to support that query. + +Ok, but what about querying on first_name in the actor table: - + + SELECT * FROM actor WHERE first_name = 'Nick' + +![](images/day67-4.png) + +Here we can see that we’re back to the table scan. There’s no supporting index on the first_name column! + +Let’s create one: - + + CREATE INDEX idx_actor_first_name ON public.actor (first_name) + +Now explain the SELECT statement on first_name again: - + +![](images/day67-5.png) + +And there we have it! Our query now has a supporting index! + +Join us tommorrow where we'll be talking about database security. + +Thanks for reading! + +See you in [Day 68](day68.md). \ No newline at end of file diff --git a/2023/day68.md b/2023/day68.md index e69de29..5f073a3 100644 --- a/2023/day68.md +++ b/2023/day68.md @@ -0,0 +1,208 @@ +# Database security + +Hello and welcome to the sixth post in the database part of the 90 Days of DevOps blog series! Today we’ll be talking about database security. + +Controlling access to data is an incredibly important part of being a Database Administrator. DBAs need to prevent unauthorised access to the data that they are responsible for. In order to do this all the different levels of access to a database, starting with the server, then the database engine, and then the data itself need to be controlled. + +Let’s go through each layer of security. + +
+ +# Server security + +The first area to look at when it comes to database security is who has access to the server that the database instance is running on. + +Typically the System Administrators will have admin access to the server along with the Database Administrators. Now, DBAs won’t like this…but do they really need admin access to the servers? It’s a toss up between who will support any server issues…if that’s solely down to the sysadmins, then the DBAs do not need admin access to the servers (Andrew’s eye is twitching :-) ). + +Next thing to consider is the account that the database service is running under. Andrew has seen multiple installs of SQL Server where the account the database engine runs under is a local admin on the server and worse…the same account is used on multiple servers…all with admin access! + +DBAs do this so that they don’t run into any security issues when the database engine tries to access resources on the server, but it’s not secure. + +Database services should not run under an admin account. The account they run under should only have access to the resources that it needs. Permissions should be explicitly granted to that account and monitored. + +The reason for this is that if the account becomes compromised, it does not have full access to the server. Imagine if an admin account that was used for multiple servers was compromised, that would mean all the servers that used that account would be vulnerable! + +Individual accounts for each database service should be used with only the permissions required granted. + +That way if one is compromised, only that server is affected and we can be (fairly) confident that the other servers in our environment are not at risk. + +
+ +# Database security + +The next level of security is who can access the databases on the server? Each database engine will have another level of security on top of who can access the server itself. + +Certain database engines will allow local administrators of the server to have full access to the databases, this needs to be disabled. The reason for this is that if the server becomes compromised then access to the databases isn’t automatically granted. + +Database Administrators need to work out who needs access to the databases on the server and what level of access they should be given. For instance, the System Administrators have full access to the server but do they need full access to the databases? More often than not, no they don’t. + +Not only do DBAs need to work out who needs access but also what needs access. There will be application accounts that need to retrieve data from the databases. There could also be reporting and monitoring tools that need access. + +Application accounts should only have access to the databases they require and reporting/monitoring tools may need access to all the databases on the server but only require read-only access. Furthermore, applications and tools may only need access to certain tables within each database so DBAs would need to restrict access even further. + +Again the reason for this is that if an account becomes compromised, the damage is limited. + +Let’s have a look at creating a custom user in PostgreSQL and assigning access rights. + +
+ +# Creating a custom user in PostgreSQL + +PostgreSQL uses the concept of roles to manage database access. A role can be either a user or a group of users and have permissions assigned to it. Then roles can be granted membership to other roles. + +The concept of roles replaces users and groups in PostgreSQL but for simplicity here what we’re going to do is create a new user and grant it membership to a pre-defined role. + +Spin up a container running PostgreSQL: - + + docker run -d \ + --publish 5432:5432 \ + --env POSTGRES_PASSWORD=Testing1122 \ + --name demo-container \ + ghcr.io/dbafromthecold/demo-postgres + +Connect to PostgreSQL in pgAdmin (server is *localhost* and password is *Testing1122*). Open a query window and run the following to view the existing users: - + + SELECT usename FROM pg_user; + +![](images/day68-1.png) + +As we can see, there is only one user at the moment. This is the default postgres user that has admin rights. We don’t want anyone else using this account so let’s set up a new one. + +To create a new custom user: - + + CREATE USER test_user WITH PASSWORD 'Testing1122' + +OK, confirm that the new user is there: - + + SELECT usename FROM pg_user; + +![](images/day68-2.png) + +Great! Our user is there, now we need to assign some permissions to that user. There are default roles within PostgreSQL that can be used to assign permissions. To view those roles: - + + SELECT groname FROM pg_group; + +![](images/day68-3.png) + +For more information on these roles: - +https://www.postgresql.org/docs/current/predefined-roles.html + +Now, these are default roles. They may be OK for our user but they also might grant more permissions than needed. For a production instance of PostgreSQL, custom roles can (should) be created that only grant the exact permissions needed for an account. But for this demo, we’ll use one of the defaults. + +Grant read to the custom user: - + + GRANT pg_read_all_data TO test_user; + +Log into the container in pgAdmin with the custom users credentials, connect to the dvdrental database and open the query tool. + +Try running a SELECT statement against the actor table in the database: - + + SELECT * FROM actor + +![](images/day68-4.png) + +The data is returned as the user has access to read from any table in the database. Now try to update the data: - + + UPDATE actor SET last_name = 'TEST' + +![](images/day68-5.png) + +An error is returned as the user does not have write access to any table in the database. + +Database Administrators must always ensure that users/applications only have the access that they need to the databases and within PostgreSQL, roles are how that is achieved. + +
+ +# Data encryption + +The next level of security that needs to be considered is data encryption. There are different levels of encryption that can be applied to data. First option is to encrypt the entire database. + +If someone managed to gain access to the server, they could copy the database files off-site, and then try to gain access to the data itself. + +By encrypting part or all of the database, without the relevant encryption keys, an attacker would not be able (or be very unlikely to) gain access to the data. + +If not all the data in a database is sensitive, then only certain columns within a database can be encrypted. For example, when storing login details for users in a database, the password for those users should (at a minimum) be encrypted. + +Then we also need to consider how the data is being accessed. Any application accessing sensitive data should be using a secure connection. There’s no point in having the data encrypted in the database and then having it being sent across the network decrypted! + +Another area to consider encryption is backups. An attacker would not have to target the database server to gain access to the data, they could attempt to gain access to where the database backups are stored. If they gain that access, all they have to do is copy off-site and restore the backups. + +Andrew would always, 100%, advise that database backups are encrypted. When it comes to encryption of the online databases…there can be a performance penalty to pay…so it really comes down to how sensitive the data is. + +Let’s have a look at encrypting data within PostgreSQL. + +
+ +# Encrypting a column in PostgreSQL + +What we’re going to do here is create a table that has a column that will contain sensitive data. We’ll import some data as we have done in the previous posts and then encrypt the sensitive column. + +Run a container from the custom image: - + + docker run -d + --publish 5432:5432 + --env POSTGRES_PASSWORD=Testing1122 + --name demo-container + ghcr.io/dbafromthecold/demo-postgres:latest + +Connect to the dvdrental database in pgAdmin (server is *localhost* and password is *Testing1122*) + +Install the pgcrypto extension: - + + CREATE EXTENSION pgcrypto; + +For more information on the pgcrypto extension: - +https://www.postgresql.org/docs/current/pgcrypto.html + +Now create a test table: - + + CREATE TABLE test_table ( + id smallint, + first_name VARCHAR(50), + last_name VARCHAR(50), + dob DATE, + email VARCHAR(255), + passwd VARCHAR(255), + CONSTRAINT test_table_pkey PRIMARY KEY (id) + ) + +And import the sample data (included in the container image): - + + COPY test_table(id,first_name, last_name, dob, email) + FROM '/dvdrental/test_data.csv' + DELIMITER ',' + CSV HEADER; + +Now we’re going to use pgp_sym_encrypt to add an encrypted password to the table for both entries: - + + UPDATE test_table + SET passwd = (pgp_sym_encrypt('Testing1122', ‘ENCRYPTIONPWD’)) + WHERE first_name = 'Andrew'; + + UPDATE test_table + SET passwd = (pgp_sym_encrypt('Testing3344', ‘ENCRYPTIONPWD’)) + WHERE first_name = 'Taylor'; + +Note - here we are using a password to encrypt the data. There are many more options to encrypt data within PostgreSQL..see here for more information: - +https://www.postgresql.org/docs/current/encryption-options.html + +Now if we try to SELECT as usual from the table: - + + SELECT first_name, last_name, passwd FROM test_table + +We can only see the encrypted values: - + +![](images/day68-6.png) + +In order to view the encrypted data, we have to use pgp_sym_decrypt and the key that we set earlier: - + + SELECT first_name, last_name, pgp_sym_decrypt(passwd::bytea, 'ENCRYPTIONPWD') FROM test_table + +![](images/day68-7.png) + +So if we have sensitive data within our database, this is one method of encrypting it so that it can only be accessed with the correct password. + +Join us tomorrow for the final post in the database series of 90DaysOfDevOps where we'll be talking about monitoring and troubleshooting. + +Thanks for reading! +See you in [Day 69](day69.md). diff --git a/2023/day69.md b/2023/day69.md index e69de29..0f27854 100644 --- a/2023/day69.md +++ b/2023/day69.md @@ -0,0 +1,166 @@ +# Monitoring and troubleshooting database issues + +Hello and welcome to the seventh and final post in the database part of the 90 Days of DevOps blog series! Today we’ll be talking about monitoring and troubleshooting database issues. + +Things can, and do, go wrong when looking after database servers and when they do it’s the job of the Database Administrator to firstly, get the databases back online, and THEN investigate the cause of the issue. + +The number one priority is to get the databases back online and in a healthy state. + +Once that has been achieved then the root cause of the issue can be investigated and once uncovered, fixes can be recommended. + +There are many reasons that a server can run into issues…too many to list here! But they mainly fall into the following categories…issues with the hardware, the underlying OS, the database engine, and transactions (queries) hitting the databases. + +It may not just be one factor causing issues on the server there may be many! The “death by 1000 cuts” scenario could be the cause, multiple small issues (typically frequently run queries that are experiencing a performance degradation) which overall result in the server going down or becoming so overloaded that everything grinds to a halt. + +
+ +# Monitoring + +The first step in troubleshooting database issues comes not when an actual issue has happened but when the database servers are operating normally. + +We don’t want to be constantly reacting to (aka firefighting) issues…we want to be proactive and anticipate issues before they happen. + +DBAs are trained to think about how servers will fail and how the systems that they look after will react when they encounter failures. Thinking about how the systems will fail plays a huge role when designing high availability and disaster recovery strategies. + +However once in place, HA strategies are not infallible. There could be a misconfiguration that prevents the solution in place not reacting in the expected way. This means that HA (and DR!) strategies need to be regularly tested to ensure that they work as expected when they are needed! + +We don’t want to be troubleshooting a failed HA solution at the same time as having to deal with the issue that caused the HA solution to kick in in the first place! (Andrew - we really don’t as these things never happen at 4pm on a Tuesday..for some reason it always seems to be 2am on a weekend! 🙂 ) + +In order to effectively anticipate issues before they happen we need to be monitoring the servers that we look after and have some alerting in place. + +There are 100s (if not 1000s) of tools out there that we can use to monitor the servers we manage. There are paid options that come with support and require little configuration to set up and there are others that are free but will require more configuration and have no support. + +It’s up to us to decide which monitoring tool we go for based on budget, availability (do we have time to spend on configuration?), and skillset (do we have the skills to config and maintain the tool?). + +Once we have the tool(s) in place we then point at our serves and make sure that we are monitoring (as an example): - + +- CPU Usage +- Memory Usage +- Disk Usage +- Network throughput +- Transactions per second +- Database size + +Note - This is not a definitive list of things to monitor, there are a tonne of other metrics to collect based on what system(s) are running on the server. + +Having monitoring in place means that we can see what the “normal” state of the servers is and if anything changes, we can pin down the exact time that took place which is invaluable when investigating. + +Certain tools can be hooked into other systems for example, in a previous role, Andrew’s monitoring tool was hooked into the deployment system. So when something was deployed to the database servers, there was a notification on the servers’ monitoring page. + +So, if say the CPU on a particular server skyrocketed up to 100% usage, the DBAs could not only see when this occurred but what was deployed to that server around that time. Incredibly helpful when troubleshooting. + +One thing to consider when setting up monitoring, is when do we want to be alerted? Do we want to be alerted after an issue has occurred or do we want to be alerted before? + +For example, something is consuming more disk space than normal on a server and the disk is close to becoming completely full. Do we want to be alerted when the disk is full or when the disk is close to becoming full? + +Now that seems like an obvious question but it’s slightly more tricky to get right than you would think. If set up incorrectly the monitoring tool will start outputting alerts like crazy and lead to what is known as “alert fatigue”. + +Alert fatigue is when the DBAs are sent so many alerts that they start to ignore them. The monitoring tool is incorrectly configured and is sending out alerts that do not require immediate action so the DBAs take no steps to clear them. + +This can lead to actual alerts requiring immediate action to be ignored and then lead to servers going down. + +To prevent this alerts should only be sent to the DBAs that require immediate action. Now different alert levels can be set in most tools but again we need to be careful, no-one wants to look at a system with 1000s of “warnings”. + +So a good monitoring tool is 100% necessary to prevent DBAs from spending their lives firefighting issues on the servers that they maintain. + +
+ +# Log collection + +Of course with all the best monitoring tools in the world, and proactive DBAs working to prevent issues, things can still go wrong and when they do the root cause needs to be investigated. + +This generally means trawling through various logs to uncover the root cause. + +Every database system will have an error log that can be used to investigate issues…this along with the logs of the underlying operating system are the first places to look when troubleshooting an issue (that’s been resolved! :-) ). + +However, having to go onto a server to retrieve the logs is not the best way to investigate issues. Sure, if only one server has issues then it’s not so bad but what if more than one server was affected? + +Do we really want to be remoting to each individual server to look at their logs? + +What we need is a central location where logs can be collected from all the servers so that they can be aggregated and analysed. + +This could be the same tool as our monitoring tool but it could be separate. What’s important is that we have somewhere that we collect the logs from our servers and they are then presented in an easily searchable format. + +We can also place alerts on the logs so that if a known error occurs we can immediately investigate. + +Let’s have a look at the PostgreSQL logs. Spin up a container: - + + docker run -d \ + --publish 5432:5432 \ + --env POSTGRES_PASSWORD=Testing1122 \ + --name demo-container \ + ghcr.io/dbafromthecold/demo-postgres + +We need to update the postgresql.conf file to write out to a log, so jump into the container: - + + docker exec -it -u postgres demo-container bash + +Open the file: - + + vim $PGDATA/postgresql.conf + +And add the following lines: - + + logging_collector = on + log_directory = log + log_filename = ‘postgresql-%Y-%m-%d_%H%M%S.log’ + +Exit the container and restart: - + + docker restart container demo-container + +Connect in pgAdmin (server is *localhost* and password is *Testing1122*). Open a new query window and run the following: - + + SELECT 1/0 + +This will generate an error: - + +![](images/day69-1.png) + +OK so we have a query hitting our database that is failing. We’re asked to investigate so the first place to start would be the logs. + +Jump back into the container: - + + docker exec -it -u postgres demo-container bash + +And navigate to the log file: - + + cd $PGDATA/log + +Then view the file: - + + cat postgresql-2023-02-24_110854.log + +![](images/day69-2.png) + +And there’s our error! We’ve configured our instance of PostgreSQL to log errors to a file which could then be collected and stored in a central location so if we had this issue in a production environment, we would not need to go onto the server to investigate. + +So we’ve looked at monitoring our servers and collecting logs of errors, but what about query performance? + +
+ +# Query performance + +The far most common issue that DBAs are asked to investigate is poorly performing queries. + +Now as mentioned in part 5 of this series, query performance tuning is a massive part of working with databases. People have made (and do make) whole careers out of this area! We’re not going to cover everything in one blog post so we will just briefly highlight the main areas to look at. + +A proactive approach is needed here in order to prevent query performance degrading. The main areas to look in order to maintain query performance are query structure, indexes and statistics. + +Is the query structure in a way to optimally retrieve data from the tables in the database? If not, how can it be rewritten to improve performance? (this is a massive area btw, one that takes considerable knowledge and skill). + +When it comes to indexing, do the queries hitting the database have indexes to support them? If indexes are there, are they the most optimal? Have they become bloated (for example, containing empty pages due to data being deleted)? + +In order to prevent issues with indexes, a maintenance schedule should be implemented (rebuilding on a regular basis for example). + +It’s the same with statistics. Statistics in databases can be automatically updated but sometimes (say after a large data insert) they can become out of date resulting in bad plans being generated for queries. In this case DBAs could implement a maintenance schedule for the statistics as well. + +And again the same with monitoring and log collection, there are a whole host of tools out there that can be used to track queries. These are incredibly useful as it gives the ability to see how a query’s performance has changed over a period of time. + +Caution does need to be taken with some of these tools as they can have a negative effect on performance. Tracking every single query and collecting information on them can be a rather intensive operation! + +So having the correct monitoring, log collection, and query tracking tools are vital when it comes to not only preventing issues from arising but allowing for quick resolution when they do occur. + +And that’s it for the database part of the 90DaysOfDevOps blog series. We hope this has been useful…thanks for reading! + +See you in [Day 70](day70.md). diff --git a/2023/day70.md b/2023/day70.md index e69de29..b5dc40f 100644 --- a/2023/day70.md +++ b/2023/day70.md @@ -0,0 +1,19 @@ +# What is Serverless? + +The term "Serverless" has become quite the buzzword over these past few years, some folks today even arguing whether or not the term still holds weight. You may or may not have heard about serverless technology up to this point in your journey through development. But what exactly is serverless? What does it mean to design applications in a serverless manner? What constitutes a serverless service or offering? I hope to answer all these questions and more over this series of blog posts. + +As an [AWS Hero](https://aws.amazon.com/developer/community/heroes/kristi-perreault/?did=dh_card&trk=dh_card) and a Principal Software engineer at a large Fortune 100 enterprise, I have been focused solely on serverless technologies and enablement over the last 3 years. I have spoken quite extensively about our [serverless journey](https://youtu.be/ciCz8dnDuEs), [what serverless means in a large enterprise](https://syntax.fm/show/484/supper-club-70-000-serverless-functions-with-kristi-perreault-of-liberty-mutual), and [how to be successful in a corporate setting](https://www.youtube.com/watch?v=ctdviJ2Ewio). Everything I have learned has been through experience, on-the-job. The [serverless definition](https://aws.amazon.com/serverless/) I resonate with most states that serverless is event-driven, your resources scale up and down without you needing to manage them, and follows an "only pay for what you use" model. Let's break this down a bit further: + +- [Event-driven architecture](https://aws.amazon.com/event-driven-architecture/#:~:text=An%20event%2Ddriven%20architecture%20uses,on%20an%20e%2Dcommerce%20website.) is exactly how it sounds. You build your applications following the flow of your events. When x happens, I want to trigger y, to run service z. We write our serverless applications with this flow in mind. + +- Automatically scaling up and down as your service demands is a key component of serverless functionality. I fault the name "serverless" here a quite a bit, because contrary to popular belief, serverless does in fact include servers - you just don't need to manage them in the same way you would with your on-premises ecosystem or other cloud resources. You still need to provision the resources you need, and some configuration is required, but gone are the days of estimating exactly how much storage and processing power you need - your cloud provider handles this for you. This frees the developer up for focusing more on business code, and less on physical infrastructure. + +- With automatic scaling, this also lends you to only pay for exactly what you are using. You no longer need to buy and maintain a physical server you may only use to half its capacity, save for the one time of year your traffic hits its peak, for instance. You don't need to pay for all the storage and processing power you have to have "just in case" - you pay exactly for what you use, exactly when you need it. No more, no less. + +I am a large proponent of serverless, and I believe these are huge benefits to adopting serverless, but that does not mean it is for everyone or every architecture. I talk quite a bit about the concept of "[serverless-first](https://www.liberty-it.co.uk/stories/articles/tomorrow-talks-how-build-serverless-first-developer-experience)" design, meaning that you approach every architecture in a serverless manner first, and if that is not the most optimal design, you move on to other solutions like containers, relational databases, reserved compute instances, and so on. Equally as important, especially in a large enterprise, is to evaluate your time constraints and areas of expertise. Serverless is not going to be for everyone, and depending on your background, there can be a large learning curve associated with adopting it. The trade off is worth it, but if you do not have the adequate time or drive to dedicate to this transformation, you will not be successful. + +That being said, I hope to provide you with a strong starting point for the land of serverless. Over the next few days, we will be exploring serverless resources and services, from compute, to storage, to API design, and more. We will keep our discussions high-level, but I'll be sure to include relevant examples, resources, and further reading from other leading industry experts. No prerequisites are necessary, I just ask you approach each and every article with an open mind, continue to ask questions & provide feedback, and let's dive in!* + +*As a quick disclaimer - as I am an AWS Serverless Hero, most of the examples and explanations I give will reference the AWS ecosystem since that is where my expertise is. Many of the AWS services and tools we will discuss have equivalents across Azure, GCP, or other tooling. I will do my best to call these out going forward. This is part of a series that will be covered here, but I also encourage you to follow along on [Medium](https://kristiperreault.medium.com/what-is-serverless-1b46a5ffa7b3) or [Dev.to](https://dev.to/aws-heroes/what-is-serverless-4d4p) for more. + +See you in [Day 71](day71.md). diff --git a/2023/day71.md b/2023/day71.md index e69de29..9724a25 100644 --- a/2023/day71.md +++ b/2023/day71.md @@ -0,0 +1,29 @@ +# Serverless Compute + +Compute is one of the basic building blocks of building any application. What is your application aiming to accomplish? Where are you keeping your business logic? What are you _running_ and **how**? + +![Woman at computer. Image via Unsplash.](images/day71-1.jpg) + +The key compute resource everyone immediately associates serverless with is [AWS Lambda](https://aws.amazon.com/lambda/). I want to be clear here - AWS Lambda is a large part of the serverless ecosystem, BUT Lambda ≠ serverless. Just because you include a lambda function in your application does not automatically make you serverless. Likewise, just because you build a service completely out of lambda functions also does not mean you have a serverless application. Serverless is a mindset, a new way of thinking; there are tons of tools and services out there that will help you build serverless applications, but implementing them does not mean you have a serverless application. We need to be intentional with our design, and where & how we use these resources. + +**AWS Lambda** +If you're in Azure, your equivalent service is [Azure Functions](https://learn.microsoft.com/en-us/azure/azure-functions/). For Google, this is [Google Functions](https://cloud.google.com/functions) (yes, AWS just HAD to be different). Regardless of its name, all of these services fulfill the same purpose - a small compute building block to house your business logic code. An AWS Lambda function is simply the code you want to run, written in your language of choice (I preference Python, but Typescript and Java are popular options). In your [infrastructure code](https://learn.microsoft.com/en-us/devops/deliver/what-is-infrastructure-as-code#:~:text=Infrastructure%20as%20code%20(IaC)%20uses,load%20balancers%2C%20and%20connection%20topologies.), you specify some [lambda function basics](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/lambda/create-function.html?highlight=create%20lambda%20function), like name, path to the business logic code, security role, and what runtime you're using, and optionally have the ability to control more parameters like timeout, concurrency, aliases, and more. Lambda even has built in integrations to other AWS services, such as [S3](https://aws.amazon.com/s3/) and [SQS](https://aws.amazon.com/sqs/) (we'll get to these) to make application development even easier. Additionally, [lambda functions are priced](https://aws.amazon.com/lambda/pricing/) based on the number of times they're invoked and the duration of time they run, making them exceptionally affordable. + + +![Lambda is one single building block of a larger application. Image via Unsplash.](images/day71-3.jpg) + +Of course, there are cases where lambda functions may not be the best option for compute, if you have long-running, highly complex computational processes, lambda functions may not be the best fit for your application. If you're migrating an application to serverless, it's also very likely that this is not a 1:1 changeover. Throwing all of your code into one lambda function is not optimizing for serverless, meaning that your monolith architecture may need to be written into [microservices](https://aws.amazon.com/microservices/) to take full advantage of everything lambda and serverless has to offer. Whether you're migrating or building something brand new however, lambda functions are (dare I say) the choice for serverless compute as they're lightweight, easy to provision, and cost effective. + +**AWS Fargate** +AWS defines [Fargate](https://docs.aws.amazon.com/AmazonECS/latest/userguide/what-is-fargate.html) as a 'serverless compute engine', but I prefer to define it as a serverless container. [Containers](https://aws.amazon.com/containers/services/) are an entirely different topic of discussion so I won't dive into them too much, but they do fall under the same "[modern applications](https://aws.amazon.com/modern-apps/)" umbrella that serverless does, making them a sort of sibling option. Containerizing an application is a fancy way of saying you are bundling all aspects of your application into a more portable service (ie, basically sticking your app into a box for ease of movement and use). This makes containers very popular for migrating applications, batch processing, AI/ML, and more. + +Fargate stands sort of in the middle as a container service that offers many of the same serverless benefits that lambda has - no need to manage your infrastructure, built-in integrations to other AWS services, and pay-as-you-go pricing. What makes you choose one compute option over the other then? In my experience, this really comes down to what you want your end product to be, what time you have, and what experience you have. Personally, Fargate is more of a 'lift-and-shift' solution for applications that you don't want to change much of, but need to move quickly and easily while wanting to take advantage of serverless benefits. It definitely has its place as part of other applications as well, but it also comes down to the level of comfort you or your teams have with serverless or containerization. Containers may be quicker to adopt, whereas serverless requires more of a mindset shift, and typically comes with some rearchitecting. I believe this does pay off tenfold in the long run, but given your particular use cases and time constraints, Fargate may be a better option. + + +![Fargate is a serverless container service. Image via Unsplash.](images/day71-2.jpg) + +These two options pretty much sum up serverless compute, believe it or not. When it comes to your business logic code in AWS or other cloud provider, these two services cover most, if not all, serverless application needs. As we continue on in this series, you'll realize there are a ton of other 'supporting' serverless services for storage, APIs, orchestration, and more to dive into. I hope this has given you a good preview on serverless compute and what's to come, tune in tomorrow where we'll discuss the various serverless storage solutions available to us. See you then! + +*This is part of a series that will be covered here, but I also encourage you to follow along with the rest of the series on [Medium](https://kristiperreault.medium.com/serverless-compute-b19df2ea0935) or [Dev.to](https://dev.to/aws-heroes/serverless-compute-3bgo). + +See you in [Day 72](day72.md). diff --git a/2023/day72.md b/2023/day72.md index e69de29..a1e4b43 100644 --- a/2023/day72.md +++ b/2023/day72.md @@ -0,0 +1,35 @@ +# Serverless Storage + +[Lambda functions](https://aws.amazon.com/lambda/) and [Fargate](https://aws.amazon.com/fargate/) serve a great purpose and might accomplish what you need for a very small, [hello world-type project](https://aws.amazon.com/getting-started/hands-on/run-serverless-code/), but chances are you want to do a bit more with your serverless applications. Maybe you have a subscription-based product and you have user profiles with data. Or maybe your application is an e-commerce site and you need to store sensitive information, like credit card details. Or maybe you're just trying to save some images or files. Whatever the reason, you clearly need a storage solution, and this is where our serverless storage options come in. + +![Storage Solutions for every need! Image via Unsplash.](images/day72-1.jpg) + +Depending on what you're storing, how frequently you access stored items, and how you want to interact with them, you have a number of choices regarding file & image stores and serverless databases. Over the years, AWS has released a number of choices (some, may argue, aren't necessarily within the 'serverless' category even when named as such) but the number one choice in its humble beginnings was Amazon S3. + +**Amazon S3** +[Amazon S3](https://aws.amazon.com/s3/) is a popular abbreviation for 'Simple Storage Solution' and is known as [object storage](https://aws.amazon.com/what-is/object-storage/). You can store any number of items in S3, from various documents, to images, videos, entire file systems, and so on. In order to store these resources, you provision your own storage space, known as an S3 'Bucket'. The easiest way to describe a bucket is to compare it to a folder on your computer. Your 'Documents' folder, for instance, may contain all of your Word documents, and you may have sub folders within it, say for 'recipes' or 'projects' or 'schoolwork'. S3 buckets operate similarly, and just like your Documents folder, you can include sub folders and all different resource types. S3 is also a very popular choice for hosting static websites, and just like any other cloud offering, there are also plenty of security constraints in place for you to take advantage of, like bucket encryption, read-only access, and [more](https://aws.amazon.com/s3/security/). + + +![S3 Buckets are an example of an object storage solution. Image via Unsplash.](images/day72-2.jpg) + +Of course, there are tons of other great advantages to using S3 buckets. Many of AWS's other great resources, like Lambda, have [direct integration with S3](https://docs.aws.amazon.com/lambda/latest/dg/with-s3-example.html), making it easy to access and read/write directly to your bucket. S3 also has [different types of storage classes](https://aws.amazon.com/s3/storage-classes/), like Intelligent Tiering and Glacier, that are more cost-effective for items that are accessed infrequently or for very large storage amounts. S3 is a global storage solution though, meaning that the name of your bucket must be unique across all AWS accounts within your regional partition (so yes, it is likely 'test-bucket' is taken). Whatever your storage need may be, S3 can be an effective solution, and one that is significantly cheaper and more secure than your on-premises solution or office filing cabinet. + +**Amazon DynamoDB** +As developers, sometimes we are working with larger, very structured datasets that involve [schemas](https://www.ibm.com/topics/database-schema) and specific [access patterns](https://docs.aws.amazon.com/prescriptive-guidance/latest/dynamodb-data-modeling/step3.html). For these, a database solution makes much more sense, and luckily we have a serverless option for that too! [DynamoDB](https://aws.amazon.com/dynamodb/) is a NoSQL database solution that offers lightning fast performance, 'near unlimited' throughput and storage, and backup, restore, and multi-region replication to ensure your data is always available and secure. You can interact with your database using queries, scans, read/writes, and more, all from the AWS console or the comfort of your favorite programming language. + + +![Sort of like the Dewey Decimal System, Single Table Design with DynamoDB allows you to store and 'catalog' all different types of data you may need to collect. Image via Unsplash.](images/day72-3.jpg) + +DynamoDB is a powerful service, but you really will not be able to capitalize on all it has to offer unless you structure your data for Single Table Design. I will admit, mastering the art of [Single Table Design](https://aws.amazon.com/blogs/compute/creating-a-single-table-design-with-amazon-dynamodb/) (I just tried to abbreviate that, and I will never do that again..) is not easy; I would go so far to say that it is probably one of the most difficult parts of serverless development (if you're having trouble, the resources [Alex DeBrie](https://aws.amazon.com/blogs/compute/creating-a-single-table-design-with-amazon-dynamodb/) puts out for this are unparalleled). You really need to have a good grasp on your dataset, understand ALL of your access patterns up front to plan your [Primary Keys (PKs)](https://aws.amazon.com/premiumsupport/knowledge-center/primary-key-dynamodb-table/) and [Global Secondary Indices (GSIs)]( +https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/GSI.html) accordingly. I don't want to go too in-depth into this topic, since there are literally [full books on the subject](https://www.dynamodbbook.com/), but just know that although I think the advantages you have when using DynamoDB to its full potential are well worth it, this can be a steep learning curve and isn't going to be the database storage solution for everyone. + +**Amazon EFS, Amazon RDS Proxy, Amazon Aurora Serverless, Amazon Redshift Serverless, Amazon Neptune Serverless** +This is my serverless database catch-all section. In my opinion, S3 and DynamoDB are really the storage solutions you need for serverless development, however, you may find some use cases for these remaining serverless storage options. [EFS is the Elastic File System](https://aws.amazon.com/efs/), which automagically sizes for the number of files you have (S3 covers many file storage situations, but if you have something specific in mind, you may want to use EFS). [RDS Proxy](https://aws.amazon.com/rds/proxy/) makes relational database connections more secure. [Aurora](https://aws.amazon.com/rds/aurora/serverless/), [Redshift](https://aws.amazon.com/redshift/redshift-serverless/), and [Neptune Serverless](https://aws.amazon.com/neptune/serverless/) are basically the serverless versions of these three AWS service offerings. Some of these are up for debate in the serverless community as to whether or not they really constitute as serverless offerings, but since they are not databases I have had a use for in my short career, I will abstain from weighing in here. + +![Keep your files safe and secure with any number of serverless file storage options, like EFS. Image via Unsplash.](images/day72-4.jpg) + +Well, this about sums up the serverless storage solutions available. As always, there are definitely equivalents of these resources in your cloud provider of choice, and you can't go wrong with any service you choose, as long as you're evaluating based on your specific application needs. Join me tomorrow, as we take another step further into serverless with API design.* + +*This is part of a series that will be covered here, but I also encourage you to follow along with the rest of the series on [Medium](https://kristiperreault.medium.com/serverless-storage-4b7974683d3d) or [Dev.to](https://dev.to/aws-heroes/serverless-storage-50i3). + +See you in [Day 73](day73.md). diff --git a/2023/day73.md b/2023/day73.md index e69de29..a7120ca 100644 --- a/2023/day73.md +++ b/2023/day73.md @@ -0,0 +1,23 @@ +# Serverless APIs + +If you're new to the application development world, [API stands for Application Programming Interface](https://aws.amazon.com/what-is/api/), an interface that offers a 'service' of sorts for applications to consume. [Google Maps](https://www.google.com/maps), for instance, has a [public API](https://developers.google.com/maps) that you or I could use if we're building an application to locate all of the restaurants in our town. They surface this, and many, many other data points via documented endpoints, and we can use things like [API keys](https://cloud.google.com/endpoints/docs/openapi/when-why-api-key) to access this data. If you're a developer, chances are you will build an API at some point in your career, if not several, and you will definitely work with them. As a key building block in application development, [AWS provides a few API solutions](https://aws.amazon.com/serverless/). + +![Open laptop with code. Image via Unsplash.](images/day73-1.jpg) + +**Amazon API Gateway** +Let's say you have a travel website - you have your frontend application, and you have your backend application that has some [lambda functions](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html) to handle users creating, updating, and deleting their vacation reservations, which interacts with a [DynamoDB table](https://aws.amazon.com/dynamodb/) that is saving all this information for you. Your frontend application, however, needs to be able to communicate and pass information back and forth with these lambda functions. This is where an [API Gateway](https://aws.amazon.com/api-gateway/) comes in. An API Gateway is typically a [REST API](https://aws.amazon.com/what-is/restful-api/) ([Websocket](https://docs.aws.amazon.com/apigateway/latest/developerguide/apigateway-websocket-api-overview.html) is also an option) that manages different endpoints for your application. For instance, when a user creates a reservation, the frontend application may hit a POST endpoint on your API called 'createReservation', and you can configure your API to directly integrate with your 'createReservation' lambda function, where you might do something like create a new reservation ID and save it to a DynamoDB table. + +![Google Maps API. Image via Unsplash.](images/day73-2.jpg) + +This is just one fairly straightforward example; you might already be able to see how this can get very complex very quickly. It helps that API Gateway has tons of [configuration options](https://docs.aws.amazon.com/apigateway/latest/developerguide/rest-api-develop.html), allowing you to set up your level of application monitoring and logging, set concurrency and throttling on your API calls, directly integrate with multiple services, and, of course, your authorization and access levels. With API Gateway, [you pay for the calls you receive and the data you send out](https://aws.amazon.com/api-gateway/pricing/). When you define a REST API, the API Gateway is actually made up of three different resources - the API itself, a [Stage resource](https://docs.aws.amazon.com/apigateway/latest/developerguide/set-up-stages.html) for each environment which can aid in version control and other configuration options per environment, and a [Deployment resource](https://docs.aws.amazon.com/apigateway/latest/developerguide/how-to-deploy-api-with-console.html), which is essentially a 'snapshot' of your API for the Stage to use. In addition to these resources, you also need to define each of your endpoints as a new route on the API Gateway individually. API Gateway is a very powerful and useful tool at your disposal, but it can grow quickly and easily get fairly complex, so make sure you are designing your application to account for your specific needs. + +**AWS AppSync** +I'm keeping this section a bit shorter for you all, since [AppSync](https://aws.amazon.com/appsync/) is not something I have actually used personally, but have heard great things about. AppSync is another API option AWS has made available specifically for applications that want to take advantage of [GraphQL](https://graphql.org/) or a [Publish/Subscribe](https://aws.amazon.com/pub-sub-messaging/) model. The GraphQL model may be of interest to front end developers that need to query multiple sources of data from one API endpoint, like databases or [microservices](https://aws.amazon.com/microservices/). The Pub/Sub model I am more familiar with in the [IoT](https://aws.amazon.com/what-is/iot/) hardware-communicates-with-software aspect, however this is also powerful for frontend developers looking to take advantage of real-time updates with serverless WebSocket connections. With AppSync, you also have caching, offline data synchronization, and real-time updates. You can learn more and [check out the developer docs](https://docs.aws.amazon.com/appsync/latest/APIReference/Welcome.html) on the AWS Website. + +![Graph depiction, like GraphQL. Image via Unsplash.](images/day73-3.jpg) + +As with all of these short, daily articles, there is so much more that I could dive into here, but my purpose this week is to provide you with a little taste of what the serverless space has to offer, and get you started as a newbie to serverless. I'd highly encourage you to read up even more on [effective API Design](https://thenewstack.io/werner-vogels-6-rules-for-good-api-design/), and even get started with a tutorial, workshop, or even your own project (feel free to try out the travel website and let me know how it goes!) Believe it or not, there is still more to explore in the serverless space, so in my next post we will continue on with some really helpful integration & orchestration services.* + +*This is part of a series that will be covered here, but I also encourage you to follow along with the rest of the series on [Medium](https://kristiperreault.medium.com/serverless-apis-4c852f0955ef) or [Dev.to](https://dev.to/aws-heroes/serverless-apis-5bdp). + +See you in [Day 74](day74.md). diff --git a/2023/day74.md b/2023/day74.md index e69de29..884f32e 100644 --- a/2023/day74.md +++ b/2023/day74.md @@ -0,0 +1,43 @@ +# Serverless Orchestration + +![Conductor. Image via Unsplash.](images/day74-1.jpg) + +Are you still with me? I hope so, because I'm excited to discuss some of the really cool services in serverless that go beyond the basics of APIs, storage, and compute. This is the space where you can really see the benefits of serverless shine, and, compared to on-premises or other cloud development spaces, where there has been a lot of innovation that may not compare 1:1 to what you're used to in application development. I've included these services under the broad umbrella of 'orchestration', because they really exist in-between the core services and help with your event-driven flow. You may not have a need for all, or even any, of these services in all of your applications, but they can be useful technologies to take advantage of, especially if your application is truly configured for [event driven architecture](https://aws.amazon.com/event-driven-architecture/). + +**AWS Step Functions** + +![A person walking up steps. Image via Unsplash.](images/day74-2.jpg) + +Is it weird to have a favorite serverless service? Because this one might be mine. [AWS Step Functions](https://aws.amazon.com/step-functions/) is a workflow orchestration tool that helps you manage your distributed application by breaking it down into multiple steps (the name should make sense now). Step Functions integrated with over 220 AWS services, but personally I have found it most useful with my [lambda functions](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html), as it helps keep them small, concise, logical units of business code that are called systematically. It's easier to control and monitor your event as it flows through your application, so you can track which step your application is or identify where you may be running into issues. Step Functions also gives you more flexibility, as you can add in different '[states](https://docs.aws.amazon.com/step-functions/latest/dg/concepts-states.html)' like PASS or WAIT, and you can even run processes in parallel, or give your application Choices to execute on different steps depending on what the input or parameters are. + +![Step Functions Workflow in Studio. Example via AWS Documentation.](images/day74-3.jpg) + +As with most of the AWS resources, you can provision and configure your step function however you choose. For me, this is typically using an [Infrastructure as Code](https://docs.aws.amazon.com/whitepapers/latest/introduction-devops-aws/infrastructure-as-code.html) tool like [CDK](https://aws.amazon.com/cdk/) to provision in python or typescript, and then defining the actual steps - otherwise known as the '[state machine](https://docs.aws.amazon.com/step-functions/latest/dg/amazon-states-language-state-machine-structure.html)' - in a JSON file. Since its release in 2016, Step Functions have had a visual component in the AWS Console that allows you to see the steps of your application and the flow of your event through it, but in 2021 AWS released [Workflow Studio](https://docs.aws.amazon.com/step-functions/latest/dg/workflow-studio.html), which actually allows you to drag and drop the components you want to use into a visual editor, and it will auto-generate the code for you. Unfortunately working in a large enterprise this isn't something I can really take advantage of, but as a visual learner I think this is an awesome tool, and can definitely streamline your development. + +**Amazon EventBridge** + +![Large bridge. Image via Unsplash](images/day74-4.jpg) + +[EventBridge](https://aws.amazon.com/eventbridge/) has seemed to be a hot topic as of late, and I'm seeing more and more content depicting EventBridge resources. Somewhat similarly to Step Functions, Amazon EventBridge is a serverless orchestration service for your application events. Its three key components are an Event Bus, to handle interactions with your events, like sending/receiving and transforming, a [Scheduler](https://aws.amazon.com/eventbridge/scheduler/), to help you schedule tasks associated with your events, and finally [Pipes](https://aws.amazon.com/eventbridge/pipes/), which integrate directly with your serverless services "end-to-end" and optionally filter or transform your event as needed. EventBridge Pipes were only recently released at the end of 2022, but the seamless integration with your event producers and consumers have been a huge selling point for developers (which explains the recent uptick in EventBridge usage). + +![Illustration of EventBridge Pipes. Example from AWS Documentation.](images/day74-5.jpg) + +Similar to other services, you can define and configure your EventBridge instance to your application needs, with the security constraints, service integrations, and appropriate event transforms you need. I won't say never, but it is particularly likely that you will not have EventBridge and Step Functions in the same application, or at least microservices, since their service offerings are quite similar. When might you use one over the other? As always, neither option is 'better' and this comes down to some personal preference and your application needs. If you have processes that need to run in parallel and maybe have more states dependent on each other, where you may want to wait or skips steps or have different workflows, Step Functions is probably a better choice. If you are looking to integrate directly between multiple different AWS services, and need to do quite a bit of transformation or filtering on your event, EventBridge may be a better starting place. + +**Amazon SQS** + +![Queue outside of a store. Image via Unsplash.](images/day74-6.jpg) + +[Amazon SQS](https://aws.amazon.com/sqs/) is also known as the Simple Queue Service. Much like people waiting in line for a busy ride at a theme park, sometimes you have places in your application where events may get backed up, creating a bit of a bottleneck and harming your application's performance (and potentially your wallet, too). A queue service such as SQS will help you process and maintain your events and messages as they come in. SQS specifically is what is known as a [First-In First-Out or FIFO queue](https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/FIFO-queues.html), meaning the first item in is the first item to be processed, just like the first person in line for our ride is the first person to get on. Sometimes with high volumes of messages waiting to be processed, there is risk that they get lost or skipped over in processing (disgruntled individuals leaving the long wait at the theme park ride) - having SQS in place prevents this problem from happening. It also means you do not have to worry about your other services being up and ready to handle incoming events, as SQS manages and stores the messages for you (the fun, roped off queue handles the people waiting and the order in which they arrived at our theme park ride). Just like our other services you can configure SQS, however this is a fairly 'Simple' service, so you'll find creating and maintaining an SQS queue to be uncomplicated. + +**Amazon SNS** + +![Email notification. Image via Unsplash.](images/day74-7.jpg) + +[Amazon SNS](https://aws.amazon.com/sns/) or Simple Notification Service, is less of an orchestration service and more of a communication service. I am going to deem this a utility service, since it is a small service you can utilize for sending and receiving messages. One of the most common use cases for the SNS service is to send email alerts - maybe to developers to monitor application status, or maybe to users, to communicate new features or send email confirmations based on something like a booking reservation. You can also send as SMS text messages or mobile pushes, and you can [customize your queue type and add encryption](https://docs.aws.amazon.com/sns/latest/dg/sns-create-topic.html). Like SQS, this service is definitely 'Simple' and can be configured in just a few short lines of code, or button clicks in the AWS Console. + +Although not what I would consider 'core' cloud services, the orchestration and communication services are key to event driven development and robust application design. If you are structuring your application to take advantage of event flow, these are tools you are going to want to be familiar with, and will be instrumental in your success by saving you time, money, complexity, and management overhead. This about wraps up what I want to cover with [serverless cloud services](https://aws.amazon.com/serverless/), though there is so much out there to explore. Tune in tomorrow as we start to put all of this together with best practices.* + +*This is part of a series that will be covered here, but I also encourage you to follow along with the rest of the series on [Medium](https://kristiperreault.medium.com/serverless-orchestration-d012aa7cae38) or [Dev.to](https://dev.to/aws-heroes/serverless-orchestration-3879). + +See you in [Day 75](day75.md). \ No newline at end of file diff --git a/2023/day75.md b/2023/day75.md index e69de29..a76dc2d 100644 --- a/2023/day75.md +++ b/2023/day75.md @@ -0,0 +1,52 @@ +# Serverless & Well Architected + +![Pillars. Image via Unsplash.](images/day75-1.jpg) + +Over the last few days, we've discussed a number of topics in the serverless space, covering [storage](https://dev.to/aws-heroes/serverless-storage-50i3), [APIs](https://dev.to/aws-heroes/serverless-apis-5bdp), [compute](https://dev.to/aws-heroes/serverless-compute-3bgo), and [everything in between](https://dev.to/aws-heroes/serverless-orchestration-3879). We've got all the components to build a fully functional, robust application in place, but before you run off and create The Next Big Thing, we have to cover one more crucial topic: [Well Architected](https://aws.amazon.com/architecture/well-architected/?wa-lens-whitepapers.sort-by=item.additionalFields.sortDate&wa-lens-whitepapers.sort-order=desc&wa-guidance-whitepapers.sort-by=item.additionalFields.sortDate&wa-guidance-whitepapers.sort-order=desc). The Well Architected Framework is a set of guidelines or best practices that AWS introduced a few years ago. The six "pillars" of Well Architected are [Security](https://docs.aws.amazon.com/wellarchitected/latest/security-pillar/welcome.html), [Cost](https://docs.aws.amazon.com/wellarchitected/latest/cost-optimization-pillar/welcome.html), [Operational Excellence](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/welcome.html), [Reliability](https://docs.aws.amazon.com/wellarchitected/latest/reliability-pillar/welcome.html), [Performance Efficiency](https://docs.aws.amazon.com/wellarchitected/latest/performance-efficiency-pillar/welcome.html), and [Sustainability](https://docs.aws.amazon.com/wellarchitected/latest/sustainability-pillar/sustainability-pillar.html). These concepts are not new, but by defining them in this way, AWS has established a reference that is easy to use and understand when evaluating your applications for best practices. In fact, AWS has created a [Well Architected Tool & Review process](https://aws.amazon.com/well-architected-tool/) centered around the six pillars, asking you questions about your application to review yourself or with your team. Before you start building your application, I would highly recommend you go through a formal Well Architected Review. You don't need to answer every single question, in fact some might not be applicable, but going through this exercise gets you thinking about how you want to architect your application, even highlighting key decision trade-offs, or potential issues that you haven't thought of just yet. In the subsections that follow, we'll talk about each of the pillars in a little more detail, and I'll briefly cover [Well Architected Lenses](https://docs.aws.amazon.com/wellarchitected/latest/userguide/lenses.html). + +**Security** + +![Lock keeping items secure. Image via Unsplash.](images/day75-2.jpg) + +Simply put, how are you securing your app? Are you using authorization and authentication with [IAM users, roles, and policies](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html) to limit access to your resources? Setting up [permission boundaries](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_boundaries.html) and using [KMS keys](https://aws.amazon.com/kms/) for encryption? This can look like any number of measures, but the important idea here is, are you thinking about how to secure your app? Some of the questions in this space may not be applicable. This could be an app just for you, or one that isn't storing any data to worry about, or it could be wide open to the public and have no personal information to worry about. You don't need to have every single security measure in place for your application, but you do need to think about these things, and make conscious, defendable decisions about your [application security](https://docs.aws.amazon.com/wellarchitected/latest/security-pillar/welcome.html). + +**Cost** + +![Jar of money with a plant. Image via Unsplash.](images/day75-3.jpg) + +This one is pretty straightforward - I don't know anyone who gets excited when their cost or bills go up in price. Obviously, we all want to optimize for a low-cost application solution, whether this is for personal use, your business, or the company you work for (you may not care about that one personally, but I can tell you THEY certainly care about the bottom line). Look at the [pricing model](https://aws.amazon.com/pricing/?aws-products-pricing.sort-by=item.additionalFields.productNameLowercase&aws-products-pricing.sort-order=asc&awsf.Free%20Tier%20Type=*all&awsf.tech-category=*all) and see if there are any ways to cut costs. Some easy ones could be to minimize the number of API calls you're making, or utilize [Lambda Powertools](https://awslabs.github.io/aws-lambda-powertools-python/2.9.1/) to optimize your lambda function for memory & performance. If you've exhausted every option here, that's okay. Cost is typically a trade-off; you may be ok spending more money to make sure your application is secure, reliable, and not hindered in performance. Again, the idea here is that you're actively aware of where your money is going, and you've [reviewed your optimization options thoroughly](https://docs.aws.amazon.com/wellarchitected/latest/cost-optimization-pillar/welcome.html). + +**Operational Excellence** + +![Group working at laptop computers. Image via Unsplash.](images/day75-4.jpg) + +One of my favorite topics to talk about is '[Clean Code](https://www.amazon.com/Clean-Code-Handbook-Software-Craftsmanship/dp/0132350882)', or better known as best practices within your code. Although this could cover many of these pillars, it arguably fits squarely within [Operational Excellence](https://docs.aws.amazon.com/wellarchitected/latest/operational-excellence-pillar/welcome.html). This pillar is all about building robust applications, code that is easy to understand, read, and maintainable, and having effective development processes in place. Creating small, logical code blocks, making small & frequent code changes, [reviewing code](https://about.gitlab.com/topics/version-control/what-is-code-review/#:~:text=Code%20reviews%2C%20also%20known%20as,developers%20learn%20the%20source%20code.) periodically, having ample error handling, logging, and monitoring, and so much more fall into this category. For me, this one is sort of like a "catch all" pillar; not because it isn't well defined, but because it encompasses so many parts of the application development cycle. Many of the pillars overlap, but it is very likely that this one in particular will have overlap with one or more of the other pillars at any given time. + +**Reliability** + +![Chairs relying on each other. Image via Unsplash.](images/day75-5.jpg) + +Is your application stable? Do you [backup your data](https://aws.amazon.com/backup/) regularly? Do you have [failovers](https://docs.aws.amazon.com/whitepapers/latest/web-application-hosting-best-practices/failover-with-aws.html) or other fail-safe measures in place? Can your application handle a large influx of traffic, or will any changes to the 'average' case break your current functionality? The key question this pillar asks is - are you prepared? Outages are never fun, especially when they significantly impact your customers, but they can (and they do) happen to the best of us. By reviewing the questions in the reliability pillar, you are thinking about your application's [disaster recovery plans](https://docs.aws.amazon.com/whitepapers/latest/disaster-recovery-workloads-on-aws/disaster-recovery-options-in-the-cloud.html), backing up your data, and having processes in place for the 'worst-case scenario'. Hopefully by completing a [reliability review](https://docs.aws.amazon.com/wellarchitected/latest/reliability-pillar/welcome.html), these things don't occur as often, or aren't as widespread as they might've been before a review. + +**Performance Efficiency** + +![Performance on the track. Image via Unsplash.](images/day75-6.jpg) + +Closely related to the Operational Excellence and Reliability pillars, the [Performance Efficiency](https://docs.aws.amazon.com/wellarchitected/latest/performance-efficiency-pillar/welcome.html) pillar is, you guessed it, all about how well your application is performing. What I enjoy most about this pillar is if you're taking advantage of serverless architectures, you're already well on your way to having this one covered, as it's one of the [five design principles](https://aws.amazon.com/blogs/apn/the-6-pillars-of-the-aws-well-architected-framework/) to adhere to. This is about your application running smoothly, scaling effectively, and taking advantage of only the resources you need. This is another big "trade-off" pillar, since you may compromise your performance in some cases to comply with security or save on cost. + +**Sustainability** + +![Person holding a plant. Image via Unsplash.](images/day75-7.jpg) + +[Sustainability](https://docs.aws.amazon.com/wellarchitected/latest/sustainability-pillar/sustainability-pillar.html) is a recent addition to the Well Architected pillars, and I think it's a good one. It was [introduced at the end of 2021](https://aws.amazon.com/blogs/aws/sustainability-pillar-well-architected-framework/), and even though it's a focus I love to see, it also means there has not been a ton of guidance shared to optimize for sustainability. If you're invested in areas involving hardware, AI/ML, large sets of data, IoT, etc., this is a bit more obvious to contend to - simply put, you want to use less resources, and more sustainable (or at least recyclable) hardware. WIth serverless, you are already scaling automatically, only paying for what you use, and optimizing for your [event driven architecture](https://aws.amazon.com/event-driven-architecture/), which makes it more difficult to find areas to cut down on usage. My best advice is to review your architecture early & often, and continually try to find ways to [lower your carbon footprint](https://www.nature.org/en-us/get-involved/how-to-help/carbon-footprint-calculator/#:~:text=A%20carbon%20footprint%20is%20the,is%20closer%20to%204%20tons.) with optimal architectural design, and if you haven't made the jump to serverless yet, maybe that's the first step! + +**Serverless Lens** + +![A pair of eyeglasses with lenses. Image via Unsplash.](images/day75-8.jpg) + +In addition to the six pillars, AWS Well Architected has this concept of [Well Architected Lenses](https://docs.aws.amazon.com/wellarchitected/latest/userguide/lenses.html). Much like a pair of reading glasses, you can apply a specific Lens to your application to 'see' your application in a bit more detail. There are Lenses for [Machine Learning](https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.html), [Data Analytics](https://docs.aws.amazon.com/wellarchitected/latest/analytics-lens/analytics-lens.html?did=wp_card&trk=wp_card), [Financial Services](https://docs.aws.amazon.com/wellarchitected/latest/financial-services-industry-lens/welcome.html?did=wp_card&trk=wp_card), and, of course, [Serverless Applications](https://docs.aws.amazon.com/wellarchitected/latest/serverless-applications-lens/welcome.html?did=wp_card&trk=wp_card). These Lenses are simply a set of extra guidelines and questions for each of these six pillars relating specifically to the type of application you are building. They are 'optional', as is the entire Well Architected Review process, but again, if you are building a serverless application, I would highly recommend you complete a Well Architected Review with the Serverless Lens, as it will only strengthen your application posture in the context of these six pillars. + +If you'd like to learn more about Well Architected or hear about it in practice, I have actually given a [recent talk on the subject with Build On at AWS Re:Invent](https://www.twitch.tv/videos/1674539542?collection=T1passDrLhdY6Q). This is an area of technology I have been very passionate about, and I truly believe these pillars and Well Architected Reviews are well worth the time and effort. We're coming up to end of our team together this week (I know, already?!) so for our last day tomorrow, I'm excited to summarize what we've learned so far, and present you with some next steps for going beyond the serverless basics.* +*This is part of a series that will be covered here, but I also encourage you to follow along with the rest of the series on [Medium](https://kristiperreault.medium.com/serverless-well-architected-b379d5be10ad) or [Dev.to](https://dev.to/aws-heroes/serverless-well-architected-40jn). + +See you in [Day 76](day76.md). diff --git a/2023/day76.md b/2023/day76.md index e69de29..624980f 100644 --- a/2023/day76.md +++ b/2023/day76.md @@ -0,0 +1,33 @@ +# Serverless - Beyond the Basics + +![Computer screen telling us to 'Do More'. Yes we shall! Image via Unsplash.](images/day76-1.jpg) + +Well folks, it appears the Serverless week for [90DaysOfDevOps](https://github.com/MichaelCade/90DaysOfDevOps) has (already) come to an end. We have covered a ton of topics in serverless to get you started, and hopefully you're already well on your way to building your first serverless, event-driven application! We've [defined what serverless means](https://dev.to/aws-heroes/what-is-serverless-4d4p), we've talked about everything from [lambda functions](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html), to [DynamoDB tables](https://aws.amazon.com/dynamodb/), [Step Functions](https://docs.aws.amazon.com/step-functions/latest/dg/welcome.html), [EventBridge](https://aws.amazon.com/eventbridge/), and so many other core & supporting AWS services to aid in your development journey. Although it's been a very high-level overview, I truly hoped you have enjoyed our week together, and have learned a thing or two about serverless development. Even if you've left this week with more questions than answers, I would say I've done my job - which is, made you interested and curious enough about serverless to want to explore it even more! + +Instead of going into a ton of depth on various topics in serverless on our last day, I thought it would be much more useful to provide you all with resources where you can go to learn more. The problem is, there is so much content, so many well-formed opinions, and tons of sample projects out there, **_I_** don't even know where to begin! I know that if I start to list out individuals or blogs, I am going to forget so many, and not give proper credit where credit is due, so instead, I will provide you with some places or projects to get started, and let you explore on your own and form your own thoughts & opinions. The only ask I have for you is this - **_please_** do your best to support and encourage diversity & our minority content creators. Too often I see folks share lists of their favorite people, accounts, conference talks, blogs, or open source projects, and there is no diverse representation. There are tons of incredible content creators (or to-be content creators!) of all different backgrounds and identities that never get enough credit, and if all of us can help in any small way, it can make a huge impact. I encourage you to take advantage of the comment section below to promote some of your favorite diverse individuals - I'd love to add them to my network too! + +![Group hug, since we're all friends now. Image via Unsplash.](images/day76-2.jpg) + +Thanks again for taking this serverless journey with me this week, and please enjoy this list of more resources to explore. Until next time, my serverless friends!* + +**Resources to Learn More** + +- [Medium](https://medium.com/) - Blogging platform with tons of great content +- [Dev.to](https://dev.to/) - Blogging platform with tons of great content, specific to developers +- [aCloudGuru](https://acloudguru.com/) - Video learning platform, great for certifications +- [ServerlessLand](https://serverlessland.com/) - All things serverless, resources & announcements from AWS +- [AWS Twitch](https://www.twitch.tv/aws) - Space for podcasts, walkthroughs, and casual conversations with AWS employees +- [AWS Docs](https://aws.amazon.com/serverless/) - Official documentation for all things AWS serverless +- [AWS Certifications](https://aws.amazon.com/certification/) - Explore getting certified +- [AWS Youtube](https://www.youtube.com/@amazonwebservices/featured) - Great deep dive talks & features on AWS services from years past +- [AWS CDK](https://aws.amazon.com/cdk/) - Infrastructure as Code tool, popular in serverless development +- [AWS SAM](https://aws.amazon.com/serverless/sam/) - Infrastructure as Code tool, specifically for serverless development +- [AWS User Groups](https://aws.amazon.com/developer/community/usergroups/?community-user-groups-cards.sort-by=item.additionalFields.ugName&community-user-groups-cards.sort-order=asc&awsf.location=*all&awsf.category=*all) - Get involved in your local community! +- [AWS Hero Program](https://aws.amazon.com/developer/community/heroes/?community-heroes-all.sort-by=item.additionalFields.sortPosition&community-heroes-all.sort-order=asc&awsf.filter-hero-category=heroes%23serverless&awsf.filter-location=*all&awsf.filter-year=*all&awsf.filter-activity=*all) - Learn more about our community evangelists +- [AWS Community Builder Program](https://aws.amazon.com/developer/community/community-builders/) - Keep this bookmarked for the next round of applicants + +….and so much more out there for you to explore! + +*This is part of a series that will be covered here, but I also encourage you to follow along with the rest of the series on [Medium](https://kristiperreault.medium.com/serverless-beyond-the-basics-22ba22733dd1) or [Dev.to](https://dev.to/aws-heroes/serverless-beyond-the-basics-kom). + +See you in [Day 77](day77.md). diff --git a/2023/day77.md b/2023/day77.md index e69de29..0df8ba2 100644 --- a/2023/day77.md +++ b/2023/day77.md @@ -0,0 +1,72 @@ +## Day 77 - Let's break down a Service Mesh - #90DaysOfDevOps +> **Informational** +> *An introduction to Service Mesh, the use-cases, and the problems it aims to solve.* +### What is a Service Mesh? +In modern distributed environments, applications are broken up into small chunks of code that run inside of a container. These containers need to be able to communicate with each other, and while they normally can, in a Kubernetes environment, there is a higher order of control, visiblity, and security that's required. Each of these containers, or services interact with other services, but must do so in an encrypted an authorized manner. There are other challenges with having coordinate service to service communication. What happens when one particular service is unavailable to provide a response? How would you troubleshoot this, and fix it so it doesn't happen again? How can we tune our applications to respond in an appropriate amount of time? + +These are small subset of challenges when it comes to running and managing applications, or microservices on a network. The unpredictability of the network means we shouldn't rely too much on it being there. We also can't keep changing our code to adapt to changing network conditions, so what do we do? + +Enter a Service Mesh. A Service Mesh is an application network layer that handles service-to-service communication, by providing a layer for granular traffic control, AuthN, AuthZ, and observability. + + +### What are the challenges a Service Mesh aims to solve?m +1. Unreliable and changing networks that are complex, while having to adapt while your microservices scale +2. Ensuring a near zero-trust like environment where, RBAC, AuthZ and AuthN are critical. +3. Ensuring a data-loss prevention approach using encryption and traffic filtration techniques +4. Determining and visualizing the health of an application and the characteristics of how it handles requests +5. Ensuring availability and reliability of services. + +### Key features of a service mesh +Here are key features of a service mesh: +- Load balancing of services +- Service discovery across multiple environments +- Granular traffic control and routing of HTTP and gRPC requests +- Automatic retries of requests +- Fault injection for resiliency +- Logging, monitoring and metrics +- Peer authentication and authorization +- Service-to-service encryption with mTLS + + +### What does a Service Mesh look like? +![ServiceMesh](images/Day77-1.png) + +A service mesh usually has a few key components: +- A control plane for which to deploy configurations to +- A data plane implemented in both the sidecar and gateways +- The Kubernetes cluster it resides on + +To describe how a service mesh behaves, an operator will apply a traffic routing or security policy, and the service mesh control plane will push any configuritions or policy to either the gateways or sidecar proxies. The gateway and sidecars will enforce any traffic rule. In the diagram above, the ingress gateway is the first to receive the external inbound request. It will forward it along to the first service in the request path, service A. Service A has a sidecar to process this request, and send back any telemetry data to the control plane. There's more to this but we'll explore in depth in the following days. + +### Relationship to Kubernetes +Kubernetes has some challenges in how it can handle things like multi-cluster and cross-cluster communication, identity stewardship. What a Service Mesh does is it takes on the responsibilities for things like: +- certificate rotation and management +- encryption between services +- granular traffic routing by way of Ingress and service-to-service routing +- visibility and metrics of application health + +### Service Mesh Offerings +There are PLENTY of service mesh offerings out there. Some are highly proprietary while others are very open. +We will cover some options for the next day, *Comparing Different Service Meshes*. Here's a start to get a sense of what Service Mesh solutions are out there. + +#### Istio +Istio is an open-source service mesh built by Google, IBM, and Lyft, and currently actively developed on and maintained by companies such as Solo.io. It is based on the Envoy proxy which is adopted for the sidecar pattern. Istio offers a high degree of customization and extensibility with advanced traffic routing, observability, and security for microservices. A new mode of operation for sidecar-less service mesh, called Ambient Mesh, was launched in 2022. + +#### AppMesh +AppMesh is a service mesh implementation that is proprietary to AWS but primarily focuses in on applications deployed to various AWS services such as ECS, EKS, EC2. Its tight-nit integration into the AWS ecosystem allows for quick onboarding of services into the mesh. + +#### Consul +Consul is a serivce mesh offering from Hashicorp that also provides traffic routing, observability, and sercurity much like Istio does. + +#### Linkerd +Linkerd is an open-source service mesh offering that is lightweight. Similar to Istio, it provides traffic management, observability, and security, using a similar architecture. Linkerd adopts a sidecar-pattern using a Rust-based proxy. + +#### Cilium +Cilium is a Container Networking Interface that leverages eBPF to optimize packet processing using the Linux kernel. It offers some Service Mesh capabilities, and doesn't use the sidecar model. It proceeds to deploy a per-node instance of Envoy for any sort of Layer 7 processing of requests. + +### Conclusion +A serivce mesh is a power application networking layer that provides traffic management, observability, and security. We will explore more in the next 6 days of #90DayofDevOps! + +Want to get deeper into Service Mesh? Head over to [#70DaysofServiceMesh](https://github.com/distributethe6ix/70DaysOfServiceMesh)! + +See you in [Day 78](day78.md). diff --git a/2023/day78.md b/2023/day78.md index e69de29..0bf7866 100644 --- a/2023/day78.md +++ b/2023/day78.md @@ -0,0 +1,234 @@ +## Day 78 - Install and Test a Service Mesh +> **Tutorial** +> *Let's install our first service mesh.* + +I spent enough time on some theory on Day 77. Let's dig right into getting a service mesh up and running. + +### Tasks +- Install the Istio service mesh with Demo Profile +- Deploy Bookinfo Application into the service mesh +- Test it's functionality +- Externally expose the application + +### Installation + Prequisites +I highly advise using something like minikube or a cloud-based K8s cluster that allows you to have load-balancer functionality. + +- A Kubernetes cluster running 1.22, 1.23, 1.24, 1.25 + - KinD + - Minikube + - Civo K8s + - EKS +- Access to a Loadbalancer service + - Metallb + - port-forwarding (not preferred) + - Cloud Load-balancer + - Inlets +- Linux or macOS to run istoctl + +**Environment setup** +In my case, I spun up a Civo K3s cluster with 3-nodes, 2 CPU per node, and 4GB of RAM per node. +This is important because you will need enough resources to run the service mesh control plane, which, is Istiod in our case. If you need a cluster in a pinch register for free credit @ civo.com. + +#### Install Istio +1. Verify your cluster is up and operational and make sure there aren't any errors. The commands below will output nodes and their IPs and OS info and the running pods in all namespaces, respectively. + ``` + kubectl get nodes -o wide + kubectl get pods -A + ``` +2. Download Istio, which will pick up the latest version (at the time of writing its 1.16.1) + ``` + curl -L https://istio.io/downloadIstio | sh - + ``` +3. Change to the Istio directory + ``` + cd istio-1.16.1 + ``` +4. Add the istioctl binary to your path + ``` + export PATH=$PWD/bin:$PATH + ``` +5. Check to verify that your environment is ready to go: + ``` + istioctl x precheck + ``` + And the output + ``` + ✔ No issues found when checking the cluster. Istio is safe to install or upgrade! + To get started, check out https://istio.io/latest/docs/setup/getting-started/ + ``` +6. Let's proceed to install Istio. We use the demo profile because it allows us to provide a minimal configuration to demonstrate functionality. + ``` + istioctl install --set profile=demo -y + ``` + You will see the following output: + ``` + ✔ Istio core installed + ✔ Istiod installed + ✔ Egress gateways installed + ✔ Ingress gateways installed + ✔ Installation complete + ``` +7. Next, we can verify all the components are deployed as expected by running the command below, which proceeds to output all the Istio components. + ``` + kubectl get all -n istio-system + ``` + Your output should look similar in that all components are working. I changed my External-IP to *bring.your.LB.IP*, whcih means your IP will be different. Why do you need mine :P + ``` + NAME READY STATUS RESTARTS AGE + pod/istiod-885df7bc9-f9k7c 1/1 Running 0 31m + pod/istio-ingressgateway-6688c7f65d-szxf9 1/1 Running 0 31m + pod/istio-egressgateway-7475c75b68-mpxf7 1/1 Running 0 31m + + NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE + service/istiod ClusterIP 10.43.249.242 15010/TCP,15012/TCP,443/TCP,15014/TCP 31m + service/istio-egressgateway ClusterIP 10.43.75.47 80/TCP,443/TCP 31m + service/istio-ingressgateway LoadBalancer 10.43.51.40 bring.your.LB.IP 15021:31000/TCP,80:32697/TCP,443:30834/TCP,31400:30953/TCP,15443:30733/TCP 31m + + NAME READY UP-TO-DATE AVAILABLE AGE + deployment.apps/istiod 1/1 1 1 31m + deployment.apps/istio-ingressgateway 1/1 1 1 31m + deployment.apps/istio-egressgateway 1/1 1 1 31m + + NAME DESIRED CURRENT READY AGE + replicaset.apps/istiod-885df7bc9 1 1 1 31m + replicaset.apps/istio-ingressgateway-6688c7f65d 1 1 1 31m + replicaset.apps/istio-egressgateway-7475c75b68 1 1 1 31m + ``` +#### Sidecar injection and Bookinfo deployment. +8. While everything looks good, we also want to deploy an application and simulataneously add it to the Service Mesh. +Let's label our default namespace with the *istio-injection=enabled* label. This tells Istiod to push the sidecar to any new microservice deployed to the namespace. + ``` + kubectl label namespace default istio-injection=enabled + ``` + Verify it + ``` + kubectl get ns --show-labels + ``` +9. Let's deploy our app. Make sure you are the in the same directory as before. If not, change to *istio-1.16.1* + ``` + kubectl apply -f samples/bookinfo/platform/kube/bookinfo.yaml + ``` + Let's give it one minute and check the application + ``` + kubectl get all + ``` + Let's see the output + ``` + NAME READY STATUS RESTARTS AGE + pod/details-v1-698b5d8c98-l8r5t 2/2 Running 0 7m30s + pod/reviews-v3-6dc9897554-8pgtx 2/2 Running 0 7m30s + pod/reviews-v1-9c6bb6658-lvzsr 2/2 Running 0 7m30s + pod/reviews-v2-8454bb78d8-9tm2j 2/2 Running 0 7m30s + pod/productpage-v1-bf4b489d8-q29jp 2/2 Running 0 7m29s + pod/ratings-v1-5967f59c58-s9f88 2/2 Running 0 7m30s + + NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE + service/kubernetes ClusterIP 10.43.0.1 443/TCP 80m + service/details ClusterIP 10.43.198.240 9080/TCP 7m31s + service/ratings ClusterIP 10.43.121.72 9080/TCP 7m30s + service/reviews ClusterIP 10.43.173.247 9080/TCP 7m30s + service/productpage ClusterIP 10.43.142.39 9080/TCP 7m30s + + NAME READY UP-TO-DATE AVAILABLE AGE + deployment.apps/details-v1 1/1 1 1 7m30s + deployment.apps/reviews-v3 1/1 1 1 7m30s + deployment.apps/reviews-v1 1/1 1 1 7m30s + deployment.apps/reviews-v2 1/1 1 1 7m30s + deployment.apps/productpage-v1 1/1 1 1 7m30s + deployment.apps/ratings-v1 1/1 1 1 7m30s + + NAME DESIRED CURRENT READY AGE + replicaset.apps/details-v1-698b5d8c98 1 1 1 7m30s + replicaset.apps/reviews-v3-6dc9897554 1 1 1 7m30s + replicaset.apps/reviews-v1-9c6bb6658 1 1 1 7m30s + replicaset.apps/reviews-v2-8454bb78d8 1 1 1 7m30s + replicaset.apps/productpage-v1-bf4b489d8 1 1 1 7m30s + replicaset.apps/ratings-v1-5967f59c58 1 1 1 7m30s + ``` + The one thing to notice here is that all pods have *2/2* containers ready, meaning, the sidecar is now present. + +#### Testing functionality +10. One test I'll run is to verify that I can connect to any one of these pods and get a response. Let's deploy a sleep pod. If you were in the same *istio-1.16.1* directory, then you can run this command. + ``` + kubectl apply -f samples/sleep/sleep.yaml + ``` + Let's check to see that the pod is deployed to the default namespace AND has the sidecar injected: + ``` + kubectl get pods + ``` + ``` + sleep-75bbc86479-xw5lw 2/2 Running 0 36s + ``` + +11. I'm going to use the sleep pod to curl over to the product-page. Please use yours which has a different name, to curl. + ``` + kubectl exec sleep-75bbc86479-xw5lw -c sleep -- curl -sS productpage:9080 + ``` + And we should see something similar to the below which tells us the app is working!: + ``` + % Total % Received % Xferd Average Speed Time Time Time Current + Dload Upload Total Spent Left Speed + 100 1683 100 1683 0 0 69202 0 --:--:-- --:--:-- --:--:-- 70125 + + + + Simple Bookstore App + + + + + + + + + + + + + + +

+

Hello! This is a simple bookstore application consisting of three services as shown below

+

+ ``` + +#### Externally exposing the app + +12. Let's deploy the Istio ingress gateway configuration and virtual-service configuration. The Ingress Gateway Configuration is an abstraction for the Istio-ingress-gateway and simply tells it which host and port is listening for requests. The virtual-service configuration tells the gateway how to route the request (or who to route it to). If you didn't navigate away from the original folder, run the following command: + ``` + kubectl apply -f samples/bookinfo/networking/bookinfo-gateway.yaml + ``` + You will see two objects created: + ``` + gateway.networking.istio.io/bookinfo-gateway created + virtualservice.networking.istio.io/bookinfo created + ``` + +13. Because we don't have external DNS setup, we'll gather the information we need and piece together our URL: + Grab the External IP, and the HTTP2 port, which would be TCP port 80 from the Istio Ingress Gateway. + ``` + kubectl get svc -n istio-system + ``` + Store it in a variable + ``` + export INGRESS_HOST=[IP_from_Istio_ingress_gateway] + export INGRESS_PORT=80 + ``` + now curl this host: + ``` + curl INGRESS_HOST:INGRESS_PORT/productpage + ``` + And the RESULT: + ``` + !DOCTYPE html> + + + Simple Bookstore App + ``` + +### Conclusion +I decided to jump into getting a service mesh up and online. It's easy enough if you have the right pieces in place, like a Kubernetes cluster and a load-balancer service. Using the demo profile, you can have Istiod, and the Ingress/Egress gateway deployed. Deploy a sample app with a service definition, and you can expose it via the Ingress-Gateway and route to it using a virtual service. + +Want to get deeper into Service Mesh? Head over to [#70DaysofServiceMesh](https://github.com/distributethe6ix/70DaysOfServiceMesh)! + +See you on [Day 79](day79.md) and beyond of #90DaysofServiceMesh diff --git a/2023/day79.md b/2023/day79.md index e69de29..f773198 100644 --- a/2023/day79.md +++ b/2023/day79.md @@ -0,0 +1,71 @@ +## Day 79 - Comparing Different Service Meshes +> **Informational** +> *A comparison of Istio, Linkerd, Consul, AWS App Mesh and Cilium* + +### Service Mesh Offerings +There are PLENTY of service mesh offerings out there. Some are highly proprietary while others are very open. +Here are offerings you should definitely look into: + +Service Mesh | Open Source or Proprietary | Notes | +---|---|---| +Istio | Open Source | Widely adopted and abstracted +Linkerd | Open Source | Built by Buoyant +Consul | Open Source | Owned by Hashcorp, Cloud offering available +Kuma | Open Source | Maintained by Kong +Traefik Mesh | Open Source | Specialized Proxy +Open Service Mesh | Open Source | By Microsoft +Gloo Mesh | Proprietary | Built by Solo.io ontop of Istio +AWS App Mesh | Proprietary | AWS specific services +OpenShift Service Mesh | Proprietary | Built by Redhad, based on Istio +Tanzu Service Mesh | Proprietary | SaaS based on Istio, built by VMware +Anthos Service Mesh | Proprietary | SaaS based on Istio, built by Google +Bouyant Cloud | Proprietary | SaaS based on Linkerd +Cilium Service Mesh | Open Source | Orginally a CNI + + +I'll quickly recap some of the key options I'll compare. This was taken from Day 1. + +#### Istio +Istio is an open-source service mesh built by Google, IBM, and Lyft, and currently actively developed on and maintained by companies such as Solo.io. It is based on the Envoy proxy which is adopted for the sidecar pattern. Istio offers a high degree of customization and extensibility with advanced traffic routing, observability, and security for microservices. A new mode of operation for sidecar-less service mesh, called Ambient Mesh, was launched in 2022. + +#### AppMesh +AppMesh is a service mesh implementation that is proprietary to AWS but primarily focuses in on applications deployed to various AWS services such as ECS, EKS, EC2. Its tight-nit integration into the AWS ecosystem allows for quick onboarding of services into the mesh. + +#### Consul +Consul is a serivce mesh offering from Hashicorp that also provides traffic routing, observability, and sercurity much like Istio does. + +#### Linkerd +Linkerd is an open-source service mesh offering that is lightweight. Similar to Istio, it provides traffic management, observability, and security, using a similar architecture. Linkerd adopts a sidecar-pattern using a Rust-based proxy. + +#### Cilium +Cilium is a Container Networking Interface that leverages eBPF to optimize packet processing using the Linux kernel. It offers some Service Mesh capabilities, and doesn't use the sidecar model. It proceeds to deploy a per-node instance of Envoy for any sort of Layer 7 processing of requests. + +### Comparsion Table + +Feature | Istio | Linkerd | AppMesh | Consul | Cilium | +---|---|---|---|---|---| +Current Version | 1.16.1 | 2.12 | N/A (it's AWS :D ) | 1.14.3 | 1.12 +Project Creators | Google, Lyft, IBM, Solo | Buoyant | AWS | Hashicorp | Isovalent +Service Proxy | Envoy, Rust-Proxy (experimental) | Linkerd2-proxy | Envoy | Interchangeable, Envoy default | Per-node Envoy +Ingress Capabilities | Yes via the Istio Ingress-Gateway | No; BYO | Yes via AWS | Envoy | Cilium-Based Ingress +Traffic Management (Load Balancing, Traffic Split) | Yes | Yes | Yes | Yes | Yes, but manual Envoy config required for traffic splits +Resiliency Capabilities (Circuit Breaking, Retries/Timeouts, Faults, Delays) | Yes | Yes, no Circuit Breaking or Delays | Yes, No Fault or Delays | Yes, No Fault or Delays | Circuit Breaking, Retries and Timeouts require manual Envoy configuration, no other resiliency capabilities +Monitoring | Access Logs, Kiali, Jaegar/Zikin, Grafana, Prometheus, LETS, OTEL | LETS, Prometheus, Grafana, OTEL | AWS X-RAY, and Cloud Watch provides these | Datadog, Jaegar, Zipkin, OpenTracing, OTEL, Honeycomb | Hubble, OTEL, Prometheus, Grafana +Security Capabilities (mTLS, External CA) | Yes | Yes | Yes | Yes | Yes, with Wireguard +Getting Started | Yes | Yes | Yes | Yes | Yes +Production Ready | Yes | Yes | Yes | Yes | Yes +Key Features | Sidecar and Sidecar-less, Wasm Extensibility, VM support, Multi-cloud Support, Data Plane extensions | Simplistic and non-invasive | Highly focused and tight integration into AWS Ecosystem | Tight integration into Nomad and Hashicorp Ecosystem | Usage of eBPF for enhanced packet processing, Cilium Control Plane used to manage Service Mesh, No sidecars +Limitations | Complex, learning curve | Strictly K8s, additional config for BYO Ingress | Limited to just AWS services | Storage tied to Consul and not K8s | Not a complete Service Mesh, requires manual configuration +Protocol Support (TCP, HTTP 1.1 & 2, gRPC) | Yes | Yes | Yes | Yes | Yes +Sidecar Modes | Sidecar and Sidecar-less | Sidecar | Sidecar | Sidecar | No sidecar +CNI Redirection | Istio CNI Plugin | linkerd-cni | ProxyConfiguration Required | Consul CNI | eBPF Kernel processing +Platform Support | K8s and VMs | K8s | EC2, EKS, ECS, Fargate, K8s on EC2 | K8s, Nomad, ECS, Lambda, VMs | K8s, VMs, Nomad +Multi-cluster Mesh | Yes | Yes | Yes, only AWS | Yes | Yes +Governance and Oversight | Istio Community | Linkered Community | AWS | Hashicorp | Cilium Community + +### Conclusion +Service Meshes have come a long way in terms of capabilities and the environments they support. Istio appears to be the most feature-complete service mesh, providing a balance of platform support, customizability, extensibility, and is most production ready. Linkered trails right behind with a lighter-weight approach, and is mostly complete as a service mesh. AppMesh is mostly feature-filled but specific to the AWS Ecosystem. Consul is a great contender to Istio and Linkered. The Cilium CNI is taking the approach of using eBPF and climbing up the networking stack to address Service Mesh capabilities, but it has a lot of catching up to do. + +Want to get deeper into Service Mesh? Head over to [#70DaysofServiceMesh](https://github.com/distributethe6ix/70DaysOfServiceMesh)! + +See you on [Day 80](day80.md) of #70DaysOfServiceMesh! \ No newline at end of file diff --git a/2023/day80.md b/2023/day80.md index e69de29..76ddf49 100644 --- a/2023/day80.md +++ b/2023/day80.md @@ -0,0 +1,339 @@ +## Day 80 - Traffic Engineering Basics +> **Tutorial** +> *Let's test out traffic routing, and shifting* + +### Reviewing Key Traffic Management Concepts +HEY YOU MADE IT THIS FAR! Let's keep going :smile:!!! + +I'm going to review some of these concepts very briefly and if you'd like the expanded approach, check out #70DaysofServiceMesh + +Traffic management is an important topic in the world of microservices communication because, you have not one or two, you have thousands of services making requests to each other. In the world of physical networking, network devices can be used for flow control and packet routing, but because the size of our networks have grown to accomodate microservices communications, manually creating the path way for each to connect does not scale well. + +Kubernetes has done quite a lot to simplify networking for microservices through technologies like CNI, Ingress (and more recently), Gateway API. There are other challenges around traffic routing that can be solved with custom-tailored solutions. + +Some of the key areas to address with traffic management are: +- Request Routing +- Traffic Splitting +- Traffic Shifting +- Releasing (new versions of your app) +- Traffic mirroring +- Load-balancing + +Traffic, or requests, will always enter the Service Mesh through some Ingress, such as the Istio-Ingress-Gateway. Once in the mesh, the request might need to make its way through multiple services before a final response is formed. Each of the microservices, will have a sidecar to process the request and return some response. But, we also need to know how each of these services gets to other services, and what to do when these inbound requests come in. + +Client ---> Bookinfo ----> | ProductPage ---> Reviews ---> Ratings | + +In the flow above, the client makes a request to Bookinfo (via a DNS name) which is then translated into request towards the first service in the path, ProductPage, which then needs to illicit a respect from Reviews, and Reviews from Ratings. + +Let's explore the components that make this happen, briefly, and revisit these in the future. + +#### Istio Ingress Gateway +As mentioned previously, the Istio Ingress Gateway is the entrypoint for requests getting into the mesh. The Istio Ingress Gateway is a resource deployed with both a Deployment and Service defined with a Load Balancer. This is advantageous, because you can create an Istio Ingress resource that listens on certain ports (HTTP) for request to hostnames like istio.io. And you can do this for multiple hosts. This is important because you can virtually overload the resource by creating multiple Ingress resources for the same gateway. This saves you on procuring multiple load-balancers per service. + +Interestingly enough, any service you expose with the Istio Ingress Gateway, means that its service type will be set to ClusterIP. We don't connect to the service directly, we do so via the Ingress Gateway. This is also a layer of security with TLS. + +You configure an Istio Ingress Gateway resource, and then an associated Virtual Service to route to your services + +Istio's Ingress Gateway uses the Proxyv2 image which is purpose-built Envoy proxy, for Istio. + +The Gateway configuration we used previously... +``` +cat istio-1.16.1/samples/bookinfo/networking/bookinfo-gateway.yaml +``` +``` +marinow@mwm1mbp networking % cat bookinfo-gateway.yaml +apiVersion: networking.istio.io/v1alpha3 +kind: Gateway +metadata: + name: bookinfo-gateway +spec: + selector: + istio: ingressgateway # use istio default controller + servers: + - port: + number: 80 + name: http + protocol: HTTP + hosts: + - "*" +``` +The output shows us a few key pieces of information: +- The name of the Gateway resources +- The specific Istio Ingress gateway we use, using the label-selector mechanism +- The wildcard denoted by an asterisk specifies the host we are listening on, basically any host +- The port number, port 80 +- The protocol which is HTTP + +*Istio Ingress Gateway: I will listen for requests coming into any DNS hostname directed to port 80 using the HTTP protocol.* + +#### Sidecars +Sidecars are an important traffic management tool as they live right alongside each microservice and will proxy requests on behalf of them. +The sidecars behave in the same manner as the Istio Ingress Gateway, and will receive and process requests, and provide responses appropriately (as they are configured to). The sidecars also play a huge role with observability and security, which I'll explore later. + +Istio's sidecar uses the Proxyv2 image which is purpose-built Envoy proxy, for Istio. + +#### Virtual Services +Virtual Services are the "how do we get there" set of rules for Istio. I view this as routing rules for request. If a request is received destined towards a particular service, route it here. + +Here is an example of a Virtual Service definition we'll be using for each of the microservices in our environment: + +``` +apiVersion: networking.istio.io/v1alpha3 +kind: VirtualService +metadata: + name: productpage +spec: + hosts: + - productpage + http: + - route: + - destination: + host: productpage + subset: v1 +--- +apiVersion: networking.istio.io/v1alpha3 +kind: VirtualService +metadata: + name: reviews +spec: + hosts: + - reviews + http: + - route: + - destination: + host: reviews + subset: v1 +--- +apiVersion: networking.istio.io/v1alpha3 +kind: VirtualService +metadata: + name: ratings +spec: + hosts: + - ratings + http: + - route: + - destination: + host: ratings + subset: v1 +--- +apiVersion: networking.istio.io/v1alpha3 +kind: VirtualService +metadata: + name: details +spec: + hosts: + - details + http: + - route: + - destination: + host: details + subset: v1 +--- +``` + +There are 4 virtual service configurations present, each one's "host" field corresponds to the microservice and it's Kubernetes Service resource. +The protocol being HTTP is specified, with the destination and a *subset* which is translated to a particular microservice with a label affixed to it. This is important to distinguish multiple versions of the same resource. We also need another resource to help with distinguishing, the Destination Rule resource. + +#### Destination Rules +While Virtual Services point us to the service and host entries of where our services live, Destination Rules provide a granular action list. What happens when a request arrives at this destination? +Destination Rules allow us to specify multiple versions of a service based on the back-end pods using Subsets. This is referenced by the Virtual Service resource to establish which available services can be routed to. +This might be useful for dark launches and canary releasing so you can split traffic to different versions. + +Looking at the Destination Rule Resource for the Reviews services we can see the 3 different subsets for the 3 different versions. Notice that the labels actually correspond with the deployment resources for each version of reviews. +This is how we know how to route to each version. VS tells us *where*, DR tells us *how* and *what to do*. + +``` +apiVersion: networking.istio.io/v1alpha3 +kind: DestinationRule +metadata: + name: reviews +spec: + host: reviews + subsets: + - name: v1 + labels: + version: v1 + - name: v2 + labels: + version: v2 + - name: v3 + labels: + version: v3 +``` + +#### Service Entries +I'll dive into this later, but Service Entries provide a mechanism for internal services to know how to route to external services, like a Database, or Git repo, or Object storage, for example. This can all be controlled using Service Entries. + +This can be used to control outbound requests as well, but requires a bit of control plane rework. More on this on later. + + +### Setting up Request Routing +We are using the same environment for Day 2. Go back and review it if you have not set up Istio. + +To set up request routing to Reviews-v1, we need to have a destination rule and virtual service configuration in place. +Let's apply them: + +#### Destination Rule (make sure you are in the right directory) +``` +cd istio-1.16.1 +kubectl apply -f samples/bookinfo/networking/destination-rule-all.yaml +``` + +#### Virtual Service +``` +kubectl apply -f samples/bookinfo/networking/virtual-service-all-v1.yaml +``` + +Let's verify that the resources were created: +``` +kubectl get vs && kubectl get dr +``` + +AND THE RESULT +``` +marinow@mwm1mbp istio-1.16.1 % kubectl get vs && kubectl get dr +NAME GATEWAYS HOSTS AGE +bookinfo ["bookinfo-gateway"] ["*"] 4d15h +productpage ["productpage"] 14h +reviews ["reviews"] 14h +ratings ["ratings"] 14h +details ["details"] 14h +NAME HOST AGE +productpage productpage 96s +reviews reviews 96s +ratings ratings 96s +details details 96s +``` +Now, if I head over to my browser (I have a localhost DNS entry), I can get to bookinfo.io/productpage. If I hit refresh a few times, only the **Reviews-v1** service is hit. + +![ServiceMesh](images/Day80-1.png) + +This is because I configured my virtual service resource to only route to **v1** of Reviews as seen in the configuration below. + +``` +apiVersion: networking.istio.io/v1alpha3 +kind: VirtualService +metadata: + name: reviews +spec: + hosts: + - reviews + http: + - route: + - destination: + host: reviews + subset: v1 +--- +``` + +Now I'll update the configuration to route to **v2** IF and ONLY IF, I pass along a request header with the string "jason" as the end-user. Otherwise, my requests will continue to go to **v1**. + +Before I update it, let's look at it +``` +cat samples/bookinfo/networking/virtual-service-reviews-test-v2.yaml + +apiVersion: networking.istio.io/v1alpha3 +kind: VirtualService +metadata: + name: reviews +spec: + hosts: + - reviews + http: + - match: + - headers: + end-user: + exact: jason + route: + - destination: + host: reviews + subset: v2 + - route: + - destination: + host: reviews + subset: v1 +``` +Notice the match field and what follows below. The route field has been indented because it's under a *match* condition. + +Now I'll apply it: +``` +kubectl apply -f samples/bookinfo/networking/virtual-service-reviews-test-v2.yaml +``` + +And we can test by logging in via the website and entering jason as the user. + +![ServiceMesh](images/Day80-2.png) + +So now we know our Destination Rule works with our Virtual Service Configuration. + +Let's shift some traffic! + + +### Setting up Traffic Shifting + +To begin, we need to remove our previous virtual service configuration that routes using the *jason* header. +``` +kubectl delete -f samples/bookinfo/networking/virtual-service-reviews-test-v2.yaml +``` + +Next, I'll quickly review the traffic-shifting we'll do. +``` +cat samples/bookinfo/networking/virtual-service-reviews-50-v3.yaml + +apiVersion: networking.istio.io/v1alpha3 +kind: VirtualService +metadata: + name: reviews +spec: + hosts: + - reviews + http: + - route: + - destination: + host: reviews + subset: v1 + weight: 70 + - destination: + host: reviews + subset: v3 + weight: 30 +``` +Within each destination, it points to a subset. v1 points to Reviews-v1, while v3 points to Reviews-v3. We can apply this reviews VS resource, and it will then split the traffic with 70% of requests going to v1, while v3 receives 30% of the requests. + +Let's apply the config and test: +``` +kubectl apply -f samples/bookinfo/networking/virtual-service-reviews-50-v3.yaml +``` +Now we can test this using a curl command in a for-loop. The for-loop runs 10 times, to make requests to the Product page, I've used grep to narrow down output to either v1 or v3, to witness the split of 70/30 Reviews-v1 getting 70% of the requests: +``` +for i in {1..10}; do curl -s http://bookinfo.io/productpage | grep "reviews-v"; done +``` +AND THE RESULT: +``` + reviews-v3-6dc9897554-8pgtx + reviews-v1-9c6bb6658-lvzsr + reviews-v1-9c6bb6658-lvzsr + reviews-v1-9c6bb6658-lvzsr + reviews-v3-6dc9897554-8pgtx + reviews-v3-6dc9897554-8pgtx + reviews-v1-9c6bb6658-lvzsr + reviews-v1-9c6bb6658-lvzsr + reviews-v1-9c6bb6658-lvzsr + reviews-v1-9c6bb6658-lvzsr +``` + +### Conclusion +Day 4 of #70DaysOfServiceMesh scratches the surface of Traffic management capabilities. We'll explore more in future modules. +I briefly covered several traffic management components that allow requests to flow within a Service Mesh: +- Istio Ingress Gateway +- Sidecar +- Virtual Services +- Destination Rules +- Service Entries + +And I got to show you all of this in action! + +Want to get deeper into Service Mesh Traffic Engineering? Head over to [#70DaysofServiceMesh](https://github.com/distributethe6ix/70DaysOfServiceMesh)! + +See you on [Day 81](day81.md) and beyond! :smile:! diff --git a/2023/day81.md b/2023/day81.md index e69de29..f5cd8ed 100644 --- a/2023/day81.md +++ b/2023/day81.md @@ -0,0 +1,206 @@ +## Day 81 - Observability in your Mesh +> **Tutorial** +> *LETS see what's going on in our mesh* + +What do you do when an application responds too slowly? Sometimes, there are network conditions well outside of our control, especially in Cloud and Data Center environments where QoS can be challenging to tune. But before we can tune up, we need to see what's up. + +A Service Mesh provides the right key pieces to capture this data. +The Istio Service Mesh generates a few types of telemetry and metrics to give a sense of what's happening with: +- The control plane +- The data plane +- Services inside of the mesh + +Istio provides details around: +- Metrics for latency, errors, traffic and saturation (LETS) +- Distributed tracing for spans to understand request flows +- Access logs, to determine source/destination metadata of requests. + +I have set up specific days to cover deeper observability but, let's get it going and use some tools like: +- Prometheus +- Grafana +- Jaegar +- Kiali + +One consideration is that there are more production and enterprise-ready offerings that absolutely should be explored. + +### Installing the sample observability addons +I'm using the same Civo Kubernetes cluster I've been using since I started this, but I plan to create some automation to turn up and down new clusters. + +I'm going to change back to the Istio-1.16.1 directory +``` +cd istio-1.16.1 +``` +And then I'll deploy the sample add-ons provided in the original zip file. +``` +kubectl apply -f samples/addons +``` +Give it a couple of minutes and then double check. +``` +kubectl get pods -n istio-system +``` +``` +NAME READY STATUS RESTARTS AGE +istio-egressgateway-7475c75b68-mpxf7 1/1 Running 0 5d15h +istiod-885df7bc9-f9k7c 1/1 Running 0 5d15h +istio-ingressgateway-6688c7f65d-szxf9 1/1 Running 0 5d15h +jaeger-54b7b57547-vsnhl 1/1 Running 0 34s +prometheus-7b8b9dd44c-kd77d 2/2 Running 0 32s +grafana-b854c6c8-fhjlh 1/1 Running 0 35s +kiali-5ff88f8595-fnk8t 1/1 Running 0 33s +``` +Perfect, let's proceed with Prometheus. + +### Prometheus +Since Prometheus is already installed we want to verify that it's currently running. + +Let's check the service and verify it's online. +``` +kubectl get svc prometheus -n istio-system +``` +``` +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +prometheus ClusterIP 10.43.234.212 9090/TCP 25h +``` + +I'm going to generate traffic from my host to the Bookinfo app and I'll go review this in Prometheus, which we'll expose using istoctl. +``` +curl "http://bookinfo.io/productpage" +``` + +Let's turn up the dashboard the *istioctl dashboard [name_of_k8s_service]*: +``` +istioctl dashboard prometheus +``` +At this point, a web-browser (your default) should open up with Prometheus. I want to feed it a query and I will do so in the *Expression* address bar, and proceed to hit execute. +When your browser launches with Promtheus, simply enter the following to execute a query on the total requests Istio will process. + +Paste the below into the query bar. This query simply outputs all the requests Istio sees. +``` +istio_requests_total +``` +![observeday81](images/Day81-1.png) + +There's much more to what we can see in Prometheus. If you have this up in your environment, play around. I'll revisit this in later days as I intend to dig into some of the key metrcis around SLAs, SLOs, SLIs, nth-percentile and latency, requests per second and others. + +Hit *ctrl+c* to exist the dashboard process. + +### Grafana +Grafana is an open-source and multi-platform analystics and visualization system that can be deployed alongside Prometheus to help us visually chart our apps and infra performance. + +I've already installed the sample addons which contained Grafana. Let's check the services and see that it's there. + +``` +kubectl get svc -n istio-system +``` +And we can verify it's there. +``` +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +istiod ClusterIP 10.43.249.242 15010/TCP,15012/TCP,443/TCP,15014/TCP 7d +istio-egressgateway ClusterIP 10.43.75.47 80/TCP,443/TCP 7d +istio-ingressgateway LoadBalancer 10.43.51.40 [HAHA.NO.NICE.TRY] 15021:31000/TCP,80:32697/TCP,443:30834/TCP,31400:30953/TCP,15443:30733/TCP 7d +grafana ClusterIP 10.43.115.239 3000/TCP 32h +tracing ClusterIP 10.43.237.214 80/TCP,16685/TCP 32h +zipkin ClusterIP 10.43.241.104 9411/TCP 32h +jaeger-collector ClusterIP 10.43.43.212 14268/TCP,14250/TCP,9411/TCP 32h +kiali ClusterIP 10.43.51.161 20001/TCP,9090/TCP 32h +prometheus ClusterIP 10.43.234.212 9090/TCP 32h +``` + +Let's use the *istioctl dashboard* command again +``` +istioctl dashboard grafana +``` +A web browser with the Grafana tab should have opened up. On the far left, click the 4 boxes that make up a square, and then select the Istio folder. + +![graph_grafana](images/Day81-2.png) + +Select the Istio Mesh Dashboard. + +In another terminal, let's generate some load +``` +for i in $(seq 1 100); do curl -s -o /dev/null "http://bookinfo.io/productpage"; done +``` +The metrics for each of the services (except reviews v2) receive requests and ultimately will produce valuable metrics indicative of success, latency and other key details. We can see this below: + +![grafana_mesh_dash](images/Day81-3.png) + +In the second terminal, let's generate some more load +``` +for i in $(seq 1 300); do curl -s -o /dev/null "http://bookinfo.io/productpage"; done +``` + +Go back to where the Istio dashboards are located, and click the Service dashboard. This will give you an idea of how the services in the mesh are performing and the client-success rate. + +![grafana_service_dash](images/Day81-4.png) + +I'll dive more into these details in future days. Kill the dashboard by hitting *ctrl+c* + +### Jaegar +Jaegar is all ready to go. It's an excellent tracing tool to help piece together a trace, which is comprised of multiple spans for a given request flow. + +Let's enable the dashboard: +``` +istioctl dashboard jaegar +``` +A new window should pop up with a curious-looking gopher. That gopher is inspecting stuff. + +In our second terminal, let's issue that curl command to reach bookinfo.io. +``` +for i in $(seq 1 300); do curl -s -o /dev/null "http://bookinfo.io/productpage"; done +``` +In the new window with Jaeger, the left pane allows us to select a service, pick any. + +By picking a service, you are looking from it's POV, how it's apart of the request flow. While you'll see it's span, it'll be a part of a larger trace comprised of multiple spans. + +I picked the ratings service which shows me all the spans it's associated with in a single trace. We'll expand upon this later on. + +All the different traces: + +![all_traces_jaegar](images/Day81-5.png) + +All the different spans within the *ratings* trace: +![all_spans_jaegar](images/Day81-6.png) + + +Ever used wireshark before? + +Kill the jaeger dashboard with *ctrl+c* + +### Kiali +Kiali is another great tool to visualize how traffic and request flow inside of mesh. + +But the visual component is captivating! It's because it shows us how one service communicates with another, using a visual map! + +Let's enable the Kiali dashboard: +``` +istioctl dashboard kiali +``` +A web-browser will open with Kiali and on the left-hand pane, click on "Graph". + +There are a few dropdowns, one says *Namespace*. Click on it and make sure the default namespace is selected. Under the *Display* dropdown, click on *Traffic Animation* and *Security*. There are other options but I'll revisit these later. + +I'm going to open up another terminal and run this curl command: +``` +for i in $(seq 1 300); do curl -s -o /dev/null "http://bookinfo.io/productpage"; done +``` + +In about a few minutes you'll start to see a visual map show up in Kiali as mentioned before. + +The screenshot below shows the directional flow of traffic, but, also notice that lock icon! It means mTLS is available. We'll explore this in the Security sections. + +![kiali_flows](images/Day81-7.png) + +Finally, check out this video and see the visualization. + +![kiali_video_visualizations](images/Day81-8.gif) + +Or visit the video here: https://www.youtube.com/watch?v=vhV8nHgytNM + +Go ahead and end the Kiali dashboard process with *ctrl+c*. + +### Conclusion +I've explored a few of the tools to be able to understand how we can observe services in our mesh and better understand how our applications are performing, or, if there are any issues. + +Want to get deeper into Service Mesh Observability? Head over to [#70DaysofServiceMesh](https://github.com/distributethe6ix/70DaysOfServiceMesh)! + +See you on [Day 82](day82.md) diff --git a/2023/day82.md b/2023/day82.md index e69de29..a0cf540 100644 --- a/2023/day82.md +++ b/2023/day82.md @@ -0,0 +1,289 @@ +## Day 82 - Securing your microservices +> **Tutorial** +>> *Let's secure our microservices* + +Security is an extensive area when in comes to microservices. I could basically spend an entire 70days on just security alone but, I want to get to the specifics of testing this out in a lab environment with a Service Mesh. + +Before I do, what security concerns am I addressing with a Service Mesh? +- Identity +- Policy +- Authorization +- Authentication +- Encrpytion +- Data Loss Prevention. + +There's plenty to dig into with these but what specifically of Service Mesh helps us acheive these? + +The sidecar, an ingress gateway, a node-level proxy, and the service mesh control plane interacting with the Kubernetes layer. + +As a security operator, I may issue policy configurations, or authentication configurations to the Istio control plane which in turn provides this to the Kubernetes API to turn these into runtime configurations for pods and other resources. + +In Kubernetes, the CNI layer may be able to provide a limited amount of network policy and encryption. Looking at a service mesh, encryption can be provided through mutual-TLS, or mTLS for service-to-service communication, and this same layer can provide a mechanism for Authentication using strong identities in SPIFFE ID format. Layer 7 Authorization is another capability of a service mesh. We can authorize certain services to perform actions (HTTP operations) against other services. + +mTLS is used to authenticate peers in both directions; more on mTLS and TLS in later days. + +To simplify this, Authentication is about having keys to unlock and enter through the door, and Authorization is about what you are allowed to do/touch, once you're in. Defence in Depth. + +Let's review what Istio offers and proceed to configure some of this. We will explore some of these in greater detail in future days. + +### Istio Peer Authentication and mTLS +One of the key aspects of the Istio service mesh is its ability to issue and manage identity for workloads that are deployed into the mesh. To put it into perspective, if all services have a sidecar, and are issued an identity (it's own identity) from the Istiod control plane, a new ability to trust and verify services now exists. This is how Peer Authentication is achieved using mTLS. I plan to go into lots more details in future modules. + +In Istio, Peer Authentication must be configured for services and can be scoped to workloads, namespaces, or the entire mesh. + +There are three modes, I'll explain them briefly and we'll get to configuring! +* PERMISSIVE: for when you have plaintext AND encrypted traffic. Migration-oriented +* STRICT: Only mTLS enabled workloads +* DISABLE: No mTLS at all. + +We can also take care of End-user Auth using JWT (JSON Web Tokens) but I'll explore this later. + +### Configuring Istio Peer AuthN and Strict mTLS +Let's get to configuring our environment with Peer Authentication and verify. + +We already have our environment ready to go so we just need to deploy another sample app that won't have the sidecar, and we also need to turn up an Authentication policy. + +Let's deploy a new namespace called sleep and deploy a sleeper pod to it. +``` +kubectl create ns sleep +``` +``` +kubectl get ns +``` +``` +cd istio-1.16.1 +kubectl apply -f samples/sleep/sleep.yaml -n sleep +``` + +Let's test to make sure the sleeper pod can communicate with the bookinfo app! +This command simply execs into the name of the sleep pod with the "app=sleep" label in the sleep namespace and proceeds to curl productpage in the default namespace. +The status code should be 200! +``` +kubectl exec "$(kubectl get pod -l app=sleep -n sleep -o jsonpath={.items..metadata.name})" -c sleep -n sleep -- curl productpage.default.svc.cluster.local:9080 -s -o /dev/null -w "%{http_code}\n" +``` +``` +200 +``` + +Let's apply our PeerAuthentication +``` +kubectl apply -f - < **Tutorial** +>> *Let's investigate sidecar-less with Ambient Mesh* + +### Enter Ambient Mesh + +For Day 83 (and the final day of Service Mesh for #90DaysOfDevOps), I decided to provide some background on Istio Ambient Mesh, to provide more approaches to onboard a service mesh. + +Istio has been around for a while and has been significantly battle-tested against various conditions, scenarios, configurations, and use-cases. + +Design patterns have emerged where the sidecar might inhibit performance of applications and through experimentation and a constant feedback loop, Ambient Mesh was born. Ambient Mesh was a joint collaboration between [Solo.io](https://Solo.io) and Google. You can read abut the announcement [here](https://istio.io/latest/blog/2022/introducing-ambient-mesh/). + +Ambient Mesh is still a part of Istio and as of this moment, is in Alpha under Istio 1.17. When you download istioctl, there is an Ambient Mesh profile. + + +### The Benefits of Ambient Mesh + +1. Reduced resource consumption: Sidecar proxies can consume a significant amount of resources, particularly in terms of memory and CPU. Eliminating the need for sidecar proxies, allows us to reduce the resource overhead associated with your service mesh. + +2. Simplified deployment: Without sidecar proxies, the deployment process becomes more straightforward, making it easier to manage and maintain your service mesh. You no longer need to worry about injecting sidecar proxies into your application containers or maintaining their configurations. + +3. Faster startup times: Sidecar proxies can add latency to the startup time of your services, as they need to be initialized before your applications can start processing traffic. A sidecar-less approach can help improve startup times and reduce overall latency. + +4. Lower maintenance: Sidecar proxies require regular updates, configuration management, and maintenance. A sidecar-less approach can simplify your operational tasks and reduce the maintenance burden. + +5. Easier experimentation: A sidecar-less approach like Ambient Mesh allows you to experiment with service mesh architectures without making significant changes to your existing applications. This lowers the barrier to entry and allows you to more easily evaluate the benefits of a service mesh. + +6. Faster time to Zero-Trust: Ambient Mesh deploys the necessary key components to employ mTLS, Authentication, L4 Authorization and L7 Authorization + +7. Still Istio: Istio Ambient Mesh still has all the same CRDS present like Virtual Services, Gateway, Destination Rules, Service Entries, Authentication, and Authorization Policies. + +8. Sidecar AND Sidecarless: With Istio in Ambient mode, you can still deploy sidecars to necessary resources, and still have communication between + + +### Ambient Mesh Architecture + +There are several main components that drive Ambient Mesh today: +- **Istiod**: Which is the control plane for the Istio service mesh and is the point of configuration, and certificate management. +- **The L4 Ztunnel**: This is strictly responsible for handle mTLS for communicating pods through ztunnel pods on each node. The ztunnel pods form mTLS between each other. The ztunnel is responsible for L4 Authorization as well. This is a `daemonset` in Kubernetes. +- **The Istio CNI Node**: Responsible for directing traffic from a workload pod to the ztunnel. This is a `daemonset` in Kubernetes. +- **The WayPoint Proxy**: The L7 proxy which provides the same functionality as the sidecar, except deployed at the destination of a request to process things like L7 Authorization Policies. This leverages the Gateway API resource. +- **HBONE**: The tunnel protocol which uses TCP Port 15008 to form tunnels between ztunnels on different nodes and between ztunnels and Waypoint Proxies. + +This diagram from this [Ambient Security Blog](https://istio.io/latest/blog/2022/ambient-security/) provides a good representation of the architecture. + +![Ambient Mesh](https://istio.io/latest/blog/2022/ambient-security/ambient-layers.png) + + + +### ztunnels and Rust + +To enhance the experience and performance of Ambient Mesh, the ztunnel which previously used a slimmed down Envoy instance, now uses Rust. Read more over at this [Rust-Based Ztunnel blog](https://istio.io/latest/blog/2023/rust-based-ztunnel/) + + +### Deploying Ambient Mesh + +Before we get started, you want to make sure you have a basic Kubernetes cluster. *K3s will not work today.* +I'd recommend KinD or Minikube so you have less restrictions and the setup is pretty easy. + +**Note** You can actually run this on ARM, or x86, so this will run well on your ARM-based MAC. In my setup i'm using x86 based Ubuntu 22.04. + +Let's first download the binary which you can select your flavour here: https://github.com/istio/istio/releases/tag/1.18.0-alpha.0 + +``` +wget https://github.com/istio/istio/releases/download/1.18.0-alpha.0/istio-1.18.0-alpha.0-linux-amd64.tar.gz +``` + +And then uncompress the file and change to the directory so you'll have access to the istioctl binary: + + +``` +tar -xf istio-1.18.0-alpha.0-linux-amd64.tar.gz istio-1.18.0-alpha.0/ +``` +``` +cd istio-1.18.0-alpha.0/ +``` + +Finally, let's make istioctl executable everywhere +``` +export PATH=$PWD/bin:$PATH +``` + +Next, let's create your KinD cluster (assuming you already have Docker ready to go) +``` +kind create cluster --config=- <.*" +``` +``` +kubectl exec deploy/sleep -- curl -s http://productpage:9080/ | grep -o ".*" +``` +``` + kubectl exec deploy/notsleep -- curl -s http://productpage:9080/ | grep -o ".*" +``` +Which will all produce the result: +``` +Simple Bookstore App +``` +So we know, we can access our apps and even with Istio installed, we need to enable the Mesh. So.... + +FINALLY, we're going to throw our services into the ambient-enabled mesh, notice how we label the namespace with the `dataplane-mode=ambient` versus using the normal `istio-injection=enabled` label. +``` +kubectl label namespace default istio.io/dataplane-mode=ambient +``` +This label effectively tells the `ztunnel` to capture the identity of an out-bound workload and act on its behalf for mTLS, whle also telling the `istio-cni-node` pods to route traffic towards the ztunnel. + +You can re-run the `curl` commands above if you'd like but, I'd recommend just running this looped-curl, and we can check the logs: +``` +for i in {1..10}; do kubectl exec deploy/notsleep -- curl -s http://productpage:9080/ | grep -o ".*"; sleep 1; done +``` +Now, let's review the ztunnel logs: +``` +kubectl logs -n istio-system -l app=ztunnel +``` +And the output: +``` +2023-03-25T15:21:34.772090Z INFO inbound{id=50c102c520ed8af1a79e89b9dc38c4ba peer_ip=10.244.1.4 peer_id=spiffe://cluster.local/ns/default/sa/notsleep}: ztunnel::proxy::inbound: got CONNECT request to 10.244.2.8:9080 +2023-03-25T15:21:29.935241Z INFO outbound{id=a9056d62a14941a70613094ac981c5e6}: ztunnel::proxy::outbound: proxy to 10.244.2.8:9080 using HBONE via 10.244.2.8:15008 type Direct +``` +The output is very interesting because you can see that `notsleep` is using the HBONE protocol on port `15008` to tunnel via the ztunnel over to `productpage`. If you ran `kubectl get pods -o wide` you will see that the IPs are owned by the notsleep and productpage pods. So NOW you've got a bit exposure to Ambient Mesh, go explore more! + + +### There is so much more to Ambient Mesh + +This module has gotten pretty long, but I encourage you to dig deeper into Ambient Mesh and see how you can potentially use it for things like Edge Computing for low-resource environments. If you want some more guided labs, check out [Solo Academy](https://academy.solo.io)!!! + + +### The end of the Service Mesh section for #90DaysofDevOps + +We have certainly reached the end of the Service Mesh section but, I encourage y'all to check out [#70DaysofServiceMesh](https://github.com/distributethe6ix/70DaysOfServiceMesh) to get even deeper and get ultra meshy :smile:! + +See you on [Day 84](day84.md) and beyond! :smile:! + diff --git a/2023/day84.md b/2023/day84.md index e69de29..a5d7f93 100644 --- a/2023/day84.md +++ b/2023/day84.md @@ -0,0 +1,58 @@ +# Writing an API - What is an API? + +The acronym API stands for “application programming interface”. What does this really mean though? It’s a way of +controlling an application programmatically. So when you use a website that displays some data to you (like Twitter) +there will be an action taken by the interface to get data or send data to the application (the twitter backend in this +example) - this is done programmatically in the background by code running in the user interface. + +In the example given above we looked at an example of a public API, however the vast majority of APIs are private, one +request to the public twitter API will likely cause a cascade of interactions between programs in the backend. These +could be to save the tweet text into a datastore, to update the number of likes or views a tweet has or to take an image +that has been uploaded and resize it for a better viewing experience. + +We build programs with APIs that other people can call so that we can expose program logic to other developers, teams +and our customers or suppliers. They are a predefined way of sharing information. For example, we can define an API +using [openapi specification](https://swagger.io/resources/open-api/) which is used +for [RESTful](https://en.wikipedia.org/wiki/Representational_state_transfer) API design. This api specification forms a +contract that we can fulfil. For example, If you make an API request to me and pass a specific set of content, such as a +date range, I will respond with a specific set of data. Therefore you can reliably expect to receive data of a certain +type when calling my API. + +We are going to build up an example set of applications that communicate using an API for this section of the learning +journey to illustrate the topics and give you a hands-on look at how things can be done. + +Design: +2 programs that communicate bi-directionally, every minute or so one application will request a random string from the +other, once one is received it will store this number in a database for future use + +The Random Number generator will generate a random string when requested and save this into a database, the application +will then ask the first program for confirmation that it received the string, and store this information against the +string in the database + +The applications will be called: +generator +requestor + +This may sound like a silly example but it allows us to quickly look into the various tasks involved with building, +deploying, monitoring and owning a service that runs in production. There are bi-directional failure modes as each +application needs something from the other to complete successfully and things we can monitor such as API call rates - +We can see if one application stops running. + +We need to now decide what our API Interfaces should look like. We have 2 API calls that will be used to communicate +here. Firstly, the `requestor` will call the `generator` and ask for a string. This is likely going to be an API call +without any additional content other than making a request for a string. Secondly, the `generator` will start to ask +the `requestor` for confirmation that it received and stored the string, in this case we need to pass a parameter to +the `requestor` which will be the string we are interested in knowing about. + +The `generator` will use a URL path of `/new` to serve up random strings +The `requestor` is going to use URL paths to receive string information from the `generator` to check the status, so we +will setup a URL of `/strings/` where is the string of interest. + + +## Building the API +There is a folder on the Github repository under the 2023 section called `day2-ops-code` and we will be using this +folder to store our code for this, and future, section of the learning journey. + +We are using Golang's built in HTTP server to serve up our endpoints and asynchronous goroutines to handle the +checks. Every 60 seconds we will look into the generators database and get all the strings which we dont have +conformation for and then calling the requesters endpoint to check if the string is there. \ No newline at end of file diff --git a/2023/day85.md b/2023/day85.md index e69de29..c9e05a6 100644 --- a/2023/day85.md +++ b/2023/day85.md @@ -0,0 +1,62 @@ +# Queues, Queue workers and Tasks (Asynchronous architecture) +Yesterday we looked at how we can use HTTP based APIs for communication between services. This works well until you need +to scale, release a new version or one of your services goes down. Then we start to see the calling service fail because +it’s dependency is not working as expected. We have tightly coupled our two services, one can’t work without the other. + +There are many ways to solve this problem, a light touch approach for existing applications is to use something called a +circuit breaker to buffer failures and retry until we get a successful response. This is explained well in this blog +by [Martin Fowler](https://martinfowler.com/bliki/CircuitBreaker.html). However, this is synchronous, if we were to wrap +our calls in a circuit breaker we would start to block processes and our user could see a slowdown in response times. + +Additionally, we can’t scale our applications using this approach, the way that the code is currently written every +instance of our `generator` api would be asking +the `requestor for confirmation of receiving the string. This won’t scale well when we move to having 2, 5, 10, or 100 instances running. We would quickly see the ` +requestor` being overwhelmed with requests from the 100 generator applications. + +There is a way to solve these problems which is to use Queues. This is a shift in thinking to using an asynchronous +approach to solving our problem. This can work well when the responses don’t need to be immediate between applications. +In this case it doesn't matter if we add some delay in the requests between the applications. As long as the data +eventually flows between them we are happy. + +![Queues, producers and Consumers](./images/day84-queues.png) +(https://dashbird.io/knowledge-base/well-architected/queue-and-asynchronous-processing/) + +In the drawing above we can see how we can add a Queue in between our applications and the Queue stores the intent of +the message across the bridge. If the Consumer was to fail and stop reacting messages then, providing our Queue software +has sufficient storage, the messages to the consumer would still “succeed” as far as the producer is concerned. + +This is a powerful pattern that isolates components of a system from each other and limits the blast radius of failure. +It does however add complexity. The Consumer and Producer must share a common understanding of the shape of a message +otherwise the Consumer will be unable to act on the message. + +We are going to implement a Queue in between our two applications in our data flows. + +By the end of the section we will have the following data flows + +Requestor (asks for a random string) → Queue → Generator (gets the message, generates a string and passes it back to the +Requestor on another Queue) → Requestor (gets the string back on a queue and stores it, then sends a message to the +queue saying it has received it) → Queue → Generator (marks that the message was received) + +The last section here, where the Generator needs to know if the Requestor got the message is a simplification of a real +process where an application may pass back an enriched data record or some further information but it allows us to have +a simple two way communication. + +Can you see how by the end of this section we will be able to stop, scale, deploy or modify each of the two components +without the other needing to know? + +## Modifying our application + +We are now going to modify our app to fit the model described above. Where we previously made a HTTP api call to our +partner app we are now going to place a message on a named queue and then subscribe to the corresponding response +queues. + +Finally we are going to stop using HTTP endpoints to listen for requests, we are now subscribing to queues and waiting +for messages before we perform any work. + +I have picked [NATSio](https://nats.io/) as the queue technology as I have worked with it previously and it’s very easy +to set up and use. + +Head over to the 2023/day2-ops-code/README.md to see how to deploy day 2's application. + +It sends messages to a queue and then waits for a response. The response is a message on a different queue. The message +contains the data that we are interested in. \ No newline at end of file diff --git a/2023/day86.md b/2023/day86.md index e69de29..b58ad07 100644 --- a/2023/day86.md +++ b/2023/day86.md @@ -0,0 +1,95 @@ +# Designing for Resilience, Redundancy and Reliability + +We now have an application which uses asynchronous queue based messaging to communicate. This gives us some real +flexibility on how we design our system to withstand failures. We are going to look at the concept of Failure Zones, +Replication, Contract testing, Logging and Tracing to build more robust systems. + +## Failure Zones + +Imagine building an application and deploying everything onto a single VM or server. What happens when, inevitably, this +server fails. Your application goes offline and your customers won’t be happy! There’s a fix to this. Spread your +workloads over multiple points of failure. This doesn’t just go for your application instances but you can build +multiple redundant points for every aspect of your system. + +Ever wonder what some of the things large cloud providers do to keep their services running despite external and +unpredictable factors? For starters they will have generators on-site for when they inevitably suffer a power cut. They +have at least two internet connections into the datacentres and they often provide multiple availability zones in each +region. Take Amazon’s eu-west-2 (London) region. This has 3 availability zones, eu-west-2a, eu-west-2b and eu-west-2c. +There are 3 separate datacenters (physically separated) that all inter-connect to provide a single region. This means by +deploying services across these availability zones (AZs) we increase our redundancy and resilience over factors such as +a fire in one of these facilities. If you run a homelab you could distribute work over failure zones by running more +than one computer, placing these computers in separate parts of the house or buying 2 internet connections to stay +online if one goes down (This does mean checking that these connections don’t just run on the same infrastructure as +soon as they leave your door. At my house I can get fibre to my house and also a connection over the old phone lines) + +## Replication + +This links nicely into having multiple replicas of our “stuff”, this doesn’t just mean running 2 or 3 copies of our +application over our previously mentioned availability zones we also need to consider our data - If we ran a database in +AZ1 and our application code over AZ1, AZ2 and AZ3 what do you think would happen if AZ1 was to go offline, potentially +permanently? There have been instances of cloud datacenters being completely destroyed by fire and many customers had +not been backing up their data or running across multiple AZs. Your data in this case is… gone. Do you think the +business you workin in could survive if their data, or their customers data, just disappeared overnight? + +Many of our data storage tools come with the ability to be configured for replication across multiple failure zones. +NATS.io that we used previously can be configured to replicate messages across multiple instances to survive failure of +one or more zones. Postgresql databases can be configured to stream their WAL (Write ahead log), which stores an +in-order history of all the transactions, to a standby instance running somewhere else. If our primary fails then the +most we would lose would be the amount of data in our WAL that was not transferred to the replica. Much less data loss +than if we didn’t have any replication. + +## Contract Testing + +We are going to change direction now and look at making our applications more reliable. This means reducing the change +of failures. You may appreciate that the time most likely to cause failures in your system is during deployments. New +code hits our system and if it has not been tested thoroughly in production-like environments then we may end up with +undefined behaviours. + +There’s a concept called Contract testing where we can test the interfaces between our applications at development and +build time. This allows us to rapidly get feedback (a core principle of DevOps) on our progress. + +## Async programming and queues + +We have already discussed how breaking the dependencies without our system can lead to increased reliability. Our +changes become smaller, less likely to impact other areas of our application and easy to roll-back. + +If our users are not expecting an immediate tactile response to an event, such as requesting a PDF be generated then we +can always place a message onto a queue and just wait for the consumer of that message to eventually get round to it. We +could see a situation where thousands of people request their PDF at once and an application that does this +synchronously would just fall over, run out of memory and collapse. This would leave all our customers without their +PDFs and needing to take an action again to wait for them to be generated. Without developer intervention we may not get +back to a state where the service can recover. + +Using a queue we can slowly work away in the background to generate these PDFs and could even scale the service in the +background automatically when we noticed the queue getting longer. Each new application would just take the next message +from the queue and work through the backlog. Once we were seeing less demand we could automatically scale these services +down when our queue depth reached 0. + +## Logging and Tracing + +It goes without saying that our applications and systems will fail. What we are doing in this section of 90daysOfDevOps +is thinking about what we can do to make our lives less bad when things do. Logging and tracing are some really +important tools in our toolbox to keep ourselves happy. + +If we log frequently with both success and failure messages we can follow the progress of our requests and customer +journeys through our system then when things go wrong we can quickly rule out specific services or focus down on +applications that are logging warning or error messages. My general rule is that you can’t log too much - its not +possible! It is however important to use a log framework that lets you tune the log level that gets printed to your +logs. For example if i have 5 log levels (as is common), TRACE, DEBUG, INFO, WARN and ERROR we should have a mechanism +for ever application to set the level of logs we want to print. Most of the time we only want WARN and ERROR to be +visible in logs, to quickly show us theres and issue. However if we are in development or debugging a specific +application its important to be able to turn up the verbosity of our logs and see those INFO/DEBUG or TRACE levels. + +Tracing is a concept of being able to attack a unique identifier to a request in our system that then gets populated and +logged throughout that requests journey, we could see a HTTP request hit a LoadBalancer, get a correlationID and then we +want to see that correlationID in ever log line as our request’s actions percolate through our system. + +## Conclusion + +It’s hard to build a fully fault-tolerant system. It involves learning from our, and other people’s, mistakes. I have +personally made many changes to company infrastructure after we discovered a previously unknown failure zone in our +application. + +We could change our application running in Kubernetes to tolerate our underlying infrastructure’s failure zones by +leveraging [topology spread constraints](https://kubernetes.io/docs/concepts/scheduling-eviction/topology-spread-constraints/) +to spread replicas around. We won’t in this example as we have much more to cover! diff --git a/2023/day87.md b/2023/day87.md index e69de29..b2fcbd4 100644 --- a/2023/day87.md +++ b/2023/day87.md @@ -0,0 +1,72 @@ +# Zero Downtime Deployments + +Another important part of your application lifecycle is deployment time. There are lots of strategies for deploying +software. Like with anything there are pros and cons to the various strategies so I will run through a few options from +least complex to most complex, and as you may imagine the most complex deployment types tend come with the highest +guarantees of uptime and least disruption to your customer. + +You may be asking why it's important to consider how we deploy our applications as the vast majority of our application +lifecycle time will be in the “running” state and therefore we could focus our time on strategies that support our +running application’s resilience. My answer is: Have you ever been on-call? Almost all incidents are due to code +releases or changes. The first thing I do when im on-call and called to an incident is see what was recently deployed - +I focus my main attention on that component and more often than not it was to blame. + +We do also need to consider that some of these deployment strategies will require us to make specific code changes or +application architecture decisions to allow us to support the specific deployment in question. + +### Rolling Deployments + +One of the simplest deployment strategies is a rolling deployment. This is where we slowly, one by one (or many be many, +depending on how many instances of a service you have) we replace old deployments with their new tasks. We can check +that the new deployments are healthy before moving onto the next, only have a few tasks not healthy at a time. + +This is the default deployment strategy in Kubernetes. It actually borrows some characteristics from Surge, which is +coming next. It starts slightly more new tasks and waits for them to be healthy before removing old ones. + +### Surge Deployments + +Surge deployments are exactly what they sound like. We start a large number of new tasks before cutting over traffic to +those tasks and then draining traffic from our old tasks. This is a good strategy when you have high usage applications +that may not cope well with reducing their availability at all. Usually surge deployments can be configured to run a +certain percentage more than the existing tasks and then wait for them to be healthy before doing a cutover. + +The problem with surge deployments is that we need a large capacity of spare compute resources to spin up a lot of new +tasks before rolling over and removing the old ones. This can work well where you have very elastic compute such as AWS +Fargate where you don’t need to provision more compute yourself. + +### Blue/Green + +The idea behind a Blue/Green deployment is that your entire stack (or application) is spun up, tested and then finally +once you are happy you change config to send traffic to the entire new deployment. Sometimes companies will always have +both a Blue and a Green stack running. This is a good strategy where you need very fast rollback and recovery to a known +good state. You can leave your “old” stack running for any amount of time once you are running on your new stack. + +### Canary + +Possibly one of the most complicated deployment strategies. This involves deploying a small number of your new +application and then sending a small portion of load to the new service, checking that nothing has broken by monitoring +application performance and metrics such as 4XX or 5XX error rates and then deciding if we continue with the deployment. +In advanced setups the canary controllers can do automatic rollbacks if error thresholds are exceeded. + +This approach does involve a lot more configuration, code and effort. + +Interestingly the name comes from from coal mining and the phrase "canary in the coal mine." Canary birds have a lower +tolerance to toxic gases than humans, so they were used to alert miners when these gases reached dangerous levels inside +the mine. + +We use our metrics and monitoring to decide if our “canary” application is healthy and if it is, we then proceed with a +larger deployment. + +## Application design considerations + +You may have worked out by now that the more advanced deployment strategies require you to have both old and new +versions of your application running at once. This means that we need to ensure backwards compatibility with all the +other software running at the time. For instance, you couldn't use a database migration to rename a table or column +because the old deployment would no longer work. + +Additionally, our canary deployment strategy requires our application to have health checks, metrics, good logging and +monitoring so that we can detect a problem in our specific canary application deployment. Without these metrics we would +be unable to programmatically decide if our new application works. + +Both these considerations, along with others, mean that we need to spend extra time both on our application code, +deployment code and our monitoring and alerting stacks to take advantage of the most robust deployments. diff --git a/2023/day88.md b/2023/day88.md index e69de29..a50496d 100644 --- a/2023/day88.md +++ b/2023/day88.md @@ -0,0 +1,29 @@ +# Monitoring, Alerting and On-Call + +As we have discussed there is no such thing as a perfect system that will never fail. Therefore we need to think about what to do when things go wrong. First and foremost the most important thing is not to panic. What tools and processes can we put in place to make incidents less stressful, easier to resolve and less likely to occur again? + +## On-Call Practices + +If you have never been “on-call” then you are an extremely lucky human. Being on-call for a system means being alerted when something is going wrong and being responsible for logging on, diagnosing the problem and helping to fix it. + +When we build software that people and businesses rely on we become liable for keeping those systems going. Our customers expect a certain level of uptime and availability for the services they are paying for. Let’s look at two examples, a Business-To-Business internal app for tracking month-end accounting and a real-time payments system with thousands of transactions a second with cumulative values of millions of pounds a minute. + + +## Alerts: the good, bad and ugly + +How do you even know if your application is working? + +Alerts. These are notifications that inform you about the status or performance of your application. They can be configured to trigger when specific events or conditions occur, such as errors, timeouts, or spikes in traffic. I have seen `ERROR` log lines being used to trigger alerts as well as issues such as 4XX and 5XX http responses. You can practically alert on anything! If you wanted to know if your applications need to be scaled you could look at your message queue depth (number of messages in the queue) - if its growing or beyond a threshold you can either alert, or even better, you can automatically scale your application. +Alerts can be very useful in detecting and resolving issues quickly, which can help prevent downtime or other negative consequences. They allow you to proactively monitor your application and respond to issues before they become critical. +However, there can also be downsides to using alerts. If alerts are not properly configured or managed, they can generate a high volume of false alarms, which can be overwhelming and distract from real issues. This can lead to alert fatigue and decreased effectiveness in responding to issues. +It is important to carefully consider the types of alerts that are necessary for your application, and to regularly review and adjust your alert settings as needed. You should also have processes in place for responding to alerts, such as escalation procedures and clear documentation on how to resolve common issues. + +## The cost of on-call + +I have worked on systems similar to both of these hypothetical examples and I can tell you that the approach to on-call and incident management was wildly different. The month-end accounting software is only used by a handful of well-known customers sporadically - they may not log-in for many weeks before there being a flurry of activity for 2 days a month. The payments platform has constant and relentless use with many thousands of impacted people per minute. + +There’s an important message here around knowing your users, their tolerance for downtime and their usage patterns. +For the payments platform the on-call rota was 24-7 365 days a year. Every second counts and they expected an engineer to be online within a few minutes of being notified of a problem. This puts strain on your engineers and incident staff as even simple daily tasks become challenging - I can’t walk my dog today because I’m on-call and if called I need to be online within a few minutes. + +There’s very little fun about being on-call. You are tied to a location or always carrying your laptop, you get woken in the middle of your night and it's wildly unpredictable. If you can cope with some delay in fixing your system I highly recommend cutting your teams some slack and having good grace periods for getting online or muting alerts overnight. Obviously this isn't possible for all systems so where you need fast on-call cover make sure to keep an eye on your colleagues and look out for signs of stress and burnout. + diff --git a/2023/day89.md b/2023/day89.md index e69de29..a84c852 100644 --- a/2023/day89.md +++ b/2023/day89.md @@ -0,0 +1,25 @@ +# Oops: When something goes wrong - Post Mortems + +As we have already discussed things will go wrong! We now know how to build applications where the impact of things breaking is less and where we know when things break. However, there will always be unknowns in the system and there will always be human error. + +We need to build up a culture that fosters learning and improving from mistakes and one that understands that failure is inevitable. It’s the only way we learn. If the culture does not recognise this then we can quickly get into a situation where everyone is scared to make changes or take risks and therefore nothing improves. + +## Blameless culture + +We are trying to build a “Blameless culture” where people are free to experiment, change and adapt. The key to this culture is always assuming someone had the best intentions based on the available information. This means that if somebody pressed a big button on your backend dashboard that dropped your production database they only did this because they did not have enough information to know not to do this! It means not blaming the intern for taking down production (As, why did they have the ability to make such a change?). + +Having a blameless culture leads to “Psychological Safety”. Psychological safety is a term used to describe a workplace environment where employees feel comfortable and safe to take interpersonal risks, such as sharing ideas, asking for help, or admitting mistakes, without fear of negative consequences. +In a psychologically safe workplace, employees feel that their opinions and contributions are valued, and they are free to express themselves without fear of ridicule, retribution, or ostracism. This can lead to increased trust and collaboration among team members, as well as improved innovation and problem-solving. +Psychological safety has been found to be an important factor in team effectiveness and organisational performance, and it has been linked to positive outcomes such as higher job satisfaction, lower turnover rates, and better overall team performance. +Can you see how important it is to have a blameless culture with psychological safety? Without it nothing gets done. + +## Post Mortems + +Hopefully this section will explain why we have looked into a blameless culture with psychological safety. When things go wrong we need to be able to look at the objectively and ask “What went wrong? Why and What can we do to reduce the likelihood (or risk) of this happening again?” + +If your team or organisation are not mature enough to sit down together and admit their mistakes, what information was missing to them at 2AM when they were trying to fix a system outage or to take the emotion of failure out of the picture then its going to be hard for everyone to share honestly. + +Can you say that your organisation would be happy to hear from a new employee on what mistake they made that had a big customer impact without blaming them? They should. If they made that mistake then it means that anyone was able to make it, at any time. Build guard rails into your system around these incidents. [This is covered well by this website covering retrospectives](https://www.funretrospectives.com/the-retrospective-prime-directive/) as at the end of the day, a post mortem is just a retrospective. + +So, after an incident its very important to sit down and have an honest and open conversation about what went wrong and what should be done to fix those issues, and who is responsible for making those changes. This can be as informal as having a coffee with the key stakeholders or as formal as putting a calendar invite in and getting everyone together from across the business. + diff --git a/2023/images/.DS_Store b/2023/images/.DS_Store new file mode 100644 index 0000000..c5c5c7d Binary files /dev/null and b/2023/images/.DS_Store differ diff --git a/2023/images/Day56-OpenShift-container-platform-datasheet.png b/2023/images/Day56-OpenShift-container-platform-datasheet.png new file mode 100644 index 0000000..1c01908 Binary files /dev/null and b/2023/images/Day56-OpenShift-container-platform-datasheet.png differ diff --git a/2023/images/Day57 - Red Hat OpenShift Architecture/Creating the bootstrap control plane and compute machines.png b/2023/images/Day57 - Red Hat OpenShift Architecture/Creating the bootstrap control plane and compute machines.png new file mode 100644 index 0000000..07d9ea6 Binary files /dev/null and b/2023/images/Day57 - Red Hat OpenShift Architecture/Creating the bootstrap control plane and compute machines.png differ diff --git a/2023/images/Day57 - Red Hat OpenShift Architecture/OpenShift Container Platform installation targets and dependencies.png b/2023/images/Day57 - Red Hat OpenShift Architecture/OpenShift Container Platform installation targets and dependencies.png new file mode 100644 index 0000000..91fa65d Binary files /dev/null and b/2023/images/Day57 - Red Hat OpenShift Architecture/OpenShift Container Platform installation targets and dependencies.png differ diff --git a/2023/images/Day57 - Red Hat OpenShift Architecture/OpenShift Container Platform lifecycle.png b/2023/images/Day57 - Red Hat OpenShift Architecture/OpenShift Container Platform lifecycle.png new file mode 100644 index 0000000..b6a7872 Binary files /dev/null and b/2023/images/Day57 - Red Hat OpenShift Architecture/OpenShift Container Platform lifecycle.png differ diff --git a/2023/images/Day57 - Red Hat OpenShift Architecture/Red Hat OpenShift - Product Architecture.png b/2023/images/Day57 - Red Hat OpenShift Architecture/Red Hat OpenShift - Product Architecture.png new file mode 100644 index 0000000..92af5f6 Binary files /dev/null and b/2023/images/Day57 - Red Hat OpenShift Architecture/Red Hat OpenShift - Product Architecture.png differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift - Example DNS records.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift - Example DNS records.jpg new file mode 100644 index 0000000..0a38fc7 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift - Example DNS records.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift - Minimum resource requirements.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift - Minimum resource requirements.jpg new file mode 100644 index 0000000..47d038d Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift - Minimum resource requirements.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift Clients Download.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift Clients Download.jpg new file mode 100644 index 0000000..16bfa1d Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift Clients Download.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - .openshift_install.log output.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - .openshift_install.log output.jpg new file mode 100644 index 0000000..4f2ff5c Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - .openshift_install.log output.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - Sorry, your reply was invalid- IP expected to be in one of the machine networks- 10.0.0.0-16.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - Sorry, your reply was invalid- IP expected to be in one of the machine networks- 10.0.0.0-16.jpg new file mode 100644 index 0000000..c1a950c Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - Sorry, your reply was invalid- IP expected to be in one of the machine networks- 10.0.0.0-16.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - output.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - output.jpg new file mode 100644 index 0000000..aa60e74 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster - output.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster.jpg new file mode 100644 index 0000000..0fac3ce Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create cluster.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create help.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create help.jpg new file mode 100644 index 0000000..9afcb2a Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-Install create help.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift-install - install-config.yaml file.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-install - install-config.yaml file.jpg new file mode 100644 index 0000000..6e4dd78 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-install - install-config.yaml file.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/OpenShift-install create install-config.jpg b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-install create install-config.jpg new file mode 100644 index 0000000..d7dfe1a Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/OpenShift-install create install-config.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Administrator Homepage.jpg b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Administrator Homepage.jpg new file mode 100644 index 0000000..3ba82d7 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Administrator Homepage.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Homepage.jpg b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Homepage.jpg new file mode 100644 index 0000000..55162d4 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Homepage.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Project.jpg b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Project.jpg new file mode 100644 index 0000000..6036562 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Project.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Topology.jpg b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Topology.jpg new file mode 100644 index 0000000..e9867d5 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift - Web Console - Developer Topology.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift Web Console.jpg b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift Web Console.jpg new file mode 100644 index 0000000..4e58532 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/Red Hat OpenShift Web Console.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/kubectl get ns - oc get ns.jpg b/2023/images/Day58 - OpenShift Cluster Install/kubectl get ns - oc get ns.jpg new file mode 100644 index 0000000..dcfa731 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/kubectl get ns - oc get ns.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/kubectl get pods -A - oc get pods -A.jpg b/2023/images/Day58 - OpenShift Cluster Install/kubectl get pods -A - oc get pods -A.jpg new file mode 100644 index 0000000..f57b28c Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/kubectl get pods -A - oc get pods -A.jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/kubectl get pods -n openshift-apiserver - oc get pods -n openshift-apiserver .jpg b/2023/images/Day58 - OpenShift Cluster Install/kubectl get pods -n openshift-apiserver - oc get pods -n openshift-apiserver .jpg new file mode 100644 index 0000000..8b99a74 Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/kubectl get pods -n openshift-apiserver - oc get pods -n openshift-apiserver .jpg differ diff --git a/2023/images/Day58 - OpenShift Cluster Install/oc -help compared to kubectl -help.jpg b/2023/images/Day58 - OpenShift Cluster Install/oc -help compared to kubectl -help.jpg new file mode 100644 index 0000000..30186bc Binary files /dev/null and b/2023/images/Day58 - OpenShift Cluster Install/oc -help compared to kubectl -help.jpg differ diff --git a/2023/images/Day61 - Authentication - Role-Based Access Control and Auditing in Red Hat OpenShift/Red Hat OpenShift - Access Control - Relationship between cluster roles, local roles and role bindings.png b/2023/images/Day61 - Authentication - Role-Based Access Control and Auditing in Red Hat OpenShift/Red Hat OpenShift - Access Control - Relationship between cluster roles, local roles and role bindings.png new file mode 100644 index 0000000..63312ea Binary files /dev/null and b/2023/images/Day61 - Authentication - Role-Based Access Control and Auditing in Red Hat OpenShift/Red Hat OpenShift - Access Control - Relationship between cluster roles, local roles and role bindings.png differ diff --git a/2023/images/Day61 - Authentication - Role-Based Access Control and Auditing in Red Hat OpenShift/oc login.jpg b/2023/images/Day61 - Authentication - Role-Based Access Control and Auditing in Red Hat OpenShift/oc login.jpg new file mode 100644 index 0000000..43db9ee Binary files /dev/null and b/2023/images/Day61 - Authentication - Role-Based Access Control and Auditing in Red Hat OpenShift/oc login.jpg differ diff --git a/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat Console - Image vulnerability.jpg b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat Console - Image vulnerability.jpg new file mode 100644 index 0000000..d37055b Binary files /dev/null and b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat Console - Image vulnerability.jpg differ diff --git a/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Manifest details - Affected pods.jpg b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Manifest details - Affected pods.jpg new file mode 100644 index 0000000..f5f85af Binary files /dev/null and b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Manifest details - Affected pods.jpg differ diff --git a/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Manifest details.jpg b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Manifest details.jpg new file mode 100644 index 0000000..a7a4527 Binary files /dev/null and b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Manifest details.jpg differ diff --git a/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Quay Manifest.jpg b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Quay Manifest.jpg new file mode 100644 index 0000000..c59de13 Binary files /dev/null and b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities - Quay Manifest.jpg differ diff --git a/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities.jpg b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities.jpg new file mode 100644 index 0000000..87233f5 Binary files /dev/null and b/2023/images/Day62 - Red Hat Quay Container Security Operator/Red Hat OpenShift Console - Administration - Image vulnerabilities.jpg differ diff --git a/2023/images/Day77-1.png b/2023/images/Day77-1.png new file mode 100644 index 0000000..dd0f994 Binary files /dev/null and b/2023/images/Day77-1.png differ diff --git a/2023/images/Day80-1.png b/2023/images/Day80-1.png new file mode 100644 index 0000000..6f1748c Binary files /dev/null and b/2023/images/Day80-1.png differ diff --git a/2023/images/Day80-2.png b/2023/images/Day80-2.png new file mode 100644 index 0000000..5f68bfb Binary files /dev/null and b/2023/images/Day80-2.png differ diff --git a/2023/images/Day81-1.png b/2023/images/Day81-1.png new file mode 100644 index 0000000..daa7da3 Binary files /dev/null and b/2023/images/Day81-1.png differ diff --git a/2023/images/Day81-2.png b/2023/images/Day81-2.png new file mode 100644 index 0000000..addcde6 Binary files /dev/null and b/2023/images/Day81-2.png differ diff --git a/2023/images/Day81-3.png b/2023/images/Day81-3.png new file mode 100644 index 0000000..1bd4b62 Binary files /dev/null and b/2023/images/Day81-3.png differ diff --git a/2023/images/Day81-4.png b/2023/images/Day81-4.png new file mode 100644 index 0000000..7e85ee5 Binary files /dev/null and b/2023/images/Day81-4.png differ diff --git a/2023/images/Day81-5.png b/2023/images/Day81-5.png new file mode 100644 index 0000000..697580f Binary files /dev/null and b/2023/images/Day81-5.png differ diff --git a/2023/images/Day81-6.png b/2023/images/Day81-6.png new file mode 100644 index 0000000..c75fd34 Binary files /dev/null and b/2023/images/Day81-6.png differ diff --git a/2023/images/Day81-7.png b/2023/images/Day81-7.png new file mode 100644 index 0000000..f77481b Binary files /dev/null and b/2023/images/Day81-7.png differ diff --git a/2023/images/Day81-8.gif b/2023/images/Day81-8.gif new file mode 100644 index 0000000..40d1717 Binary files /dev/null and b/2023/images/Day81-8.gif differ diff --git a/2023/images/Day82-1.png b/2023/images/Day82-1.png new file mode 100644 index 0000000..e632db4 Binary files /dev/null and b/2023/images/Day82-1.png differ diff --git a/2023/images/Day82-2.png b/2023/images/Day82-2.png new file mode 100644 index 0000000..20c0020 Binary files /dev/null and b/2023/images/Day82-2.png differ diff --git a/2023/images/Day82-3.png b/2023/images/Day82-3.png new file mode 100644 index 0000000..c2b59c1 Binary files /dev/null and b/2023/images/Day82-3.png differ diff --git a/2023/images/day01-1.jpg b/2023/images/day01-1.jpg new file mode 100644 index 0000000..df4c976 Binary files /dev/null and b/2023/images/day01-1.jpg differ diff --git a/2023/images/day01-2.png b/2023/images/day01-2.png new file mode 100644 index 0000000..b8e93e6 Binary files /dev/null and b/2023/images/day01-2.png differ diff --git a/2023/images/day03-1.png b/2023/images/day03-1.png new file mode 100644 index 0000000..2c56970 Binary files /dev/null and b/2023/images/day03-1.png differ diff --git a/2023/images/day03-2.jpg b/2023/images/day03-2.jpg new file mode 100644 index 0000000..c85734d Binary files /dev/null and b/2023/images/day03-2.jpg differ diff --git a/2023/images/day04-1.png b/2023/images/day04-1.png new file mode 100644 index 0000000..ba6df00 Binary files /dev/null and b/2023/images/day04-1.png differ diff --git a/2023/images/day04-2.jpg b/2023/images/day04-2.jpg new file mode 100644 index 0000000..f4fddce Binary files /dev/null and b/2023/images/day04-2.jpg differ diff --git a/2023/images/day06-1.png b/2023/images/day06-1.png new file mode 100644 index 0000000..1df9956 Binary files /dev/null and b/2023/images/day06-1.png differ diff --git a/2023/images/day06-2.png b/2023/images/day06-2.png new file mode 100644 index 0000000..e1ff7fc Binary files /dev/null and b/2023/images/day06-2.png differ diff --git a/2023/images/day06-3.png b/2023/images/day06-3.png new file mode 100644 index 0000000..d7bed0c Binary files /dev/null and b/2023/images/day06-3.png differ diff --git a/2023/images/day06-4.png b/2023/images/day06-4.png new file mode 100644 index 0000000..394f4db Binary files /dev/null and b/2023/images/day06-4.png differ diff --git a/2023/images/day06-5.png b/2023/images/day06-5.png new file mode 100644 index 0000000..38d4780 Binary files /dev/null and b/2023/images/day06-5.png differ diff --git a/2023/images/day09-1.png b/2023/images/day09-1.png new file mode 100644 index 0000000..bc16722 Binary files /dev/null and b/2023/images/day09-1.png differ diff --git a/2023/images/day09-10.png b/2023/images/day09-10.png new file mode 100644 index 0000000..081fe90 Binary files /dev/null and b/2023/images/day09-10.png differ diff --git a/2023/images/day09-11.png b/2023/images/day09-11.png new file mode 100644 index 0000000..28832b0 Binary files /dev/null and b/2023/images/day09-11.png differ diff --git a/2023/images/day09-12.png b/2023/images/day09-12.png new file mode 100644 index 0000000..88f67c6 Binary files /dev/null and b/2023/images/day09-12.png differ diff --git a/2023/images/day09-13.png b/2023/images/day09-13.png new file mode 100644 index 0000000..680dca8 Binary files /dev/null and b/2023/images/day09-13.png differ diff --git a/2023/images/day09-14.png b/2023/images/day09-14.png new file mode 100644 index 0000000..673e445 Binary files /dev/null and b/2023/images/day09-14.png differ diff --git a/2023/images/day09-15.png b/2023/images/day09-15.png new file mode 100644 index 0000000..3b1f54f Binary files /dev/null and b/2023/images/day09-15.png differ diff --git a/2023/images/day09-16.png b/2023/images/day09-16.png new file mode 100644 index 0000000..851dc4f Binary files /dev/null and b/2023/images/day09-16.png differ diff --git a/2023/images/day09-17.png b/2023/images/day09-17.png new file mode 100644 index 0000000..4001a02 Binary files /dev/null and b/2023/images/day09-17.png differ diff --git a/2023/images/day09-18.png b/2023/images/day09-18.png new file mode 100644 index 0000000..e172182 Binary files /dev/null and b/2023/images/day09-18.png differ diff --git a/2023/images/day09-19.png b/2023/images/day09-19.png new file mode 100644 index 0000000..e36f2d1 Binary files /dev/null and b/2023/images/day09-19.png differ diff --git a/2023/images/day09-2.png b/2023/images/day09-2.png new file mode 100644 index 0000000..26592f0 Binary files /dev/null and b/2023/images/day09-2.png differ diff --git a/2023/images/day09-3.png b/2023/images/day09-3.png new file mode 100644 index 0000000..4a01006 Binary files /dev/null and b/2023/images/day09-3.png differ diff --git a/2023/images/day09-4.png b/2023/images/day09-4.png new file mode 100644 index 0000000..4cbac55 Binary files /dev/null and b/2023/images/day09-4.png differ diff --git a/2023/images/day09-5.png b/2023/images/day09-5.png new file mode 100644 index 0000000..f45b0af Binary files /dev/null and b/2023/images/day09-5.png differ diff --git a/2023/images/day09-6.png b/2023/images/day09-6.png new file mode 100644 index 0000000..fee08e7 Binary files /dev/null and b/2023/images/day09-6.png differ diff --git a/2023/images/day09-7.png b/2023/images/day09-7.png new file mode 100644 index 0000000..5d74a51 Binary files /dev/null and b/2023/images/day09-7.png differ diff --git a/2023/images/day09-8.png b/2023/images/day09-8.png new file mode 100644 index 0000000..0e6591b Binary files /dev/null and b/2023/images/day09-8.png differ diff --git a/2023/images/day11-1.png b/2023/images/day11-1.png new file mode 100644 index 0000000..05f299b Binary files /dev/null and b/2023/images/day11-1.png differ diff --git a/2023/images/day13-1.png b/2023/images/day13-1.png new file mode 100644 index 0000000..2faf17d Binary files /dev/null and b/2023/images/day13-1.png differ diff --git a/2023/images/day28-0.png b/2023/images/day28-0.png new file mode 100644 index 0000000..8cfcbfa Binary files /dev/null and b/2023/images/day28-0.png differ diff --git a/2023/images/day28-1.png b/2023/images/day28-1.png new file mode 100644 index 0000000..179256d Binary files /dev/null and b/2023/images/day28-1.png differ diff --git a/2023/images/day28-2.png b/2023/images/day28-2.png new file mode 100644 index 0000000..ed9b95c Binary files /dev/null and b/2023/images/day28-2.png differ diff --git a/2023/images/day29-1.gif b/2023/images/day29-1.gif new file mode 100644 index 0000000..64c9ac9 Binary files /dev/null and b/2023/images/day29-1.gif differ diff --git a/2023/images/day29-2.png b/2023/images/day29-2.png new file mode 100644 index 0000000..511c7dd Binary files /dev/null and b/2023/images/day29-2.png differ diff --git a/2023/images/day29-3.png b/2023/images/day29-3.png new file mode 100644 index 0000000..57f939b Binary files /dev/null and b/2023/images/day29-3.png differ diff --git a/2023/images/day29-4.png b/2023/images/day29-4.png new file mode 100644 index 0000000..b717eee Binary files /dev/null and b/2023/images/day29-4.png differ diff --git a/2023/images/day30-1.png b/2023/images/day30-1.png new file mode 100644 index 0000000..f19a847 Binary files /dev/null and b/2023/images/day30-1.png differ diff --git a/2023/images/day30-2.png b/2023/images/day30-2.png new file mode 100644 index 0000000..0545123 Binary files /dev/null and b/2023/images/day30-2.png differ diff --git a/2023/images/day32-1.png b/2023/images/day32-1.png new file mode 100644 index 0000000..eb1b635 Binary files /dev/null and b/2023/images/day32-1.png differ diff --git a/2023/images/day32-2.png b/2023/images/day32-2.png new file mode 100644 index 0000000..4967f36 Binary files /dev/null and b/2023/images/day32-2.png differ diff --git a/2023/images/day34-1.png b/2023/images/day34-1.png new file mode 100644 index 0000000..132e672 Binary files /dev/null and b/2023/images/day34-1.png differ diff --git a/2023/images/day35-0.png b/2023/images/day35-0.png new file mode 100644 index 0000000..2fca794 Binary files /dev/null and b/2023/images/day35-0.png differ diff --git a/2023/images/day35-1.png b/2023/images/day35-1.png new file mode 100644 index 0000000..91fb644 Binary files /dev/null and b/2023/images/day35-1.png differ diff --git a/2023/images/day36-1.png b/2023/images/day36-1.png new file mode 100644 index 0000000..1943731 Binary files /dev/null and b/2023/images/day36-1.png differ diff --git a/2023/images/day36-2.png b/2023/images/day36-2.png new file mode 100644 index 0000000..8a1815d Binary files /dev/null and b/2023/images/day36-2.png differ diff --git a/2023/images/day37-1.png b/2023/images/day37-1.png new file mode 100644 index 0000000..4754ef1 Binary files /dev/null and b/2023/images/day37-1.png differ diff --git a/2023/images/day37-2.png b/2023/images/day37-2.png new file mode 100644 index 0000000..9f378b0 Binary files /dev/null and b/2023/images/day37-2.png differ diff --git a/2023/images/day37-3.png b/2023/images/day37-3.png new file mode 100644 index 0000000..166559d Binary files /dev/null and b/2023/images/day37-3.png differ diff --git a/2023/images/day37-4.png b/2023/images/day37-4.png new file mode 100644 index 0000000..bff5402 Binary files /dev/null and b/2023/images/day37-4.png differ diff --git a/2023/images/day37-5.png b/2023/images/day37-5.png new file mode 100644 index 0000000..106e1df Binary files /dev/null and b/2023/images/day37-5.png differ diff --git a/2023/images/day37-6.png b/2023/images/day37-6.png new file mode 100644 index 0000000..5d4df83 Binary files /dev/null and b/2023/images/day37-6.png differ diff --git a/2023/images/day37-7.png b/2023/images/day37-7.png new file mode 100644 index 0000000..49481e4 Binary files /dev/null and b/2023/images/day37-7.png differ diff --git a/2023/images/day42-01.png b/2023/images/day42-01.png new file mode 100644 index 0000000..76bb58a Binary files /dev/null and b/2023/images/day42-01.png differ diff --git a/2023/images/day42-02.png b/2023/images/day42-02.png new file mode 100644 index 0000000..ad8f29a Binary files /dev/null and b/2023/images/day42-02.png differ diff --git a/2023/images/day48-1.png b/2023/images/day48-1.png new file mode 100644 index 0000000..8ce557c Binary files /dev/null and b/2023/images/day48-1.png differ diff --git a/2023/images/day48-2.png b/2023/images/day48-2.png new file mode 100644 index 0000000..19912dd Binary files /dev/null and b/2023/images/day48-2.png differ diff --git a/2023/images/day49-1.png b/2023/images/day49-1.png new file mode 100644 index 0000000..86fb7e3 Binary files /dev/null and b/2023/images/day49-1.png differ diff --git a/2023/images/day49-2.png b/2023/images/day49-2.png new file mode 100644 index 0000000..2e79fed Binary files /dev/null and b/2023/images/day49-2.png differ diff --git a/2023/images/day49-3.png b/2023/images/day49-3.png new file mode 100644 index 0000000..0fb3e3f Binary files /dev/null and b/2023/images/day49-3.png differ diff --git a/2023/images/day49-4.png b/2023/images/day49-4.png new file mode 100644 index 0000000..49070d5 Binary files /dev/null and b/2023/images/day49-4.png differ diff --git a/2023/images/day50-1.png b/2023/images/day50-1.png new file mode 100644 index 0000000..383f449 Binary files /dev/null and b/2023/images/day50-1.png differ diff --git a/2023/images/day50-2.png b/2023/images/day50-2.png new file mode 100644 index 0000000..838faef Binary files /dev/null and b/2023/images/day50-2.png differ diff --git a/2023/images/day50-3.png b/2023/images/day50-3.png new file mode 100644 index 0000000..3369112 Binary files /dev/null and b/2023/images/day50-3.png differ diff --git a/2023/images/day50-4.png b/2023/images/day50-4.png new file mode 100644 index 0000000..dec7b1a Binary files /dev/null and b/2023/images/day50-4.png differ diff --git a/2023/images/day50-5.png b/2023/images/day50-5.png new file mode 100644 index 0000000..98f6700 Binary files /dev/null and b/2023/images/day50-5.png differ diff --git a/2023/images/day50-6.png b/2023/images/day50-6.png new file mode 100644 index 0000000..187616f Binary files /dev/null and b/2023/images/day50-6.png differ diff --git a/2023/images/day50-7.png b/2023/images/day50-7.png new file mode 100644 index 0000000..5d1d22e Binary files /dev/null and b/2023/images/day50-7.png differ diff --git a/2023/images/day50-8.png b/2023/images/day50-8.png new file mode 100644 index 0000000..1324a9d Binary files /dev/null and b/2023/images/day50-8.png differ diff --git a/2023/images/day51-1.png b/2023/images/day51-1.png new file mode 100644 index 0000000..9bd53ee Binary files /dev/null and b/2023/images/day51-1.png differ diff --git a/2023/images/day52-1.png b/2023/images/day52-1.png new file mode 100644 index 0000000..c84da87 Binary files /dev/null and b/2023/images/day52-1.png differ diff --git a/2023/images/day52-2.png b/2023/images/day52-2.png new file mode 100644 index 0000000..252f94a Binary files /dev/null and b/2023/images/day52-2.png differ diff --git a/2023/images/day53-01.png b/2023/images/day53-01.png new file mode 100644 index 0000000..2ed9e2d Binary files /dev/null and b/2023/images/day53-01.png differ diff --git a/2023/images/day53-02.png b/2023/images/day53-02.png new file mode 100644 index 0000000..83efc10 Binary files /dev/null and b/2023/images/day53-02.png differ diff --git a/2023/images/day53-03.png b/2023/images/day53-03.png new file mode 100644 index 0000000..0252010 Binary files /dev/null and b/2023/images/day53-03.png differ diff --git a/2023/images/day53-04.png b/2023/images/day53-04.png new file mode 100644 index 0000000..675ddae Binary files /dev/null and b/2023/images/day53-04.png differ diff --git a/2023/images/day53-05.png b/2023/images/day53-05.png new file mode 100644 index 0000000..52605ed Binary files /dev/null and b/2023/images/day53-05.png differ diff --git a/2023/images/day54-01.png b/2023/images/day54-01.png new file mode 100644 index 0000000..939ebab Binary files /dev/null and b/2023/images/day54-01.png differ diff --git a/2023/images/day55-01.jpg b/2023/images/day55-01.jpg new file mode 100644 index 0000000..7eac233 Binary files /dev/null and b/2023/images/day55-01.jpg differ diff --git a/2023/images/day59-Red Hat OpenShift - oc get scc.jpg b/2023/images/day59-Red Hat OpenShift - oc get scc.jpg new file mode 100644 index 0000000..dff1e25 Binary files /dev/null and b/2023/images/day59-Red Hat OpenShift - oc get scc.jpg differ diff --git a/2023/images/day63-1.png b/2023/images/day63-1.png new file mode 100644 index 0000000..3dca1c2 Binary files /dev/null and b/2023/images/day63-1.png differ diff --git a/2023/images/day64-1.png b/2023/images/day64-1.png new file mode 100644 index 0000000..dde8230 Binary files /dev/null and b/2023/images/day64-1.png differ diff --git a/2023/images/day65-1.png b/2023/images/day65-1.png new file mode 100644 index 0000000..040ee56 Binary files /dev/null and b/2023/images/day65-1.png differ diff --git a/2023/images/day65-2.png b/2023/images/day65-2.png new file mode 100644 index 0000000..100f04e Binary files /dev/null and b/2023/images/day65-2.png differ diff --git a/2023/images/day65-3.png b/2023/images/day65-3.png new file mode 100644 index 0000000..8a5a99f Binary files /dev/null and b/2023/images/day65-3.png differ diff --git a/2023/images/day65-4.png b/2023/images/day65-4.png new file mode 100644 index 0000000..a0c2f5d Binary files /dev/null and b/2023/images/day65-4.png differ diff --git a/2023/images/day65-5.png b/2023/images/day65-5.png new file mode 100644 index 0000000..d83fa8e Binary files /dev/null and b/2023/images/day65-5.png differ diff --git a/2023/images/day65-6.png b/2023/images/day65-6.png new file mode 100644 index 0000000..e511462 Binary files /dev/null and b/2023/images/day65-6.png differ diff --git a/2023/images/day65-7.png b/2023/images/day65-7.png new file mode 100644 index 0000000..159d4ca Binary files /dev/null and b/2023/images/day65-7.png differ diff --git a/2023/images/day65-8.png b/2023/images/day65-8.png new file mode 100644 index 0000000..443bd3f Binary files /dev/null and b/2023/images/day65-8.png differ diff --git a/2023/images/day66-1.png b/2023/images/day66-1.png new file mode 100644 index 0000000..2518e06 Binary files /dev/null and b/2023/images/day66-1.png differ diff --git a/2023/images/day66-2.png b/2023/images/day66-2.png new file mode 100644 index 0000000..d180cb6 Binary files /dev/null and b/2023/images/day66-2.png differ diff --git a/2023/images/day67-1.png b/2023/images/day67-1.png new file mode 100644 index 0000000..ead06d8 Binary files /dev/null and b/2023/images/day67-1.png differ diff --git a/2023/images/day67-2.png b/2023/images/day67-2.png new file mode 100644 index 0000000..b8e9283 Binary files /dev/null and b/2023/images/day67-2.png differ diff --git a/2023/images/day67-3.png b/2023/images/day67-3.png new file mode 100644 index 0000000..8d50df0 Binary files /dev/null and b/2023/images/day67-3.png differ diff --git a/2023/images/day67-4.png b/2023/images/day67-4.png new file mode 100644 index 0000000..ee59d8d Binary files /dev/null and b/2023/images/day67-4.png differ diff --git a/2023/images/day67-5.png b/2023/images/day67-5.png new file mode 100644 index 0000000..79e4216 Binary files /dev/null and b/2023/images/day67-5.png differ diff --git a/2023/images/day68-1.png b/2023/images/day68-1.png new file mode 100644 index 0000000..4803691 Binary files /dev/null and b/2023/images/day68-1.png differ diff --git a/2023/images/day68-2.png b/2023/images/day68-2.png new file mode 100644 index 0000000..30abc32 Binary files /dev/null and b/2023/images/day68-2.png differ diff --git a/2023/images/day68-3.png b/2023/images/day68-3.png new file mode 100644 index 0000000..51f2220 Binary files /dev/null and b/2023/images/day68-3.png differ diff --git a/2023/images/day68-4.png b/2023/images/day68-4.png new file mode 100644 index 0000000..1b30dad Binary files /dev/null and b/2023/images/day68-4.png differ diff --git a/2023/images/day68-5.png b/2023/images/day68-5.png new file mode 100644 index 0000000..02b1a28 Binary files /dev/null and b/2023/images/day68-5.png differ diff --git a/2023/images/day68-6.png b/2023/images/day68-6.png new file mode 100644 index 0000000..b7d8ce2 Binary files /dev/null and b/2023/images/day68-6.png differ diff --git a/2023/images/day68-7.png b/2023/images/day68-7.png new file mode 100644 index 0000000..7ece3c9 Binary files /dev/null and b/2023/images/day68-7.png differ diff --git a/2023/images/day69-1.png b/2023/images/day69-1.png new file mode 100644 index 0000000..7a3fe45 Binary files /dev/null and b/2023/images/day69-1.png differ diff --git a/2023/images/day69-2.png b/2023/images/day69-2.png new file mode 100644 index 0000000..fca7b83 Binary files /dev/null and b/2023/images/day69-2.png differ diff --git a/2023/images/day71-1.jpg b/2023/images/day71-1.jpg new file mode 100644 index 0000000..4b333be Binary files /dev/null and b/2023/images/day71-1.jpg differ diff --git a/2023/images/day71-2.jpg b/2023/images/day71-2.jpg new file mode 100644 index 0000000..dbf467e Binary files /dev/null and b/2023/images/day71-2.jpg differ diff --git a/2023/images/day71-3.jpg b/2023/images/day71-3.jpg new file mode 100644 index 0000000..077d13e Binary files /dev/null and b/2023/images/day71-3.jpg differ diff --git a/2023/images/day72-1.jpg b/2023/images/day72-1.jpg new file mode 100644 index 0000000..69d4cc1 Binary files /dev/null and b/2023/images/day72-1.jpg differ diff --git a/2023/images/day72-2.jpg b/2023/images/day72-2.jpg new file mode 100644 index 0000000..29fd492 Binary files /dev/null and b/2023/images/day72-2.jpg differ diff --git a/2023/images/day72-3.jpg b/2023/images/day72-3.jpg new file mode 100644 index 0000000..a4ba419 Binary files /dev/null and b/2023/images/day72-3.jpg differ diff --git a/2023/images/day72-4.jpg b/2023/images/day72-4.jpg new file mode 100644 index 0000000..86c9cf7 Binary files /dev/null and b/2023/images/day72-4.jpg differ diff --git a/2023/images/day73-1.jpg b/2023/images/day73-1.jpg new file mode 100644 index 0000000..72b5306 Binary files /dev/null and b/2023/images/day73-1.jpg differ diff --git a/2023/images/day73-2.jpg b/2023/images/day73-2.jpg new file mode 100644 index 0000000..2d8d430 Binary files /dev/null and b/2023/images/day73-2.jpg differ diff --git a/2023/images/day73-3.jpg b/2023/images/day73-3.jpg new file mode 100644 index 0000000..d0838be Binary files /dev/null and b/2023/images/day73-3.jpg differ diff --git a/2023/images/day74-1.jpg b/2023/images/day74-1.jpg new file mode 100644 index 0000000..5c32c06 Binary files /dev/null and b/2023/images/day74-1.jpg differ diff --git a/2023/images/day74-2.jpg b/2023/images/day74-2.jpg new file mode 100644 index 0000000..3e55b42 Binary files /dev/null and b/2023/images/day74-2.jpg differ diff --git a/2023/images/day74-3.jpg b/2023/images/day74-3.jpg new file mode 100644 index 0000000..87555fa Binary files /dev/null and b/2023/images/day74-3.jpg differ diff --git a/2023/images/day74-4.jpg b/2023/images/day74-4.jpg new file mode 100644 index 0000000..c714bc1 Binary files /dev/null and b/2023/images/day74-4.jpg differ diff --git a/2023/images/day74-5.jpg b/2023/images/day74-5.jpg new file mode 100644 index 0000000..2eff3c0 Binary files /dev/null and b/2023/images/day74-5.jpg differ diff --git a/2023/images/day74-6.jpg b/2023/images/day74-6.jpg new file mode 100644 index 0000000..440a440 Binary files /dev/null and b/2023/images/day74-6.jpg differ diff --git a/2023/images/day74-7.jpg b/2023/images/day74-7.jpg new file mode 100644 index 0000000..7049825 Binary files /dev/null and b/2023/images/day74-7.jpg differ diff --git a/2023/images/day75-1.jpg b/2023/images/day75-1.jpg new file mode 100644 index 0000000..9e933ad Binary files /dev/null and b/2023/images/day75-1.jpg differ diff --git a/2023/images/day75-2.jpg b/2023/images/day75-2.jpg new file mode 100644 index 0000000..8a42401 Binary files /dev/null and b/2023/images/day75-2.jpg differ diff --git a/2023/images/day75-3.jpg b/2023/images/day75-3.jpg new file mode 100644 index 0000000..f8d9b89 Binary files /dev/null and b/2023/images/day75-3.jpg differ diff --git a/2023/images/day75-4.jpg b/2023/images/day75-4.jpg new file mode 100644 index 0000000..f91c32b Binary files /dev/null and b/2023/images/day75-4.jpg differ diff --git a/2023/images/day75-5.jpg b/2023/images/day75-5.jpg new file mode 100644 index 0000000..46cdb14 Binary files /dev/null and b/2023/images/day75-5.jpg differ diff --git a/2023/images/day75-6.jpg b/2023/images/day75-6.jpg new file mode 100644 index 0000000..4c31b98 Binary files /dev/null and b/2023/images/day75-6.jpg differ diff --git a/2023/images/day75-7.jpg b/2023/images/day75-7.jpg new file mode 100644 index 0000000..a2fae80 Binary files /dev/null and b/2023/images/day75-7.jpg differ diff --git a/2023/images/day75-8.jpg b/2023/images/day75-8.jpg new file mode 100644 index 0000000..fb098e3 Binary files /dev/null and b/2023/images/day75-8.jpg differ diff --git a/2023/images/day76-1.jpg b/2023/images/day76-1.jpg new file mode 100644 index 0000000..0e9311a Binary files /dev/null and b/2023/images/day76-1.jpg differ diff --git a/2023/images/day76-2.jpg b/2023/images/day76-2.jpg new file mode 100644 index 0000000..e9e55d8 Binary files /dev/null and b/2023/images/day76-2.jpg differ diff --git a/2023/images/day84-queues.png b/2023/images/day84-queues.png new file mode 100644 index 0000000..3ba5e3f Binary files /dev/null and b/2023/images/day84-queues.png differ diff --git a/Contributors.md b/Contributors.md new file mode 100644 index 0000000..2d8cdf0 --- /dev/null +++ b/Contributors.md @@ -0,0 +1,520 @@ +Contributors + +### Other Contributors + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + Michael +
+ Michael Cade + + 		+ + dev.to +
+ dev.to bot + + 		+ + Manuel +
+ Manuel Vergara + + 		+ + Shuang +
+ Shuang Wang + + 		+ + Mau +
+ Mau Ha Quang + + 		+ + Wenchao +
+ Wenchao HUANG + +
+ + CJ +
+ CJ Hung + + 		+ + Dean/ +
+ Dean + + 		+ + Ricardo +
+ Ricardo Martins + + 		+ + Sourav +
+ Sourav Kumar + + 		+ + Ava +
+ Ava Ruan + + 		+ + Devarsh/ +
+ Devarsh + +
+ + Rishab +
+ Rishab Kumar + + 		+ + Leslie +
+ Leslie Leung + + 		+ + Danny +
+ Danny Chrismas + + 		+ + Murali-Puvvada/ +
+ Murali-Puvvada + + 		+ + Alex +
+ Alex Lutz + + 		+ + Linh-An/ +
+ Linh-An + +
+ + Anurag +
+ Anurag Maurya + + 		+ + Anton +
+ Anton Sankov + + 		+ + michaelcourcy/ +
+ michaelcourcy + + 		+ + Emdadul +
+ Emdadul Haque + + 		+ + Haricharan +
+ Haricharan Jaka + + 		+ + Mainak +
+ Mainak Biswas + +
+ + erh-git/ +
+ erh-git + + 		+ + Heechan +
+ Heechan Kim + + 		+ + Ibrahim +
+ Ibrahim Musayev + + 		+ + Nitin +
+ Nitin Mishra + + 		+ + Abhisman/ +
+ Abhisman + + 		+ + Adeniji +
+ Adeniji Charles Ayodipupo + +
+ + Babatunde +
+ Babatunde Ojo + + 		+ + CHsixnine/ +
+ CHsixnine + + 		+ + Kishore +
+ Kishore P + + 		+ + Nishan +
+ Nishan Shetty + + 		+ + SvetlomirBalevski/ +
+ SvetlomirBalevski + + 		+ + Tan +
+ Tan Kar Chun + +
+ + Vaibhav +
+ Vaibhav Singh Chandel + + 		+ + chrissieliang/ +
+ chrissieliang + + 		+ + Ronald +
+ Ronald Samuel George + + 		+ + A. +
+ A. Nayeem + + 		+ + Abhiram +
+ Abhiram Gullapalli + + 		+ + Anosh +
+ Anosh Bhakare + +
+ + Anvay/ +
+ Anvay + + 		+ + Ashvin +
+ Ashvin Kumbhani + + 		+ + Chris +
+ Chris Williams + + 		+ + Gary +
+ Gary Ewan Park + + 		+ + Hugo +
+ Hugo Gayosso + + 		+ + Iancu +
+ Iancu Andrei + +
+ + Jesse +
+ Jesse Loudon + + 		+ + Kalan +
+ Kalan Chan + + 		+ + Maharshi +
+ Maharshi Sinha + + 		+ + Michael +
+ Michael George + + 		+ + Mohan_J/ +
+ Mohan_J + + 		+ + Nischay/ +
+ Nischay + +
+ + Pavan +
+ Pavan Kalyan Chiluka + + 		+ + Prabesh +
+ Prabesh Magar + + 		+ + Rapeepan +
+ Rapeepan Moonthai + + 		+ + Roman/ +
+ Roman + + 		+ + Shaheer/ +
+ Shaheer + + 		+ + Shreyes +
+ Shreyes Srivastava + +
+ + Georgios +
+ Georgios Karagiannidis + + 		+ + Zhaoyang/ +
+ Zhaoyang + + 		+ + benjamins/ +
+ benjamins + + 		+ + jackson/ +
+ jackson + + 		+ + Max +
+ Max Brydak + + 		+ + Mohamed +
+ Mohamed Salah + +
+ + neeljani95/ +
+ neeljani95 + + 		+ + nweke +
+ nweke chinonso + + 		+ + y8l/ +
+ y8l + + 		+ + yanceyy/ +
+ yanceyy + +
\ No newline at end of file diff --git a/README.md b/README.md index 3053e1f..115bd65 100644 --- a/README.md +++ b/README.md @@ -4,6 +4,8 @@ 90DaysOfDevOps Logo

+ [![Website](https://img.shields.io/website?url=https%3A%2F%2Fwww.90daysofdevops.com)](https://www.90daysofdevops.com) [![GitHub Repo stars](https://img.shields.io/github/stars/MichaelCade/90DaysOfDevOps)](https://github.com/MichaelCade/90DaysOfDevOps) [![GitHub Repo stars](https://img.shields.io/github/forks/MichaelCade/90DaysOfDevOps)](https://github.com/MichaelCade/90DaysOfDevOps) [![GitHub Repo issues](https://img.shields.io/github/issues/MichaelCade/90DaysOfDevOps)](https://github.com/MichaelCade/90DaysOfDevOps) + This repository is used to document my journey on getting a better foundational knowledge of "DevOps". I will be starting this journey on the 1st January 2022 but the idea is that we take 90 days which just so happens to be January 1st to March 31st. The reason for documenting these days is so that others can take something from it and also hopefully enhance the resources. @@ -12,21 +14,25 @@ This will **not cover all things** "DevOps" but it will cover the areas that I f [![ko-fi](https://ko-fi.com/img/githubbutton_sm.svg)](https://ko-fi.com/N4N33YRCS) -[![](https://dcbadge.vercel.app/api/server/vqwPrNQsyK)](https://discord.gg/vqwPrNQsyK) +[![Discord Invite Link](https://dcbadge.vercel.app/api/server/vqwPrNQsyK)](https://discord.gg/vqwPrNQsyK) + +![GitHub Repo Stars](https://img.shields.io/github/stars/michaelcade/90daysofdevops?style=social?) The two images below will take you to the 2022 and 2023 edition of the learning journey.

- 2022 + 2022 +

+ + +

+ + 2023

-

- - 2022 -

- +From this year we have built website for 90DaysOfDevops Challenge :rocket: :technologist: - [Link for website](https://www.90daysofdevops.com/#/2023) The quickest way to get in touch is going to be via Twitter, my handle is [@MichaelCade1](https://twitter.com/MichaelCade1) diff --git a/_sidebar.md b/_sidebar.md index a517cc6..52cf4df 100644 --- a/_sidebar.md +++ b/_sidebar.md @@ -1,6 +1,6 @@ - 90DaysOfDevOps - [2022 Version](2022.md) - - [2023 Verison](2023.md) + - [2023 Version](2023.md) - Info - [Resources](Resources.md) diff --git a/index.html b/index.html index 9701dbf..9e79507 100644 --- a/index.html +++ b/index.html @@ -3,9 +3,10 @@ - Document + 90DaysOfDevOps - + diff --git a/template_repository/day01.md b/template_repository/day01.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day02.md b/template_repository/day02.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day03.md b/template_repository/day03.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day04.md b/template_repository/day04.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day05.md b/template_repository/day05.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day06.md b/template_repository/day06.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day07.md b/template_repository/day07.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day08.md b/template_repository/day08.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day09.md b/template_repository/day09.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day10.md b/template_repository/day10.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day11.md b/template_repository/day11.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day12.md b/template_repository/day12.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day13.md b/template_repository/day13.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day14.md b/template_repository/day14.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day15.md b/template_repository/day15.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day16.md b/template_repository/day16.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day17.md b/template_repository/day17.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day18.md b/template_repository/day18.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day19.md b/template_repository/day19.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day20.md b/template_repository/day20.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day21.md b/template_repository/day21.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day22.md b/template_repository/day22.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day23.md b/template_repository/day23.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day24.md b/template_repository/day24.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day25.md b/template_repository/day25.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day26.md b/template_repository/day26.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day27.md b/template_repository/day27.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day28.md b/template_repository/day28.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day29.md b/template_repository/day29.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day30.md b/template_repository/day30.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day31.md b/template_repository/day31.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day32.md b/template_repository/day32.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day33.md b/template_repository/day33.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day34.md b/template_repository/day34.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day35.md b/template_repository/day35.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day36.md b/template_repository/day36.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day37.md b/template_repository/day37.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day38.md b/template_repository/day38.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day39.md b/template_repository/day39.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day40.md b/template_repository/day40.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day41.md b/template_repository/day41.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day42.md b/template_repository/day42.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day43.md b/template_repository/day43.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day44.md b/template_repository/day44.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day45.md b/template_repository/day45.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day46.md b/template_repository/day46.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day47.md b/template_repository/day47.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day48.md b/template_repository/day48.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day49.md b/template_repository/day49.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day50.md b/template_repository/day50.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day51.md b/template_repository/day51.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day52.md b/template_repository/day52.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day53.md b/template_repository/day53.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day54.md b/template_repository/day54.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day55.md b/template_repository/day55.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day56.md b/template_repository/day56.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day57.md b/template_repository/day57.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day58.md b/template_repository/day58.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day59.md b/template_repository/day59.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day60.md b/template_repository/day60.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day61.md b/template_repository/day61.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day62.md b/template_repository/day62.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day63.md b/template_repository/day63.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day64.md b/template_repository/day64.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day65.md b/template_repository/day65.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day66.md b/template_repository/day66.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day67.md b/template_repository/day67.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day68.md b/template_repository/day68.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day69.md b/template_repository/day69.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day70.md b/template_repository/day70.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day71.md b/template_repository/day71.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day72.md b/template_repository/day72.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day73.md b/template_repository/day73.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day74.md b/template_repository/day74.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day75.md b/template_repository/day75.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day76.md b/template_repository/day76.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day77.md b/template_repository/day77.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day78.md b/template_repository/day78.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day79.md b/template_repository/day79.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day80.md b/template_repository/day80.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day81.md b/template_repository/day81.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day82.md b/template_repository/day82.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day83.md b/template_repository/day83.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day84.md b/template_repository/day84.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day85.md b/template_repository/day85.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day86.md b/template_repository/day86.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day87.md b/template_repository/day87.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day88.md b/template_repository/day88.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day89.md b/template_repository/day89.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/day90.md b/template_repository/day90.md new file mode 100644 index 0000000..e69de29 diff --git a/template_repository/readme.md b/template_repository/readme.md new file mode 100644 index 0000000..2968176 --- /dev/null +++ b/template_repository/readme.md @@ -0,0 +1,132 @@ +# 90DaysOfDevOps +## Progress + +- [] ♾️ 1 > [](day01.md) + +### DevSecOps + +- [] ♾️ 2 > [](day02.md) +- [] ♾️ 3 > [](day03.md) +- [] ♾️ 4 > [](day04.md) +- [] ♾️ 5 > [](day05.md) +- [] ♾️ 6 > [](day06.md) + +### Secure Coding + +- [] ⌨️ 7 > [](day07.md) +- [] ⌨️ 8 > [](day08.md) +- [] ⌨️ 9 > [](day09.md) +- [] ⌨️ 10 > [](day10.md) +- [] ⌨️ 11 > [](day11.md) +- [] ⌨️ 12 > [](day12.md) +- [] ⌨️ 13 > [](day13.md) + +### Continuous Build, Integration, Testing + +- [] 🐧 14 > [](day14.md) +- [] 🐧 15 > [](day15.md) +- [] 🐧 16 > [](day16.md) +- [] 🐧 17 > [](day17.md) +- [] 🐧 18 > [](day18.md) +- [] 🐧 19 > [](day19.md) +- [] 🐧 20 > [](day20.md) + +### Continuous Delivery & Deployment + +- [] 🌐 21 > [](day21.md) +- [] 🌐 22 > [](day22.md) +- [] 🌐 23 > [](day23.md) +- [] 🌐 24 > [](day24.md) +- [] 🌐 25 > [](day25.md) +- [] 🌐 26 > [](day26.md) +- [] 🌐 27 > [](day27.md) + +### Runtime Defence & Monitoring + +- [] ☁️ 28 > [](day28.md) +- [] ☁️ 29 > [](day29.md) +- [] ☁️ 30 > [](day30.md) +- [] ☁️ 31 > [](day31.md) +- [] ☁️ 32 > [](day32.md) +- [] ☁️ 33 > [](day33.md) +- [] ☁️ 34 > [](day34.md) + +### Secrets Management + +- [] 📚 35 > [](day35.md) +- [] 📚 36 > [](day36.md) +- [] 📚 37 > [](day37.md) +- [] 📚 38 > [](day38.md) +- [] 📚 39 > [](day39.md) +- [] 📚 40 > [](day40.md) +- [] 📚 41 > [](day41.md) + +### Python + +- [] 🏗️ 42 > [](day42.md) +- [] 🏗️ 43 > [](day43.md) +- [] 🏗️ 44 > [](day44.md) +- [] 🏗️ 45 > [](day45.md) +- [] 🏗️ 46 > [](day46.md) +- [] 🏗️ 47 > [](day47.md) +- [] 🏗️ 48 > [](day48.md) + +### AWS + +- [] ☸ 49 > [](day49.md) +- [] ☸ 50 > [](day50.md) +- [] ☸ 51 > [](day51.md) +- [] ☸ 52 > [](day52.md) +- [] ☸ 53 > [](day53.md) +- [] ☸ 54 > [](day54.md) +- [] ☸ 55 > [](day55.md) + +### OpenShift + +- [] 🤖 56 > [](day56.md) +- [] 🤖 57 > [](day57.md) +- [] 🤖 58 > [](day58.md) +- [] 🤖 59 > [](day59.md) +- [] 🤖 60 > [](day60.md) +- [] 🤖 61 > [](day61.md) +- [] 🤖 62 > [](day62.md) + +### Databases + +- [] 📜 63 > [](day63.md) +- [] 📜 64 > [](day64.md) +- [] 📜 65 > [](day65.md) +- [] 📜 66 > [](day66.md) +- [] 📜 67 > [](day67.md) +- [] 📜 68 > [](day68.md) +- [] 📜 69 > [](day69.md) + +### Serverless + +- [] 🔄 70 > [](day70.md) +- [] 🔄 71 > [](day71.md) +- [] 🔄 72 > [](day72.md) +- [] 🔄 73 > [](day73.md) +- [] 🔄 74 > [](day74.md) +- [] 🔄 75 > [](day75.md) +- [] 🔄 76 > [](day76.md) + +### Service Mesh + +- [] 📈 77 > [](day77.md) +- [] 📈 78 > [](day78.md) +- [] 📈 79 > [](day79.md) +- [] 📈 80 > [](day80.md) +- [] 📈 81 > [](day81.md) +- [] 📈 82 > [](day82.md) +- [] 📈 83 > [](day83.md) + +### Engineering for Day 2 Ops + +- [] 🗃️ 84 > [](day84.md) +- [] 🗃️ 85 > [](day85.md) +- [] 🗃️ 86 > [](day86.md) +- [] 🗃️ 87 > [](day87.md) +- [] 🗃️ 88 > [](day88.md) +- [] 🗃️ 89 > [](day89.md) +- [] 🗃️ 90 > [](day90.md)