Amazon AWS : Almacenamiento comparacion S3 vs EBS vs EFS
Referencia https://www.youtube.com/watch?v=MsPZVa6hfJc
https://drive.google.com/drive/folders/1CKr9q_CLmBNH5IB8274whUVes4lEwDhz
https://m.facebook.com/groups/867177181437926/posts/948218950000415/?_se_imp=1lG7CMk6aNRMyrM9E
Curso Práctico de Storage en AWS Carlos Zambrano
https://platzi.com/clases/1424-storage-aws/15033-introduccion-al-storage-en-aws/
https://platzi.com/cursos/storage-aws/
https://m.facebook.com/groups/867177181437926/posts/948218950000415/?_se_imp=1lG7CMk6aNRMyrM9E
https://drive.google.com/drive/folders/1gFiqUrAZ8TV_7b_HQD3Uxz0-449oTrF_
S3 frente a EBS frente a HDFS frente a EFS | Casos de uso y consejos para entrevistas | Almacenamiento AWS | Objeto Vs Bloque Vs Archivo
Almacenamiento AWS: Comparación entre S3, EBS y EFS | ¿Cuándo usar?
¿Conoce la diferencia entre S3, EBS y EFS ?
Amazon EBS ( Elastic Block Store)
→ Documentacion oficial EBS (Amazon Elastic Block Store)
→ Es un Almacenamientio de nivel de Bloques.
Este servicio vamos verlo a diaria porque las instancias ya sea servicios de EC2 o instancias de otros servicios , necesitan un volumen de arranque donde se guarda el sistema operativo , ese volumen de arranque es un EBS ( Amazon Elastic Block Store )
Amazon Elastic Block Store (Amazon EBS) es un servicio de almacenamiento en bloque fácil de usar, escalable y de alto rendimiento diseñado para Amazon Elastic Compute Cloud (Amazon EC2).
Amazon S3
→ Es un Almacenamientio de nivel de objetos.
Se crea un bucket ( contenedor de objetos - algo asi como una carpeta gigante de tamaño cero , no tiene costo , donde se guardara los archivos , uno decide cuando guardar los archivos )
El servicio de S3 va a vivir en una region al crear un bucket (contenedor de objetos) nos preguntara en que region deseamos crearlo
El bucket (contenedor de objetos) tiene un nombre unico a nivel mundial , por defecto todos los archivos son privados para que tengan acceso los demas a los archivos debemos configurar el acceso a dicho archivo.
Recordemos su modelo de precios que está basado en el uso la cantidad de gigas que almacenemos, y otro punto a considerar en el precio va a ser la cantidad de peticiones que se haga de S3.
Casos de usos de S3:
Almacenamiento y distribucion de contenido
Cuando queremos almacenar información archivos u objetos cuando queremos compartir los objetos con alguien en el mundo a través de internet.
Copia de Seguridad y Archivado
Cuando queremos guardar respaldos en lugares sólo en cintas que si se me daña mi cinta o se daña mi disco duro al hacer respaldo voy a perder la información en S3 no va a pasar porque me guarda varias copias.
Además puedo hacer una replicación de la información que tengo en una region lo puedo replicar en una segunda region
Analisis Big data
S3 tiene la capacidad de almacenar miles o millones de archivos (ilimitado). en el caso de big data se recupera información de manera masiva.
Recordemos su modelo de precios que está basado en el uso la cantidad de gigas que almacenemos, y otro punto a considerar en el precio va a ser la cantidad de peticiones que se haga de S3.
Recuperacion de desastres
Alojamiento de paginas web estaticas
También va a ser usado para aplicaciones web que se consideran estáticas , (las paginas pueden tener todo todo los efectos de movimiento deseados ) , se llaman así porque no requiere un servidor que ejecute el código , simplemente son páginas de html archivos de ss y archivos de javascript , se almacenaran en el bucket de S3 y debemos habilitar la caracteristicas de Hosting para que S3 se convierta en un servidor web.
S3 Disparadores de Eventos
S3 se daa cuenta cuando subimos, eliminamos , actualizemos los archivos , en ese momento podemos programar que se ejecute un evento
Amazon EFS
Amazon EFS ( almacenamiento es Amazon ) me permite guardar archivo y me permite que varias instancias EC2 u otro tipo de instancias puedan compartir entre ellos archivos , y me cobran por lo que realmente estoy utilizando.
Nota : Con Amazon EFS, solo se paga por el almacenamiento utilizado por el sistema de archivos, sin cuota mínima ni coste de configuración.
AWS Storage Gateway
Para soluciones que requieren Migrar datos hacia la nube , en lugar de hacer respados en cintas fisicas en su compañia , puede rentar el servicio de AWS Storage gateway que va a simular o engañar a su software de respaldo que el es una cinta.
Servicio de almacenamiento en la nube hibrida que le ofrece acceso local a un almacenamiento en la nube practicamente ilimitado.
Vea tambien
Amazon AWS : Diferencia entre almacenamiento bloques, objetos y archivos
¿Qué es EBS o almacenamiento en bloque elástico?
Entonces, EBS es no volátil de alto rendimiento, lo que significa que no desaparece el almacenamiento para instancias informáticas en aws.
Esto es muy diferente al almacenamiento instantáneo. El almacenamiento instantáneo es el tipo. de almacenamiento que viene con su máquina virtual que se elimina al finalizar la instancia, de manera realista, si tiene algún dato que desea almacenar, obviamente debe estar en algo que no sea almacenamiento instantáneo y ebs es una muy buena opción, los volúmenes EBS están montados y el host los usa directamente como un disco duro virtual y los volúmenes EBS tienen un rendimiento relativamente alto y hay opciones de las que hablaremos más adelante, pero estos son discos virtuales, por lo que están ubicados en matrices de alto rendimiento para que puedan dar Tiene un rendimiento realmente bueno junto con alta disponibilidad y alta redundancia. Entonces, ¿ qué es el almacenamiento en bloques? Debido a que ebs es almacenamiento en bloques, el almacenamiento en bloques es un tipo de almacenamiento que coloca datos en bloques y luego almacena esos bloques y separa las piezas.
Ahora cada bloque tiene un identificador. y básicamente se te da la clave de manera efectiva como un mapa de cómo volver a armar todas las piezas y partes y es un rendimiento realmente alto porque los bloques se pueden colocar donde sea más eficiente y su almacenamiento muy flexible se puede usar con múltiples tipos de operación.
sistemas como Windows y Linux, pero el punto es que puede almacenar los datos en pequeños bloques y colocar la caja donde sea más eficiente y luego puede reconstituirla a pedido, es un rendimiento muy alto, por lo que es un alto rendimiento cuando lo desee. use este tipo de almacenamiento y, francamente, la razón principal por la que lo usa es porque desea un almacenamiento que no desaparezca una vez determinado, pero el almacenamiento instantáneo no le brindará el rendimiento que necesita para ejecutar aplicaciones de alto rendimiento
y nosotros Hablaremos de algunas de esas aplicaciones en un minuto, pero veamos las opciones de ebs para que pueda comprar provisiones de entrada y salida por segundo y lo que esto realmente le brinda es una unidad de alto rendimiento y baja latencia y cuando hablamos de entrada y salida perspectiva de las medidas, estamos hablando de cuántas lecturas y escrituras puedes hacer a la vez, lo cual estaba relacionado con la latencia, que es diferente al rendimiento, es decir, sabes cuántos megabits o gigabits puedes mover por segundo,
por lo que si estás lidiando con un alto aplicación de rendimiento que es sensible a la latencia, realmente usará un volumen iops aprovisionado. Ahora, el siguiente tipo de opción que podría usar son los volúmenes SSD de uso general. Ahora estos volúmenes tienen un gran rendimiento, pero obviamente tienen una latencia más alta que cualquier otra cosa.
Estamos comprando la provisión de entrada y salida por segundo, pero estas son opciones realmente buenas. Son excelentes para un host que usted conoce para iniciar el host. También son realmente excelentes en un entorno de prueba como un laboratorio donde necesita un almacenamiento de alto rendimiento superior al Puede hacerlo bien con un radar magnético, pero al mismo tiempo no necesita pagar por los muy costosos iops de provisión por segundo, por lo que aquí es donde normalmente se usan las unidades SSD de uso general.
Ahora también puede comprar volúmenes ebs de rendimiento optimizado y Para qué son realmente buenas estas cosas: son muy buenas en términos de rendimiento, lo que significa que están ahí en términos de cantidad de megabits por segundo, pero debido a que son unidades magnéticas, tienen una latencia mucho mayor, por lo que esto es bueno si tienes que almacenar grandes cantidades.
archivos muy rápidamente, pero no necesita almacenamiento de alta y baja latencia y luego su última opción es un disco duro frío que, hablando de manera realista, está diseñado para lecturas y escrituras de baja frecuencia y probablemente no lo haga. usarlo para cualquier otra cosa que no sea el almacenamiento de grandes cantidades de datos a los que no necesita acceder con tanta frecuencia, así que ahora conoce los tipos de volúmenes ebs y sabe por qué los usaría a continuación s3, entonces, ¿qué es s3? se conoce como almacenamiento simple de Amazon y es un
almacenamiento muy interesante que tiene una amplia gama de casos de uso en la plataforma AWS. Lo primero de lo que debemos hablar es de s3, que es almacenamiento de objetos y el almacenamiento de objetos divide los archivos en pedazos llamados objetos. Ahora cada objeto tiene un ID única y, según sus ID, son muy fáciles de volver a armar, pero dado que s3 es un almacenamiento de objetos, no puede albergar un sistema operativo, por lo que el sistema operativo para una instancia tendrá que colocarse en un almacenamiento instantáneo
o en un volumen ebs. de algún tipo, pero s3 es un gran lugar para almacenar sus datos y muchos casos de uso de los que hablaremos en un momento. Lo primero que necesita saber es que s3 es un almacenamiento de alta disponibilidad pero de muy alta durabilidad, ya que está disponible el 99,99 del tiempo, pero tiene disponibilidad de 11 9, lo que significa 99,9999 hasta nueve lugares más, así que lo que eso te muestra es que sabes que probablemente podrás acceder a tus datos cuando los necesites con disponibilidad de cuatro nueves
y definitivamente va a estará allí o casi definitivamente, incluso si está inactivo, seguirá allí más tarde, así que mencioné que s3 tiene muchos usos en la plataforma AWS, así que hablemos brevemente sobre algunos de esos casos de uso. Es un excelente lugar para realizar copias de seguridad de su organización.
datos y ya sean solo datos estándar los que va a mover allí o una de sus bases de datos donde crea una instantánea y la almacena en s3, es un gran lugar para albergar imágenes virtuales de sus máquinas virtuales, es un gran lugar para almacenar cualquier tipo de datos, también es excelente para alojamiento de sitios web estáticos para alojamiento dinámico, necesita algo que sea un poco diferente y que sea excelente para la distribución de contenido multimedia y software, y como puede almacenar tanto en él a un precio relativamente bueno,
es excelente para planificación de recuperación de la república de desastres, pero también se integra con el desplazamiento al rojo y algunas otras cosas para algunos análisis de big data y eso es lo que verá, como puede ver, s3 se usa en muchos casos de uso con Amazon y es un excelente lugar para alojar aplicaciones de Internet.
entonces s3 tiene muchos usos, pero la clave es recordar que es un lugar para almacenar cosas, pero no puedes almacenar un sistema operativo en ellas porque es almacenamiento de objetos, luego efs, entonces, ¿qué es efs? efs es un sistema de archivos de red de alto rendimiento y eso es la clave es un sistema de archivos de red, así que ahí es donde lo usarás cuando tengas 10 20 100 1 000 computadoras que necesiten acceder a los mismos datos en una red, por lo que la computación en red de alto rendimiento y los volúmenes efs son de alto rendimiento y
baja latencia porque tienen Iops altos y puede tener una capacidad muy alta y es elástico y luego ajustará el tamaño según la demanda, por lo que realmente no tiene que preocuparse por quedarse sin almacenamiento de red, lo cual es maravilloso ahora que está diseñado para ser utilizado nuevamente por muchas instancias informáticas al mismo tiempo, por lo que solo usará esto cuando necesite almacenar una gran cantidad de datos en la red en una base de alto rendimiento y baja latencia donde varios usuarios lo usarán
y es compatible con Posix y lo que realmente Lo que significa en el mundo actual es que todavía puede interoperar con algunos sistemas heredados, así que, en resumen, hablemos nuevamente de los tres tipos de almacenamiento: tenemos ebs, que es almacenamiento de alto rendimiento para sistemas informáticos, por lo que el almacenamiento de alto rendimiento para el host tenemos efs, que es alto.
almacenamiento de red de alto rendimiento, de nuevo, este es un almacenamiento de red de alto rendimiento cuando varios hosts necesitan acceder a los mismos datos y tenemos s3, que es almacenamiento de objetos que se utiliza para copias de seguridad, distribución de concursos, alojamiento de sitios web estáticos y muchas más aplicaciones en la plataforma AWS.
este video y suscríbase a nuestro canal para que podamos brindarle más videos gratuitos sobre computación en la nube. Recuerde descargar el examen de práctica gratuito de AWS para el examen profesional de arquitecto de soluciones certificado. Muchas gracias por verlo. Esperamos verlo el próximo miércoles donde Tendremos un nuevo video sobre computación en la nube.
Preguntas
Referencia https://www.youtube.com/watch?v=MsPZVa6hfJc
Un dispositivo de nube de almacenamiento en bloque compartido y de alto rendimiento que pudiera conectarse a más de una instancia EC2
En el examen me tomó por sorpresa una pregunta que pedía un dispositivo de nube de almacenamiento en bloque compartido y de alto rendimiento que pudiera conectarse a más de una instancia EC2. Vi el almacenamiento en bloque e inmediatamente pensé en EBS, pero luego pensé: "No, debe ser EFS porque EBS es como SAN y solo se conecta a una instancia, mientras que EFS es como NAS y puede conectarse a muchas al mismo tiempo. Tal vez EFS ¿También puedes hacer almacenamiento en bloque?" Pero luego llegué a casa y descubrí que existía EBS Multi-Attach. :/ Esas preguntas son difíciles.
Respuesta:
El almacenamiento en bloques y en archivos son muy diferentes
El almacenamiento en bloque tiene un rendimiento bastante bajo en comparación con las velocidades del centro de datos o las velocidades NVME.
Una unidad NVME por 300 dólares proporciona un millón de IOPS. Un volumen IO1 ebs puede generar 16k IOPS. Pero el almacenamiento en bloque es nuestra opción más rápida en la nube.
Ahora podemos tomar un servidor, montar almacenamiento en bloque y crear un recurso compartido NFS o SMB.
Esto permitiría que múltiples sistemas compartan el "almacenamiento en bloque".
Esto crearía un servidor de archivos.
EFS es solo un servidor de archivos administrado para cuando varios sistemas necesitan acceder a los mismos archivos al mismo tiempo.
Pregunta
Creo que su descripción del almacenamiento de objetos S3 está un poco equivocada. Mencionas que divide un archivo en muchos objetos, cada uno con su propia identificación. Esto describe el almacenamiento en bloque. Creo que lo que quiso decir es que almacena CADA archivo como un único objeto con su propia identificación.
Respuesta
El almacenamiento en bloque divide la fecha en bloques.
El almacenamiento de objetos divide los datos en objetos.
Dell EMC e IBM pueden brindarle más información sobre esto si lo desea.