Utilizo ZFS en mi laboratorio doméstico y desearía que estos 5 mitos desaparecieran

Si alguna vez ha considerado utilizar ZFS para su servidor doméstico, probablemente se haya encontrado con algunos consejos bastante intimidantes. Aparentemente, necesita hardware de nivel empresarial, enormes cantidades de RAM y una placa base de servidor antes de siquiera pensar en crear su primer grupo. Al leer algunas discusiones, uno pensaría que ZFS fue diseñado exclusivamente para personas que tienen un rack de servidores en su sótano.

He estado usando ZFS en el laboratorio de mi casa y puedo entender por qué la gente es particularmente cautelosa con el almacenamiento. Después de todo, nadie quiere perder años de fotografías, documentos y copias de seguridad debido a un error de configuración. Sin embargo, algunos de los consejos sobre ZFS se han repetido con tanta frecuencia que las recomendaciones se han convertido gradualmente en supuestos requisitos. Hay razones legítimas para tener cuidado con ZFS, pero creo que estos cinco mitos han disuadido a suficientes personas de probar un sistema de archivos excelente.

ZFS requiere absolutamente RAM ECC

La memoria habitual de su escritorio es perfectamente capaz de ejecutar ZFS

Una de las primeras cosas que encontrará al investigar ZFS es la insistencia en que la memoria ECC es prácticamente obligatoria. Alguien pregunta si pueden convertir una vieja computadora de escritorio en un NAS y, en poco tiempo, la discusión se convierte en recomendaciones para placas base de servidores y costosas actualizaciones de memoria. La pregunta original sobre el almacenamiento de alguna manera se convirtió en una lista de compras para una computadora completamente nueva.

ECC significa Código de corrección de errores y, por una vez, el nombre explica bastante bien lo que hace. A veces, los bits almacenados en la memoria pueden cambiar inesperadamente debido a fallas de hardware u otros problemas. La memoria ECC puede detectar y corregir ciertos errores de memoria antes de que afecten los datos que se procesan.

Esto es particularmente útil para ZFS porque una de sus mayores ventajas es la integridad de los datos. ZFS calcula sumas de verificación al escribir datos, lo que le permite detectar daños cuando esos datos se vuelven a leer. Sin embargo, si los datos se dañan en la memoria antes de que ZFS calcule su suma de verificación, el sistema de archivos podría escribir esos datos corruptos junto con una suma de verificación perfectamente válida.

Esto suena preocupante, y ciertamente lo es. Sin embargo, hay algo importante que se pasa por alto en estas discusiones. Este problema no es exclusivo de ZFS. Si la RAM defectuosa corrompe un archivo antes de que ext4 u otro sistema de archivos lo escriba, también puedes terminar con datos corruptos allí. La memoria ECC reduce ese riesgo y ciertamente la preferiría para un servidor que almacene datos irremplazables. Sin embargo, tratarlo como un requisito obligatorio crea la impresión de que ZFS es inusualmente peligroso sin él.

Si está construyendo un homelab a partir de una computadora de escritorio antigua con RAM normal, no hay razón para abandonar sus planes ZFS simplemente porque la máquina no es compatible con ECC. Está aceptando algún riesgo adicional, como lo haría con cualquier sistema de archivos que se ejecute en una memoria que no sea ECC.

Personalmente, me preocuparía más que alguien ejecutara ZFS con memoria ECC pero sin una estrategia de respaldo adecuada que alguien que usara RAM normal y mantuviera respaldos confiables.

Necesitas 1 GB de RAM por cada TB de almacenamiento

Su capacidad de almacenamiento no determina cuánta memoria necesita ZFS

Terminal que muestra la lista free -h, arc_summary y zpool en un servidor ZFS.

Este es probablemente mi mito favorito de ZFS porque hace que expandir el almacenamiento parezca innecesariamente costoso. ¿Quiere agregar otro disco duro de 8 TB a su servidor doméstico? De acuerdo con esta regla, probablemente deberías pedir otros 8 GB de RAM mientras lo haces.

La famosa recomendación de 1 GB por TB se ha repetido tantas veces que a veces la gente la trata como un requisito de ZFS. En realidad, ZFS no tiene una relación fija entre la capacidad de almacenamiento y los requisitos de memoria; La cantidad de RAM que necesitas depende casi por completo de tu carga de trabajo.

Esta recomendación suele estar asociada con la deduplicación, una característica que permite a ZFS identificar bloques de datos idénticos y almacenarlos solo una vez. Suena particularmente atractivo cuando tienes varias copias de los mismos archivos, pero realizar un seguimiento de todos esos bloques puede requerir cantidades considerables de memoria. Los requisitos dependen de la cantidad de bloques únicos y de la configuración de deduplicación, en lugar de simplemente de la capacidad total de sus unidades, pero la deduplicación también ha mejorado y ya no es la misma que solía ser. Gran parte de los consejos que encontrará en línea provienen de documentación anterior escrita para versiones anteriores de ZFS.

Desde OpenZFS 2.3, Fast Dedup agrega una cuota que limita el tamaño que puede crecer la tabla de deduplicación, junto con un registro que agrupa las actualizaciones para reducir las escrituras aleatorias. Hace que la deduplicación sea más predecible, pero no elimina el costo de la memoria, porque la tabla aún necesita caber en ARC o ser compatible con vdev de deduplicación rápida. Afortunadamente, la mayoría de los homelabs tienen pocas razones para permitir la deduplicación en primer lugar.

Sin deduplicación, ZFS puede funcionar en sistemas con memoria relativamente modesta. Para un pequeño servidor doméstico dedicado, generalmente apuntaría a 4 GB a 8 GB, aunque las instalaciones más simples pueden funcionar con menos, me gustaría poder decir lo mismo sobre TrueNAS. Tiene sus propias ideas sobre cuánta RAM debe tener un servidor doméstico y requiere al menos 8 GB para el funcionamiento básico, y es posible que necesite más dependiendo de su carga de trabajo. Parte de la confusión también proviene de la caché de reemplazo adaptativa o ARC. ZFS utiliza la RAM disponible para almacenar en caché los datos a los que se accede con frecuencia, lo que puede hacer que las lecturas posteriores sean considerablemente más rápidas. Si verifica el uso de la memoria en un servidor ZFS, es posible que descubra que ARC ha ocupado una parte sorprendentemente grande.

En general, eso es algo bueno, a diferencia de Chrome que consume tu RAM. ZFS está utilizando memoria que de otro modo estaría disponible, y ARC puede reducirse cuando las aplicaciones necesitan más RAM. La efectividad de esa recuperación de memoria depende de su sistema operativo y de su configuración, pero un ARC grande no es evidencia automática de que su servidor se esté quedando sin memoria. Por supuesto, si su servidor Proxmox ejecuta máquinas virtuales, bases de datos y varios contenedores, necesitará suficiente memoria para esas aplicaciones. Sin embargo, agregar otro disco duro no crea de repente un requerimiento de RAM correspondiente.

La compresión hace que ZFS sea más lento

A veces, pedirle a su CPU que haga más trabajo en realidad hace que el almacenamiento sea más rápido

Terminal que muestra la configuración de compresión ZFS lz4 y las relaciones de compresión para múltiples conjuntos de datos.

La compresión parece algo que debería conllevar una penalización en el rendimiento. Después de todo, la CPU tiene que comprimir los datos antes de escribirlos y descomprimirlos al leerlos. Seguramente, saltarse estos pasos adicionales haría que todo fuera más rápido. Sorprendentemente, muchas veces no es así como funciona. Considere un servidor doméstico con algunos discos duros mecánicos. Su CPU puede procesar datos considerablemente más rápido de lo que esas unidades pueden escribirlos. Si ZFS logra comprimir 100 MB de datos hasta 60 MB, sus discos tendrán 40 MB menos de datos para escribir. Al leer esos datos, ZFS también tiene menos información para recuperar del almacenamiento.

La CPU realiza algo de trabajo adicional, pero el tiempo ahorrado en la E/S del disco puede compensarlo con creces. Esto es particularmente cierto con lz4, un algoritmo de compresión liviano diseñado para la velocidad. En los procesadores modernos, su sobrecarga es generalmente lo suficientemente pequeña como para que habilitar la compresión pueda mejorar el rendimiento para muchas cargas de trabajo.

Hay otro detalle interesante. Suponga que está almacenando películas, imágenes JPEG o archivos ZIP que ya han sido comprimidos. ZFS puede reconocer cuándo comprimir un bloque no produce ahorros suficientes y, en su lugar, almacenar ese bloque sin comprimir. Todavía consume algo de tiempo de CPU intentando comprimir, pero evita agrandar los datos almacenados. Es por eso que generalmente considero que la compresión es una configuración sensata para el almacenamiento en el laboratorio doméstico, a menos que esté trabajando con una máquina con CPU especialmente limitada o con una carga de trabajo inusual.

Sólo necesitas fregar una piscina cuando algo sale mal

El objetivo de la limpieza es encontrar problemas antes de que se agraven.

Terminal que muestra el estado de zpool con una limpieza ZFS en curso en el grupo de tanques.

Una cosa que he aprendido al dirigir un laboratorio doméstico es que a menudo los problemas de almacenamiento llegan en el peor momento posible. Puede parecer que un disco duro funciona perfectamente, sólo para descubrir que un archivo al que no ha accedido durante meses se ha vuelto ilegible. Es precisamente por eso que ZFS tiene limpieza, y creo que tratarlo como una herramienta de solución de problemas de emergencia pierde gran parte de su propósito. Normalmente, ZFS verifica la suma de comprobación de un bloque cuando se lee ese bloque. Si la suma de verificación no coincide, sabe que algo salió mal. Sin embargo, considere un archivo de fotografías que copió en su servidor hace dos años y que apenas ha tocado desde entonces. Si una parte de esos datos se daña en el disco, es posible que no tenga idea hasta la próxima vez que intente abrirlo. Desafortunadamente, ese también podría ser el momento en que descubras que otro disco ha fallado o que tu copia de seguridad no contiene el archivo que necesitas.

Una limpieza soluciona este problema leyendo sistemáticamente los datos asignados en el grupo y verificando sus sumas de verificación, incluidos los bloques a los que las cargas de trabajo ordinarias podrían no acceder durante meses o años. Si ZFS descubre datos corruptos y su grupo tiene suficiente redundancia, como un espejo en buen estado o una configuración RAID-Z, puede usar otra copia o información de paridad para reconstruir los datos correctos y reparar la copia dañada.

Por supuesto, si no hay una copia válida disponible, ZFS puede identificar e informar la corrupción, pero no puede recrear mágicamente la información que falta. Las sumas de verificación son útiles, pero no sustituyen la redundancia o las copias de seguridad. Me gusta pensar en la limpieza como un mantenimiento de rutina, muy parecido a verificar si su sistema de respaldo realmente funciona antes de necesitar restaurar algo. Para muchos laboratorios domésticos, realizar una limpieza aproximadamente una vez al mes es un punto de partida razonable. La frecuencia adecuada depende del tamaño de su piscina, su carga de trabajo y cuánto tiempo lleva completar una limpieza.

Hardware RAID funciona igual de bien bajo ZFS

Permitir que ZFS administre los discos individuales hace que la recuperación sea mucho más fácil

Un primer plano de una placa base de servidor Dell que muestra el disipador térmico del controlador RAID PERC, la batería de caché y los circuitos circundantes.

Si alguna vez ha considerado reutilizar un antiguo servidor empresarial para su laboratorio doméstico, es posible que se haya topado con máquinas con controladores RAID de hardware dedicados. Eran equipos costosos cuando eran nuevos, y la idea de utilizar uno con ZFS parece perfectamente razonable.

Después de todo, el controlador RAID ya maneja la redundancia, entonces, ¿por qué debería importarle a ZFS lo que sucede debajo?

En realidad, bastantes. Una de las mayores ventajas de ZFS es que gestiona juntos el sistema de archivos y la redundancia de almacenamiento. Cuando ZFS encuentra datos corruptos en un espejo o grupo RAID-Z configurado correctamente, puede identificar el bloque afectado y utilizar otra copia válida o información de paridad para recuperarlo.

Un controlador RAID de hardware puede interferir con este proceso porque generalmente presenta una matriz completa al sistema operativo como un único disco lógico. Es posible que ZFS no tenga idea de cuántas unidades físicas existen debajo de ese volumen. Imagine que un disco de su matriz RAID comienza a devolver datos corruptos. Es posible que el controlador maneje el problema internamente, pero ZFS tiene una visibilidad limitada de lo que está sucediendo. Si los datos corruptos finalmente llegan a ZFS y no superan la verificación de la suma de comprobación, es posible que no se pueda reparar el bloque porque la redundancia está controlada por el controlador RAID en lugar de por el propio ZFS.

También está la cuestión de las fallas de hardware, que creo que es particularmente relevante cuando se trata de equipos empresariales usados. Suponga que construye su configuración de almacenamiento en torno a un controlador RAID de hardware que ya tiene diez años. Si ese controlador muere, es posible que necesite un reemplazo compatible para acceder a la matriz. Encontrar uno podría convertirse en un pequeño proyecto desagradable, especialmente si se trata de metadatos RAID propietarios.

Para ZFS, prefiero darle al sistema de archivos acceso directo a las unidades individuales. Un controlador SATA normal puede lograr esto, mientras que los servidores con placas posteriores SAS suelen utilizar un HBA que funciona en modo IT. Esto pasa los discos al sistema operativo, lo que permite a ZFS gestionar la redundancia y supervisar los errores de forma más eficaz.

También hace que el grupo sea menos dependiente de un controlador RAID en particular. Generalmente puede mover los discos a otro sistema compatible e importar el grupo, siempre que el nuevo sistema pueda acceder a las unidades correctamente. Esto no significa que ZFS corromperá inmediatamente sus datos si crea un grupo sobre una matriz RAID de hardware. Puede funcionar, pero se pierden algunas de las capacidades de visibilidad y recuperación que hicieron atractivo a ZFS en primer lugar.

ZFS es más accesible de lo que sugiere su reputación

ZFS tiene fama de ser complicado y parte de esa reputación es merecida. Es necesario pensar detenidamente sobre los diseños de los grupos, la redundancia, las copias de seguridad y las consecuencias de una falla del disco. Algunas decisiones pueden ser difíciles de revertir una vez que se ha llenado un conjunto de datos. Sin embargo, creo que la comunidad a veces hace que ZFS parezca mucho más exigente de lo necesario. Un servidor doméstico modesto con RAM normal y algunos discos duros puede ser una máquina ZFS perfectamente capaz.

En todo caso, preferiría que los recién llegados dedicaran más tiempo a comprender cómo funcionan las instantáneas, las limpiezas y las copias de seguridad que preocuparse por si su hardware satisface un requisito de memoria arbitrario que encontraron en una discusión en un foro. Esas son las cosas que realmente importarán cuando algo finalmente salga mal.

We use cookies in order to give you the best possible experience on our website. By continuing to use this site, you agree to our use of cookies.
Accept