Guias

Encontrar e eliminar ficheiros duplicados no TrueNAS

O seu pool TrueNAS enche e assumiu que a dedup ZFS tratava dos duplicados? Não toca nos seus ficheiros existentes. Eis como encontrar e eliminar mesmo ficheiros duplicados no TrueNAS, com segurança e sem tocar no seu pool.

O seu pool TrueNAS cresce, e suspeita que os mesmos ficheiros estão em vários datasets. Muitos assumem que a deduplicação ZFS já trata disso. Não trata, pelo menos não como espera, e contar com ela deixa-o ou com RAM desperdiçada ou com um NAS ainda cheio de cópias.

A dedup por bloco é uma função de armazenamento, não de limpeza

A deduplicação ZFS atua ao nível do bloco. Evita escrever o mesmo bloco duas vezes no pool, de forma invisível, para poupar espaço em disco. Tem um custo real: consome muita RAM (citada muitas vezes por volta de 1 a 5 GB de RAM por TB de dados), mantém uma tabela de deduplicação que cresce com os seus dados, e as próprias recomendações do TrueNAS avisam muitas vezes contra ativá-la, a não ser que saiba mesmo que o seu conjunto de dados vai beneficiar. Atua também em fluxo, apenas sobre os dados recém-escritos, por isso não faz nada quanto aos duplicados que já estão no seu pool. Nada disto responde, de forma legível, à pergunta que tem de facto: quais dos meus ficheiros são duplicados e quanto espaço recuperaria ao removê-los.

A dedup por ficheiro é o que procura mesmo

O que a maioria quer é deduplicação ao nível do ficheiro: detetar que a mesma foto, vídeo ou documento está em três pastas diferentes, e poder olhar para a lista e limpá-la. Isso nada tem a ver com a camada de blocos do ZFS. É uma análise em modo de leitura dos seus ficheiros seguida de uma limpeza deliberada, e não exige tocar no pool, no orçamento de RAM nem nas definições dos datasets.

Como o NAS Ranger trata disto, sem tocar no ZFS

O NAS Ranger liga-se às suas pastas TrueNAS por SMB e identifica duplicados por impressão de conteúdo: ficheiros idênticos são encontrados independentemente de nome, data ou pasta. Nunca altera o seu pool, datasets ou opções de ZFS. Vê cada grupo de duplicados e o espaço exato recuperável. Para o detalhe da comparação por conteúdo, veja como encontrar ficheiros duplicados.

Uma limpeza deliberada e reversível

Atua sobre muitos ficheiros de uma vez, e nada é destruído no local. Os duplicados confirmados são movidos para uma reciclagem na pasta, uma renomeação, para que reveja antes de purgar. Eis porque é sem riscos. E como a app corre no seu computador por SMB, não há nada para instalar no TrueNAS e uma atualização do sistema não lha pode tirar.

Experimente grátis: analise as suas pastas TrueNAS, veja cada duplicado e os gigabytes recuperáveis, antes de tocar num único ficheiro.

FAQ

Não basta a deduplicação ZFS no TrueNAS?
A dedup ZFS é ao nível do bloco: evita guardar blocos idênticos no pool. Consome muita RAM (cerca de 1 a 5 GB por TB), mantém uma tabela de dedup que cresce depressa, e o próprio TrueNAS desaconselha-a muitas vezes. Não lhe dá a lista dos seus ficheiros duplicados para rever. É trabalho ao nível do ficheiro, outra coisa.
Qual a diferença entre dedup por bloco e dedup por ficheiro?
A dedup por bloco acontece na camada de armazenamento, de forma invisível, para poupar espaço em disco. A dedup por ficheiro encontra ficheiros inteiros duplicados (a mesma foto ou vídeo em várias pastas) para que os possa ver e remover. O NAS Ranger faz a segunda, sem tocar no seu pool ZFS.
O NAS Ranger vai interferir com o meu pool ou os meus datasets?
Não. Liga-se por SMB às suas pastas e lê ficheiros como qualquer cliente. Nunca altera as definições de ZFS. Os duplicados confirmados são movidos para uma reciclagem, não apagados no local.
Preciso de ativar algo no TrueNAS?
Apenas uma pasta partilhada SMB, que a maioria das instalações já tem. Não se instala nada no TrueNAS, e uma atualização do sistema não pode estragar a ferramenta.