Re: NAS-Betriebssystem Vorschläge

From	Ingo Paschke <ipaschke@lpclabs.de>
Newsgroups	ger.ct
Subject	Re: NAS-Betriebssystem Vorschläge
Date	2016-03-29 21:39 +0200
Message-ID	<m82rsc-j4k.ln1@news.lpclabs.de> (permalink)
References	(1 earlier) <hg4isc-lpf.ln1@news.lpclabs.de> <1mkv1w4.16ljyeojuhbc7N@marc.my-fqdn.de> <r4nqsc-21k.ln1@news.lpclabs.de> <nde83v$anj$1@news.bawue.net> <nded5t$gln$1@news.marzen.de>

Show all headers | View raw

On 2016-03-29, Holger Marzen <holger@marzen.de> wrote:
> * On Tue, 29 Mar 2016 19:08:58 +0200, Gerrit Heitsch wrote:
>
>> On 03/29/2016 06:29 PM, Ingo Paschke wrote:
>>>
>>> 8 GB ist die Minimalkonfiguration. 16 GB empfohlen. Wenn man iSCSI machen
>>> möchte, sollten es gerne 32 GB sein. Will man Dedup benutzen, braucht man
>>> pro TB Plattenplatz noch 5 GB Speicher zusätzlich...
>>
>> Deduplication ist nicht ungefährlich. Speziell wenn man zur Erkennung 
>> identischer Blöcke nur deren Checksum benutzt anstatt einen echten 
>> binary-compare zu machen.
>
> Ja, denn Prüfsummen und Hashes können nicht kollisionsfrei sein.

Das ist die naive Vorstellung, was hier darüber steht ist aber durchaus
wahr:

https://blogs.oracle.com/bonwick/entry/zfs_dedup

"When using a secure hash like SHA256, the probability of a hash collision is
about 2\^-256 = 10\^-77 or, in more familiar notation,
0.00000000000000000000000000000000000000000000000000000000000000000000000000001.
For reference, this is 50 orders of magnitude less likely than an undetected,
uncorrected ECC memory error on the most reliable hardware you can buy."

Wenn man wirklich ganz, ganz paranoid ist, kann man ja auch 

zfs dedup=verify

aktivieren, dann werden die Blöcke immer vollständig verglichen. Der
Overhead ist natürlich dann nicht zu vernachlässigen.

Ich bin ehrlich gesagt auch kein großer Fan der ZFS Deduplizierung, weil

a) der RAM-Bedarf wirklich enorm ist
b) die Performance gegen Null geht, wenn nicht alle Block-Checksummen
   in den Speicher passen
c) Festplattenplatz heutzutage einfach zu billig ist

Dass der eine Block, der dann ganz oft im Filesystem genutzt wird, defekt
ist, wird durch Redundanz und Checksummen in ZFS verhindert bzw. auch in
den Bereich des extrem Unwahrscheinlichen verschoben. Für die ängstlichen
gibt es auch da einen Parameter, wie viele Kopien deduplizierter Blöcke
man aufheben möchte.

Die Begrenzung der ARC-Size ist unter Solaris ungefähr so sinnig, wie die
maximale Größe des Buffer-Caches bei Linux oder des Festplatten-Caches unter
Windows festzulegen. Die dynamische Allozierung funktioniert dort gut genug.

Probleme gibt es tatsächlich bei FreeBSD und Linux, weil dort der ARC-Cache
nicht so gut wie der Buffer-Cache in die Speicherverwaltung des Kernels
integriert ist. Bei FreeNAS ist das eher kein Problem, weil es ein System ist,
das im Normalfall ja *nur* Fileserver ist. Wenn man viel mit Plugins arbeitet,
sollte man das aber tatsächlich berücksichtigen.

Viele Grüße,
Ingo.

Thread

NAS-Betriebssystem Vorschläge "Dr. Joachim Neudert" <neudert@5sl.org> - 2016-03-26 11:05 +0100
  Re: NAS-Betriebssystem Vorschläge "Dr. Joachim Neudert" <neudert@5sl.org> - 2016-03-26 11:07 +0100
  Re: NAS-Betriebssystem Vorschläge Ingo Paschke <ipaschke@lpclabs.de> - 2016-03-26 11:22 +0100
    Re: NAS-Betriebssystem Vorschläge spamfalle2@arcor.de (Marc Stibane) - 2016-03-29 07:04 +0200
      Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-29 11:35 +0200
      Re: NAS-Betriebssystem Vorschläge Ingo Paschke <ipaschke@lpclabs.de> - 2016-03-29 18:29 +0200
        Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-29 19:08 +0200
          Re: NAS-Betriebssystem Vorschläge Holger Marzen <holger@marzen.de> - 2016-03-29 17:14 +0000
            Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-29 19:18 +0200
            Re: NAS-Betriebssystem Vorschläge Ingo Paschke <ipaschke@lpclabs.de> - 2016-03-29 21:39 +0200
              Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-29 22:05 +0200
                Re: NAS-Betriebssystem Vorschläge Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2016-03-29 20:42 +0000
                Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-29 23:02 +0200
                Re: NAS-Betriebssystem Vorschläge Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2016-03-29 23:02 +0000
                Re: NAS-Betriebssystem Vorschläge Holger Marzen <holger@marzen.de> - 2016-03-30 16:41 +0000
                Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-30 18:58 +0200
                Re: NAS-Betriebssystem Vorschläge Ingo Paschke <ipaschke@lpclabs.de> - 2016-03-30 21:33 +0200
                Re: NAS-Betriebssystem Vorschläge Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2016-03-30 17:41 +0000
                Re: NAS-Betriebssystem Vorschläge Holger Marzen <holger@marzen.de> - 2016-03-30 18:02 +0000
                Re: NAS-Betriebssystem Vorschläge Ingo Paschke <ipaschke@lpclabs.de> - 2016-03-30 21:28 +0200
                Re: NAS-Betriebssystem Vorschläge Ingo Paschke <ipaschke@lpclabs.de> - 2016-03-29 23:51 +0200
                Re: NAS-Betriebssystem Vorschläge Michael Bode <m.g.bode@web.de> - 2016-03-30 07:30 +0200
          Re: NAS-Betriebssystem Vorschläge Th.me@thomas-heier.de (Thomas Heier) - 2016-03-29 20:06 +0200
            Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-29 20:13 +0200
  Re: NAS-Betriebssystem Vorschläge Willi Marquart <usenet@neppi.net> - 2016-03-26 11:58 +0100
    Re: NAS-Betriebssystem Vorschläge Dr. Joachim Neudert <neudert@5sl.org> - 2016-03-26 11:21 +0000
      Re: NAS-Betriebssystem Vorschläge Michael Bode <m.g.bode@web.de> - 2016-03-26 12:26 +0100
  Re: NAS-Betriebssystem Vorschläge Gerd Belo <G.Belo@BAFAS.DE> - 2016-03-26 14:47 +0100
    Re: NAS-Betriebssystem Vorschläge Jörg Tewes  <jogi1964@gmmx.net> - 2016-03-26 14:42 +0000
  Re: NAS-Betriebssystem Vorschläge Fidel-Sebastian Hunrichse-Lara <Fidel-Sebastian_Hunrichse-Lara@b.maus.de> - 2016-03-26 16:58 +0100
  Re: NAS-Betriebssystem Vorschläge spamfalle2@arcor.de (Marc Stibane) - 2016-03-29 06:55 +0200
    Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-29 11:34 +0200
      Re: NAS-Betriebssystem Vorschläge Ingo Paschke <ipaschke@lpclabs.de> - 2016-03-29 18:26 +0200
        Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-03-29 19:01 +0200
  Re: NAS-Betriebssystem Vorschläge Jörg Barres <news@traicon.net> - 2016-04-06 09:27 +0200
    Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-04-06 18:44 +0200
      Re: NAS-Betriebssystem Vorschläge Michael Bode <m.g.bode@web.de> - 2016-04-06 20:09 +0200
        Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-04-06 20:29 +0200
          Re: NAS-Betriebssystem Vorschläge Günter Frenz <usenet-01@guefz.de> - 2016-04-06 20:35 +0200
          Re: NAS-Betriebssystem Vorschläge Michael Bode <m.g.bode@web.de> - 2016-04-06 20:40 +0200
            Re: NAS-Betriebssystem Vorschläge Gerrit Heitsch <gerrit@laosinh.s.bawue.de> - 2016-04-06 20:51 +0200
      Re: NAS-Betriebssystem Vorschläge "Ulrich F. Heidenreich" <from!not-for-mail@tremornet.de> - 2016-04-07 11:01 +0200
        Re: NAS-Betriebssystem Vorschläge "Dr. Joachim Neudert" <neudert@5sl.org> - 2016-04-07 12:11 +0200
          Re: NAS-Betriebssystem Vorschläge "Ulrich F. Heidenreich" <from!not-for-mail@tremornet.de> - 2016-04-07 12:29 +0200
          Re: NAS-Betriebssystem Vorschläge Jörg Tewes <jogi1964@gmx.net> - 2016-04-07 23:23 +0200

csiph-web