Test Postgresql-DB mit Drehplatte

From	Patrick Rudin <taxi_bs@gmx.ch>
Newsgroups	de.comp.os.unix.linux.hardware
Subject	Test Postgresql-DB mit Drehplatte
Date	2026-04-24 13:24 +0200
Message-ID	<n51274FcqfeU1@mid.individual.net> (permalink)

Show all headers | View raw

Mancher mag sich vielleicht noch erinnern, dass ich hier nach dem Sinn 
einer HDD für eine grosse Postgresql-DB gefragt habe. Dank einer edlen 
Spende eines Regulars (eine ältere 2 TB-HDD) habe ich das inzwischen mal 
getestet.

Konkret: Asrock X300-Kiste mit Ryzen 5 4600G-Prozessor und 2x32 GB 
DDR4-RAM. Also nicht die absolute Leistungskanone, aber durchaus in der 
Lage, eine HDD zu beschäftigen.

In der Postgres.conf habe ich nach langem googeln shared_buffers auf 16 
GB erhöht, work_mem auf 8 GB und maintenance_work_mem auf 12 GB. Ob das 
die Krönung an Einstellungen ist, weiss ich nicht.

Aus Zeitgründen habe ich mich auf eine Datenbank mit 2,7 Milliarden rows 
und 32 Feldern beschränkt. 5 Indexfelder. Tabelle benötigte 818 GB, dazu 
5x17 GB für die Indizes.

Booten und Installieren erinnerte natürlich an alten Zeiten, aber 
immerhin brach beim Befüllen der DB nicht plötzlich (wie bei der SSD) 
die Schreibleistung ein. Wie auch immer, Kernpunkt war für mich die 
Leseleistung.

Und hier ist eine DB in dieser Grösse durchaus benutzbar: Die übliche 
Abfrage via Indexfeld dauerte 2-3 Minuten. "Warm" auch deutlich kürzer, 
weil wohl der Index teilweise schon im Hauptspeicher ist.

Problem ist halt, dass ich gelegentlich eben doch herumstreune und 
deshalb Bestände aggregieren möchte, für die er die ganze DB durchackern 
muss. Das dauert reproduzierbar jeweils 6,5 Stunden.

Die ursprünglich verwendete 4 TB-SSD dient inzwischen woanders, daher 
habe ich für den Test eine alte Crucial MX100 mit 960 GB an den 
SATA-Port gehängt. Wegen des Befüllungsgrades sind es nur 2 Milliarden 
rows, für ein vollständiges Durchnudeln der DB braucht der Rechner 38 
Minuten. Übliche Abfrage per Index dafür 10-20 Sekunden.

Fazit: Pro Monat kämen bei der vollen DB rund 70 Millionen rows dazu, 
vollständig läge ich inzwischen bei rund 7 Milliarden rows. Das wäre 
dann selbst mit gebifurkateten(tm) Consumer-SSDs eher schlecht 
handelbar, und bei HDD würden die 6,5 Stunden schon optimistisch linear 
hochgerechnet etwa 16 Stunden ergeben. Für eine simple fishing-Query, 
die dann eine zweite detailliertere Abfrage nach sich zieht, die 
ebensolang bräuchte?

Kurzum: Datenbestand wird massiv reduziert, vorerst sollte die 960 
GB-SSD sogar ausreichen. Und ich einem Jahr oder zwei schaue ich mal, 
wie sich die SSD-Preise entwickelt haben...


Grüsse

Patrick

Back to de.comp.os.unix.linux.hardware | Previous | Next — Next in thread | Find similar

Thread

Test Postgresql-DB mit Drehplatte Patrick Rudin <taxi_bs@gmx.ch> - 2026-04-24 13:24 +0200
  Re: Test Postgresql-DB mit Drehplatte Marco Moock <mm@dorfdsl.de> - 2026-04-28 06:41 +0200
    Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-04-28 08:47 +0200
      Re: Test Postgresql-DB mit Drehplatte Marco Moock <mm@dorfdsl.de> - 2026-04-28 16:12 +0200
        Re: Test Postgresql-DB mit Drehplatte Nomen Nescio <nobody@dizum.com> - 2026-04-28 14:37 +0000
        Re: Test Postgresql-DB mit Drehplatte Patrick Rudin <taxi_bs@gmx.ch> - 2026-04-28 18:12 +0200
          Re: Test Postgresql-DB mit Drehplatte Alexander Schreiber <als@usenet.thangorodrim.de> - 2026-04-28 22:37 +0200
        Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-04-28 19:25 +0200
          Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-04-29 09:10 +0200
            Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-05-01 23:38 +0200
            Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-05-01 23:55 +0200
              Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-02 00:20 +0200
                Re: Test Postgresql-DB mit Drehplatte Marco Moock <mm@dorfdsl.de> - 2026-05-02 15:20 +0200
                Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-02 15:49 +0200
                Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-05-02 16:41 +0200
                Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-02 17:04 +0200
                Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-05-02 17:41 +0200
                Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-03 09:27 +0200
                Re: Test Postgresql-DB mit Drehplatte Alexander Schreiber <als@usenet.thangorodrim.de> - 2026-05-02 16:46 +0200
                Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-02 17:13 +0200
                Re: Test Postgresql-DB mit Drehplatte Alexander Schreiber <als@usenet.thangorodrim.de> - 2026-05-02 19:05 +0200
              Re: Test Postgresql-DB mit Drehplatte Ralph Aichinger <ra@h5.or.at> - 2026-05-02 10:25 +0000
                Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-05-02 15:05 +0200
                Re: Test Postgresql-DB mit Drehplatte Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2026-05-02 14:18 +0000
                Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-02 17:11 +0200
                Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-05-02 17:23 +0200
                Re: Test Postgresql-DB mit Drehplatte Stefan+Usenet@Froehlich.Priv.at (Stefan Froehlich) - 2026-05-02 17:28 +0000
              Re: Test Postgresql-DB mit Drehplatte Marco Moock <mm@dorfdsl.de> - 2026-05-02 15:21 +0200
                Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-02 15:50 +0200
                Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-05-02 16:58 +0200
                Re: Test Postgresql-DB mit Drehplatte Alexander Schreiber <als@usenet.thangorodrim.de> - 2026-05-02 17:07 +0200
        Re: Test Postgresql-DB mit Drehplatte Alexander Schreiber <als@usenet.thangorodrim.de> - 2026-04-28 22:33 +0200
        Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-04-29 09:07 +0200
          Re: Test Postgresql-DB mit Drehplatte Marco Moock <mm@dorfdsl.de> - 2026-04-29 17:30 +0200
            Re: Test Postgresql-DB mit Drehplatte "Peter J. Holzer" <hjp-usenet4@hjp.at> - 2026-05-01 23:52 +0200
              Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-02 00:31 +0200
            Re: Test Postgresql-DB mit Drehplatte Dietz Proepper <dietz.usenet@rotfl.franken.de> - 2026-05-02 00:32 +0200
    Re: Test Postgresql-DB mit Drehplatte Alexander Schreiber <als@usenet.thangorodrim.de> - 2026-04-28 10:11 +0200
      Re: Test Postgresql-DB mit Drehplatte Marcel Mueller <news.5.maazl@spamgourmet.org> - 2026-04-28 21:01 +0200
        Re: Test Postgresql-DB mit Drehplatte Alexander Schreiber <als@usenet.thangorodrim.de> - 2026-04-28 22:22 +0200
          Re: Test Postgresql-DB mit Drehplatte Marc Haber <mh+usenetspam2616@zugschl.us> - 2026-04-29 07:47 +0200
            Re: Test Postgresql-DB mit Drehplatte Alexander Schreiber <als@usenet.thangorodrim.de> - 2026-04-29 08:47 +0200
          Re: Test Postgresql-DB mit Drehplatte Gerald E¡scher <Spamer@fahr-zur-Hoelle.org> - 2026-04-29 22:43 +0000
          Re: Test Postgresql-DB mit Drehplatte Patrick Rudin <taxi_bs@gmx.ch> - 2026-04-30 11:56 +0200
            Re: Test Postgresql-DB mit Drehplatte Arthur Erhardt <usenet2026@erhardt-net.de> - 2026-04-30 11:10 +0000
            Re: Test Postgresql-DB mit Drehplatte Marcel Mueller <news.5.maazl@spamgourmet.org> - 2026-04-30 18:02 +0200
    Re: Test Postgresql-DB mit Drehplatte Patrick Rudin <taxi_bs@gmx.ch> - 2026-04-28 13:34 +0200

csiph-web