Problem s SSD diskom?

Všetko o pevných diskoch, solid-state diskoch, optických mechanikách, USB diskoch...
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Problem s SSD diskom?

Príspevok od používateľa molnart »

Kupil som si tuna na fore SSD disk. SMART udaje su v poriadku, najazd OK.

Disk pouzivam pre Proxmox na virtualizaciu, je na nom ulozeny samotny Proxmox a potom virtualne disky jednotlvych VM.

Proxmox som mal povodne na mensom disku, naklonoval som ho na tento vacsi a dost som laboroval aby som rozsiril LVM pool, ale podarilo sa, neviem ci uplne spravne.

Nuz stava sa mi taka vec, ze ked kopirujem data v ramci LVM pool tak to trva strane dlho. Potom sa mi stalo uz asi 3x ze VM disk mi prestal fungovat. Jednoducho VM nenabootoval a ked som sa pozeral ako vyzera ten disk tak som tam videl iba unallocated sectors.

Poslednu dobu mi nejde obnovit ani zaloha VMiek na to SSD, ide to pomaly, zasekne sa to apod. Samotny Proxmox ale funguje bez problemov.

Skusal som rozne tooly na test prenosovej rychlosti. Napr. dd ked spustam z proxmoxu tak mi dava cca. 200 MB/s. Ak ho pustim z virtualnej masiny tak to dava iba okolo 75 MB/s.

Moje podozrenie je, ze mam problem v lvm-thin poolom kde su ulozene disky VMiek. Na proxmoxe prevadzkujem aj par containerov, tie ziadny problem nemaju.

asi spravim na kompletku reinstall, ale predtym by som rad otestoval komplet disk aby som si bol isty ze nie su tam nejake casti kde moze byt problem. ako na to najlepsie?
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
Hexaris
Sponzor fóra gold
Sponzor fóra gold
Príspevky: 781
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Nekde na zahori

Re: Problem s SSD diskom?

Príspevok od používateľa Hexaris »

U pc budem az vecer a ohladom druhej temy tiez napisem. Nepises ci lxc alebo kvm. U kvm je dolezite co si vlastne nastavil ako storage driver. Ak nie je nejaky dovod na nieco specialne tak jedine virtio driver. LVM thin sam o sebe len rozlisuje co je skutocne zapisane tak mozes nastavit vacsiu velkost nez je realna.
Your value does not decrease because of someone's inability to see your worth.
BOOK: MB Air M1 2020 AMP: Topping DX3Pro+ HEADPHONES: HiFiMAN HE400SE
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: Problem s SSD diskom?

Príspevok od používateľa molnart »

diky, vsetky tie testy co si dal do vedlajsej temy som skusal, a nic z toho nejavilo ziadny problem. bonnie++ som vedel spustit len z virtualky lebo mam viac ram ako miesta na disku :D

problem mam s KVM, LXC funguju v pohode. rychlost v samotnej virtualke je relativne v pohode (ak za to mozem povedat 75 MB/s), problem je ze virtualka mi po case klakne a jeho (virtio SCSI) disk sa javi ako prazdny. nasledne ked chcem obnovit backup z ineho disku tak to trva vecnost, vyskoci I/O delay na 50-70% a vytuhnu mi zvysne virtualky. naklonovat vm sa nepodarilo nikdy, dostane sa to na nejake 3-5% a potom to vytuhne

ked sa pozriem na iotop tak na vrchu je proces kworker/u128:1+dm-thin

lvm-thin pool mam vyuzity na nejakych 30% realnych dat, aj ked kvoli snapshotom celkova kapacita diskov je vacsia.

mam k tomu zalozenu temu aj na proxmox fore https://forum.proxmox.com/threads/huge- ... ost-336904
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
HellAngel
Sponzor fóra gold
Sponzor fóra gold
Príspevky: 12170
Dátum registrácie: Po 29. Dec, 2008, 00:15
Bydlisko: Turčianske Teplice

Re: Problem s SSD diskom?

Príspevok od používateľa HellAngel »

a nie je to moc velka zataz na to SSD? Prezenie sa to so zatazou a jednoducho prestane fungovat. Pri tolkych virtualkach, by som riesil raidove pole a zataz rozdelil.
NB: Asus ROG Zephyrus G14
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: Problem s SSD diskom?

Príspevok od používateľa molnart »

nie je tam ziadny velky traffic a toto sa deje aj ked vsetky virtualky su off.

teraz mi tam napr. bezi len OPNsense, aj ten som presunul na HDD, vsetko ostatne som vypol. chcel som pokusne naklonovat jednu virtualku, za 5 min to spravilo 3% a dopadlo to takto: https://imgur.com/a/kEHkP0Z a tom som proces po chvili vypol, ten delay tam ostal bohvie preco

EDIT:
1) vymazal som lvm pool a vytvoril ho znova. nepomohlo.
2) prehodil som disk z ODD adaptera na sata port z radica. tiez nepomohlo
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: Problem s SSD diskom?

Príspevok od používateľa molnart »

prave som objavil toto:

vyzera to byt nieco s kernelom. co s tym?

Kód: Vybrať všetko

[ 1813.398698] INFO: task systemd-udevd:6145 blocked for more than 362 seconds.
[ 1813.398720]       Tainted: P           O      5.4.60-1-pve #1
[ 1813.398732] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[ 1813.398749] systemd-udevd   D    0  6145    394 0x00000324
[ 1813.398751] Call Trace:
[ 1813.398758]  __schedule+0x2e6/0x6f0
[ 1813.398761]  ? fsnotify_grab_connector+0x4e/0x90
[ 1813.398762]  schedule+0x33/0xa0
[ 1813.398764]  schedule_preempt_disabled+0xe/0x10
[ 1813.398765]  __mutex_lock.isra.10+0x2c9/0x4c0
[ 1813.398768]  ? exact_lock+0x11/0x20
[ 1813.398769]  ? disk_map_sector_rcu+0x70/0x70
[ 1813.398770]  __mutex_lock_slowpath+0x13/0x20
[ 1813.398771]  mutex_lock+0x2c/0x30
[ 1813.398772]  __blkdev_get+0x7a/0x560
[ 1813.398774]  blkdev_get+0xef/0x150
[ 1813.398775]  ? blkdev_get_by_dev+0x50/0x50
[ 1813.398776]  blkdev_open+0x87/0xa0
[ 1813.398778]  do_dentry_open+0x143/0x3a0
[ 1813.398779]  vfs_open+0x2d/0x30
[ 1813.398781]  path_openat+0x2e9/0x16f0
[ 1813.398784]  ? unlock_page_memcg+0x12/0x20
[ 1813.398786]  ? page_add_file_rmap+0x131/0x190
[ 1813.398787]  ? wp_page_copy+0x37b/0x750
[ 1813.398789]  do_filp_open+0x93/0x100
[ 1813.398791]  ? __alloc_fd+0x46/0x150
[ 1813.398792]  do_sys_open+0x177/0x280
[ 1813.398793]  __x64_sys_openat+0x20/0x30
[ 1813.398795]  do_syscall_64+0x57/0x190
[ 1813.398797]  entry_SYSCALL_64_after_hwframe+0x44/0xa9
[ 1813.398798] RIP: 0033:0x7fbc5735e1ae
[ 1813.398802] Code: Bad RIP value.
[ 1813.398803] RSP: 002b:00007ffedf8ee220 EFLAGS: 00000246 ORIG_RAX: 0000000000000101
[ 1813.398804] RAX: ffffffffffffffda RBX: 0000000000000000 RCX: 00007fbc5735e1ae
[ 1813.398804] RDX: 0000000000080000 RSI: 0000557adbeb6950 RDI: 00000000ffffff9c
[ 1813.398805] RBP: 00007fbc56b7dc60 R08: 0000557adb452270 R09: 000000000000000f
[ 1813.398805] R10: 0000000000000000 R11: 0000000000000246 R12: 00000000ffffffff
[ 1813.398806] R13: 0000000000000000 R14: 0000000000000000 R15: 0000557adbebe450
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: Problem s SSD diskom?

Príspevok od používateľa molnart »

je to problem s diskom.

spravil som novu instalaciu proxmox, problem pretrvava. obnova backup VM ide tak 2 MB/s
zobral som ine stare 120 GB ssd, nainstaloval som proxmox, obnovil 3 VM (ktore sa mi tam zmestili), zapis podla iotop 150-200 MB/s

zaujimave je vsetky tie testy cez DD, bonnie++ apod idu bez problemov.

idem nahodit disk do windows masiny a spravim kompletny read/write test cez HDsentinel a uvidim co to ukaze.
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: Problem s SSD diskom?

Príspevok od používateľa molnart »

takze prehodil som si disk do windows pc, pustil HD Sentinel Write & Read test. dopadlo to nasledovne:

1) Prvy test bol relativne v pohode, rychlost zapisovania normal okolo 250 Mb/s (disk je na SATA 2 konektore), az po uroven nejakych 85%, potom zacalo spomalovanie na 90 Mb/s. nemam screenshot, lebo hned sa pustil read test, a data z write testu sa neulozili
2) Nasledne som si povedal ze disku dam zabrat, tak som pustil refresh data test ktory bezal 12 hodin s celkom dramatickym poklesom vykonu (test som pustal odzadu, tak nebol sekvencny)
https://1drv.ms/u/s!Al0zdRmBAsspgvoMKpI ... Q?e=DAO9cW
https://1drv.ms/u/s!Al0zdRmBAsspgvoNcTr ... g?e=MXGa2e
3) nasledne som skusil opat write test, tentokrat s ovela zalostnejsimi vysledkami, ani som to nenechal dobehnut
test run1: https://1drv.ms/u/s!Al0zdRmBAsspgvoORrN ... Q?e=n9dszt
https://1drv.ms/u/s!Al0zdRmBAsspgvoPcj- ... A?e=aCpX6E

test run2: https://1drv.ms/u/s!Al0zdRmBAsspgvoQazi ... Q?e=ps8WWy

zaujimave je ze tie pomale sektory nie su na rovnakom mieste
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
Hexaris
Sponzor fóra gold
Sponzor fóra gold
Príspevky: 781
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Nekde na zahori

Re: Problem s SSD diskom?

Príspevok od používateľa Hexaris »

Ten podobny error sa zobrazil aj mne ked som mal neaktualizovany zfs modul v novom kerneli. Proste spracovanie trva prilis dlho a blokuje to zbytocne cpu. Aj ked pxm team nedoporucuje consumer ssd, tak toto plati hlavne uz zfs, tam to dokazalo zabit low end ssd za par tyzdnov. Niekedy aj menej. (:
Dalsia vec ci mas subs a nasledne aktivne ent. repo pre update pve packages + kernel. Inak mas iba tie ktore sa tykaju debianu.

Dolezite je, ze si problem nasiel 👍🏻
Your value does not decrease because of someone's inability to see your worth.
BOOK: MB Air M1 2020 AMP: Topping DX3Pro+ HEADPHONES: HiFiMAN HE400SE
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: Problem s SSD diskom?

Príspevok od používateľa molnart »

no po tvojom prispevku mozem zabudnut ze uplatnim nejaku reklamaciu tuna u predavajuceho :D

kazdopadne disk je uplne dead, bezny write test ktory vcera isiel 250 MB/s, na konci disku 90 MB/s vyzera teraz takto https://1drv.ms/u/s!Al0zdRmBAsspgvoTN30 ... w?e=Cag3Eb a neda sa ani naformatovat. smart sa ale tvari ako keby sa nechumelilo, aj extended test prejde uplne bez problemov.

prave som tam hodil nove 860 EVO, ako ho zabije vyreklamujem a doplatim za nejake enterprise grade. ale zasa tam nemam ani zfs ani ziadne databazy (okrem influxdb). v podstate vsetko co mi tam bezi bezalo aj predtym na 1000 rocnom OCZ SSD ktory ma asi 150TBW, akurat ako baremetal a nie VM. jedine co k tomu pribudlo je OPNSense, ale ten bezne spustaju aj s USB diskov a SD kariet takze vela nezapisuje. a potom este samozrejme samotny overhead pve.

subscription nemam, na homelab sa mi zda zbytocne, radsej to vrazim do diskov :D :D :D

edit: mna asi yebne. prave som doinstaloval pve na ten novy samsung, idem obnovit prve VM zo zalohy a ono to ide rychlostou 12 MB/s a IO delay opat v nebi :facepalm:
nerozumiem preco na tom starom SSD to ide v pohode
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
stiv
Sponzor fóra gold
Sponzor fóra gold
Príspevky: 9949
Dátum registrácie: Pi 16. Nov, 2012, 21:30
Bydlisko: BT

Re: Problem s SSD diskom?

Príspevok od používateľa stiv »

Mohol by si skusit nejaky poriadejsi disk a nie to smetie co je na win a hry.

Aky ocz to bol?
.
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: Problem s SSD diskom?

Príspevok od používateľa molnart »

Vertex3. akoze prekopirovat jeden 8GB subor na lvm volume potrebuje "poriadnejsi disk"?? na tom systeme mi nic nebezi, je cerstvo nainstalovany a nabootovany. 12 MB/s nie je rychlost kopirovania ale celkova aktivita zapisu vsetkych diskov podla iotop.
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
Hexaris
Sponzor fóra gold
Sponzor fóra gold
Príspevky: 781
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Nekde na zahori

Re: Problem s SSD diskom?

Príspevok od používateľa Hexaris »

Backup na mirror Intel DC S3700
---
INFO: backup is sparse: 11.99 GiB (18%) total zero data
INFO: transferred 64.00 GiB in 489 seconds (134.0 MiB/s)
INFO: archive file size: 48.01GB
INFO: Finished Backup of VM xxx (00:08:09)
INFO: Backup finished at 2020-09-14 20:01:37
INFO: Backup job finished successfully
TASK OK
---

Zapis bol okolo 50-60MB/s a to z dovodu kompresie, ktora vyzaduje procak a este ma znizenu prioritu ... a to bezi na tom kopec lxc + kvm

edit: vsetko na zfs ...
Your value does not decrease because of someone's inability to see your worth.
BOOK: MB Air M1 2020 AMP: Topping DX3Pro+ HEADPHONES: HiFiMAN HE400SE
Používateľov profilový obrázok
molnart
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 6646
Dátum registrácie: Ut 19. Jún, 2012, 23:03
Bydlisko: Bratislava/Samorin

Re: Problem s SSD diskom?

Príspevok od používateľa molnart »

no neulozil som si logy, ale u mna to trvalo 1:35
Spoiler: ukázať
PC: CPU: Intel Core i5 12600K with Silentium Fortis 5 ARGB MB: MSI Tomahawk Z690 DDR4 RAM: 2x 16GB G.Skill Ripjaws V 4400-19 DDR4 GPU: GigaByte Eagle GeForce RTX 3060 Ti OC HDD: Samsung 970 1GB GB PSU: Corsair RMx (2018) 650W Case: Fractal Meshify 2 Compact Monitor: Philips 272B7QPJEB OS: Win 11 64-bit
Notebook: HP EliteBook 840 G6 Core i5 8265U, 16 GB RAM, 512 GB SSD
Server: HP Microserver Gen8 Xeon E3-1265Lv2, 16GB ECC DDR3 OS: PVE + OMV + OPNsense
Phone: Samsung Galaxy A52s
Tablet: iPad Pro 11 (2018)
Používateľov profilový obrázok
Hexaris
Sponzor fóra gold
Sponzor fóra gold
Príspevky: 781
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Nekde na zahori

Re: Problem s SSD diskom?

Príspevok od používateľa Hexaris »

Ak mas pravidelny backup alebo aj rucne dole v tasks, poklikas na backup a uvidis log daneho tasku. Niekolko dni dozadu ;)
Your value does not decrease because of someone's inability to see your worth.
BOOK: MB Air M1 2020 AMP: Topping DX3Pro+ HEADPHONES: HiFiMAN HE400SE

Návrat na "Pevné disky, SSD, M.2, úložný priestor a mechaniky"