Reflash mini H310 do IT modu

Všetko o pevných diskoch, solid-state diskoch, optických mechanikách, USB diskoch...
Užívateľov profilový obrázok
YTdecoy
Nový používateľ
Nový používateľ
Príspevky: 192
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Záhorák

Reflash mini H310 do IT modu

Príspevok od užívateľa YTdecoy » St 25. Mar, 2020, 01:43

Snad som nic neporusil a nebude ovocie ... gramatiku teraz vecer asi nedam, ked tak rano (:

Ak uz niekto z vas pouzival mini kartu H310 v dell serveri RXXX, tak v mode RAID ma tato karta zalostny vykon a o "queue depth" radsej pomlcim. Kazdy disk sa da nastavit ako RAID0, ale stale sa nejedna o priamy pristup ako v pripade HBA.
Existuje moznost kartu flashnut do IT modu na normalny LSI FW s tym, ze:
  1. Stratite moznost LED diagnostiky (zostane iba aktivita)
  2. SAS porty su prehodene a zrkadlene, takze poradie v backplane je 0,1,2,3,4,5,6,7->7,6,5,4,3,2,1,0
  3. Karta nie je detekovana ako Dell HW a nie je mozne z nej ziskat teplotu, co ma za nasledok 50% vykonu fan-ov (riesenie bude uvedene nizsie)
Ak vas predchadzajuce body neodradili a akceptujete riziko brick-nutia postup je nasledovny:

Testovane na debiane 9/10, ostatne distra by na tom mali byt podobne ... Ak vam chyba nejaka utilita treba ju doinstalovat cez apt.

Stiahneme si sw MegaCli zo stranok broadcomu (lsi (avago)) a rozbalime pomocou unzipu a nasledne cez 7zip.

Kód: Vybrať všetko

$ wget https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/8-07-14_MegaCLI.zip
$ 7z x Linux/MegaCli-8.07.14-1.noarch.rpm
$ 7z x MegaCli-8.07.14-1.noarch.cpio
Nastavime prava na spustanie a utilitu pouzijeme aby sme ziskali SAS adresu. Adresu si niekde ulozte, bude sa spatne zapisovat. Toto plati hlavne ak mate viac kariet. V pripade jednej karty moze zostat adresa prazdna, osobne to vsak nedoporucujem.

Kód: Vybrať všetko

$ chmod 755 opt/MegaRAID/MegaCli/MegaCli64
$ opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -a0 | grep SAS\ Address
# Ziskana adresa
SAS Address : 5c81xxxxxxxxxxx
Balicek .rpm je mozne konvertovat do .deb a nasledne ho nainstalovat a pouzit utilitu rovnakym sposobom ako je uvedene vyssie.

Kód: Vybrať všetko

$ apt install alien
$ alien Linux/MegaCli-8.07.14-1.noarch.rpm --scripts
# Vystup
megacli_8.07.14-*_all.deb generated
$ dpkg -i megacli_8.07.14-2_all.deb
$ /opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -a0 | grep SAS\ Address
Teraz si stiahneme lsiutil a skompilujeme.

Kód: Vybrať všetko

$ wget https://github.com/exactassembly/meta-xa-stm/raw/master/recipes-support/lsiutil/files/lsiutil-1.72.tar.gz
$ tar xzf lsiutil-1.72.tar.gz
$ make -C lsiutil -f Makefile_Linux
$ git clone https://github.com/marcan/lsirec
$ make -C lsirec
Odstranime modul z kernelu. Nesmie byt pripojeny ziadny disk, inak tento postup zlyha.

Kód: Vybrať všetko

$ rmmod megaraid_sas
Nastavime hugepages.

Kód: Vybrať všetko

$ echo 16 > /proc/sys/vm/nr_hugepages
Kartu nastavime do reset modu.

Kód: Vybrať všetko

# Ziskame adresu
$ lspci -nnv | grep H310 -B1
01:00.0 RAID bus controller [0104]: LSI Logic / Symbios Logic MegaRAID SAS 2008 [Falcon] [1000:0073] (rev 03)
 Subsystem: Dell PERC H310 Mini Monolithics [1028:1f51]
# Nastavime reset mod
$ lsirec/lsirec 0000:01:00.0 unbind
$ lsirec/lsirec 0000:01:00.0 halt
Ziskame SBR. Pri klasickom postupe cez nativne flash aplikacie dochadza na zaciatku k prepisanu SBR prazdnym suborom, co ma za nasledok brick-nutie, nakolko server si v danom porte u karty overuje vendor ID.

Kód: Vybrať všetko

$ lsirec/lsirec 0000:01:00.0 readsbr H310MM.sbr
Prekonvertujeme SBR do citatelneho formatu

Kód: Vybrať všetko

$ python3 lsirec/sbrtool.py parse H310MM.sbr H310MM.cfg
Upravime .cfg subor aby vyzeral nasledovne.

Kód: Vybrať všetko

Unk00 = 0x0022f661
Unk04 = 0xb34f2000
Unk08 = 0x91d700f8
PCIVID = 0x1000
PCIPID = 0x0072
Unk10 = 0x0000
HwConfig = 0x0104
SubsysVID = 0x1028
SubsysPID = 0x1f51
Unk18 = 0x00000000
Unk1c = 0x00000000
Unk20 = 0x00000000
Unk24 = 0x00000000
Unk28 = 0x00000000
Unk2c = 0x00000000
Unk30 = 0x40000000
Unk34 = 0x0300c650
Unk38 = 0x00000000
Unk3c = 0x00000000
Interface = 0x00
Unk41 = 0x2c
Unk42 = 0x0000
Unk44 = 0x00000000
Unk48 = 0x0000
Unk4a = 0x00
A zasa spat prekonvertujeme .cfg na SBR.

Kód: Vybrať všetko

$ python3 lsirec/sbrtool.py build H310MM.cfg mod_H310MM.sbr
Zapiseme SBR naspat do karty.

Kód: Vybrať všetko

$ lsirec/lsirec 0000:01:00.0 writesbr mod_H310MM.sbr
# Vystup by mal vyzerat nejak takto
Device in MPT mode
Using I2C address 0x54
Using EEPROM type 1
Writing SBR...
SBR written from mod_H310MM.sbr
Stiahneme si FW pre LSI2008 zo stranky https://docs.broadcom.com/docs/12350530 a niekam rozbalime.

Skontrolujeme si ID karty (pre istotu).

Kód: Vybrať všetko

$ lspci -vns 0000:01:00.0 -A intel-conf1 | head -n2
Ak je vsetko v poriadku, zrusime reset mod a cez hostboot si karta natiahne FW (nejedna sa o flash).

Kód: Vybrať všetko

$ lsirec/lsirec 0000:01:00.0 hostboot /cesta_k_lsi_fw/2118it.bin
Nechame kernel znovu oskenovat kartu. Mal by sa nacitat mpt3sas ovladac a karta by mala byt vidiet ako normalny LSI radic.

Kód: Vybrať všetko

$ lsirec/lsirec 0000:01:00.0 rescan
V pripade, ze vsetko prebehlo v poriadku, mozeme flashnut kartu

Kód: Vybrať všetko

$ lsiutil/lsiutil -e
V menu vyberieme nas adapter. Ak by sa karta nezobrazila, skuste odobrat cez rmmod mpt3sas modul a znovu nacitat cez modprobe. Pripadne znovu unbind->halt->hostboot->rescan
Zvolime option 46 (upload flash) a potom option 5 (complete all section) pre vytvorenie zalohy aktualneho FW. Bude treba zadat cestu kam sa ma ulozit.
Vratime sa do menu a zvolime option 33 (erase non-volatile storage) nasledne option 3 (flash) a option 8 (Persistent manufacturing config pages)
A nakoniec flash samotneho FW, option 2 (download firmware - update flash) a zadame cestu k suboru /cesta_k_lsi_fw/2118it.bin
Adresu SAS zapiseme cez option 18 (Change SAS WWID) - vyzaduje restart servera !

Nasledne by ste mali mat kartu v IT mode a mozete zacat pouzivat napr ZFS s pod.
Karta pre bootovanie vyzaduje dodatocne flashnut cez lsirec mptsas2.rom. To vam umozni vybrat 2 disky pre boot a to boot device a alternative boot device.

Zregulovanie fan-ov cez ipmitool

Kód: Vybrať všetko

$ ipmitool raw 0x30 0xce 0x01 0x16 0x05 0x00 0x00 0x00
# Ak vyzera odpoved takto, tak je rychlost na 50% cca.
16 05 00 00 00 05 00 00 00 00
# Ak vyzera odpoved takto, regulacia ignoruje nasu neznamu kartu pcie H310
16 05 00 00 00 05 00 01 00 00

# Pre ignorovanie karty
$ ipmitool raw 0x30 0xce 0x00 0x16 0x05 0x00 0x00 0x00 0x05 0x00 0x01 0x00 0x00 
# Povodne nastavenie
$ ipmitool raw 0x30 0xce 0x00 0x16 0x05 0x00 0x00 0x00 0x05 0x00 0x00 0x00 0x00 
Naposledy upravil/-a YTdecoy v St 25. Mar, 2020, 21:53, upravené celkom 1 krát.
RS120PA2/DL380g6/DL360g6/RX100/R320+modded perc ... aka pazrave pieskovisko
A false sense of security is worse than no security at all ...

Užívateľov profilový obrázok
Snake
Administrátor
Administrátor
Príspevky: 14201
Dátum registrácie: Ne 23. Júl, 2006, 02:00
Bydlisko: Bratislava/Galanta
Kontaktovať užívateľa:

Re: Reflash mini H310 do IT modu

Príspevok od užívateľa Snake » St 25. Mar, 2020, 12:03

Zlaty dobry SmartArray/SmartRAID 😁





.

Užívateľov profilový obrázok
YTdecoy
Nový používateľ
Nový používateľ
Príspevky: 192
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Záhorák

Re: Reflash mini H310 do IT modu

Príspevok od užívateľa YTdecoy » St 25. Mar, 2020, 12:06

Tak ale H310 je stara potvora a je to v podstate low end (: ... mam tu este H710, ale nie je cas sa tomu venovat. To mas ako s p410i kde to nejde, ale ak by existovala moznost, tak preco nie.

Kurna Chris je nejak ticho, asi mu napisem, ci vobec zije :D
RS120PA2/DL380g6/DL360g6/RX100/R320+modded perc ... aka pazrave pieskovisko
A false sense of security is worse than no security at all ...

Užívateľov profilový obrázok
Chris
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 4842
Dátum registrácie: Pi 13. Jan, 2006, 02:00
Bydlisko: Bratislava
Kontaktovať užívateľa:

Re: Reflash mini H310 do IT modu

Príspevok od užívateľa Chris » St 25. Mar, 2020, 16:11

a vykonove porovnanie ? kde bude ?

Ale zijem, len sa cely tyzden seriem s najnovsou Netapp UVA 9.7 s VSC,VASA a SRA a integrovalo s vcsa. Kedze deployujem mensi Netapp AFF A220 :)
Master of PaloAlto NGFWs, Cisco ASAs

faugusztin
Moderátor
Moderátor
Príspevky: 15689
Dátum registrácie: Ut 26. Feb, 2008, 14:00
Bydlisko: Bratislava/Štúrovo

Re: Reflash mini H310 do IT modu

Príspevok od užívateľa faugusztin » St 25. Mar, 2020, 16:26

A aky vykon chces porovnavat? IT mod na LSI radicoch sa rovna "stupidny HBA bez RAIDu".

Užívateľov profilový obrázok
YTdecoy
Nový používateľ
Nový používateľ
Príspevky: 192
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Záhorák

Re: Reflash mini H310 do IT modu

Príspevok od užívateľa YTdecoy » St 25. Mar, 2020, 16:45

Tak mozno ide o obsadenost diskama a queue depth, inak vseobecne LSI2008 neni uplne zla volba ak je tam normalny FW :D Dost samozrejme pomoze FS, kde niektore veci maju uplne iny vykon. Ale to je na dlhsi pokec ...
RS120PA2/DL380g6/DL360g6/RX100/R320+modded perc ... aka pazrave pieskovisko
A false sense of security is worse than no security at all ...

Užívateľov profilový obrázok
Chris
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 4842
Dátum registrácie: Pi 13. Jan, 2006, 02:00
Bydlisko: Bratislava
Kontaktovať užívateľa:

Re: Reflash mini H310 do IT modu

Príspevok od užívateľa Chris » Ne 29. Mar, 2020, 10:02

Si myslim ze na teoriu tu mame inych teoretikov co maju cas vypisovat.

Proste dostanes uplne ine vykony s napr. ZFS s buildin radicom na doske, IR mode a spominany IT mode :-)
Preto daj sem benchmarky :-)
Master of PaloAlto NGFWs, Cisco ASAs

Užívateľov profilový obrázok
YTdecoy
Nový používateľ
Nový používateľ
Príspevky: 192
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Záhorák

Re: Reflash mini H310 do IT modu

Príspevok od užívateľa YTdecoy » Ne 29. Mar, 2020, 10:35

Nemam aktualne uz povodnu 310, iba reflash, ale zaciatkom tyzdna spravim par testov a poslem ti to a dam to aj sem. Teda ak to bola reakcia na mna 😅
RS120PA2/DL380g6/DL360g6/RX100/R320+modded perc ... aka pazrave pieskovisko
A false sense of security is worse than no security at all ...

Užívateľov profilový obrázok
YTdecoy
Nový používateľ
Nový používateľ
Príspevky: 192
Dátum registrácie: Št 11. Júl, 2019, 19:35
Bydlisko: Záhorák

Re: Reflash mini H310 do IT modu

Príspevok od užívateľa YTdecoy » Ut 21. Apr, 2020, 23:23

1 - cisto cez HW raid, testovacka 2x disk mirror ext4 (v3)
2 - nativne ext4 jeden disk cez reflash hba (v2)
Vsetko je v produkcii tak neni vela moznosti, ak bude volne zelezo urcite otestujem podrobnejsie aj zfs a jeho recordsize, kompresiu, atd..
Na prezeranie priložených súborov nemáte dostatočné oprávnenia.
RS120PA2/DL380g6/DL360g6/RX100/R320+modded perc ... aka pazrave pieskovisko
A false sense of security is worse than no security at all ...

Napísať odpoveď

Návrat na "Pevné disky, SSD, úložný priestor a mechaniky"