<
  • Главная
Статьи

Základné prvky platformy Flash Virtualization Platform (FVP), časť 2. Používanie vlastnej platformy alebo systému súborov

Jednou z tém, o ktorých som hovoril so Satyamom a Murali Vilayannurom, bol systém súborov, ktorý sa používa na ukladanie údajov na flash zariadenia. Mali by ste mať na pamäti nasledujúce fakty: Satyam vytvoril VMFS3, Murali bol hlavným vývojárom VMFS5. Z tohto hľadiska sa zdá byť zrejmé použitie VMFS. Veľkým prekvapením pre mňa však bola skutočnosť, že pre flash zariadenia, ktoré nepoužívame VMFS, bolo ešte väčšie prekvapenie, že súborový systém vôbec nepoužívame.

Prečo nie VMFS?
Systém súborov poskytuje funkcie, ktoré nie sú potrebné a niekedy sú v rozpore s požiadavkami platformy, ktorá spracováva aktívne vstupno-výstupné výstupy na zariadeniach typu flash. Jedným z najväčších problémov pri používaní súborového systému podobného VMFS na flash zariadení je jeho optimalizácia pre úložné systémy SAN a ich modely na správu údajov; Satyam o tom napísal článok pre ACM pri práci v VMware. Bohužiaľ to z tohto robí systém súborov nevhodným nástrojom pre úlohy FVP.

Systémy s priamym adresovým súborom preťažujú flash zariadenia, čím znižujú ich životnosť, nespracovávajú optimálne ľubovolné vstupno-výstupné operácie, testujú ich (často veľmi krehké) algoritmy na zber odpadu a ich objekty (súbory a adresáre) sú pre úroveň virtuálneho stroja a kvalita riadenia služieb, čo je mimoriadne dôležité pre úlohy FVP. V ďalšej časti sa podrobne popíše problém so správou údajov na zariadeniach typu flash, ale teraz je to krátky záver: ak je pre vás zariadenie typu Flash drahé, nedávajte naň priamy systém adresovania súborov.

Systém súborov tiež poskytuje možnosti, ktoré výrazne presahujú potreby FVP. Napríklad zámky disku. VMFS má pokročilého distribuovaného správcu uzamykania, ktorý riadi prístup rôznych hostiteľov ESXi na disky. FVP spravuje lokálne disky hostiteľa a nevyžaduje zámky na iných hostiteľoch, v dôsledku toho sa distribuovaný správca zámkov stáva úplne zbytočným. To isté možno povedať o kompatibilite POSIX a distribuovaných transakciách. A tak ďalej.

Prevádzka blesku pri nízkej úrovni
Tu je príklad, ako sa zápis na flash zariadenia zásadne líši od záznamov na pevných diskoch. Flash nemôže prepísať existujúce údaje. Dáta v pamäti Flash je možné zapisovať iba na prázdnu stránku. Funkciou flash pamäte je, že nahrávanie je možné pomocou stránok a mazanie sa dá robiť iba v blokoch. Čo je to stránka a čo je blok? Flash ukladá údaje do buniek; bunky sa spoja do strán (4 KB); stránky sú zoskupené do blokov. Väčšina výrobcov kombinuje 128 strán do jedného bloku. Ak chcete stránku vymazať, musíte vymazať celý blok. Všetky potrebné údaje z iných stránok by sa mali ukladať niekde inde. Je všeobecne známe, že flash zariadenia majú obmedzený počet cyklov zápisu a vymazania.

V dôsledku toho môže mať náhodné I / O písanie väčší vplyv, ako ste si mysleli. Problém je v tom, že väčšina súborových systémov bola vyvinutá v 80. a 90. rokoch a odvtedy nepokročila. Systémy súborov nezohľadňujú zhoršenie výkonu, ktoré spôsobujú zariadeniam flash používajúcim operácie nízkej úrovne určené pre pevné disky; Väčšina výrobcov zariadení typu flash implementuje rôzne mechanizmy, ktoré zodpovedajú za postupné znižovanie výkonu. S pomocou niekoľkých schém zvážime tieto mechanizmy a zistíme, prečo fragmentácia má taký vplyv na flash zariadenia.

Noste riadenie
Z dôvodu jednoduchosti som sa rozhodol ukázať 9 stránok v jednom bloku namiesto 128 strán v jednom bloku.

Začnime procesom opotrebovania. V tomto príklade už aplikácia vytvorila údaje a zaznamenala ich na stránkach A, B a C v bloku 1 (krok 1). Prichádzajú nové údaje (krok 2), ktoré sa zapisujú na stránky D, E a F. Aplikácia aktualizuje predchádzajúce údaje (AC) a namiesto použitia predchádzajúcich stránok flash zariadenie naďalej používa nové stránky. Tieto nové údaje sú označené ako A-1, B-1 a C-1. Distribúcia záznamov čo najrovnomernejšie sa nazýva „správa opotrebenia“. Staré stránky sú teraz označené ako vypršané.

Zber odpadu a viacnásobný vstup
V tomto príklade je blok A plný, čo sa stane, ak sa priestor, ktorý má užívateľ k dispozícii na záznam, vyčerpal a dorazili nové údaje?

Flash skopíruje aktuálne údaje do prázdnych buniek. Aktuálne dáta v bloku sa načítajú a zapisujú do iného bloku. Dáta po splatnosti zostanú na jej stránkach a budú vymazané spolu so zvyškom stránok bloku. Tento proces sa nazýva „zber odpadu“.

Zber odpadu je v poriadku, ale viacnásobné zadanie údajov, ktoré sa vyskytne počas jeho činnosti, spôsobuje značné škody na zariadeniach typu flash. Aby bolo možné zaznamenať 3 stránky, musí zariadenie Flash prečítať 6 strán a zapísať ich na iné miesto, aby mohlo zapísať nové údaje. A nezabudnite na cyklus vymazania. Predstavte si scenár, v ktorom je disk plný, kam presunieme (dočasne) údaje pred zaznamenaním nových údajov? V mojom diagrame som pre túto možnosť pridal blok B. Aby ste to mohli urobiť v reálnej situácii (pri použití systému súborov), musíte vyhradiť prebytočný priestor vyhradený bleskom kontroléra.

Aby ste to mohli urobiť v reálnej situácii (pri použití systému súborov), musíte vyhradiť prebytočný priestor vyhradený bleskom kontroléra

Nadbytočný priestor
Kapacita blesku môže byť rezervovaná pre procesy riadené bleskovým ovládačom. Môže tak urobiť výrobca bleskového zariadenia aj užívateľ. Napríklad, keď si kúpite 160 GB flash PCIe urýchľovač, v skutočnosti získate 192 GB kartu. Užívateľ má k dispozícii 160 GB a 32 GB je navyše rezervovaných pre operácie na úrovni ovládača na úrovni blesku, ako je zber odpadu, korekcia chýb a firmvér radiča. Keď si kúpite nepriemyselnú jednotku SSD, zvyčajne získate trochu rezervovaného prebytočného priestoru. Pri formátovaní tohto zariadenia Flash v akomkoľvek systéme súborov by ste si mali byť vedomí týchto funkcií a prípadne si vyhradiť ďalší priestor mimo dostupnej kapacity. V súčasnosti neexistujú žiadne štandardizované odporúčania pre škálovanie, takže si musíte robiť rozhodnutia na základe svojich vlastných skúseností. V najhoršom prípade sa ocitnete s roztriešteným diskom a disk SSD bude musieť neustále prenášať údaje, aby zapisoval nové. Predstavte si, že deti hrajú značku, iba vzorec pohybu je trochu komplikovanejší.

Prehodnotenie správy údajov na zariadeniach typu flash
Inžinieri PernixData vyvinuli nový formát pre správu údajov na flash zariadeniach pre FVP. Podrobnosti budú uvedené v nasledujúcich článkoch a teraz v niekoľkých základných bodoch.

Optimalizované pre blesk
Formát je určený na ukladanie dočasných vstupno-výstupných údajov s minimálnym možným súborom metaúdajov a na prácu s bleskom s maximálnym dostupným výkonom. Konvertuje náhodné záznamy na nasledujúce, aby využil vyšší výkon blesku v režime sekvenčného zápisu. Tým sa zníži počet prepísaných redundantných údajov a vymaže sa cyklus. Algoritmus neobsahuje zdedené obmedzenia súborových systémov, ako sú veľké veľkosti blokov, adresáre, súbory, dlhé transakcie, správcovia zámkov atď.

Dynamicky zdieľaná kapacita medzi virtuálnymi strojmi
vďaka hlboká integrácia S VMkernel môže FVP sledovať dátové bloky a určiť, či ich virtuálny stroj číta alebo zapisuje. Nezávisle sledovanie takýchto operácií môže platforma škálovať vyrovnávacie pamäte na čítanie a zápis v priestore vyhradenom pre virtuálny stroj. FVP môže ukladať do vyrovnávacej pamäte alebo vymazať ľubovoľnú množinu údajov virtuálneho počítača z vyrovnávacej pamäte. Na rozdiel od toho bude politika evakuácie údajov v tradičnom systéme súborov pre zariadenie Flash suboptimálna a bude mať za následok viacnásobné prepisovanie, pretože súborový systém môže zapisovať údaje iba na koniec súboru alebo odstrániť bloky aj od konca.

Znamená to tiež, že pre každý virtuálny stroj nemusíte priradiť konfiguráciu statického priestoru vyrovnávacej pamäte, ako by to bolo, keby ste použili systém súborov s priamym adresovaním. Bolo to pre nás skvelé rozhodnutie; užívateľská skúsenosť s produktom by mala byť čo najintuitívnejšia.

Citujem nášho produktového manažéra Bala: „Podľa môjho názoru je elegancia produktu taká, že vykonáva základné úlohy a nevyžaduje od používateľa žiadne nové ani neobvyklé akcie.“

Z hľadiska každodennej práce je to vynikajúce: nemusíte vopred upravovať vyrovnávaciu pamäť pre každý virtuálny stroj. To znamená, že nemusíte vedieť a predpovedať budúce použitie blesku - FVP urobí všetko pre vás. Absencia tvrdého pridelenia prostriedkov znamená nedostatok nevyužitia blesku nezaťaženými virtuálnymi počítačmi a výskyt redundantných cyklov čistenia blokov pre aktívne virtuálne stroje s nedostatočnou veľkosťou vyrovnávacej pamäte flash. To minimalizuje problém viacerých záznamov a zaisťuje maximálny výkon a spoľahlivosť flash zariadení.

Pôvodný článok ,

Od roku 2016 sa spoločnosť FVP stiahla z predaja.

Prečo nie VMFS?
Čo je to stránka a čo je blok?
Predstavte si scenár, v ktorom je disk plný, kam presunieme (dočasne) údaje pred zaznamenaním nových údajov?


Новости
    Без плагина
    На сайте WordPress имеется файл, именуемый как .htaccess. Многие пользователи не предают ему особого внимания и не используют все его возможности. На самом деле файл .htaccess – это дополнительные конфигурации

    Плагин подписки wordpress
    Очень трудно найти один плагин подписки wordpress , который объединил бы в себе все виды подписок, которые так необходимы сайту. Именно поэтому я решил сделать подборку лучших плагинов, которые смогут

    Слайд-шоу с помощью плагина для WordPress UnPointZero Slider
    Плагин для cms WordPress UnPointZero Slider – новостной слайдер. Он отражает в форме слайд-шоу изображения со ссылками на ваши статьи и краткие выдержки оттуда. Его можно установить и на новостной сайт,

    Плагины для Wordpress
    С помощью этого плагина вы легко сможете интегрировать Google диск на ваш WordPress сайт или блог . Gravity Forms — лучший плагин для создания форм на WordPress, от самых простых (например, форма

    Подписки плагином JetPack: размещение и редакция формы подписки
    Вступление Здравствуйте! В этой статье я покажу, как использовать плагин JetPack для создания пользовательской формы подписки и как эту формы подписки плагином JetPack добавлять в статьи сайта, а при

    Чистка сайта WordPress плагином WP-optimize
    От автора Со временем использования система WordPress накапливает не нужные файлы, комментарии и неиспользуемые данные в базе данных. Эти файлы и данные создаются в процессе работы и нужны для этого,

    Возможности Jetpack плагина
    Вступление Возможности Jetpack плагина это более 30 функциональных модуля плагина, делающего его универсальным плагином WordPress, заменяющего аналогичные сторонние плагины. Jetpack один заменяет десятки

    Резервное копирование WordPress сайта без плагинов
    Вступление Резервное копирование WordPress это второе, что нужно научиться делать после установки WordPress. Можно сколько угодно говорить о безопасности сайта и его защите, но лучшего варианта защиты

    Плагины на приват для Майнкрафт ПЕ
    > > Плагины на приват для Майнкрафт ПЕ Порой всем нам хочется попробовать себя в роли администратора сервера и испытать эту ответственность, но, к сожалению, вы не всегда все знаете о создании

    Плагин WordPress Database Backup. Архивация базы данных блога на WordPress
    Привет друзья! Сегодня на очереди еще один простой, НО, необходимый и полезный плагин — плагин WordPress Database Backup , который с легкостью и самостоятельно произведет процесс, который научно называется:

  • Виртуальный хостинг

    Виртуальный хостинг. Возможности сервера распределяются в равной мере между всеми... 
    Читать полностью

  • Редизайн сайта

    Редизайн сайта – это полное либо частичное обновление дизайна существующего сайта.... 
    Читать полностью

  • Консалтинг, услуги контент-менеджера

    Сопровождение любых интернет ресурсов;- Знание HTML и CSS- Поиск и обновление контента;-... 
    Читать полностью

  • Трафик из соцсетей

    Сравнительно дешевый способ по сравнению с поисковым и контекстным видами раскрутки... 
    Читать полностью

  • Поисковая оптимизация

    Поисковая оптимизация (англ. search engine optimization, SEO) — поднятие позиций сайта в результатах... 
    Читать полностью