Общият (отворен) достъп, или OД, е набор от принципи и практики, чрез които научните резултати се разпространяват онлайн, безплатно и без допълнителни ограничения.

Въведение в „Общодостъпните“ ресурси

Общият (отворен) достъп, или OД, е набор от принципи и практики, чрез които научните резултати се разпространяват онлайн, безплатно и без допълнителни ограничения. Чрез прилагането на лиценз за авторски права към тях, в рамките на строго дефинирания общ достъп (съгласно определението от 2001 г.), или безплатен отворен достъп, се намаляват или премахват ограниченията пред тяхното копиране и повторна употреба.

Основен фокус на общия достъп до данни е „рецензираната научна литература“. В исторически план, общият достъп възниква с печатните академични списания. Докато конвенционалните (без общ достъп) списания покриват своите разходи за публикуване чрез такси за достъп като абонаменти, лицензи за сайт или такси за достъп, списанията с общ достъп се характеризират с финансиране, което не изисква четящият да заплаща за достъп до съдържанието на списанието. Общият достъп може да бъде приложен към всички форми на публикувани научни резултати, включително рецензирани и не рецензирани статии в академични списания, доклади от конференции, дисертации, глави от книги, монографии и снимки.

Все пак обаче, когато става въпрос за „отворен” достъп, трябва да се разграничи  „безплатен” (gratis) от „свободен” (libre) достъп.

За да се отразят реалните различия в степента на отворен достъп, разграничаването между безплатен отворен достъп и свободен отворен достъп е дефинирано през 2006 г. от Хитър Субер и Стивън Харнад, двама от основателите на Будапещенската инициатива за отворен достъп  (Budapest Open Access Initiative, BOAI). Безплатен отворен достъп се отнася към безплатен онлайн достъп до материали, докато свободния отворен достъп се отнася към безплатен онлайн достъп плюс някои допълнителни права за повторно използване на материалите. Свободният отворен достъп е еквивалентен на отворения достъп съгласно дефиницията на BOAI, Становището от Бъдезда за отворен достъп до публикувани данни и Декларацията от Берлин за отворен достъп до знания в областта на природните и хуманитарните науки. Правата за повторно използване на данни в рамките на свободния отворен достъп често се определят от различни специфични “Creative Commons” (авторско-общи) лицензи, като почти всички от тях изискват признаване на авторство на първоначалните източници на данни.

Документът, публикуван през февруари 2002 г. от BOAI съдържа следната широко използвана дефиниция:

• Под“отворен достъп“ до литература, се има предвид нейната безплатна достъпност в публичното интернет пространство, позволяваща на всички потребители да четат,  изтеглят, копират, разпространяват, отпечатват, търсят или правят връзки към пълния текст на статиите, индексират, използват ги като данни за софтуер или други законни цели, без финансови, правни или технически ограничения, различни от тези, които са неделима част от получаването на достъп до интернет. Единственото ограничение за възпроизвеждането и разпространението на данни са авторските права, които дават възможност на авторите да контролират целостта на тяхната разработка и да определят необходимостта да бъде признато тяхното авторство и да бъдат цитирани.

Имайки предвид горната информация, използването на общодостъпните научни ресурси трябва да следва общи правила. При публикуването на научни ресурси с отворен достъп трябва ясно да бъде определено дали те са свободни или безплатни, както и трябва да бъде споменат техния първоначален автор.

Какво са „данни”

Съгласно речника на Мериам-Уебстър, съществуват три различни определения за данни:

1. Фактическа информация, такава като измервания или статистика, въз основа на която се разсъждава, дискутира или се правят изчисления.
2. Информация в числов вид, която може да се предава или обработва.
3. Информация от сензорно устройство или апарат, която съдържа както необходима, така и неподходяща или излишна информация, и която трябва да се обработи, за да придобие смисъл.

В този материал ще разгледаме повече от тези три определения.

Кратка история на данните

Откакто хората са започнали да комуникират, те изпитвали необходимост да съхраняват информацията за дълъг период от време. Съхраняването на информация било необходимо на нашите предци, за да осигури тяхното оцеляване. Предаването на информация между поколенията позволявало да се помнят местата, криещи потенциална опасност, а също и тези, които били най-подходящи за събирането на храна, риболов, където живеели най-добрите животни за лов, както и местата, предлагащи най-добрите укрития. Цялата тази информация се предавала устно. С развитието на знанията и изобретяването на писмеността, нашите предци започнали да съхраняват информацията на трайни носители.

Без да навлизаме в подробности относно развитието на начина на представяне на информация, ще бъдат представени някои важни примери, имащи значение за структурирането на мисленето, което от своя страна е довело до откриването на компютърните инструменти използвани ежедневно.

Данните преди изобретяването на компютрите

С възникването на човешкото общество, колективната мотивираност за развитие на писмеността се ръководела от прагматична необходимост. Тази необходимост се определяла от това обществото да бъде организирано и ръководено чрез създаването на правни системи, договори, актове за собственост, данъчно облагане, търговски споразумения, спогодби, регистри от преброяване, водене на история, поддържане на културата, проследяване на научни открития, кодифициране на знания чрез курсове за обучение и набор от текстове, които са изключително художествени или съдържат фундаментални знания, както и много други нужди.

Фигура 1: Клинопис

Например, около 4 в. пр.н.е., комплексният характер на търговията и администрацията на Месопотамия надвишил човешката памет и писането ставало по-надежден метод за записване и представяне на договорен обмен между страните в една постоянна, дългосрочна форма.

Клинописът е една от най-древните системи на писменост, изобретена от шумерите в древна Месопотамия. Отличава се със своите клиновидни вдлъбнатини върху глинени плочи, направени с помощта на тъп тръстиков стилус, както е показано на фиг. 1.

С течение на времето, развитието на знанията, умножаването на информацията, ограниченията на човешката памет, нуждата от записване и съхранение на записи, съдържащи огромно количество от информация, придобива съществено значение. Въпреки това, при съхранението на записи, съдържащи почти всякакъв вид информация или данни, на различни носители, в случай на нужда, става все по-сложно тя да бъде извлечена по лесен начин. Необходимо е човек да прочете десетки доклади и книги, за да може да синтезира необходимата му информация по конкретен проблем.

Данните в модерната ера

Днес, количеството данни продуцирани ежегодно и съхранявани дигитално, като списъци със задачи, рецепти, напомняния, дневници, карти, снимки, електронни писма, научни данни, политически доклади, видеоклипове и др., нараства експоненциално. Това създава необходимост да бъде намерен начин, по които нужната информация да бъде извлечена от това феноменално количество данни.

Компютрите набират популярност и стават достъпни за употреба от частни лица и компании в началото на 80-те години на миналия век. Въпреки това, 60-те могат да се считат като „нова ера“ в областта на базите данни. Въвеждането на термина „база данни“ съвпада със създаването на хранилища с директен достъп или DAS (direct-access storage). Тази нова технология представлява противоположност на използваните преди това перфо-карти и базираните на лента системи, и позволява споделена, интерактивна употреба, а не ежедневна обработка на партиди от данни. Разработени били два основни модела на данни – мрежови модел „CODASYL“ (Conference on Data System Language) и  йерархичен модел „IMS“ (Information Management System).

Първото поколение системи за бази данни било „навигационно“, противоположно на „последователния“ достъп при предходните технологии за съхранение на данни, т.е с използването на ленти и перфо-карти. Приложенията обикновено получавали достъп до данните чрез следването на указатели от един запис към друг. Детайлите на хранилището зависели от типа на данните, които се съхраняват в него.

Добавянето на допълнително поле към базите данни изисквало пренаписването на основната схема за достъп/модификация. Акцент бил поставян върху записите, които трябвало да бъдат пренаписани, а не върху цялостната структура на системата. В такъв случай, потребителят би трябвало да знае физичната структура на базата данни, за да изисква търсената информация. Базата данни, която имала успех била системата  „SABRE“. Тя била използвана от IBM, за да подпомогне Американ Еърлайнс при управлението на данните за резервации. Тази система все още се използва от основните туристически агенции в техните схеми за резервации.

В съвременните информационни технологии, сред потребителите винаги е съществувало объркване между база данни и достъпните чрез браузер интернет базираните уеб търсачки. Базите данни обикновено съдържат структурирани данни,  за разлика от интернет World Wide Web (www), където обикновено се съдържат неструктурирани данни. Дори извличането на информация от двата типа системи, база данни и „www“ да е безпроблемно и да изглежда сходно, съдържанието и начинът на адресиране на заявките са напълно различни. Структурираните и неструктурираните данни ще бъдат разгледани подробно по-надолу в този материал.

Терминология

Както всяка друга наука, компютърната наука има свой собствен език. За да разберете напълно информацията представена в този материал, е необходимо да се запознаете с термините, касаещи конкретната тематика.

Освен това, ще бъде улеснена комуникацията с администратора на базата данни (АБД, Database Administrator, DBA). Когато е необходимо биохимик да обясни своите нужди по отношение на структурирането и управлението на данни в базите данни, той би използвал свой собствен техничен език. В такъв случай АБД ще трябва да разбере подадената заявка и да я трансформира в компютърен език, който да бъде разбираем за биохимика.

Какво са „Данни“ в ерата на компютрите

Фигура 2: Битът може да приема стойности 0 или 1

Както бе споменато в част 2.1, според областта за която се отнасят, данни могат да имат различно значение. Когато става въпрос за изчисления и бази данни, данни се дефинира като последователност от един или повече символи. В този случай данните трябва да бъдат интерпретирани, за да са превърнат в информация. В сферата на информационните технологии „бит“ е най-малкото количество информация. Битът е двоичен. Двоичните числа представляват числа, при чиито запис се използват само две цифри, 0 и 1 (фиг. 2). Това е цифрова система изградена на базата на числото 2, т.e.:

• 0 0 0 1 = числова стойност 2⁰
• 0 0 1 0 = числова стойност 2¹
• 0 1 0 0 = числова стойност 2²
• 1 0 0 0 = числова стойност 2³

Таблица 1

Последователност от „битове“ образува „байт“. Байтовете са съвкупност от битове, чиято бройка е кратна на 4 (байт от 4 бита се нарича нибъл) както е представено на примера по-горе. Днес, байтът е единица за цифрова информация, която най-често се състой от 8 бита. В миналото, байтът бе съвкупност от битове използвани за кодиране на единичен символ в компютъризиран текст. С байт от 8 бита максималното десетично число е 256. В исторически план, байтът е и единица за компютърна информация или капацитет за съхранение на данни, използвана за измерване на количество данни. (Таблица 1).

Таблица 2 ASCII таблица

Пример за такъв тип употреба е ASCII таблицата (Американски Стандартен Код за Обмен на Информация, American Standard Code for Information Interchange), съдържаща знаци, често използвани за обозначаване на азбучни символи (Таблица 2). Първите 32 знака се наричат контролни знаци. Първоначално те не са били проектирани да предават информация за печат, а да осъществяват контрол над устройството, което използва ASCII табличния код (напр. принтер), или да предоставят информация за потока от метаданни, например тези съхранявани на магнитна лента.

Какво са “Метаданни”

Какво е „База данни“

Фигура 5: Частична структура на база данни

Най-общо казано, база данни се дефинира като набор от данни, такива като телефонни указатели, ценови листи, инвентарни списъци, адреси на клиенти и др. Независимо от това, погледнато технически, база данни се нарича „самоописващ се набор от интегрирани записи“. Това предполага компютърна технология допълнена от специфичен компютърен език, такъв като SQL (Език за Структурирани Заявки Structured Query Language,).

Базата данни се състои от множество таблици (фиг. 5), съдържащи както данни, така и метаданни. Метаданните са данни, които описват структурата на данните в рамките на базата данни. Ако знаете как вашите данни са подредени, вие можете лесно да ги извлечете. Тъй като базата данни съдържа описание на своята структура, тя се нарича самоописваща се. Базата данни е интегрирана, защото включва не само набор от данни, но и връзките между тях.

Базата данни съхранява метаданни в област наречена “речник на данни”, който  “речник” описва таблиците, колоните, индексите, ограниченията и други елементи, които съставляват базата данни.

Тай като плоската файлова система, т.е. “електронната таблица” не съдържа метаданни, приложенията написани за работа с плоски файлове трябва да съдържат еквивалент на метаданните като част от тези приложения.

Какво са „Таблици“ в база данни

Таблицата е набор от свързани данни, организирани под формата на таблица, съставена от колони и редове в рамките на база данни. Тя е подобна на електронните таблици (фиг. 6).

Какво са „Колони“ в база данни

Фигура 6: Таблица с редове и колони

Колоната е набор от стойности на данни, всички от един и същ тип, част от таблица. Колоните определят данните  в таблица. Повечето бази данни позволяват колоните да съдържат комплексни данни като изображения, цели документи или дори видео клипове. Следователно, колоната позволява стойности на данни от един и същ тип, но това не означава задължително, че има само прости текстови стойности. Някои бази данни отиват още по-далеч и позволяват данните да бъдат съхранявани като файлове в операционната система, докато данните в колоната съдържат само указател или връзка към действителния файл.  Това се прави с цел лесна поддръжка на общия размер на базата данни – по-малки по размер  бази данни означава по-малко време за архивиране и по-малко време необходимо за търсене в тази база данни.

В таблицата, обикновено всяка колона има ограничения относно типа на стойностите, които могат да бъдат съхранявани в нея.  Например, една колона може да приема адреси за електронни пощи, а друга да приема числа, съставени от 10 цифри.

Какво е „Запис“

Записът е представяне на физически или идеен обект. Например, ако е необходимо да бъдат записани клиентите на даден бизнес. Прави се запис за всеки клиент. Всеки запис има множество атрибути, такива като име, адрес, телефонен номер и др. Индивидуалните номера, адреси и т.н. са данни.

Какво са „Индекси“

Фигури 7: Пример за индекс

Структурираните данни се съхраняват под формата на записи в базата данни. Всеки запис има ключово поле, което му позволява да бъде разпознат по уникален начин, т.е. има свое ID на пациента. Никой друг пациент няма същия ID номер, въпреки че могат да съществуват двама пациенти с едно и също първо име и фамилия.

Индексирането на базата данни е техника за ефективно извличане на записи от файловете в базата данни, въз основа на някои атрибути, използвани при самото индексиране.  Казано по-просто, индексирането в системите на базите данни е подобно на това, което се използва при книгите. В началото или в края на книгата може да бъде намерен такъв индекс (различен от съдържанието на книгата), който показва всички номера на страниците, касаеща специфична тема. Например, един географски атлас може да бъде разделен на глави, съдържащи карти, глави, съдържащи данни за населението и глави, относно производството или земеделска продукция. Ако вие търсите определена държава и бихте искали да направите общ преглед на всички данни за тази държава, индексът може да бъде много полезен, тъй като във всяка глава, той ще покаже съответната страница, касаеща тази държава (фиг. 7).

Какво е „Обект“

В компютърната наука, обектът може да бъда променлива величина, структура от данни, функция или метод, и като такава представлява стойност в паметта и е обозначена от идентификатор. При релационния модел на управление на бази данни, обектът може да бъде таблица или колона, или асоциация между данните и отделната единица в базата данни, като например връзката между възрастта на определен човек и конкретното лице.

Структурирани данни

Фигура 8: Структурирани данни

Съгласно SNIA (Асоциация на индустрията за мрежово съхранение, Storage Networking Industry Аssociation), като структурирани данни се определят:

“Данни, които са организирани и форматирани по познат и фиксиран начин.

Форматът и организацията обикновено се определят по схема. Терминът структурирани данни обикновено се използва за данни, генерирани и поддържани от бази данни или бизнес приложения.”

Необходимо е да бъдат спазени три условия, за да бъдат едни данни определени като структурирани:

• трябва да съответстват на модела данни,
• трябва да имат добре дефинирана структура,
• трябва да следват определен ред и да бъдат лесно достъпни и удобни за употреба от човек или компютърна програма

Структурираните данни обикновено се съхраняват в добре дефинирани схеми каквито са базите данни. Обикновено тя е таблична с колони и редове, които ясно определят нейните атрибути (фиг. 8).

SQL езика (Structured Query language) често се използва за управление на структурирани данни в различните бази данни.

Неструктурирани данни

Големи данни

Според SNIA, големите данни се определят като:

“Набор от данни, които са твърде големи, за да бъдат ефективно обработени изцяло, дори от най-мощните съществуващи стандартни изчислителни платформи”

С други думи, Големите данни се отнасят до огромни количества структурирани или неструктурирани данни, които не могат да бъдат обработени от обичайния софтуер, каквито са традиционните езици за заявки към бази данни или друг тип механизми за извличане.

Съществува объркване по отношение на използването на термините Големи данни и Анализ. Големите данни са информация, докато Анализът е начина на извличане на желаната информация от огромното количество налична информация.

Анализ

В компютърните технологии, Анализът е метод за  извличане на информация от големи данни.

В областта на здравеопазването, прилагането на Анализ на Големи данни доведе до множество подобрения, сред които персонализираната медицината и включването на прогнозен анализ. Тай като обемът на данните се увеличава драстично, традиционните бази данни и механизми за търсене не могат да обработят и извлекат конкретната информация. Данни за пациентите се генерират от ЯМР, рентгенови снимки, данни от кръвни тестове и сензори за мониторинг, както и от много други източници на сложни за обработка данни. Огромното количество информация в областта на здравеопазването вече се намира в електронна форма и се обособява като Големи данни, голяма част от които са неструктурирани и трудни за използване.

Използването на Големите данни в изследвания свързани със здравеопазването, са особено обещаващи, тъй като анализът, базиран на данни е по-надежден от този, базиран на хипотези. В последствие, тенденциите, наблюдавани при анализът на данни могат да бъде тестван при традиционни, базирани на хипотези биологични изследвания и евентуално клинични изпитвания.

Хранилище

Хранилището за данни, или склада за данни, е централизирано място за съхранение и поддържане на данните. Хранилището за данни  може да съдържа един или повече файлове със структурирани данни, които могат да бъдат разпръснати в мрежа или да бъдат дългосрочно съхранявани.

Този раздел е посветен на основните градивни единици, съставящи базата данни.

Въведение

От момента на изобретяване на компютрите, количеството на съхраняваните и управлявани данни се увеличава драстично. Смята се, че през 2025 година, количеството на данните ще достигне до 175 зетабайта (10²¹ байта) за разлика от няколкото петабайта (10¹⁵ байта) през 2000 година. Един от често срещаните начини за опростяване живота на потребителите е чрез повишаване ефективността на съхранение и извличане на информация от техните ресурси. Например, докато плоският файл е чудесен начин за съхранение на персонална информация, такава като адресна книга или списък с рецепти, тази тип файл не е подходящ за съхраняване на телефонните номера на жителите на един град или на геномни данни в областта на биотехнологиите.  Освен това, ако искате да съхранявате данни за генома на няколко вида, много е трудно те да бъдат съхранявани, и по-късно извлечени, от плосък файл. Базите данни предлагат решение на този проблем като улесняват съхранението, обработката и извличането на информация.

Софтуерът, използван за управление на базата данни се нарича система за управление на база данни (СУБД, database management system, DBMS). Този специализиран софтуер действа като посредник, който подпомага крайния потребител да получи достъп до базата данни. Обикновено потребителите не взаимодействат директно с базата данни, защото това може да доведе до нейната дезорганизация. Вместо това, те използват системата за управление на базата данни (СУБД ), която чете данни от или записва данни в базата данни.

Нарастващата сложност на големите количества данни наложи някои компании да използват инструменти за управление на данни базирани на релационния модел, какъвто е класическият РСУБД. РСУБД означава Релационна система за управление на база данни (Relational Database Management System, RDBMS). Въпреки това, големите интернет компании като Google, Yahoo и Amazon, или всички популярни социални медии , се сблъскаха с редица предизвикателства при работата с огромните количества данни в реално време, нещо, с което конвенционалните РСУБД не можеха да се справят. Това обяснява нарастващата популярност на NoSQL системите за бази данни, които възникват успоредно с останалите системи.

NoSQL системите са разпределени, нерелационни бази данни предназначени за широкомащабно съхранение на данни, както и за масивно-паралелна, високоефективна обработка на данни в голям брой конвенционални сървъри. Този тип системи възникват поради необходимостта от гъвкавост, висока производителност и мащабност и могат да бъдат използвани в различни случаи, включително изследователски и прогнозен анализ в реално време. Създадени от най-добрите интернет компании, за да вървят в крак с нарастващия поток от данни, NoSQL базите данни се мащабират хоризонтално, и са проектирани да мащабират до стотици, милиони и дори милиарди потребители, извършващи актуализации или четящи в базата данни.

NoSQL базите данни най-често намират приложение в социалните медии, при големите доставчици на електронна поща и в различни държавни системи в областта на здравеопазването.

Обикновено едно социално приложение може да се мащабира от нула до милиони потребители за няколко седмици и с цел по-добра организация на това нарастване е необходима база данни, която да може да управлява голям брой потребители и данни, а също така и да бъде лесно мащабирана хоризонтално.

В този материал ние ще се фокусираме само върху СУБД и РСУБД. Това са двата типа бази данни, които днес са най-широко използвани в областта на биотехнологията.

Преглед на архитектурата на базата данни

Фигура 10: Хардуер архитектура на база данни

Базите данни могат да съхраняват всякакъв тип информация, от цифри и текст до електронни писма, интернет съдържание, телефонни номера, биологични и географски данни, и др. Базите данни са официално класифицирани според начина, по които съхраняват данните. Релационните бази данни съхраняват информацията под формата на таблици. Обект-ориентираните бази данни съхраняват данните в обектни класове и подкласове. Ние ще се съсредоточим върху релационните бази данни, тъй като те са най-често използваните. Все пак, повечето от основните топологии на базите данни включват наличието на „бекенд“ сървъри, в които се намира системата за управление на базата данни, система за съхранение на структурата и данни за базата данните, която да е прикачена към сървърите, и разбира се, компютри, лаптопи, десктопи или терминали, които да служат като интерфейс и да позволяват достъп на потребителите до базата данни, нейната система за управление и нейното съдържание. Също така се изисква мрежа за обмен между всички хардуерни компоненти и прикачен Облак, които да позволява на отдалечените потребители достъп до базата данни. На фиг. 10, по опростен и обобщен начин, са представени минималните изисквания за функционирането на една база данни.

Друг основен начин да опишем структурата на базата данни, е да представим тристепенната ѝ архитектура. На фиг. 11 е представена тази тристепенна архитектура, като са показани необходимите виртуални нива, за да може една база данни да функционира правилно.  Това са нарича ANSI-SPARC модел. Въпреки че този модел никога не се е превърнал в официален стандарт, той представя широко възприетата идеята за независимост на логическите данни.

Информацията, съхранявана в релационната база данни е под формата на таблици. Тези таблици са съставени от редове от данни и всеки ред съдържа полета или колони. В една добре организирана база данни, наречена схема, във всяка таблица могат да се съхраняват само подобни данни и дублирането на колони е сведено до минимум. Разработчиците могат да свързват или да присъединяват данни от две таблици, така че да покажат връзката между различни типове информация.

Индексите могат да бъдат създавани в полетата на таблицата на базата данни, за да улесни извличането на данни от СУБД. Обикновено индексите се конфигурират за често търсени колони, такива като имена на лица или дати. Недостатък при използването на индекси е, че той заема дисково пространство и това може да забави процеса на работа, той като, ако се съхраняват твърде много индекси и при всяка актуализация на редовете, съответните индекси също трябва да бъдат актуализирани.

Повечето бази данни поддържат SQL език (Structured Query Language), който е стандартен език за взаимодействие със съдържащата се в базата данни информация. SQL позволява на потребителите и приложенията да взаимодействат със специфични подмножества от данни от една или повече таблици като използват няколко израза като “SELECT”, “INSERT”, “UPDATE” и “DELETE”.

Релационните бази данни също така осигуряват “пластов” подход при съхранението на данните, което позволява определянето на това какви обекти се намират в конкретните файлове с данни и къде файлове с данни са позиционирани във файловата структура на операционната система. Освен управление на физическото място за съхранение на обектите в базата данни, много системи позволяват контрол върху това как данните се съхраняват във файловете на базата данни.

Основни термини за база данни

Някои термини относно базата данни произтичат от начина, по който базата данни автоматично записва информацията. Разработчиците на базите данни често автоматизират записа в определени полета или други таблици, като например записване на копие от реда, които е вмъкнат – заедно с информация за времето или потребителското име – към историята или таблицата за проверка в базата данни. Повечето СУБД предлагат няколко начина за автоматично управление на записите в базата данни.

Тригерът в базата данни е най-често използвания метод за предприемане на действия с вече записани данни. Тригерите обикновено са свързани с определена таблица и са конфигурирани да се изпълняват в определен момент по време на конкретно действие по записа, такова като преди или след актуализация на данните, или след като е вмъкнат ред. Тригерите могат да се използват за форматиране на данни, попълване на колона с данни, произхождащи от налична вече информация, или дори записване в друга таблица въз основа на реда, които е вмъкнат или актуализиран.

Съхранената процедура е друг начин за взаимодействие релационната база данни. Съхранените процедури са по-комплексни отколкото тригерите и не са обвързани с конкретна таблица. Обикновено създадени от разработчиците, процедурите използват комбинации от SQL и програмен език, например Java или SQL (в зависимост от платформата на базата данни). Съхранените процедури предоставят на разработчиците голям контрол върху начина, по които данните се потвърждават или “изчистват” от определено приложение. Съхранената процедура може да бъде използвана и по отношение на начина, по които потребителят „влиза“ в приложението. Процедурата първо може да провери потребителското име и паролата, след това да регистрира проверката като успешна или неуспешна в друга таблица, заедно с информация относно името на компютъра и времето, в което е направен опита за влизане. Може да бъде изпратен сигнал до потребителя, уведомяващ го, че неговата парола изтича и трябва да бъде сменена.

Функциите са по-прости от съхранената процедура и понякога дори могат да се използват в SQL заявките. Обикновено функциите се използват в базите данни за извършване на набор от действия, които връщат като резултат една или повече стойности, например изчисляване на сума от колона за редове, които отговарят на определени условия. Въпреки че тези действия могат да бъдат извършвани с помощта на SQL, представянето им като функция може да улесни тяхното използване при наличие на друг код. Функциите и съхранените процедури могат да изпълняват общи действия по рационализиран и последователен начин, намалявайки работното натоварване на разработчиците и администраторите на базите данни.

Каква е разликата между основните СУБД?

СУБД са свързани с потребителските приложения, които трябва да поддържат. Тук е представено кратко сравнение между трите най-широко използвани платформи.

Microsoft SQL Server се използва широко от корпоративните приложения и лесно се интегрира с други инструменти на Майкрософт. Microsoft SQL Server 2019 Express е най-новата безплатна версия на Майкрософт и често се доставя с приложения, които използват SQL Server.

MySQL е любим на разработчиците, работещи с общодостъпни ресурси повече от две десетилетия. Често използван като бекенд за общодостъпни блогове или системи за управление на съдържанието, MySQL има огромна база инсталирана по целия свят. През 2008 година, MySQL AB е придобита от Sun Microsystems, която от своя страна е придобита от Oracle Corp. през 2009 год. По този начин MySQL става притежание на един от най-големи си конкуренти. Въпреки това, MySQL Community Edition остава безплатна и добре поддържана. MySQL е достъпна за множество операционни системи, включително Linux, UNIX, Mac OS X и Windows.

Oracle Database се счита от мнозина за стандарт в платформите за база данни на корпоративно ниво и поддържа множество корпоративни приложения. Oracle Database Express Edition се предлага безплатно и може да бъде разпространявана безплатно (въпреки че технически не е безплатен софтуер), което я прави друга популярна опция за разработчиците или непрофесионалистите, използващи Windows или Linux.

Сега, след като научихте основните термини и концепции относно базите данни, вие по-лесно можете да намери общ език с разработчиците на базата данни на вашата организация.

Тази част е посветена на базите данни използвани в научната общност

Въведение в съществуващите бази данни, използвани в науката

Този раздел ще направи преглед на най-често използваните в науката общодостъпни бази данни.

Фигура 12: Примери за биотехнологични бази данни

Непрекъснатото развитие на биотехнологията и информационните технологии доведе до експоненциално нарастване на количеството данни. Изследвания проведени от учените на Европейският Биоинформационен Институт (European Bioinformatics Institute, EMBL-EBI) показват, че количеството информация ежегодно се удвоява спрямо всяко предходна година. Тези огромни количества данни се съхраняват, организират и непрекъснато актуализират в научни бази данни, където са лесно достъпни за учени, включително биолози и биоинформатици, и могат да бъдат използвани за научни цели. Наличната в биологичните бази данни информация се получава от различни научни области, включително метаболомика, микроарей генна експресия и пронеомика. Освен съхраняването, организирането и споделянето на огромни количества данни, основната цел на биологичните бази данни е да предоставя интерфейси за програмиране на уеб приложения (application programming interfaces, APIs) за компютри с цел обмен и интегриране на данни между много различни ресурси на базите данни чрез автоматизиран метод.

Биологичните бази данни могат да бъдат определени като колекции от данни, които са структурирани по такъв начин, че прави съдържанието им лесно за изследване, обработка и актуализиране. Примери за такива бази данни са представени на фиг. 12. През 1972 год. е създадена първата база данни, описваща структурата на протеините, познатата Protein Data Bank (PDB). Първоначално таза бази данни съдържала само 10 записа, като през годините те се увеличават и днес достигат до над 10 000 записа, което е свързано с и общия бърз растеж на натрупваните биологични данни. Биологичните бази данни могат да съдържат различни типове данни, в това число белтъчни секвенции, текстови описания, атрибути и таблични данни. Като цяло, те могат да бъдат разделени на първични, вторични и съставни бази данни. Първичните бази данни включват данни само за секвенцията или структурата, докато вторичните бази данни – данни, произхождащи от първичните бази данни.  Данни като консервативни секвенции и остатъци от активни центрове на белтъчни семейства могат да бъдат открити в бази данни с вторична структура. Освен това, записите в PDB, която по своята същност е първична база данни, могат да бъдат открити и в бази данни с вторична структура, съхранявани по организиран начин.

Най-общо казано, биологичните бази данни могат да бъдат категоризирани в бази за секвенции, бази за структура и бази за пътища:

• Бази за секвенции: най-широко използваните биологични бази данни.Те включват бази данни за протеинови и нуклеотидни секвенции, които съдържат чисто лабораторни данни и се явяват основен източник за експериментални резултати. GenBank и EMBL са типични примери за секвенционни бази данни.
• Бази за структура: тези бази данни съдържат информация относно структурата на белтъчните молекули и молекулярните взаимодействия. PDB е пример за такава база данни.
• Бази данни за пътища: тези бази данни са базирани на данни получени от сравнителни изследвания върху метаболитните пътища.Базата данни  Kyoto Encyclopedia of Genes and Genomes (KEGG) и Biocyc са две от най-известните бази данни за метаболитни пътища.

Стандартно търсене в база данни с нуклеотидни секвенции, например, може да даде информация за научното наименование на изходния организъм, от който е изолирана секвенцията, името на лицето за контакти, първоначалната секвенция с детайли за типа на молекулите, и много често литературни цитати свързани с тази секвенция.

Разработени са различни инструменти, които улесняват учените при обработката и извличането на информация от бази данни. Тези инструменти, наричани още биоинформатични инструменти, са софтуерни програми създадени за извличане на значими данни от огромния брой биологични бази данни и за провеждане на анализ на секвенции или на структура на белтъчни молекули. Биоинформатичните инструменти се използват за получаване на информация от бази данни за геномни секвенции и за визуализация, анализ и извличане на данни от белтъчни бази данни. Тези инструменти могат да бъдат разделени на:

• Инструменти за определяне на хомоложност и сходство: тези инструменти се използват за определяне на сходство между секвенции с неизвестна структура и функционалност и такива, чиято структура и функции са вече познати.
• Инструменти за анализ на функцията на протеини: програми, които се използват за сравняване на една белтъчна секвенция с вторичен (или производен) белтък, като по този начин се правят предположения за биологичната функция на заявения белтък.
• Инструменти за анализ на структурата: тези инструменти позволяват да се правят сравнения на структурата с познати структури в базите данни и установяване на 2D/3D структурата на белтъка.
• Инструменти за анализ на секвенции: програми, използвани за допълнителна, по-пълна оценка на зададената секвенция, включваща еволюционен анализ и идентификация на мутации.

Въз основа на обхвата на включените в тях данни, биологичните бази данни могат да бъдат категоризирани на:

• Общи бази данни: тези бази данни включват различни типове данни от множество видове. Примери за такива бази данни са GenBank и
• Специализирани бази данни: тези бази данни включват конкретни типове данни или данни от конкретни организми. Пример за специализирана база данни е WormBase, която съдържа информация за биологията и генома на нематоди.

По отношение нивото на биокурация, което се определя като степен на организираност, представяне и предоставяне на биологичната информация в лесно достъпна за хора и компютри форма, биологичните бази данни се разделят на първични и вторични (производни). Първичните бази данни съдържат в хранилището си необработени данни, докато вторичните, или производните, съдържат курирани данни. По отношение на метода на куриране на данните, биологичните бази данни могат допълнително да бъдат разделени на експертно-курирани бази данни и неекспертно курирани, т.е. такива курирани при съвместната работа на множество изследователи.

Допълнителна категоризация на биологичните бази данни може да се направи и въз основа на типа данни в тях. Типовете данни, използвани при класифицирането на базите данни, могат да бъдат ДНК, РНК, белтъци, експресия, пътища, заболявания, номенклатура, литература, стандарти и онтология.  Някои от най-широко използваните бази данни са следните: GenBank, UCSC Genome Browser и Ensembl, които са секвенционни бази данни/портали; WormBase и The Arabidopsis Information Resource (TAIR), които са бази данни за определен моделен организъм; и PDB, Online Mendelian Inheritance in Man (OMIM), MetaCyc и KEGG, се определят като несеквенционно-центрирани бази данни.

Работата с данни е съществена част от експерименталния процес при всички видове изследвания, независимо от техния мащаб. Наличието на биологични данни онлайн съчетано с понижаване цената на автоматизираните генни секвенатори направи възможно дори малките биологични лаборатории да се превърнат в генератори на големи количества данни. Дори лабораторията да не е оборудвана с такива инструменти, тя пак може да бъде потребител на големи данни чрез получаването на достъп до обществени хранилища на биологични данни, такива като Американския национален Център за Биотехнологична Информация в Бъдезда. Голяма част от биологичната работа, свързани с големи данни, е виртуална, основава се на изчисления в облачно пространство, където данните и софтуера са разположени в масивни центрове извън обекта и могат да бъдат достъпни при необходимост.  Следователно не е необходимо потребителите да закупуват собствен хардуер. Облак-базираните изчислителни системи позволяват на потребителите да създават виртуални пространства за данни, софтуер и резултати, които са общодостъпни, или да “заключват” пространствата зад защитни стени и да позволяват достъп само на определени групи сътрудници.

В някои области на изследване, използването на биологични бази данни е необходимост. Например, базите данни могат да подпомогнат експерименталния дизайн като позволяват извършването на автоматичен анализ и лесна обработка на експерименталните данни, като по този начин правят прегледа на експерименталните резултати прост и бърз.  Откриването на нови лекарства е друга област, която може да бъде опростена чрез използването на бази данни. В този специфична област, базите данни могат да бъда проверени с цел откриването на нови кандидати за лекарства чрез прилагането на класификатор към набора от данни, които класификатор да идентифицира функционалните от нефункционалните лекарства. Освен това, към дизайна за виртуални анализи могат да бъдат приложени машинни техники, които да могат да идентифицират обещаващи нови лекарства, които впоследствие да бъдат анализирани в лабораторни условия. И най-важното, могат да се провеждат нови научни експерименти и да се получават нови резултати чрез анализиране на наличните вече данни.

Без наличието на бази данни, споделянето и интегрирането на големи количества данни би било практически невъзможно. Въпреки че повечето биолози притежават добри компютърни умения, по-голямата част от тях не са добре запознати с разработването и прилагането на съответния софтуер. Независимо от това, участието на биолозите в този процес е от решаващо значение, тъй като те могат да дадат на компютърните специалисти информация относно нуждите и подходите, използвани в науката. Възможността да имат достъп до актуални данни използвани в конкретно изследване, позволява на изследователите да повторят и разширят това изследване. Ето защо е важно данните да бъдат общодостъпни от всички изследователи без налагането на ограничения, становище подкрепяно от Open Science и множество свързани инициативи. Една от тези инициативи е позната като ELIXIR, проект, помагащ на учените от цяла Европа да  защитят и споделят своите данни, както и да стимулира развитието на настоящите ресурси, включително базите данни и компютърни съоръжения в определени страни.

Въпреки че създаването на биологичните бази данни има много положителни страни, такива като повишаване качеството на научните изследвания чрез работа в мрежа, все още е необходимо те да бъдат подобрявани чрез оптимизиране. Важно значение има управлението на трансдисциплинарните знания по начин, който да повиши тяхното качество и количество. Хетерогенността на данните е друг често срещан проблем при интегрирането на биологичните данни. В областта на биологията съществуват различни начина за представяне на подобни данни. Това усложнява интегрирането и обработката на данните, което от своя страна затруднява създаването на единна представа за тези данни. Пример за такъв проблем е използването на алтернативни имена при назоваването на гени (независимо от наличието на пълно ръководство издадено през 1979 година, предлагащо приемането на стандарти при номенклатурата на гените), което от своя страна води до затруднения при споделянето на данни. Прилагането на стандарти позволява повторно използване на данните, тъй като липсата на стандарти води до значително намаляване на производителността и ограничаване на достъпа на изследователите. Следователно, наложително е да бъде намерено решение на този проблем с цел премахване на предизвикателствата, пред които са изправени учените  в случаите, когато използват биологичните бази данни при провеждане на своите изследвания.

Заключителни коментари

Работата с данни предполага дългосрочен достъп до съхраняваната информация. Технологиите се развиват, което означава, че хардуерът и софтуерът използвани днес, може би няма да бъдат приложими утре. Това означава, че за да можем да четем всички данни записани днес, ще трябва да приложим два вида миграция – логическа и технологична миграция. Логическата миграция е свързана с формата, в който се съхраняват данните. Технологичната миграция касае хардуера, който е използван. Например, ако искате да прочетете файл записан през 1993 година на Word версия 6 като използвате по-новата версия Word 2019, това ще бъде невъзможно. Този пример показва липса на логическа съвместимост. За да бъде избегнат този проблем и да бъде запазена възходящата съвместимост, междувременно файла трябва да бъде мигриран към най-новата за момента версия с цел неговата актуализация и възможност за четене с най-новите версии на софтуера.

Същото важи и за хардуера, т.е. за сървъри, хранилища, мрежи и др. Друг пример може да бъде вида на сървъра и операционната система използвана за стартиране на базата данни. В случай че вие решите да подмените своя хардуер и да го мигрирате, да кажем от Windows към UNIX, ще бъде необходим различен тип хардуер, за да бъде стартиран UNIX и различна база данни, която да работи на  UNIX. Windows работи на Intel-базирани платформи (и подобни на Intel), а Unix работи на SPARC-базирани платформи, което означава, че ще трябва да мигрирате към UNIX – SPARC съвместими версии на базата данни.

Имайки предвид тази постоянна еволюция на хардуера, операционните системи, софтуера и форматите, своевременното извършване на подходящи логически и технологични миграции би спестило много време и проблеми.

Не на последно място, важно е да архивирате своите данни. Веднъж на всеки 3 до 6 месеца правете тест за възстановяване на данните, за да проверите дали при необходимост можете да извлечете данните от своя архив.  Това е от решаващо значение поради две причини:

• Ще ви помогне да възстановите данните при необходимост

Това е най-подходящият метод да проверите дали вашите данни са архивирани правилно