Базы данных в SQL

[stdrom]

Хотел бы перекатиться в вашу схему с работой в sql.
У меня часть баз (в тхт, csv, sql) из-за ограниченного места на диске пожата в zst (сейчас долгий поиск грепом по zst).

Вопросы:
1. Нужно ли все распаковать или она понимает архивы в zst?
2. Нужно ли все перевести в sql?
3. Сжимает ли ваша схема для экономии места?
4. Создает ли дополнительный объем ваша схема (индексация содержимого или прочего)? Если да, то условно примерно сколько дополнительно прибавляется к одному sql файлу весом 10гб или 1гб ?

Пардонте за нубские вопросы

SQL зоопарк обширный и разный, сложно тебе за всех ответить. По пунктам 3-4 очень много нюансов, там в том числе может зависеть от прямизны рук. Ну и компромисс размер/удобство/производительность.

[sandro123]

касаемо OpenServer - попробовал, вещь достаточно удобная и интересная, но качать ее еще тот геморрой из-за ограничения скорости.
кто ждать не хочет, вот уже скачанное [External Link Removed for Guests]

[stdrom]

касаемо OpenServer - попробовал, вещь достаточно удобная и интересная, но качать ее еще тот геморрой из-за ограничения скорости.
кто ждать не хочет, вот уже скачанное [External Link Removed for Guests]

Можно залить мою базу из этой ветки на потестить, только для поиска по телефонам, или ДР+фио советую индексы обычные повесить на телефон и на ДР (на каждый отдельно) а то скорость прямо не впечатлит (выложил без них чтобы меньше размер качать). Если по ФИО искать, наверное достаточно только на Ф навесить и чтобы полегче по весу был на первые несколько символов.

[h0b4]

При этом по ощущениям правильные базы в мускуле раза в 3 меньше весят аналогичных Кроноса (ощущение потому как закладываюсь на индексы и прочее).

Конвертировал парс авито из крона в csv utf8
Крон - 7,5Гб
csv -25,4 Гб

В мускуле получится ближе к 7,5 или к 25,4?

[sandro123]

При этом по ощущениям правильные базы в мускуле раза в 3 меньше весят аналогичных Кроноса (ощущение потому как закладываюсь на индексы и прочее).

Конвертировал парс авито из крона в csv utf8
Крон - 7,5Гб
csv -25,4 Гб

В мускуле получится ближе к 7,5 или к 25,4?

если время будет, отпишитесь если сделаете, как получиться. вот интересно, sql это структурированно все под запросы, не пойму как можно из 5-10 баз вытянуть инфу

[stdrom]

При этом по ощущениям правильные базы в мускуле раза в 3 меньше весят аналогичных Кроноса (ощущение потому как закладываюсь на индексы и прочее).

Конвертировал парс авито из крона в csv utf8
Крон - 7,5Гб
csv -25,4 Гб

В мускуле получится ближе к 7,5 или к 25,4?

Крон это Кронос? Мне кажется правильный мускуль должен весить меньше Кроноса. Раза в 2-3 не жатый. Жатый может мало весить, но например это будет InnoDB которую нельзя перекидывать файлами, что мне не удобно, ну и если поиск именно по жатым данным там могут быть тормоза.

Ну а так вот я дал базу на мускуле, вроде аналогичная Кронос около 3 гигов весила. Кто работает с Кроносом может подтвердить это или опровергнуть. Просто и там и там размер может зависеть от прямизны рук импортирующего базу, а не только от преимущества одного софта перед другим.

[stdrom]

если время будет, отпишитесь если сделаете, как получиться. вот интересно, sql это структурированно все под запросы, не пойму как можно из 5-10 баз вытянуть инфу

Ну это прямо стандартная фича мускуля выборка из нескольких баз (на самом деле таблиц!!). Поставь несколько баз (таблиц, можно в разных базах), напиши ChatGPT какие у тебя таблицы и с какими полями и что ты хочешь увидеть на выходе. Вроде он отлично пишет подобные запросы, только лучше юзать тот в котором температура регулируется и ставить 0-0.3 чтобы шибко не фантазировал, обычно по дефолту в публичных около 0.7 стоит. А если у тебя частый кейс можно и простенький веб-интерфейс написать, опять же ChatGPT наверное справиться, на том же PHP который есть в OpenServer.

То что я дал в этой теме по понятиям мускуля это не база, а таблица. Искать можно по разным таблицам, в том числе в разных базах.

[sandro123]

если время будет, отпишитесь если сделаете, как получиться. вот интересно, sql это структурированно все под запросы, не пойму как можно из 5-10 баз вытянуть инфу

Ну это прямо стандартная фича мускуля выборка из нескольких баз (на самом деле таблиц!!). Поставь несколько баз (таблиц, можно в разных базах), напиши ChatGPT какие у тебя таблицы и с какими полями и что ты хочешь увидеть на выходе. Вроде он отлично пишет подобные запросы, только лучше юзать тот в котором температура регулируется и ставить 0-0.3 чтобы шибко не фантазировал, обычно по дефолту в публичных около 0.7 стоит. А если у тебя частый кейс можно и простенький веб-интерфейс написать, опять же ChatGPT наверное справиться, на том же PHP который есть в OpenServer.

То что я дал в этой теме по понятиям мускуля это не база, а таблица. Искать можно по разным таблицам, в том числе в разных базах.

покажи пожалуйста пример запроса, не в обиду, просто пользуюсь кроносом. интерес именно сделать морду и из разных баз чтобы брало данные, глобалка кроноса тоже по полям ищет, соответственно и в sql все базы тоже должны иметь идентичное поле поиска,как - то так

[sandro123]

поддержу развитие темы, тема интересная, товарищи в ветке выкладывали старый дамп фрикера, немного почистил под sql, исходный дамп был с ошибкой.
история, но приятно, стала после чистки сразу, делюсь [External Link Removed for Guests]

[stdrom]

покажи пожалуйста пример запроса, не в обиду, просто пользуюсь кроносом. интерес именно сделать морду и из разных баз чтобы брало данные, глобалка кроноса тоже по полям ищет, соответственно и в sql все базы тоже должны иметь идентичное поле поиска,как - то так

Хз какая именно таблица (структура, размер, индексы), подходы могут быть разные, но вот тупо пример моего вопроса и ответа ChatGPT:

Спойлер

У меня есть база пользователей ВКонтакте, в ней 3 таблицы

1. city - с полями user_id, value
2. school - с полями user_id, value
3. gender - с полями user_id, value

как мне вывести строку из всех таблиц city - school - gender для пользователя с user_id=123

ChatGPT

Для того чтобы вывести строку из всех таблиц city, school и gender для пользователя с user_id=123, вам необходимо выполнить следующий SQL-запрос:

```sql
SELECT city.value, school.value, gender.value
FROM city
JOIN school ON city.user_id = school.user_id
JOIN gender ON city.user_id = gender.user_id
WHERE city.user_id = 123
```

Этот запрос объединяет таблицы city, school и gender по полю user_id и выбирает значения из полей value для каждой таблицы. Затем он фильтрует результаты, оставляя только строки, где user_id равен 123.