Страница 2 из 3
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 16:05
stdrom
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 15:20
Хотел бы перекатиться в вашу схему с работой в sql.
У меня часть баз (в тхт, csv, sql) из-за ограниченного места на диске пожата в zst (сейчас долгий поиск грепом по zst).
Вопросы:
1. Нужно ли все распаковать или она понимает архивы в zst?
2. Нужно ли все перевести в sql?
3. Сжимает ли ваша схема для экономии места?
4. Создает ли дополнительный объем ваша схема (индексация содержимого или прочего)? Если да, то условно примерно сколько дополнительно прибавляется к одному sql файлу весом 10гб или 1гб ?
Пардонте за нубские вопросы
SQL зоопарк обширный и разный, сложно тебе за всех ответить. По пунктам 3-4 очень много нюансов, там в том числе может зависеть от прямизны рук. Ну и компромисс размер/удобство/производительность.
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 16:17
sandro123
касаемо
OpenServer - попробовал, вещь достаточно удобная и интересная, но качать ее еще тот геморрой из-за ограничения скорости.
кто ждать не хочет, вот уже скачанное
[External Link Removed for Guests]
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 16:28
stdrom
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 16:17
касаемо
OpenServer - попробовал, вещь достаточно удобная и интересная, но качать ее еще тот геморрой из-за ограничения скорости.
кто ждать не хочет, вот уже скачанное
[External Link Removed for Guests]
Можно залить мою базу из этой ветки на потестить, только для поиска по телефонам, или ДР+фио советую индексы обычные повесить на телефон и на ДР (на каждый отдельно) а то скорость прямо не впечатлит (выложил без них чтобы меньше размер качать). Если по ФИО искать, наверное достаточно только на Ф навесить и чтобы полегче по весу был на первые несколько символов.
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 16:59
h0b4
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 16:02
При этом по ощущениям правильные базы в мускуле раза в 3 меньше весят аналогичных Кроноса (ощущение потому как закладываюсь на индексы и прочее).
Конвертировал парс авито из крона в csv utf8
Крон - 7,5Гб
csv -25,4 Гб
В мускуле получится ближе к 7,5 или к 25,4?
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 17:02
sandro123
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 16:59
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 16:02
При этом по ощущениям правильные базы в мускуле раза в 3 меньше весят аналогичных Кроноса (ощущение потому как закладываюсь на индексы и прочее).
Конвертировал парс авито из крона в csv utf8
Крон - 7,5Гб
csv -25,4 Гб
В мускуле получится ближе к 7,5 или к 25,4?
если время будет, отпишитесь если сделаете, как получиться. вот интересно, sql это структурированно все под запросы, не пойму как можно из 5-10 баз вытянуть инфу
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 17:17
stdrom
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 16:59
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 16:02
При этом по ощущениям правильные базы в мускуле раза в 3 меньше весят аналогичных Кроноса (ощущение потому как закладываюсь на индексы и прочее).
Конвертировал парс авито из крона в csv utf8
Крон - 7,5Гб
csv -25,4 Гб
В мускуле получится ближе к 7,5 или к 25,4?
Крон это Кронос? Мне кажется правильный мускуль должен весить меньше Кроноса. Раза в 2-3 не жатый. Жатый может мало весить, но например это будет InnoDB которую нельзя перекидывать файлами, что мне не удобно, ну и если поиск именно по жатым данным там могут быть тормоза.
Ну а так вот я дал базу на мускуле, вроде аналогичная Кронос около 3 гигов весила. Кто работает с Кроносом может подтвердить это или опровергнуть. Просто и там и там размер может зависеть от прямизны рук импортирующего базу, а не только от преимущества одного софта перед другим.
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 17:27
stdrom
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 17:02
если время будет, отпишитесь если сделаете, как получиться. вот интересно, sql это структурированно все под запросы, не пойму как можно из 5-10 баз вытянуть инфу
Ну это прямо стандартная фича мускуля выборка из нескольких баз (на самом деле таблиц!!). Поставь несколько баз (таблиц, можно в разных базах), напиши ChatGPT какие у тебя таблицы и с какими полями и что ты хочешь увидеть на выходе. Вроде он отлично пишет подобные запросы, только лучше юзать тот в котором температура регулируется и ставить 0-0.3 чтобы шибко не фантазировал, обычно по дефолту в публичных около 0.7 стоит. А если у тебя частый кейс можно и простенький веб-интерфейс написать, опять же ChatGPT наверное справиться, на том же PHP который есть в OpenServer.
То что я дал в этой теме по понятиям мускуля это не база, а таблица. Искать можно по разным таблицам, в том числе в разных базах.
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 19:21
sandro123
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 17:27
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 17:02
если время будет, отпишитесь если сделаете, как получиться. вот интересно, sql это структурированно все под запросы, не пойму как можно из 5-10 баз вытянуть инфу
Ну это прямо стандартная фича мускуля выборка из нескольких баз (на самом деле таблиц!!). Поставь несколько баз (таблиц, можно в разных базах), напиши ChatGPT какие у тебя таблицы и с какими полями и что ты хочешь увидеть на выходе. Вроде он отлично пишет подобные запросы, только лучше юзать тот в котором температура регулируется и ставить 0-0.3 чтобы шибко не фантазировал, обычно по дефолту в публичных около 0.7 стоит. А если у тебя частый кейс можно и простенький веб-интерфейс написать, опять же ChatGPT наверное справиться, на том же PHP который есть в OpenServer.
То что я дал в этой теме по понятиям мускуля это не база, а таблица. Искать можно по разным таблицам, в том числе в разных базах.
покажи пожалуйста пример запроса, не в обиду, просто пользуюсь кроносом. интерес именно сделать морду и из разных баз чтобы брало данные, глобалка кроноса тоже по полям ищет, соответственно и в sql все базы тоже должны иметь идентичное поле поиска,как - то так
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 19:28
sandro123
поддержу развитие темы, тема интересная, товарищи в ветке выкладывали старый дамп фрикера, немного почистил под sql, исходный дамп был с ошибкой.
история, но приятно, стала после чистки сразу, делюсь
[External Link Removed for Guests]
Re: Базы данных в SQL
Добавлено: 29 июл 2023, 21:33
stdrom
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2023, 19:21
покажи пожалуйста пример запроса, не в обиду, просто пользуюсь кроносом. интерес именно сделать морду и из разных баз чтобы брало данные, глобалка кроноса тоже по полям ищет, соответственно и в sql все базы тоже должны иметь идентичное поле поиска,как - то так
Хз какая именно таблица (структура, размер, индексы), подходы могут быть разные, но вот тупо пример моего вопроса и ответа ChatGPT:
У меня есть база пользователей ВКонтакте, в ней 3 таблицы
1. city - с полями user_id, value
2. school - с полями user_id, value
3. gender - с полями user_id, value
как мне вывести строку из всех таблиц city - school - gender для пользователя с user_id=123
ChatGPT
Для того чтобы вывести строку из всех таблиц city, school и gender для пользователя с user_id=123, вам необходимо выполнить следующий SQL-запрос:
```sql
SELECT city.value, school.value, gender.value
FROM city
JOIN school ON city.user_id = school.user_id
JOIN gender ON city.user_id = gender.user_id
WHERE city.user_id = 123
```
Этот запрос объединяет таблицы city, school и gender по полю user_id и выбирает значения из полей value для каждой таблицы. Затем он фильтрует результаты, оставляя только строки, где user_id равен 123.