Прочие базы данных

ВСЕ СТАРЫЕ И ЗАКРЫТЫЕ ТЕМЫ

Модераторы: ataka, konkar, deicide

Закрыто
Аватара пользователя
Weggio894
новый пользователь
Сообщения: 23
Зарегистрирован: 10 апр 2022, 15:07
поблагодарил: 46 раз
были благодарны: 118 раз

База avtoto.ru 500к

Сообщение Weggio894 »

 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь сообщений: 1
Аватара пользователя
Volchara46
профи
Сообщения: 73
Зарегистрирован: 30 ноя 2021, 16:23
Откуда: Рожденный в СССР
поблагодарил: 435 раз
были благодарны: 499 раз

Клиенты интернет-магазина автозачастей АвтоЗС (autozs.ru) 14.08.2022 г

Сообщение Volchara46 »

Под конверт в Cronos
 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь сообщений: 1
Аватара пользователя
Burg0mister
профи
Сообщения: 266
Зарегистрирован: 19 июл 2022, 17:07
поблагодарил: 1329 раз
были благодарны: 536 раз

Re: Прочие базы данных

Сообщение Burg0mister »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]11 авг 2022, 12:03 Mehlsine и Лёва, ого, спасибо Вам большое!!! Уважение и почёт :!:
Думаю что в хозяйстве эта база пригодится :)

От себя хочу пополнить наши коллективные запасы переработанной версией vseprodumano.club, которую выше опубликовал ttm.
Из этого файла размером в 2 с лишним гигабайта удалось вытащить по-моему 6 таблиц, которые потом подчистил и объединил в 4 файла общим весом в 10.7 мегабайт.
Всем доброй ночи!
Стало мне стыдно за результат этой работы, поэтому решил переделать.

ЧТО СДЕЛАНО:
-Теперь столбцы не уезжают и всё на месте;
-Убрал большую часть тестовых записей, откровенного мусора и дублей;
-Нормализовал даты рождения - дд-мм-гггг;
-Большую часть телефонов привёл к единому виду;
-Расстановку столбцов сделал логически более правильной Фамилия|Имя|Отчество|ДР|Почта|Телефон|Договор/Адрес;
-Файлов стало меньше, один из них {на 10K} практически полностью дублировал другой, поэтому сил их и почистил дубли.

Разделитель: вертикальная черта |

Что ещё можно сделать:
-Там ещё есть мусор и кривые, пустые записи , ФИО и телефоны;
-Если удалить столбец с договорами и просеять дубли - получится убрать ещё пару тысяч строк.

Что смущает:
В файле с датами рождения 100 тысяч строчек, а в двух других файлах около 70 тысяч строк с данными пользователей.
Причём если их слить, подозреваю что там дублями половина будет идти.
Значит есть вероятность, что где-то я пропустил ещё 1-2 таблицы с пользовательскими данными.

Благодарности:
-Огромная благодарность AKPM за подсказку некоторых очень полезных регулярных выражений!
-И не менее огромная благодарность ещё одному пользователю, ник которого не знаю могу ли я назвать, но в личных сообщениях он дал мне несколько отличных советов!
-Спасибо Вам всем за терпение, я ещё учусь, но постараюсь чтобы в будущем качество очистки повышалось!

ССЫЛКА НА АРХИВ:
Скрытый текст
Для просмотра скрытого текста необходимо быть авторизованным пользователем.
Пароль: phreaker.info
Спойлер
Если на раздачи ставлю личный пароль - делюсь им безвозмездно, так же он есть и у администрации! Приму в дар БД с контактами, ФИО, адресами по СНГ/РФ. Интересуют: Современные ГИБДД, банки, блэклисты банков, телефоны, спецучет и т. п.
tarelka
новый пользователь
Сообщения: 16
Зарегистрирован: 12 июн 2022, 10:20
поблагодарил: 1 раз
были благодарны: 4 раз

Re: База avtoto.ru 500к

Сообщение tarelka »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]14 авг 2022, 13:31 Скрытый текст
 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь сообщений: 1
Аватара пользователя
broyury
профи
Сообщения: 63
Зарегистрирован: 16 июн 2022, 17:56
Откуда: СССР
поблагодарил: 79 раз
были благодарны: 129 раз

Re: Прочие базы данных

Сообщение broyury »

20.Polish list of persons and entities subject to sanctions
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
50 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет
Аватара пользователя
broyury
профи
Сообщения: 63
Зарегистрирован: 16 июн 2022, 17:56
Откуда: СССР
поблагодарил: 79 раз
были благодарны: 129 раз

Re: Прочие базы данных

Сообщение broyury »

21.Список Росфинмониторинга по противодействию финансированию распространения оружия массового уничтожения
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
240 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет
Аватара пользователя
broyury
профи
Сообщения: 63
Зарегистрирован: 16 июн 2022, 17:56
Откуда: СССР
поблагодарил: 79 раз
были благодарны: 129 раз

Re: Прочие базы данных

Сообщение broyury »

22.Singapore Targeted Financial Sanctions
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
47 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет
Аватара пользователя
broyury
профи
Сообщения: 63
Зарегистрирован: 16 июн 2022, 17:56
Откуда: СССР
поблагодарил: 79 раз
были благодарны: 129 раз

Re: Прочие базы данных

Сообщение broyury »

23.South African Targeted Financial Sanctions
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
311 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет
Аватара пользователя
broyury
профи
Сообщения: 63
Зарегистрирован: 16 июн 2022, 17:56
Откуда: СССР
поблагодарил: 79 раз
были благодарны: 129 раз

Re: Прочие базы данных

Сообщение broyury »

24.Swiss SECO Sanctions Embargoes
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
4688 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет
Аватара пользователя
broyury
профи
Сообщения: 63
Зарегистрирован: 16 июн 2022, 17:56
Откуда: СССР
поблагодарил: 79 раз
были благодарны: 129 раз

Re: Прочие базы данных

Сообщение broyury »

25.UK Companies House Disqualified Directors
поля: "id","schema","name","aliases","birth_date","countries","addresses","identifiers","sanctions","phones","emails","dataset","first_seen","last_seen"
990 записей
формат CSV с разделителем ","
[External Link Removed for Guests]
пароля нет
Закрыто