🤖 Последнее время всё чаще замечаю, что в приватах люди ищут способ накрутить Яндекс.Метрику, да так, чтоб роботность была минимальная. И вот чисто случайно на днях наткнулся на доклад одного из бывших разработчиков этой антифрод-системы 🙃

👾 Конечно, рассказанная им информация уже явно слегка устарела (в докладе упоминается дата разработки системы в 2012 году), но если судить по тому, что в скрине профайлинга сервиса видно что сжатие данных происходит через алгоритм ZSTD (а он был выпущен в 2016 году), то появляются подозрения о том, что автор лукавит и даже текущий антифрод имеет под собой часть того, что он делал много лет назад.

А вообще по докладу можно сделать любопытные выводы, которые могут привести страждущих к каким-то полезным мыслям:

1️⃣ Система определения роботности 100% построена на Machine Learning (ранее это только подозревали, но не знали до конца точно ли это). Хоть там и упоминается CatBoost, но в нём самом вряд ли вы найдете итоговую модель или "формулу" 🙅‍♂️ Но зато можно попробовать поискать по его докладам/статьям что-то связанное с ЯМетрикой, вдруг кто-то ещё спалил немного информации 🤐
2️⃣ Из слайдов понятно, что они проверяют cookies с яметрики, но это тоже не было секретом. Зато подсчёт количества уникальных cookie для IP-адреса и наоборот - наводит на мысли о том, что нужны хорошие приватные прокси (и лучше чтоб их ранее никто не юзал, поэтому нужно их "фармить" самому).
3️⃣ В докладе Алексей проговорился, что есть какая-то одна страна, где пользователи ходят в интернет с 1 IP-адреса. Саму страну он не назвал, но тоже наводит на мысли, что для ботнет-прокси нужно искать такие, где у провайдера будет выкуплено минимум подсетей 😜
4️⃣ По логике понятно, но ещё раз стоит напомнить о том, что человек не может 24 часа в сутки гулять по сайтам. Нужно строго разграничивать время нагуливания профилей.
5️⃣ Исходя из предыдущего пункта, да и в слайдах это упомянуто: нужно подбирать оптимальное количество посещенных сайтов/страниц в течении часа, чтоб опять же выглядеть более "человечно".
6️⃣ Плюс ко всему, скорее всего нужно эмулировать длительность поведения на различных типах страниц примерно такую же, как делают обычные люди. То есть на странице статьи - человек задерживается дольше, на странице раздела статей - меньше.

👉 Обсуждение "серебрянной пули": https://vk.com/wall-43106145_1480

Поделюсь полезной находкой, которая позволяет импортировать ваши домены в CloudFlare через их API без геморра и изучения их документации: https://github.com/plzdontshare/cloudflareimport

Нашел в tg-бложеке у чувака: https://t.me/nohate_live/20

🆘 Срочная новость!
Те, кто использует PHP7-FPM + Nginx - проверьте, чтоб в конфиге nginx НЕ было следующих строчек:

fastcgi_split_path_info ^(.+?\.php)(/.*)$;
fastcgi_param PATH_INFO $fastcgi_path_info;

В версиях php 7+ (заканчивая вчерашней) в парсинге fastcgi есть бинарный баг, который позволяет перетереть FASTCGI переменные, что позволяет выставлять php.ini опции, что в свою очередь дает возможность выполнить код.

Для успешной эксплутатации нужно, чтобы в связке php-fpm + nginx конфиг последнего позволял передать пустое значение PATH_INFO.

🚯 Рабочий эксплоит с подробным описанием предусловий лежит тут: https://github.com/neex/phuip-fpizdam/

PS: новость бесстыдно слизана с в tg канала "Кавычка": https://t.me/webpwn

👷🏻 Снова с камрадами-дорвейщиками подняли обсуждение что лучше всего юзать в качестве базы данных под тысячи доров с десятками тысяч страниц на каждом.

💡 Сейчас существует огромное количество различных БД под любые виды задач. Уже даже рейтинг существует (в котором 355! СУБД): https://db-engines.com/en/ranking

Но вот простому работяге-дорвейщику хочется, чтоб было и удобно, и стабильно (тут должен быть смайлик с двумя стульями). Хочется, чтоб всё было по-максимуму оптимизировано и можно было не страдать как в случае с опробованными решениями:
😲 MySQL: постоянные ошибки нехватки соединений, сколько их не повышай;
😶 обычные файлы: в лёгкую можно упереться в количество inodes (решается установкой ОС с файловой системой без инод, вроде btrfs) и отсутствием хоть какого-либо минимального сжатия;
😧 SQLite: рано или поздно вывалятся ошибки "To many open files" (временно можно решить увеличением ulimit -n, но опять же до поры до времени), плюс это всё таки БД без сервера, то есть на каждое подключение будет огромный оверхед;
😵 PostgreSQL: стабильно, сложно и скорее всего рано или поздно придется лезть в настройки и мучаться в подборе каких-то волшебных параметров;
😖 Redis: хранение данных в памяти, поэтому нужно очень много RAM;
😩 Memcached: опять же хранение в RAM, да и чет сомнительно юзать её под большие объемы данных.

По сути то и нужно просто хранение данных аля ключ-значение (key-value), быстрый доступ к этим данным, да поддержка большого числа подключений (повторю, что там тысячи доменов с десятками тысяч страниц на каждом, поэтому в одну секунду может идти сотни запросов, например, при индексации всего этого добра гуглоботом).

👨🏻‍💻 Вроде как напрашивается протестировать MongoDB, но чёт терзают сомнения. 🤔 Может быть у кого-то есть опыт?

Поделитесь вашим видением на данную ситуёвину: https://vk.com/wall-43106145_1488

🕰 Часы перешагнули за полночь, а это значит самое время обсудить тайм-менеджмент. 🤣

Наверняка, среди моих читателей найдется множество людей, кто не может самоорганизоваться и пол дня страдает фигней, а под конец пытается всё успеть (или идёт спать с мыслью "да похер, завтра сделаю"). Я живу с таким состоянием пока не придумаю для себя интересную задачу или жопу не начнет припекать. 👨‍🚒 Отчасти поэтому и занимаюсь всякой движухой, за счёт которой вы меня и знаете - за долгие годы выработалась практика находить в сложных задачах интересные подзадачи и решать их, а потом выкладывать эти решения в паблик (или писать в блоге). Именно такой подход и помогает стимулировать мозг работать наиболее эффективно, но тем не менее - список задач (которые только в голове, но об этом позже) - всё множится и множится... Уже даже были попытки почитать что-то о прокрастинации, но все они разбились о суровую жопу реальности, когда я открывал огромные талмуды с текстом где умные дядьки учили как надо работать (сцуко, вот бы их кто-нибудь научил как нужно интересно писать!).

🍔 И вот на моё удивление сегодня за ужином (а я взял себе за практику в обед или ужин стараться смотреть что-то познавательное: будь то видео Дудя - зачастую они выступают как мотиватор; но лучше видео с какой-нибудь конференции по разработке - чтоб мозг "не густел") наткнулся на старый любопытный доклад "Принцип экономии мыслетоплива". Просто заинтересовало название, да и хотелось "хлеба и зрелищ", поэтому тыкнул - и вот ни разу не пожалел. Сразу даю ссылочку на это видео, можете пока что открывать в соседней вкладке, чтоб не забыть: https://www.youtube.com/watch?v=fWR5SFhBUWc

🙃 И после просмотра я чет так угорел, что решил запилить этот пост. Задолбало развлекать свою "сиюминутную обезьянку" по пол дня! Хочется хардкора, мяса и жести - успевать пилить все идеи и работать так, чтоб гугл затрещал. Поэтому прямо сейчас возобновляю затею записывать задачи из головы в ежедневник: вечером планирую что буду делать на следующий день, а не придумывать себе задачи "на ходу". Причем не "втупую" как я это делал раньше, а с новыми силами и идеями, которые я перенял из доклада: не жалеть бумагу и записывать подробно что нужно сделать; сложные задачи делать в начале дня, а интересные - в конце; если появилась новая задача посреди дня, то вначале её записать, а уже потом делать (не делать ничего без записи!); вечером подсчитывать результаты и записывать метрику "удовлетворенности" от количества решенных задач.

❓ Раз уж я сам такую движуху для себя затеял, да ещё и смог это всё описать тут словами, то предлагаю и вам присоединиться и перестать провафливать драгоценное время на уговоры самого себя, а для этого:
🤜 для начала посмотрите видео, которое я линканул - отдохнёте (видео легкое и с юмором), да ещё и на подкорке много всего отложится;
🤜 выполните советы из видео: "отключите уведомления" и другие полезные идеи;
🤜 решите для себя каким образом будете записывать задачи (имхо, чем проще - тем лучше, бумага и ручка - идеально);
🤜 отпишитесь в комментах, что вы "в деле"(!): https://vk.com/wall-43106145_1540

📹 Уже неоднократно писал, что стараюсь смотреть записи с конференций по разработке, чтоб успевать следить за новыми тенденциями. Но вот видео про SEO я стараюсь обходить стороной, потому что 99% из них - это вода и фантазии (все ответы в выдаче). Не знаю что произошло в этот раз, но я случайно открыл интервью с основателем Rush Analytics - Олегом Шестаковым и потратил 3 часа своей жизни (но с пользой!).

🕵️ Учитывая, что больше 10 лет я связан с Black SEO и разработкой под неё всего подряд, а последние 4 года я работаю только с буржем - даже для меня в этих видео были крайне увлекательные моменты. Особенно интересно было узнать из достоверного источника про продвижение в Яндексе, т.к. я с ним уже давно не работаю. Да и в целом кроме SEO там обсуждалось много любопытных моментов. Поэтому, думаю, среди моих читателей будет тоже много людей, кому "зайдёт" это интервью 😉

😦 Часть №1: https://www.youtube.com/watch?v=P74cJKpUMUo
😲 Часть №2: https://www.youtube.com/watch?v=7Qgkh3yvW6c

🎲 "Давным-давно..." (так бы могла начинаться сказка, если бы я был сказочником) я выкладывал платный шаблон для ZP по парсингу поисковых подсказок, где было собрано более 25 поисковиков. А недавно заметил, что у братьев по цеху снова проснулся интерес к этому виду сбора (а иногда и исправления!) баз ключевых слов. Всё равно шаблон уже не поддерживается и не продается, поэтому скрывать тот список доменов уже нет смысла 🤔 Авось кому-то это поможет улучшить свой комбайн и порвать гугло-топы 🥇

Конечно, с тех времён уже часть поисковиков сдохла или отключила поисковые подсказки (честно, я не при чём 😆), но 19 доменов (преимущественно для англоязычных ключевиков) - находятся теперь тут: https://pastebin.com/Fda1QpbZ
Сами ссылки для парсинга легко сниффаются даже через браузер. В некоторых поисковиках добавляются всякие странные хеши в GET-параметрах к этим ссылкам, но по факту зачастую они нафиг не нужны. И ещё стоит упомянуть что где-то результаты при запросе с пробелом на конце могут сильно различаться ("запрос" и "запрос ").

🕯 Ну и напоследок хочется поделиться ещё одной очевидной, но редко используемой идеей: просто найдите топ-10/50 крупных сайтов по вашей нише и посмотрите на их поиск. С большой вероятностью вы можете найти несколько доменов, которые будут давать результаты гораздо интереснее тех, что содержат поисковики.

❓ Если вдруг я забыл какой-то поисковик с подсказками, то напишите о нём в комментариях: https://vk.com/wall-43106145_1578

👳 Наткнулся на простенький бенч c1000k - проверки проблемы 1 миллиона одновременных соединений. Если простыми словами, то она описывает задачу конфигурирования сервера для поддержки высокопроизводительной обработки множества подключений (не обязательно извне, но и внутри сервера, например при общении PHP/Python и какой-то СУБД вроде Redis/MySQL/SQLite). В общем случае, данный бенч может помочь правильно потюнить TCP/IP и количество открытых файлов.

🦇 Вообще, такая проблема возникает у всех кто запихивает на один сервер кучу доров или имеет огромный поток трафика.

⛑ Сам тест (содержит и сервер, и клиент для проверки): https://github.com/ideawu/c1000k - ридми достаточно короткий и простой, чтобы разобраться как его собрать и запустить.

Решается всё это уже исходя из конкретных проблем, но обычно первое ограничение - это количество одновременно открытых файлов (ошибка "Too many open files"). Самое адекватное описание решения в свое время я нашел только тут: https://medium.com/@muhammadtriwibowo/set-permanently-ulimit-n-open-files-in-ubuntu-4d61064429a
Плюс, будет полезно посмотреть до и после настройки на лимиты конкретного процесса по его ПИДу по команде: cat /proc/<PID>/limits.

А уже дальше, если это не особо поможет, то нужно будет копать в сторону TCP/IP tuning, но сразу же предостерегу, что в гугле уева куча статей без нормального описания параметров, которые они меняют. Просто якобы "напихайте себе вот такие настройки и будет счастье" 😆
Максимум, что могу посоветовать - это присмотреться к настройкам, которые советуют в Яндекс.Танке: https://yandextank.readthedocs.io/en/latest/generator_tuning.html#tuning

💬 Если у вас есть ссылки на _правильную_ настройку всего этого добра, то велкам в комменты: https://vk.com/wall-43106145_1588

💰 Решил ради интереса купить немного рекламы на свой блог в Telegram, а заодно и провести небольшой эксперимент. Вообще меня обычно узнают за счёт того, что я часто помогаю и выкладываю интересные штуки для программы ZennoPoster (это, пожалуй, лучшая программа для автоматизации регистрации на сайтах, постинга и простановки ссылок, которую я использую для создания дорвеев). Плюс меня знают как раз по Black SEO тусовке за счёт того, что я в ней уже больше 10 лет (правда, с перерывами) - пилю приватный софт для генерации дорвеев, немного мучаю нейронки, да и вообще выдача одна - все там рядом 😁

💸 Суть этого рекламного эксперимента в следующем: я купил 51 тысячу показов моей ссылки на блог в telegram за 2008 рублей в 13 рекламных площадках. Для каждой из них я написал свой, немного уникальный текст для ссылки (заточенный на тематику площадки). Минимальной целью я ставлю +100 подписчиков на блоге по завершению открутки всех объявлений (это 20 рублей за подписчика, что имхо очень дорого). В принципе, это более чем достижимо, т.к. если будет даже CTR в 1%, то это уже 510 переходов, а конверсия в подписчика на одного посетителя 1 к 5 видится мне вполне реальной.

📉 Конечно, мой скилл в арбитраже около нулевой, поэтому даже если солью эти 2к рублей - будет получен опыт, а это ценнее всех денег 🙂 К тому же, они были потрачены с WMP кошелька, где у меня осталось около 10к рублей, которые я прощелкал и не сконвертировал в WMZ, когда летом стало известно об окончании жизни WMR кошельков. Поэтому будет не так обидно их просрать 😆

➕ С точки зрения узнаваемости моего ника, да и вообще деятельности - такой подход при покупке рекламы в нетематических (но схожих!) местах выглядит вполне логичным действием. Даже если обо мне узнает не такое большое количество людей, но с похожими идеями и совсем с противоположными взглядами - это будет поводом для увеличения критического мышления в ходе дискуссий в паблике vk (я там делаю кросс-пост, велкам если что: https://vk.com/lord.alfred ).

⏳ Единственное, что меня смущает: площадки, где крутится реклама - имеют низкую посещаемость. Поэтому время открутки может составлять как неделю, так и месяц. Но если этот эксперимент получит много откликов или лайков, то я потом расскажу о результатах отдельным постом.

PS: кто-то может спросить "Зачем ты это вообще делаешь? Ты же не продаешь ничего и не цыганишь курсами" - ответ прост: мне это по кайфу :) Я очень часто встречаю что-то интересное, что может пригодится в работе не только мне, но и коллегам по цеху, поэтому пишу об этом в блоге. Да и графоманство мне близко по духу 🙃

PPS: топ-3 постов для новоприбывших:
1️⃣ Руководство для асессоров Google: https://t.me/lord_alfred/11
2️⃣ Видео как поиметь Google и Яндекс: https://t.me/lord_alfred/28
3️⃣ Спор по выбору БД для тысяч доров на одном сервере: https://t.me/lord_alfred/26

🤡 Недавно наткнулся на очень забавное поведение одного из регистраторов доменов. Искал дешевые доткомы и наткнулся на Epik - решил затестить его, а он сразу после реги предложил перенести другие домены, и я ради интереса согласился.

😯 А дальше произошло то, что вы видите на скрине. Он каким-то чудом нашел немного моих доменов (от других регистраторов) и выдал их список. Самое интересное, что подтверждение регистрации по мылу я в этот момент ещё не сделал...

🤐 То есть получается такая ситуация, что при условии знания мыльника конкурента (вдруг где-то он его забыл скрыть, да или СИ никто не отменял) - можно выпалить всю его сетку целиком. А он узнает об этом лишь постфактум, - когда придет письмо с подтверждением регистрации.

👹 Вот такие чудеса. Возможно, кому-то пригодится данный способ. Мне он ни к чему, вот и решил поделиться им в блоге 🙃

🤥 Неожиданно и приятно, что мой tg-канал упомянули в дайджесте от топсапы (https://t.me/topsapereader/5692)! И судя по количеству новых подписчиков - это получилось явно профитнее, чем реклама из блогов, о которой я рассказывал парой постов ранее ☝️

И раз уж пошла такая пьянка, то будет полезно поделиться каналами которые читаю я. Список моих интересов довольно специфический, но скорее всего они должны пересекаться и с вашими, раз мы идём нога в ногу 😉 Большинство каналов не "палят" какие-то темы, а публикуют записи раз в пару дней / неделю, но если вдумчиво читать посты, то можно между строк увидеть мысли, которые близки или над которыми стоит задуматься.

💴 Стартапы, Бизнес, Тренды:
- https://t.me/temno - крайне интересные мысли Аркадия Морейниса
- https://t.me/subjectivno - канал Андрея Пуртова, мысли и тренды
- https://t.me/zamesin - продакт-менеджер рассказывает о своём пути в предпрениматели
- https://t.me/dumik - мысли о дизайне и IT-бизнесе от основателя сервиса чатботов
- https://t.me/daily10 - 10 идей дня о инвестициях (не всегда, но тоже любопытно часто)
- https://t.me/techsparks - канал Себранта из Яндекса: чаще просто новости, но и о трендах пишет
- https://t.me/hibrokakbiz - подкасты с интересными людьми (не прямо о бизнесе, но там всё в кучу)

🔬 Дизайн, UX/UI, фронтенд:
- https://t.me/defront - обзоры свежих статей про фронтенд
- https://t.me/vladzelyzip - наблюдения дизайнера
- https://t.me/internet9000 - пишет про разные крутые интернет-проекты, связанные с дизайном
- https://t.me/desprod - бывший дизайн-директор яндекса о дизайне
- https://t.me/uxnotes - проектировщик интерфейсов собственно о интерфейсах

🛠 Machine Learning, нейронки:
- https://t.me/machine_learning_explained - заметки о интересных ML штуках
- https://t.me/denissexy - обзоры свежих приколюх из мира ML
- https://t.me/NeuralShit - всякая разная дичь, которую генерят нейронные сети

💣 Информационная безопасность:
- https://t.me/webpwn - канал, где появляются ссылки на разные эксплоиты, которые в ближайшем будущем наделают шуму (у авторов чуйка на это)
- https://t.me/br0wsec - сплоиты и PoC'и для браузеров

📉 SEO:
- https://t.me/maxaffiliateru - продвижение под бурж и обзоры разных сервисов
- https://t.me/burzhunet - канал Шакина о продвижение в буржунете
- https://t.me/webmasterie - продвижение, огромные всеобъемлющие статьи о разных способах и методах
- https://t.me/siteclinic_doctor - полубот-полуканал, где отвечают на вопросы по SEO (1 из 10 вопросов норм)
- https://t.me/devakatalk - новости про SEO


А что читаете вы, уважаемые подписчики?
Поделитесь каналами (или пабликами в вк) в комментариях: https://vk.com/wall-43106145_1600