Не перевелися ще віртуози на темній стороні. Якісь спритні хлопці знайшли чергове шкідливе застосування багатостраждального протоколом DNS. Пам'ятаєте, років десять тому ввійшли в моду DDoS-атаки типу DNS Amplification? Так вони досі в тренді.

Ще тоді ддосеры додумалися використовувати чудові поля TXT запис DNS. Адже туди можна помістити довільні дані, тому організатори атак реєстрували домен з рандомным ім'ям, а TXT під зав'язку забивали сміттям (благо, в полі влазило до 4 Кб – 16 рядків по 256 байт). Запит — 64 байт, відповідь — 3,8 Кб (щоб уміститися в UDP), жертва отримує трафік за курсом 1:60, і її канал, а то й канал її провайдера, каже «ква» вже від кількох десятків ботів.

Читати далі →



Обсяг виконаних людиною даних зростає з кожним роком. Відповідно, збільшується і об'єм трафіку, що передається по інтернет-каналах всього світу. Найбільше інформації передають і приймають телекомунікаційні гіганти на кшталт Google, Microsoft, Facebook, Amazon. Цим компаніям уже недостатньо поточної пропускної спроможності більшості каналів зв'язку, тому вони інвестують кошти в створення нових магістралей, часто — підводних.

Оскільки проекти такого роду досить складні і дорогі, компанії об'єднуються. Власне, причина партнерства часто навіть не у грошах, а в тому, що ряду компаній потрібен надійний канал для прийому і передачі трафіку в одні і ті ж регіони. Найбільш недавній приклад такого партнерства — спільний проект Facebook і Google. Компанії виступили ініціаторами створення підводного магістралі, що сполучає Лос-Анжелес і Гонконг.

Читати далі →

Є одна дуже цікава новина, яка залишилася мало висвітленою, особливо в руском сегменті Інтернету. Perspective API від Google тепер доступний для розробників. Що це ще за чергова хрень запитаєте ви? Якщо коротко, то це API або сервіс, який дозволяє оцінити «токсичність» коментарів у мережі. Так, це не жарт, все саме так. Ви навіть можете зайти і перевірити свій коментар на цю саму «токсичність». Серед партнерів проекту такі новинні агентства як The New York Times, The Guardian, The Economist та інтернет енциклопедія Wikipedia.

Читати далі →



Днями стало відомо про новий проект Upspin, який розробляється групою інженерів з корпорації Google. Основне завдання учасників проекту — створення фреймворку для забезпечення безпечного спільного доступу до файлів. Upspin, якщо коротко, задає набір протоколів, інтерфейсів та інших програмних компонент, що дозволяє зв'язати разом різні дані, включаючи ФС і сервіси зберігання. Написаний фреймворк на мову Go. Поширюється він під ліцензією BSD. Варто відзначити, що сам проект — не офіційна розробка Google, а «хобі» співробітників.

Незалежно від того, де знаходяться файли, Upspin уніфікує доступ до них, так що отримати дані можна практично з будь-якої точки глобальної мережі. За словами розробників, їх розробка є спробою вирішити проблему з поточної фрагментованістю різних програмних елементів для спільного доступу до файлів. У результаті користувачеві, який працює з різними платформами, необхідно витрачати час на виконання проміжних завантажень, збережень і переупакови файлів.

Читати далі →

Вимірювання пропускної здатності вузьких місць за часом подвійного проходу пакета
За всіма параметрами, сьогоднішній інтернет не може переміщати дані так швидко, як повинен. Більшість користувачів стільникового зв'язку в світі відчувають затримки від кількох секунд до кількох хвилин: публічні точки WiFi в аеропортах і на конференціях ще гірше. Фізикам і кліматологів потрібно обмінюватися петабайтами даних з колегами по всьому світу, але вони стикаються з тим, що їх ретельно продумана многогигабитная інфраструктура часто видає всього декілька мегабіт в секунду на трансконтинентальних лініях. [6]

Ці проблеми виникли через вибору архітектури, який був зроблений при створенні системи регулювання заторів TCP у 80-ті роки — тоді втрату пакетів вирішили інтерпретувати як «затор». [13] Еквівалентність цих понять була справедливою для того часу, але тільки із-за обмежень технології, а не за визначенням. Коли NIC (контролери мережевих інтерфейсів) модернізували з мегабітних до гігабітних швидкостей, а мікросхеми пам'яті — з кілобайт до гігабайт, до зв'язок між втратою пакетів і заторами стала менш очевидною.

У сучасному TCP регулювання заторів по втраті пакетів — навіть в найбільш досконалої технології такого роду CUBIC [11] — основна причина цих проблем. Якщо буфери вузьких місць занадто великі, то система регулювання заторів по втраті пакетів тримає їх повними, викликаючи надмірну мережеву буферизацію. Якщо буфери занадто маленькі, то система регулювання заторів по втраті пакетів невірно інтерпретує втрату пакета як сигнал затору, що веде до зниження пропускної здатності. Рішення цих проблем вимагає альтернативи регулювання заторів по втраті пакетів. Для знаходження цієї альтернативи слід розібратися, де і як виникають затори.

Читати далі →

Трансляція TensorFlow Developer Summit

Друзі, зовсім скоро, в 20:30 по Москві почнеться трансляція TensorFlow Developer Summit.

Кейноут будуть вести такі люди такі люди як Jeff Dean, Rajat Monga і Megan Kacholia.
Дуже рекомендую подивитися цю трансляцію сьогодні ввечері всім кому цікава тема машинного обуечения. Буде розказано як про сам TensorFlow так і про цікаві приклади його використання.



Читати далі →

Як «пробити» людини в Інтернет: використовуємо оператори Google і логіку

У черговій статті нашого циклу публікацій, присвяченого інтернет-розвідки, розглянемо, як оператори просунутого пошуку Google (advanced search operators) дозволяють швидко знаходити необхідну інформацію про конкретну людину.
У коментарях до першої нашої статті, читачі просили побільше практичних прикладів і скріншотів, тому в цій статті практики і графіки будемо багато. Для демонстрації можливостей «просунутого» пошуку Google в якості цілей були обрані особисті акаунти автора. Зроблено це, щоб нікого не образити надмірним інтересом до його приватного життя. Хочу відразу попередити, що ніколи не задавався метою приховати свою присутність в інтернеті, тому описані методи підійдуть для збору даних про звичайних людей, і можуть бути не дуже ефективні для деанонімізація фэйковых акаунтів, які створені для разових акцій. Зацікавленим читачам пропоную повторити наведені приклади запитів щодо своїх акаунтів і оцінити наскільки легко збирати інформацію по ним.

Читати далі →

Створюємо нейронну мережу InceptionV3 для розпізнавання зображень



Привіт, Хабр! Під катом піде мова про реалізацію сверточной нейронної мережі архітектури InceptionV3 з використанням фреймворку Keras. Статтю я вирішив написати після ознайомлення з туториалом "Побудова потужних моделей класифікації з використанням невеликої кількості даних". З схвалення автора туториала я трохи змінив зміст своєї статті. На відміну від запропонованої автором нейронної мережі VGG16, ми будемо навчати гугловскую глибоку нейронну мережу Inception V3, яка вже встановлена в Keras.

Ви навчитеся:

  1. Імпортувати нейронну мережу Inception V3 з бібліотеки Keras;
  2. Налаштовувати мережу: завантажувати ваги, змінювати верхню частину моделі (fc-layers), таким чином, пристосовуючи модель під бінарну класифікацію;
  3. Проводити тонке налаштування нижнього згорткового шару нейронної мережі;
  4. Застосовувати аугментацію даних за допомогою ImageDataGenerator;
  5. Навчати мережу по частинах для економії ресурсів і часу;
  6. Оцінювати роботу моделі.
При написанні статті я ставив перед собою завдання представити максимально практичний матеріал, який розкриє деякі цікаві можливості фреймворка Keras.

Читати далі →

Порівняння рішень по балансуванню високонавантажених систем

І знову ми публікуємо розшифровки виступів з конференції HighLoad++, яка пройшла в підмосковному Сколково 7-8 листопада 2016 року. Сьогодні Євген Півень знайомить з рішеннями балансування в хмарах.

Мене звати Женя, я працюю в компанії IPONWEB. Сьогодні ми поговоримо про розвиток наших рішень в балансуванні високонавантажених систем.

Спочатку я пробегусь за поняттями, якими буду оперувати. Почнемо з того, чим ми займаємося: RTB, Real Time Bidding — показ реклами з аукціоном в реальному часі. Дуже спрощена схема того, що відбувається, коли ви заходите на сайт:



Для того, щоб показати рекламу, йде запит на RTB-сервер, який запитує у рекламних серверів їх ставки і потім вирішує, яку рекламу вам показати.

Читати далі →

Spotify: міграція підсистеми подій в Google Cloud (частина 2)

першої статті ми говорили про те, як працювала стара система доставки повідомлень і ті уроки, які ми винесли з її роботи. У цієї (другої) статті ми розповімо про архітектуру нової системи і про те, чому ми вибрали Google Cloud Pub/Sub в якості транспортного механізму для всіх подій.

image
Читати далі →