mysqldump と mysqlpump どちらが速くバックアップできるか比較してみた

こんにちは。エンジニアの阿久津です。
今回はMySQLの mysqldumpmysqlpump という2つのコマンドでバックアップを実施しどちらが速く処理するのか比較してみましたので、それを記事にしたいと思います。

mysqldumpとは

従来のMySQLデータベースのバックアップ/リストアに用いられるコマンドです。

mysqlpumpとは

MySQL5.7から追加された新機能で、 mysqldump の次世代となるコマンドです。

機能紹介

1. 並列処理(並列ダンプ)

複数のデータベース・テーブルを並列処理でバックアップすることができます。
MySQLサーバからデータを収集するために複数のスレッドを作成し、そのスレッドがそれぞれMySQLサーバへ接続してデータをまとめるためにキューに取得したデータを挿入する仕組みになっています。
オプションを何も利用せずにデフォルトで mysqlpump を利用すると、スレッド数は2つ、キュー数は1つでダンプ処理が走ります。
–parallel-schemas オプションと –default-parallelism を使うと、スレッド数とキュー数を調整しながら、ダンプを実施できるみたいです。

続きを読む

Google Ads Scripts入門②

こんにちは。サーバーサイドエンジニアの杉浦です。
前回は、Google広告(旧:GoogleAdWords)のデータをGoogle Ads Scripts (旧:Google AdWords Scripts)を使ってスプレッドシートに出力する方法をご紹介いたしました。
今回はGoogleAdWordsAPIを使って、キャンペーンパフォーマンスレポートから取得したデータを出力する方法をご紹介します。

前提

Google広告を運用しているGoogleアカウントがあること

入門内容

キャンペーンパフォーマンスレポートより、下記項目を取得することを目標とします。

  • アカウントID
  • アカウント名
  • 表示回数
  • クリック数
  • コンバージョンアクションが「購入」のコンバージョン数

続きを読む

Google Ads Scripts入門①

こんにちは。サーバーサイドエンジニアの杉浦です。
今回は、Google広告(旧:GoogleAdWords)のデータをGoogle Ads Scripts (旧Google AdWords Scripts)を使ってスプレッドシートに出力する方法をご紹介したいと思います。

Google Ads Scriptsとは

Google Ads Scriptsはブラウザベースの IDE で、シンプルな JavaScript を使うことで Google広告 データを取得したり、制御することが出来ます。
Google広告のデータをエクセルでレポートにしている方が多いかと思いますが、Google Ads Scriptsを使うとレポートの作成を自動化することも可能です。
詳細は公式HPをご参照ください。

前提

Google広告を運用しているGoogleアカウントがあること

入門内容

続きを読む

Adobe XDを活用してデザインレビューをはじめたよ

デザイナーの山下です。
___∧______________

みなさんは日々どのようにデザインをブラッシュアップしていますか?

  • 師匠や先輩にチェックしてもらう
  • ディレクターにチェックしてもう
  • デザイナー同士でチェックし合う
  • 自力でがんばる

と、方法は様々あるかと思います。

ウエディングパークのデザイナーチーム(通称:デザチ)は、
非常にフラットなチームなので、
この人がゼッタイ!!という概念がありません。

そこで選択したのが、デザイナー同士でチェックし合うです。
この取り組みを社内ではデザインレビューと呼んでいます。

デザインレビューを始めて半年以上経ち、

  • 生産性の向上
  • デザインスキルの向上

と良い面が沢山でてきたので、このナイスな取り組みのご紹介します★

続きを読む

デザインに関して知りたい人向け書籍のご紹介

デザイナーの山下です。
___∧______________

「デザイナーにどう指示だしたらいいかわからないから、参考になる本ない?」

「ディレクターだし、デザインの勉強もしたいんだけどいい本ないかな?」

「デザイナーになりたけど、何から読んだらいいのかな?」

などなど日頃こんなご相談をいただくのですが、
その際におすすめしている本をご紹介します。

続きを読む

Redis 4のUNLINKでサーバー負荷を抑えてみる(Redis Cluster)

Redis4.0のUNLINKを使ってみる

こんにちは、サーバーサイドエンジニアの菅原です。
今回は今更ながらRedis4系から追加されたUNLINKコマンドについて調べて検証してみました。

背景

Webアプリケーションのパフォーマンスを向上しようとするときRedisは強力なツールです。
ですがRedisを運用する注意点としてRedisの容量の懸念が見込まれます。
キーがどんどん積み上がるとRedisの容量を大きく圧迫し、そうなるとRedisはキーの検索に時間を要するのとキーを削除するときもサーバーに負荷がかかりサーバーダウンしてしまうことも考えられます。

setした時に設定したexpireが切れたキーも完全に消えることは確証されなく、
ゴミのデータが残る場合があるのでDELコマンドで定期的に掃除が必要になります。
しかしRedis3までのDELコマンドは一度に指定されたキーを全てアクセスして削除しようとするのでその間はRedisは他の処理を受け付けないため
Redisに膨大なサーバー負荷がかかり、Redisが落ちてしまったり、クラスターダウンの影響にも繋がります。
今回はその問題を解決するためにRedis4系で新たに追加されたUNLINKコマンドについて紹介します。

続きを読む

ELKで始めるElasticStack6入門 (Elasticsearch, Kibana, Logstash)

こんにちは、サーバーサイドエンジニアの菅原です。
今回はElasticStack6について学んでみたのでその知見を共有したいと思い記事にしました。

はじめに

検索エンジンElasticsearchの検証をしている中でELKと呼ばれるElasticStackの製品について学んでみましたのでそのELKの実行までの流れを記載していきます。

環境

  • Mac OS
  • Elasticsearch 6.2.4
  • Kibana 6.2.3
  • Logstash 6.2.3

入門内容

ゴール:ELKの使い方、及び導入からビジュアライズまでの流れを確認する

ELK

  1. Logstashでデータを扱う

  2. LogstashからElasticsearchにデータを加工し投入する

  3. KibanaでElasticsearchで投入したデータを可視化する

続きを読む

MySQL 5.7 の透過的暗号化をやってみたよ

こんにちは。SREチーム  インフラエンジニアの綿引です。

今回は MySQL の透過的暗号化 について記載したいと思います。
因みに透過的暗号化が使用できるのは MySQL 5.7.11 からですのでご認識のほど。

前回 は RDS の暗号化について軽く触れましたが、
その際はWebコンソールからボックスにチェックを入れるだけでした。

今回の MySQL の透過的暗号化を使用する場合には設定が必要です。
では早速やっていきたいと思います。

環境

・OS : CentOS 7.1
・データベース : MySQL 5.7.22

続きを読む

33時間クッキング【Kubernetesのラズベリーパイ包み〜ウエパ風〜】

こんにちは、SREチームの西脇(@yasuhiro1711)です。今回は特別番組ということで、33時間クッキング、【Kubernetesのラズベリーパイ包み ウエパ風】をお送りしたいと思います。見逃しそうな方はぜひ録画予約をお願いします。

サイバーの美味しそうなパイ包みを見て、ウエパでも物理的にパイ包みを作ってみることにしました。ローカルマシンやクラウドでもクラスターを組んで利用することは可能ですが、このクッキングを通じてKubernetesのそもそもの理解を深めることを目的としてやりました。

※ なおこちらの記事は、至る所をサイバーエージェントを非常〜〜にオマージュしおります。この記事を了承頂きまして、本当にありがとうございます! オマージュ記事は最後にリンクがございます。

一家に一台、Kubernetesの時代に

この10年でスマホが爆発的に普及したように、Kubernetesが一家に一台の時代がやってきます。本日作るラズベリーパイ包みはそんな時代にもってこい。家庭でお子様からおじいちゃんまで幅広く愛されるであろう、手のひらサイズのKubernetesです。

完成品

完成品はこちらとなります。ジャーン!
Image from iOS (9) 2

続きを読む

Nginxで403 Forbiddenが表示された時のチェックポイント5選

SREチーム  エンジニアの阿久津です。
今回はNginxの403 Forbiddenが表示された時のチェックポイントについて記事にしたいと思います。

環境

  • Vagrant 1.9.5
  • CentOS Linux release 7.1.1503 (Core)
  • Nginx 1.14.0

前提

  • 設定ファイル
     /etc/nginx/default.conf

  • DocumentRoot
     /var/hoge

  • テストページ
     /var/hoge/index.html

続きを読む