y.takky てくめも

web技術について勉強会の参加メモだったり、本を読んだメモだったりを載せる予定

Next ’17 Extended - Tokyo を聴いてきた

gdg-tokyo.connpass.com

3/8-3/10に開かれたGoogle Next17 の報告回にいってきた。 会場はGoogle Tokyo カンファレンスとか勉強会でたまにくるけど、六本木ヒルズのエレベータはなぜテンションがあがるのか。

あとすでにtogetterに当日の様子がまとめられているので合わせて読むといいかもしれない

togetter.com

Next Introduction

@sinmetalさん

スライドはこちら

docs.google.com

Google Cloud Nextとは

去年はGoogle Cloud Platform Next というGCPだけだったが今年はGoogle関係全て。 216 Sessions

Moscone(GCP周りの発表)はラフなエンジニアが多いけどMarriottはカチッと服着た人が多かった(Gsuite系はMarriott)

Keynote

Keynote Day3はOpenSource周りの発表が多かった。 - Apache Beam ->dataflow - Kubernetes -> GKE - TensorFlow -> Cloud ML

GCPではOpen Sourceをホスティングするサービスを提供していくというのがおおい

Google Open Source – opensource.google.com

OSS Productがまとまっている

NextProduct

  • Cloud Spanner
  • Dataprep -Video Intelligence API
  • Cloud Identify-Aware Proxy
  • Data Loss Prevention API
  • BigQuery Transf

NewFunctions

  • GCE : 64Core + moreMemory
  • CloudSQL: PostgreSQL
  • BQ : Federated query on Cloud Bigtable
  • Cloud Vision API : Text Detection

Change Status

  • Cloud Functions (Open Beata)
  • App Engilen Flex (GA)
  • Dataflow (GA) など

Price Down

  • 無料枠の増大とCompute Engineベースのものが値下げに

Committed Use Discounts

IAM : Custom roles

alpha申し込みページがある 細かい範囲を組み合わせて新しいIAMが作れる

IAP (Identify-Aware Proxy)

  • ログイン機能を提供してくれる。
  • URLにログインしようとするとGoogle認証とかできる。

Data Loss Prevention API

  • Sensitiveな情報を抽出するAPI
  • MLに近いけど、セキュリティの分類

Compute Engine

  • Shared Core バーストモード
  • 外向けのファイアウォール
  • XPN (Cross Project Network) プロジェクトを跨いで、LANの構築ができる。
    • Gsuiteが必要。ネットワーク的に近くなるかはわからない。

ASK A CLOUD EXPERT

  • Flex遅い

    • Imageのキャッシュでなんとかするように努力してる
  • Cloud Functions

    • Nodejs以外にPythonとGoはしたい。

BigQuery and Cloud Machine Learning

@kazunori_279さん

Video API

動画広告の効果測定にVision APIでやっている

Smart analytics with the signature

BigQueryを使ってもっと賢い検索をする UDFを作る。 javascriptでユーザ定義関数を作れる。

特徴づけをして類似検索をする TF-IDF使って実現する。

StackOverflowのデータはBQ上に入っている。 本文から単語を抜き出して特徴ベクトルで計算する。 TF-IDFでの計算値をjson化して、BQに入れ込む

github.com

Cloud MLと組み合わせる

辞書化してないものはクエリだと難しいからMLを使う。 機械に最適な解決方法を考えさせる

Google Cloud上での機械学習サービス

  • Cloud ML / Machine Learning Engine

  • CloudVisionAPIのようなAPIなどを使う方法もある。

BQとMLエンジンの組み合わせ

BQで前処理してMLで学習する

datalabのAPI使うとbqのデータを引っ張ってこれる tfの高レベルAPIにDNNClassifierなどがある。これを使うとコード書かなくても賢いNNが作れる

BQ+UDFである程度のrecomendationが実装できる。

Cloud functionsの紹介

@tenntennさん

スライドはこちら

www.slideshare.net

Cloud Functionsとは

  • サーバレス
  • イベント駆動

関数の種類

  • BackGroud Cloud PubsubやGCSのイベント駆動ができる。 処理が終わったらcallbackを呼べる。

依存関係

package.jsonに書いとけば Cloud上で自動で実行される ログはconsole.logデ杯とけばStackDriverLoggingへ キャッチされないエラーはStackDriver Error Loggingへ

実行環境

  • diskは/tmpに保存される
  • Googleの各サービスは認証がデフォルトで通る

Infra: kubernetes and GKE, Network

kuma (@kumakumakkk) | Twitterさん

どの環境を選ぶべきか

  • GCE フレキシブルなスペックの設定 オンプレをそのままクラウドに持っていきたい ライセンスの関係

  • GKE フルマネージドなkubernetes クラスタのオートスケーリング 論理的なインフラ志向 インフラをマネジメントするのではなく、アプリケーションをマネジメントする

使いたい場面 アプリケーションをいろいろな環境で動かしたい。 DevOpsのコミュニケーションが可能。 CI/CDを積極的に行いたい。 設計には制約がある。

  • App Engine App Engineで動くようにアプリケーションを作成すれば、オーペレーションをほぼ全て肩代わりしてくれる。 App Engine Flexible : コンテナをフルマネージド。 1000億リクエスト/日 使いたい場面・制約 ステートレスなアプリケーションの運用。

制約が多い。 AppEngine Standard verが限られる (Python,Java.PHP,GO) 設計・実装で制約がある。

AppEngine FX コンテナを使わなければいけない。2インスタンス立つので高い。

  • Cloud Function サーバレスでイベントドリブン。 クラウドサービストリガ

GCPのサービスをイベント鳥がにする場合には使えるけど制約が多い。

環境を決める要素

  • チーム、組織の性質
    • インフラエンジニアはいないけどバリバリ開発できるからAppEngine
    • 今後コンテナ化を進めていく
  • 技術的な必須項目 - 抽象化したいレイヤ

Kubernetes

BigData

なかむらさとる (@satoluxx) | Twitterさん

新たな発表

  • Data Transfer Service GA経由でしかみれなかったものをBQにエクスポートできる

  • 商用データセット だれでも使える公開データはいままで提供してたけど、 金融データ等をBQに直接データ提供会社が準備してくれる

  • Federated Query BigTableも直接BQから見れるようになった。 DataStoreのバックアップもできるようになった

  • Dataprep データの前準備ツール

  • Dataflow(python)

  • Datalab(GA)

@satoluxxが思ったこと

  • データの民主化のさらなる進化
    • データを入れ込むところから使いたい人が入れ込む  - outputはDataStudioなり

dataprepのデモ

裏側でdataflowが動いてくれる。 プログラム的要素が一切入らない

Mapas関連セッションの報告とMaps APIの最新動向について

丸山智康

GeolocationAPI

IOTデバイスのシグナルを3点以上取得して緯度経度を返す。

Google Maps APIのパッケージ

16種類ぐらいある。 Maps Android APIとかのスマートフォン以外にHTTP web service用のAPIなどもある。

MapsAPIの最新動向

  • 地図のスタイリングがモバイル側にも拡大。 AndoroidとIOS向けにJsと同じ設定ファイルが使えるようになった
    • 全く同じjsonで。
  • ルートの最適化と将来予測機能
    • いわゆる巡回セールスマン問題をごろごり解くのをAPIで提供してる
  • Directions APIにHeadingパラメータが新規追加
    • いわゆる進む向きを考慮したルート設定が可能になった
    • Taxyの配車など
  • Directions APIの経由地点が98地点に
    • 5000km以内で98地点の経由地点を含めて計算が実行できるようになった。
  • Google Maps Beta プログラム

プラン

  • 移動体管理アプリ
  • 1日25000回以上地図がロードされる - 有料会員向け
  • 社内向け などなどプレミアムプランが必要。

Webアプリとかだとプレミアムプランが必要になる

Gsuite

吉村光平さん

G suite

  • CloudにWindows File Serverを持ってくることがほぼほぼできるようになった。

google Drive

  • Team Drive (GA) MyDriveのファイルに権限を与えていたが、チームドライブは管理者が権限に応じてアクセスできるようになる
  • 移動や配置換えによるファイル紛失がなくなる
  • Drive File Stream(EAP) ネットワークドライブとしてマウントできる。
  • Valut for Drive (GA)
  • Quick Access (GA) その人が開くであろうファイルを一番上に出す。

google hangout

ConsumerとEnterpriseで機能が若干違う。 - Hangouts Meet (GA) 録画可能なビデオ会議 - Hangouts Chat (EAP) Slackのようなもの。 apps scriptとwebhookをサポート予定

Jamboard (GA date)

googleのデジタルホワイトボード。 6月のNext Tokyoで実物が展示されるかも

Google Cloud Search

  • プッシュ型で必要な情報を提供する

App Maker (EAP)

Gsuiteと連動した簡単アプリ開発 裏側はAppEngine / DBはCloudSQLもつながる

CloudSpanner

teppei Yagihashiさん

googleにおける要件

  • 水平方向にスケール
  • グローバルでの一貫性を持つACID
  • Downtimeなし

CloudSpannerとは

  • フルマネージドグローバルスケールのDBサービス
  • 現状はSelectのみ。他はプログラム必要がある。
  • リージョン内自動同期レプリケーション

オープンスタンダード

  • Standard SQL
  • メジャーな言語のClient

ワークロードの種類

プライマリーキーの設計

  • シーケンシャルなキーは避ける (time stampなど)
  • 実世界の識別子を使ったほうがいい