3/8-3/10に開かれたGoogle Next17 の報告回にいってきた。 会場はGoogle Tokyo カンファレンスとか勉強会でたまにくるけど、六本木ヒルズのエレベータはなぜテンションがあがるのか。
あとすでにtogetterに当日の様子がまとめられているので合わせて読むといいかもしれない
Next Introduction
スライドはこちら
Google Cloud Nextとは
去年はGoogle Cloud Platform Next というGCPだけだったが今年はGoogle関係全て。 216 Sessions
Moscone(GCP周りの発表)はラフなエンジニアが多いけどMarriottはカチッと服着た人が多かった(Gsuite系はMarriott)
Keynote
Keynote Day3はOpenSource周りの発表が多かった。 - Apache Beam ->dataflow - Kubernetes -> GKE - TensorFlow -> Cloud ML
GCPではOpen Sourceをホスティングするサービスを提供していくというのがおおい
Google Open Source – opensource.google.com
OSS Productがまとまっている
NextProduct
- Cloud Spanner
- Dataprep -Video Intelligence API
- Cloud Identify-Aware Proxy
- Data Loss Prevention API
- BigQuery Transf
NewFunctions
- GCE : 64Core + moreMemory
- CloudSQL: PostgreSQL
- BQ : Federated query on Cloud Bigtable
- Cloud Vision API : Text Detection
Change Status
- Cloud Functions (Open Beata)
- App Engilen Flex (GA)
- Dataflow (GA) など
Price Down
- 無料枠の増大とCompute Engineベースのものが値下げに
Committed Use Discounts
- 予約インスタンス CPU core数、Memoryサイズを予約する
IAM : Custom roles
alpha申し込みページがある 細かい範囲を組み合わせて新しいIAMが作れる
IAP (Identify-Aware Proxy)
- ログイン機能を提供してくれる。
- URLにログインしようとするとGoogle認証とかできる。
Data Loss Prevention API
- Sensitiveな情報を抽出するAPI
- MLに近いけど、セキュリティの分類
Compute Engine
- Shared Core バーストモード
- 外向けのファイアウォール
- XPN (Cross Project Network) プロジェクトを跨いで、LANの構築ができる。
- Gsuiteが必要。ネットワーク的に近くなるかはわからない。
ASK A CLOUD EXPERT
BigQuery and Cloud Machine Learning
Video API
動画広告の効果測定にVision APIでやっている
Smart analytics with the signature
BigQueryを使ってもっと賢い検索をする UDFを作る。 javascriptでユーザ定義関数を作れる。
特徴づけをして類似検索をする TF-IDF使って実現する。
StackOverflowのデータはBQ上に入っている。 本文から単語を抜き出して特徴ベクトルで計算する。 TF-IDFでの計算値をjson化して、BQに入れ込む
Cloud MLと組み合わせる
辞書化してないものはクエリだと難しいからMLを使う。 機械に最適な解決方法を考えさせる
Google Cloud上での機械学習サービス
Cloud ML / Machine Learning Engine
CloudVisionAPIのようなAPIなどを使う方法もある。
BQとMLエンジンの組み合わせ
BQで前処理してMLで学習する
datalabのAPI使うとbqのデータを引っ張ってこれる tfの高レベルAPIにDNNClassifierなどがある。これを使うとコード書かなくても賢いNNが作れる
BQ+UDFである程度のrecomendationが実装できる。
Cloud functionsの紹介
スライドはこちら
www.slideshare.net
Cloud Functionsとは
- サーバレス
- イベント駆動
関数の種類
- BackGroud Cloud PubsubやGCSのイベント駆動ができる。 処理が終わったらcallbackを呼べる。
依存関係
package.jsonに書いとけば Cloud上で自動で実行される ログはconsole.logデ杯とけばStackDriverLoggingへ キャッチされないエラーはStackDriver Error Loggingへ
実行環境
- diskは/tmpに保存される
- Googleの各サービスは認証がデフォルトで通る
Infra: kubernetes and GKE, Network
kuma (@kumakumakkk) | Twitterさん
どの環境を選ぶべきか
GCE フレキシブルなスペックの設定 オンプレをそのままクラウドに持っていきたい ライセンスの関係
GKE フルマネージドなkubernetes クラスタのオートスケーリング 論理的なインフラ志向 インフラをマネジメントするのではなく、アプリケーションをマネジメントする
使いたい場面 アプリケーションをいろいろな環境で動かしたい。 DevOpsのコミュニケーションが可能。 CI/CDを積極的に行いたい。 設計には制約がある。
- App Engine App Engineで動くようにアプリケーションを作成すれば、オーペレーションをほぼ全て肩代わりしてくれる。 App Engine Flexible : コンテナをフルマネージド。 1000億リクエスト/日 使いたい場面・制約 ステートレスなアプリケーションの運用。
制約が多い。 AppEngine Standard verが限られる (Python,Java.PHP,GO) 設計・実装で制約がある。
AppEngine FX コンテナを使わなければいけない。2インスタンス立つので高い。
- Cloud Function サーバレスでイベントドリブン。 クラウドサービストリガ
GCPのサービスをイベント鳥がにする場合には使えるけど制約が多い。
環境を決める要素
- チーム、組織の性質
- インフラエンジニアはいないけどバリバリ開発できるからAppEngine
- 今後コンテナ化を進めていく
- 技術的な必須項目 - 抽象化したいレイヤ
Kubernetes
- コンテナクラスタを管理
- GoのOSS
- アプリケーションの管理 いわゆるオーケストレーションツール
BigData
なかむらさとる (@satoluxx) | Twitterさん
新たな発表
Data Transfer Service GA経由でしかみれなかったものをBQにエクスポートできる
商用データセット だれでも使える公開データはいままで提供してたけど、 金融データ等をBQに直接データ提供会社が準備してくれる
Federated Query BigTableも直接BQから見れるようになった。 DataStoreのバックアップもできるようになった
Dataprep データの前準備ツール
Dataflow(python)
- Datalab(GA)
@satoluxxが思ったこと
- データの民主化のさらなる進化
- データを入れ込むところから使いたい人が入れ込む - outputはDataStudioなり
dataprepのデモ
裏側でdataflowが動いてくれる。 プログラム的要素が一切入らない
Mapas関連セッションの報告とMaps APIの最新動向について
丸山智康
GeolocationAPI
IOTデバイスのシグナルを3点以上取得して緯度経度を返す。
Google Maps APIのパッケージ
16種類ぐらいある。 Maps Android APIとかのスマートフォン以外にHTTP web service用のAPIなどもある。
MapsAPIの最新動向
- 地図のスタイリングがモバイル側にも拡大。 AndoroidとIOS向けにJsと同じ設定ファイルが使えるようになった
- 全く同じjsonで。
- ルートの最適化と将来予測機能
- いわゆる巡回セールスマン問題をごろごり解くのをAPIで提供してる
- Directions APIにHeadingパラメータが新規追加
- いわゆる進む向きを考慮したルート設定が可能になった
- Taxyの配車など
- Directions APIの経由地点が98地点に
- 5000km以内で98地点の経由地点を含めて計算が実行できるようになった。
- Google Maps Beta プログラム
プラン
- 移動体管理アプリ
- 1日25000回以上地図がロードされる - 有料会員向け
- 社内向け などなどプレミアムプランが必要。
Webアプリとかだとプレミアムプランが必要になる
Gsuite
吉村光平さん
G suite
- CloudにWindows File Serverを持ってくることがほぼほぼできるようになった。
google Drive
- Team Drive (GA) MyDriveのファイルに権限を与えていたが、チームドライブは管理者が権限に応じてアクセスできるようになる
- 移動や配置換えによるファイル紛失がなくなる
- Drive File Stream(EAP) ネットワークドライブとしてマウントできる。
- Valut for Drive (GA)
- Quick Access (GA) その人が開くであろうファイルを一番上に出す。
google hangout
ConsumerとEnterpriseで機能が若干違う。 - Hangouts Meet (GA) 録画可能なビデオ会議 - Hangouts Chat (EAP) Slackのようなもの。 apps scriptとwebhookをサポート予定
Jamboard (GA date)
googleのデジタルホワイトボード。 6月のNext Tokyoで実物が展示されるかも
Google Cloud Search
- プッシュ型で必要な情報を提供する
App Maker (EAP)
Gsuiteと連動した簡単アプリ開発 裏側はAppEngine / DBはCloudSQLもつながる
CloudSpanner
teppei Yagihashiさん
googleにおける要件
- 水平方向にスケール
- グローバルでの一貫性を持つACID
- Downtimeなし
CloudSpannerとは
オープンスタンダード
- Standard SQL
- メジャーな言語のClient
ワークロードの種類
プライマリーキーの設計
- シーケンシャルなキーは避ける (time stampなど)
- 実世界の識別子を使ったほうがいい