Apache Sparkの業務委託案件・フリーランス求人一覧｜ページ5

【AWS】インフラ環境構築運用

【業務内容】 インフラ環境の構築と運用、パフォーマンスや コスト改善などの業務をご担当いただきます。 ・セキュリティ対策:アカウントセキュリティ、 マネージドサービスによる防御と検知の設置、ログ集約、障害テストなど ・マルチアカウント対応:アカウントの組織管理、 サービスコントロールポリシーとガードレールの設定など ・システムのスケーラビリティの確保:サービスレベルの策定、 モニタリング設置、インフラ・アプリ環境の最適化、性能テスト実施など ・自動化の推進:リソース構成のIaC化、監視ツールの導入、 セキュリティ検知の自動通知など ・上記タスクに伴う運用ルール、ドキュメントの整備、監査レポートの作成 【開発環境】 A...

【Python】Saasプロダクトデータ基盤構築

【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの 加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精...

【Python】Saasプロダクトデータ基盤構築

【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる 大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精...

【Python】Saasプロダクトデータ基盤構築

【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる 大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精...

【Python】Saasプロダクトデータ基盤構築

【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの 加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精...

【Python】小売向け需要予測システム開発

▼案件概要 小売向け需要予測システム開発・運用支援 （製造・テスト・調査・運用）をご担当いただきます。 フェーズ的に商用に入るタイミングですので運用要素が強くなります。 ■作業場所：東京都港区（フルリモート相談可能） ■面談回数：2回(Web) ■備考 Azureのデータブリックス使って分析しているPJです。 データ量は1日12万データが集まってきて、アルゴリズムにかけて、 ルートマンの最適ルートを決めているようなシステムです。 ※年間4億くらいのデータになります。 なので、データを扱ってきた方なら、参画しやすい案件になります。 ゴリゴリ開発ではなく、データを扱うことが好きだったり...

【Python】Saasプロダクトデータ基盤構築

【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる 大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精...

【AWS】某SNSのバック開発・運用・保守

フルスタックエンジニアの方を募集しております。 ■業種: WEBサービス(BtoC) ■案件内容 ・某SNSのシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更 ・キャパシティ最適化、インデックス最適化、集約など ・アプリケーションサーバの構成変更 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う ・OSの変更・OSの更新 ・CVE対応、サポート切れへの対応など ・各種ミドルウェアの更新 ・CVE対応、新機能・性能改善の取り込みなど ・その他各種システム構成の変更・更新 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など 【環境】 iOS(言語、ライブラ...

【AWS】Saasプロダクトデータ基盤構築

【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる 大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精...

【AWS】某SNSのバック開発運用保守

■案件内容 以下業務をご担当いただきます。 ・某SNSのシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更 ・キャパシティ最適化、インデックス最適化、集約など ・アプリケーションサーバの構成変更 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う ・OSの変更・OSの更新 ・CVE対応、サポート切れへの対応など ・各種ミドルウェアの更新 ・CVE対応、新機能・性能改善の取り込みなど ・その他各種システム構成の変更・更新 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など 【環境】 iOS(言語、ライブラリなど):Swift、Objective-C And...

【Python】Saasプロダクトデータ基盤構築

【業務内容】 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる 大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリ・フレームワーク:Pandas、Numpy、Dask ・インフラ:AWS ・AWS製品:ECS、S3、StepFunctions、Lambda、CloudWatch ・環境、ツール:Docker、GitHub、Jira、Slack、CircleCI、Sentry 【精...

薬局業界向けの各プロダクトのバックエンド開発案件/Python/フルリモート

各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、 いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。 高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、 アプリケーションコード、AWSのインフラ、DevOps などを...

【AWS/フルリモート(新浦安)】ライブ配信サービスのインフラエンジニア募集

【仕事内容】 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム体制 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■環境 • 分散DB（Cloud Spanner） • 言語：Go言語 • 通信 ：connect-go proto • コンピューティング：Kubernetes → Cloud Run • DWH・パイプライン構築 ◦ BigQuery ◦ Apache Spark ■働き方 ...

求人システムのバックエンドエンジニア募集/scala/渋谷駅/リモート有

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 ■工程：要件定義,基本設計,詳細設計,開発,単体テスト,結合テスト,総合テスト,運用 ■開発環境： サーバーサイド：Scala, Play Framework, ZIO, Spark, Flink プロビジョニング：Terraform, Ansible フロントエンド：JS, TypeScript, Vue.js 監視：DataDog, Kibana クラウドサービス：AWS, ...

フルリモート【Python/AWS/GCP】自社データインフラのデータ移行作業

・某ITメガベンチャーにて自社データインフラグループのデータ移行作業を担当頂きます。 1. AWSのデータレイク(S3+Glue data catalog) → BigQueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については応募者の意向、能力等を鑑みて決定) 技術環境 O S ：Linux 言　語 ：Python, Hive, Spark Cloud ：AWS, GCP AWS　 ：EMR, Glue, Athena, Lambda, APIGateway GCP　　：BigQuery, GCS, Pub/Sub, Dataflow, CloudCo...

フルリモート/Python/Hive/Bigqeryデータ基盤整備

業務内容」 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 開発環境 [言語] Python, Hive, Spark [AWS] EMR, Glue, Athena, Lambda, APIGateway [GCP] BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows [CI・CD・その他] Terraform, CircleCI, GithubActio...

【SQL】ビッグデータ分析に伴うデータ抽出案件

大量のデータを分析するため、特定の条件を満たすデータを抽出する業務を担当いただきます。 ビッグデータプラットフォーム上のデータを対象とし、適切なクエリを作成し、抽出されたデータを報告書やダッシュボード等に反映させます。

【データアナリスト】大手SIer データ基盤構築/活用支援（Snowflake）の求人・案件

国内外の様々なお客様にSnowflakeの導入とそれに伴うデータ活用の支援 -Snowflakeの導入コンサルティング -Snowflakeを中心としたデータ基盤の開発支援、データ活用支援 -Snowflakeや周辺技術領域（モダンデータスタック）の情報収集、技術検証 -データ基盤やデータエンジニアリングに関する技術情報発信

スクラム開発(アジャイル開発)支援/メーカー企業のエンジニア求人・案件 IT

・Spark/DevOps/NoSQLを用いたアジャイル開発支援 ・テスト実施支援

【Java】ECサイトのデータ分析基盤の運用改修業務/化粧品系のエンジニア求人・案件 業務 / IT

・某化粧品系ECサイトのデータ分析基盤の運用機能改修

工場データの共通基盤構築支援【長崎】/半導体メーカーのエンジニア求人・案件 IT

・データ共通基盤構築(要件定義～基本設計) ・開発ベンダーの管理(進捗、成果物レビュー)

【Spark】ECサイトのデータ分析基盤運用機能改修支援/分散処理/Javaのエンジニア求人・案件 IT

・某化粧品系ECサイトのデータ分析基盤の運用/機能改修支援 ・分散処理のフレームワークはSparkを使用

【spark on scala】美容系ECサイト向けデータ分析基盤の運用・機能改修/六本木一丁目/即日～のエンジニア求人・案件 IT

美容系ECサイトにおけるデータ分析基盤の運用と機能改修業務

【フルリモート】Databricks！学習支援サービスにおけるデータ分析基盤の保守開発

Databricksをベースとした既存データ分析基盤からの即時キャッチアップが求められており、 加えて即時運用開発へ移行いただける方を募集しております。 ＜業務内容＞ ・既存システムのキャッチアップ ・データ分析基盤の保守開発 ＜就業時間＞ 9:00-18:00 ※※こちらの案件は現在募集を終了しております※※

【Azure】小中学生向け学習支援サービスにおけるデータ分析基盤の保守開発の求人・案件

・既存システムのキャッチアップ ・データ分析基盤の保守開発

【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業

某通信会社向け開発支援作業

【Python/SQL】SaaS企業におけるデータエンジニアの業務委託案件・フリーランス求人

世の中のクリエイティブデータを解析するSaaS！ LLMエンジニア募集

人流データの抽出処理に関する検証、改修業務 - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【人流データ抽出処理に関する検証、改修業務】☆ Spark（Scala）によるバッチ処理改修 BashによるShellスクリプト改修 Gitlabでのissue/コード登録 外部設計～リリース

人流統計処理開発支援 - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【人流統計処理開発支援】☆ Spark(Scala)によるバッチ処理改修 BashによるShellスクリプト改修 Gitlabでのissue/コード登録 外部設計/内部設計/開発/単体テスト/結合テスト/リリース

【フルリモート/Python】通信会社向け開発支援作業

■概要 通信会社向け開発支援作業 ■工程・担当業務 基本設計～テスト ■募集人数 ２～３名 ■働き方 フルリモート

【エンド直/フルリモート/フレックス有/Python/AWS】データエンジニア募集

【仕事内容(概要)】 - 『SaaS+Database』サービスを支えるビッグデータ（数十TBオーダー）基盤の構築・改善 【仕事内容】 以下のいずれか、もしくは複数を対応いただきます。 - Webデータクローリングのためのパイプライン新設や改善 - データのクレンジングやエンリッチメント処理 - データの品質改善を目的とした品質モニタリング環境の構築 - スケーラブルかつコスト効果の高いデータ基盤への改善 - 将来的なデータサイエンス活用を踏まえたデータ基盤やデータ品質整備設計

【SQL】【インフラエンジニア】製造業様向けAzure Databricks開発の求人・案件

製造業様向けAzure Databricks開発業務に携わっていただきます。\n\n主に下記作業をご担当いただきます。\n・顧客の作成中のソースのレビュー、データ変換・移行に関する分析\n・Bronzeにあるデータを変換して次のSilver Layerに持っていく（Bronze⇒Silver⇒Gold）\n・Gold LayerのデータをMLなどに活用、BIで分析\n・Azure Databricksソリューションの設計とデリバリー\n・要件分析とソリューションアーキテクチャ設計及び仕様の作成\n・データモデリングとデータアーキテクチャ設計\n・ETL、データ統合、およびデータ移行の設計\n・データ品質システムとプロセスの設計...

Python／広告事業のデータマイニング・機械学習エンジニア募集案件・求人

複数ある自社広告配信プロダクトの100億レコード以上/日のログを分析し、広告配信を最適化する業務を担当いただきます。 【主な仕事内容】 ・ビジネスインパクトが大きなKPI改善の見極め ・KPI（CPCなど）最適化の改善及び運用

【Java/Python/生成AI】生成AI/LLM専任チーム

■概要 ・プロダクトへの生成AI/LLM技術適応の開発 ・生成AI・LLMに関わるサービスの技術選定、アプリケーションのアーキテクチャ設計 ・生成AI・LLMに関わる最先端の技術キャッチアップ・外部発信

【六本木/リモート併用】AzureDatabricks開発支援

■概要 Azure Databricks 開発案件（CXプロジェクトの一環としてデータマネージメントシステム）。 顧客の作成中のソースのレビュー、データ変換・移行に関する分析。 １つLayerにあるデータを変換して次のLayerに持っていく。 （Layer 1⇒Layer 2⇒Layer 3） Layer 3でMLなどに活用、BIで分析（別チームが動いている）

【Java】新たなマーケティングに繋げるデータベースエンジニア案件

Webサイトやスマホアプリからユーザーの行動データを収集して マーケティングやWeb施策に活用するために抽出、集計を行うためのDMPの構築 フェーズ：設計、製造・単体テスト、結合テスト

Scala/　サーバーサイドエンジニア案件

広告技術のDSP開発をお願いします。 本事業部では、各社とのシステム連携により広告を表示しています。 1つのリクエストに対して100ミリ秒で応答を返すという制限(低レイテンシ)と 秒間1万を超えるリクエストを処理(ハイスループット)するシステムを作ります。 メイン言語はScalaを利用し、インフラ環境はGoogleCloudPlatformを利用しています。 エンジニア５人程度のチームでアジャイル開発のプロセスをベースにカンバンなどで作業進捗を確認しながらすすめ、 ドキュメントはコミュニケーションと保守に必要な最低限の情報で作成し、システムの実装、開発、運用をしています。

【Java】データベースエンジニア案件

設計、製造・単体テスト、結合テスト 抽出・集計を行うためのDMP構築・Webサイト・スマホアプリからのユーザーデータの収集

【Python】収集データ分析システム開発

メディアの収集データを分析してくれるシステムを開発していく案件での人員募集になります。 元請け側のチームに参画し、 維持管理しているシステムの定常業務＋案件が発生したときに対応するメンバーを募集します。 直近だとSnowflakeに移行する案件などが維持管理に移ったりしているのでそういった案件を維持しつつ発生案件に対応していきます。 基本は、Snowflakeの開発案件が多いチームです。 長期的に支援いただける要員を探しております。 ※Pythonとrubyとでそれぞれ案件が複数あり、現状はRuby案件に入っていただく予定です。 その為、PythonかRubyいずれでも技術をお持ちの方を探しております。

【SE】金融機関データマネジメントシステム開発支援の求人・案件

金融機関データマネジメントシステム開発支援業務に携わっていただきます。\n\n主に下記作業をご担当いただきます。\n・データ分析用データマネジメントシステムのクラウド環境移行開発支援\n・お客様先の開発チームに参画し業務対応\n・上流設計対応、または詳細設計、及び実装作業\n・データパイプライン（Apache Spark、databricks、SAS Viya等）を用いた開発業務\n\n開発環境：AWS、GCP\n工 程 ：上流設計、詳細設計、実装、テスト実施