オンプレGPUファブリックおよびクラウド／プラットフォーム接続におけるBGP（必要に応じてOSPF／IS-IS、VLAN／VRFを含む）によるルーティングの設計・構成・運用（ASN設計、経路集約、ルーティングポリシーを含む）
データセンター事業者およびSIパートナーとの設備準備、機器調達、リードタイム、リモートハンズ／設置作業に関する調整
社内データセンターのエンドツーエンドの管理（ベンダー／SIとの折衝、商談・交渉、契約・調達対応を含む）
データセンターでの実地ネットワーク作業（ケーブルの敷設・交換、ルーター・スイッチ・ファイアウォール等の機器設定）。本ポジションではデータセンターへの定期的な現地訪問が必要です
オンプレGPU環境と既存のコーポレート・クラウド（GCP／AWS）・プラットフォームネットワークとの安全な統合
GPUシステムおよびネットワーク機器の監視・アラート・ログ・運用引き継ぎの確立
GPU PoCの実行支援、およびPoCから本番運用に至る道筋の定義
プロビジョニングや運用の自動化、Infrastructure as Code（IaC）による構成管理
データセンター設備・接続・現地作業に関するコーポレートITチームとの密な連携（本ポジションでは必須）
ML Platform、インフラ、セキュリティ、調達など各ステークホルダーとの協働
データセンター設備（ラック・電源・冷却・搬入経路）準備のオーナーシップ。DGX B200／B300クラスのNVIDIA Pre-delivery Site Surveyの確認・宣言を含む
パートナーとのRFP・見積・選定サイクルの推進、および調達チームと連携したNDA・R&R／RACI・契約・PO対応
社内承認プロセス（JB Engineering board、投資委員会、Procurement Team）向けの技術・コスト資料の作成（クラウドGPU／TPUとのTCO・ROI比較を含む）
ローカルLLMサービング基盤を支えるノード／GPUソフトウェアスタックの運用（NVIDIAドライバ／CUDA／NCCL、GPU Operator、DCGM、コンテナランタイム）、およびサービングスタック（vLLM、NVIDIA NIM）とLiteLLMルーティング層との連携
モデル・チェックポイント向けストレージとデータ経路の構築・運用、およびオンプレとGCP／GKE間でワークロードをクラウドにフォールバックできるポータビリティの維持
オンプレ推論環境のSLO・オンコール・障害対応・Runbook・BCP／DRの定義と運用（Mercari SREのプラクティスと整合）
Enterprise Securityと連携し、オンプレGPU／コンピュートノードをクラウドと同等のセキュリティ水準に引き上げる取り組み（資産可視化、エンドポイント／ポスチャ管理、監査可能な踏み台、分離されたOOBアクセス）
FinOpsと連携したGPU利用率・電力・トークンコスト削減のトラッキングとレポーティング（1ノードからマルチノードへのスケールを見越した対応）
ユニークなチャレンジ
メルカリ初のオンプレミスGPUインフラをほぼゼロから立ち上げ、設備・ネットワーク・運用の準備をエンドツーエンドでオーナーシップを持って推進
クラウドネイティブなネットワーク手法と、従来型のデータセンター／オンプレ運用との橋渡し
高密度コンピューティングシステム（例：DGX B200クラス）や高速ファブリック（例：400G InfiniBand／RoCE）の取り扱い
要件や調達スケジュールが変化するなかで現実的な意思決定を行いつつ、管理プレーンを分離し、安全かつ運用可能な環境を維持
8GPU 1ノードのPoC環境から、基盤設計をやり直さずにマルチノード構成へ拡張
オンプレの小規模言語モデルと外部フロンティアLLMを、ユースケースおよびコスト・データ機密性のポリシーに応じて使い分けるハイブリッド運用
フルクラウドネイティブな組織の中でオンプレ運用のプラクティスを立ち上げ、PCI-DSSやISMS等のコンプライアンス要求にも対応
応募要件
求める経験・スキル
ネットワークに関する強固な基礎知識（TCP/IP、IPアドレス管理、OSIレイヤー2〜7、ルーティング、DNS、TLS、HTTP）
データセンターのルーティング／スイッチング、特にBGP（ASN設計、経路集約、ルーティングポリシー）の設計・構成・トラブルシュートの実務経験（OSPF、VLAN／VRFを含む）
物理／データセンターネットワーク（スイッチ、ルーター、ファイアウォール、構造化配線）の設計・運用の実務経験
本番環境におけるLinuxサーバーの運用経験
GPU／高密度システムを含むデータセンターでの実地経験：現地でのケーブルの敷設・交換、ルーター・スイッチ・ファイアウォールの設定（本ポジションではデータセンターへの定期的な現地訪問が必要です）
ラック・電源・冷却・クロスコネクトなどのデータセンター運用、およびリモートハンズ／設置作業の調整経験
データセンターの物理・設備運用の実務経験（電源設備の取り扱い、回路切り替え（PDU・ブレーカー・回路変更）を含む）、および障害対応・本番トラブル対応の経験
データセンターのベンダーやSIパートナーの管理経験（商談・交渉、契約・調達対応を含む）
オンプレとクラウド（GCPまたはAWS）のネットワーク統合（VPN、プロキシ、ルーティングを含む）の経験
ネットワーク設計・運用におけるセキュリティマインド：ファイアウォールのルール設計・管理、Egress（外向き通信）ポリシー、ネットワークのセグメンテーション／分離
PythonやBashを用いたワークフローの自動化、およびInfrastructure as Code（IaC）による構成管理の能力
デザインドキュメントの作成、社内ステークホルダーや社外ベンダー／SIerとの連携経験
国内データセンターでの本番インフラ運用経験（搬入計画、サイトサーベイ、日本語での設備調整を含む）
Linux／GPUノードをフリートとして運用した経験（プロビジョニング、ファームウェア・ドライバのライフサイクル管理、監視、障害対応）
本番プラットフォームにおけるSLOの定義およびオンコール対応の経験
コストモデル・ROI・リスクを含む社内承認／調達ドキュメントを作成し、経営層レビューを通した経験
メルカリのミッションやバリューに対する共感
歓迎する経験・スキル
GPU／HPCインフラ、およびInfiniBandやRoCEなどの高性能ファブリックの経験
モダンなデータセンターファブリックの設計経験：Spine／Leaf・Border Leaf構成、EVPN-VXLAN（GPU環境の経験を歓迎、CPU／汎用環境の経験も可）
ベアメタルプロビジョニングに関わるネットワーク（DHCPリレー、PXEブート）の設計経験
データセンターにおけるGPUシステム／サーバーの設置・保守の実務経験（物理設置、配線、継続的なメンテナンス）※特に歓迎
NVIDIA DGXまたは同等のGPUアプライアンスの運用経験
アウトオブバンド管理（BMC／Redfish／IPMI）やPDU管理の経験
高密度データセンター環境（高kW／ラック、冷却戦略）の設計経験
ML／LLMサービング基盤やGPUスケジューリングに関する知識
SIパートナーや調達プロセスとの協働経験
GoやPythonを用いたインフラやミドルウェアの開発経験
本番環境でのLLM推論運用経験（vLLM、NVIDIA NIM／Triton等、およびQwen・Gemma・Llama等のOSSモデル）
GPUスケジューリング／オーケストレーションの経験（Kubernetes＋GPU Operator、Run:ai、Slurm）
GCPとのハイブリッド統合の経験（GKE、Workload Identity Federation、DNSの内外分離、クラウドフォールバック）
NVIDIA AI Enterpriseのライセンス・サポート契約、および国内ベンダー／SI管理に関する知見
クラウドで運用しているセキュリティポスチャ管理ツール（資産インベントリ、EDR、CSPM）をオンプレノードへ拡張した経験
PCI-DSSやISMSの対象となるネットワーク／データセンター環境における要件の知識
AIワークロード向け高性能ストレージ（Lustre、VAST、WEKA）およびGCS等オブジェクトストレージを用いたデータパイプラインの経験
語学力
日本語：Proficient (CEFR – C1)
本ポジションでは必須。国内のデータセンターやベンダーとの折衝が多いため
英語：Independent（CEFR-B1）
コミュニケーションが取れるレベルで問題ありません（流暢である必要はありません）
※CEFRの詳細については、こちらをご覧ください。
メルカリグループについて知る
キャリアサイト https://careers.mercari.com/
メルカン：https://mercan.mercari.com/
SNS：X https://twitter.com/mercari_eng / LinkedIn https://www.linkedin.com/company/mercari/
How we reorganize the platform team
レガシー画像プロバイダーからCloudflare Imagesへ：トラフィック推計と安全なロールアウト
Mercari Microservices PlatformにおけるKubernetes Cluster移行
選考について
メルカリグループではメルカリグループおよび各カンパニーのミッションとバリューへの共感・体現を大切にしています。メンバーが発揮する価値の総量が最大化されるような組織づくりを推進するために、候補者のみなさんの経験やスキルをより正しく理解したいと考えています。
選考の流れ
書類選考
技術課題：エンジニアポジションではHackerRankまたはGithubでの技術課題を、エンジニア以外のポジションでは採用ポジションによります（面接タイミングと前後することがあります）
面接：ポジションにより、複数回の面接をお願いします
リファレンス：オンライン回答形式のもので、最終選考の前後でお願いします
オファー：最終選考とリファレンスの内容より決定されます
※詳しくはこちらのページをご覧ください。
選考における機会の平等
メルカリでは、バックグラウンドによって個人の可能性が決めつけられることなく、自由に価値を生みだす機会を手にできる社会の実現を目指しています。そしてメルカリがミッションを実現するために「Inclusion & Diversity」という考え方は不可欠な存在だと考えています。採用活動においても、メルカリのミッション・バリューに共感する、様々なバックグラウンドの方にジョインしていただけるよう、年齢、性別、性的指向、人種、宗教、身体能力、その他記号に基づくあらゆる差別をなくすことを約束します。詳しくは、I&D statementをご覧ください。なお、ご応募の際にはプライバシーポリシーをご確認ください。
Software Engineer, Platform Engineering - AI/GPU Infra (On-Prem) - Mercari
Employment Status: Permanent
Work Hours: Full Flextime (no core time)
Office: Roppongi
For more details, see the Overview of Our Positions section on our Careers site.
About Mercari
Circulate all forms of value to unleash the potential in all people
"What can I do to help society thrive with the finite resources we have?" The Mercari marketplace app was born in 2013 out of this thought by our founder Shintaro Yamada as he traveled the world. We believe that by circulating all forms of value, not just physical things and money, we can create opportunities for anyone to realize their dreams and contribute to society and the people around them. Mercari aims to use technology to connect people all over the world and create a world where anyone can unleash their potential. For more information about Mercari Group's mission, see Mercari’s Culture Doc.
Organization/Team Mission
Mercari Engineering Principles
Mercari Engineering Principles are a shared understanding that serves as the foundation of engineering beliefs and behavior at Mercari. The Engineering Principles are designed to complement the organizational identity (Mercari's mission, values, and culture) from an engineering viewpoint. These principles ultimately help us achieve Mercari's mission by defining the ideal state we seek to realize in the long term.
Passion For The Product
Grow Together
Solve Through Mechanisms
Collaborate Openly
For more details, please see Engineering Culture.
See here for more information about our mission and values.
The Platform team helps Mercari engineers deliver more reliable services and improve development efficiency by managing the entire network — from edge areas such as the CDN to the cloud, service mesh (Istio), and physical data centers. As Mercari invests in self-hosted compute for its AI/LLM initiatives, we are building a new on-premises GPU infrastructure capability within the team. This role owns the on-prem side: securing data-center facilities and building the network foundation that enables GPU compute, and integrating it securely with our existing cloud and platform networks. We are primarily looking for a data-center (DC) network engineer — ideally with hands-on GPU installation and maintenance experience — who will also collaborate closely with our Corporate IT team on facilities, connectivity, and on-site operations.
Work Responsibilities
Design, build, and operate Mercari's on-prem DC/GPU infrastructure, including data-center facilities (racks, power, cooling) and the supporting network
Design and build the network foundation for GPU workloads: compute fabric (InfiniBand/RoCE), storage/in-band, service network, and isolated OOB management
Design, configure, and operate routing for the on-prem GPU fabric and its cloud/platform interconnects using BGP (and OSPF/IS-IS, VLAN/VRF as needed), including ASN planning, route summarization, and routing policy
Coordinate with data-center providers and SI partners on facility readiness, equipment procurement, lead times, and remote-hands/installation work
Manage Mercari's internal data center end to end, including vendor/SI discussions, commercial negotiations, and contract & procurement handling
Perform hands-on, on-site data-center networking work — running and changing cabling, and configuring routers, switches, firewalls, and other network devices (this role requires regular physical visits to our data center)
Integrate the on-prem DC/GPU environment securely with existing corporate, cloud (GCP/AWS), and platform networks
Establish monitoring, alerting, logging, and operational handoff for GPU systems and network devices
Support GPU PoC execution and help define the path from PoC to production
Automate provisioning and operations, and manage configuration as code (IaC)
Collaborate closely with the Corporate IT team on data-center facilities, connectivity, and on-site operations (this collaboration is required for the role)
Collaborate with ML Platform, Infrastructure, Security, and Procurement stakeholders
Own data-center facility readiness (rack, power, cooling, carry-in routes), including NVIDIA pre-delivery site survey confirmation for DGX B200/B300-class nodes
Drive RFP, quotation, and vendor selection cycles with partners, and own NDA, R&R/RACI, contract, and PO handling together with Procurement
Prepare technical and cost materials for internal approval gates (JB Engineering board, investment committee, Procurement Team), including TCO/ROI comparison against cloud GPU/TPU
Build and operate storage and dataset paths for models and checkpoints, and keep the stack portable between on-prem and GCP/GKE so workloads can fall back to cloud
Define and operate SLOs, on-call, incident response, runbooks, and BCP/DR for the on-prem inference environment, aligned with Mercari SRE practices
Bring on-prem GPU and compute nodes to parity with Mercari's cloud security posture (asset visibility, endpoint/posture tooling, audited bastion, isolated OOB access) together with Enterprise Security
Track and report GPU utilization, power, and token-cost savings with FinOps as capacity scales from the first node to multi-node
Unique Challenges
Stand up Mercari's first on-premises GPU infrastructure largely from the ground up, owning facility, network, and operational readiness end to end
Bridge cloud-native networking practices with traditional data-center and on-prem operations
Work with high-density compute systems (e.g., DGX B200-class) and high-speed fabrics (e.g., 400G InfiniBand/RoCE)
Make pragmatic decisions under evolving requirements and procurement timelines, while keeping the management plane isolated and the environment secure and supportable
Scale from a single 8-GPU PoC node to a multi-node environment without redesigning the foundation
Operate a hybrid model where on-prem small language models and external frontier LLMs are routed per use case and cost/sensitivity policy
Establish on-prem operational practice inside a fully cloud-native organization, including compliance expectations such as PCI-DSS and ISMS
Qualifications
Required Experience/Skills
Strong networking fundamentals (TCP/IP, IP address management, OSI layers 2–7, routing, DNS, TLS, HTTP)
Hands-on experience designing, configuring, and troubleshooting data-center routing and switching, especially BGP (ASN planning, route summarization, and routing policy), as well as OSPF, VLAN/VRF
Hands-on experience designing and operating physical/data-center networking (switches, routers, firewalls, structured cabling)
Production experience operating Linux servers
Hands-on data-center experience, including for GPU/high-density systems: physically installing and changing cabling and configuring routers, switches, and firewalls on-site (this role requires regular in-person visits to our data center)
Experience with data-center operations: racks, power, cooling, cross-connects, and coordinating remote-hands / installation work
Hands-on experience with data-center physical/facility operations, including power equipment and circuit switching (PDUs, breakers, circuit changes), and responding to outages and production incidents
Experience managing data-center vendors and SI partners, including commercial discussions and contract/procurement handling
Experience integrating on-prem and cloud networks (GCP or AWS), including VPN, proxies, and routing
Security mindset in network design and operations: firewall rule design and management, egress/outbound policies, and network segmentation/isolation
Ability to automate workflows using Python or Bash and to manage configuration using Infrastructure as Code (IaC)
Experience writing design documents and working with internal stakeholders and external vendors/SIers
Experience running production infrastructure in Japanese data centers, including carry-in planning, site surveys, and facility coordination conducted in Japanese
Experience operating Linux/GPU nodes as a fleet: provisioning, firmware and driver lifecycle, monitoring, and incident response
Experience defining SLOs and participating in on-call for a production platform
Experience producing internal approval and procurement documentation (cost model, ROI, risks) for executive-level review
Empathy with Mercari's mission and values
Preferred Experience/Skills
Experience with GPU/HPC infrastructure and high-performance fabrics such as InfiniBand or RoCE
Experience designing modern data-center fabrics: spine/leaf and border-leaf architectures, and EVPN-VXLAN (GPU environments preferred, CPU/general-purpose environments also welcome)
Experience with networking for bare-metal provisioning, such as DHCP-relay and PXE boot design
Hands-on experience installing and maintaining GPU systems/servers in a data center — physical installation, cabling, and ongoing maintenance (strongly preferred)
Experience operating NVIDIA DGX or similar GPU appliances
Experience with out-of-band management (BMC/Redfish/IPMI) and PDU management
Experience designing high-density data-center environments (high kW/rack, cooling strategy)
Knowledge of ML/LLM serving infrastructure and GPU scheduling
Experience working with SI partners and procurement processes
Experience developing infrastructure or middleware using Go or Python
Experience operating LLM inference in production with vLLM, NVIDIA NIM/Triton, or similar, using OSS models such as Qwen, Gemma, or Llama
Experience with GPU scheduling and orchestration: Kubernetes with GPU Operator, Run:ai, or Slurm
Experience with hybrid GCP integration: GKE, Workload Identity Federation, split-horizon DNS, and cloud fallback paths
Familiarity with NVIDIA AI Enterprise licensing and support contracts, and with Japanese vendor/SI management
Experience extending security posture tooling (asset inventory, EDR, CSPM) from a cloud estate to on-prem nodes
Knowledge of PCI-DSS or ISMS requirements as they apply to in-scope network and data-center environments
Experience with high-performance storage for AI workloads (Lustre, VAST, WEKA) and object-storage/GCS dataset pipelines
Language
Japanese: Proficient (CEFR – C1)
required for this role (frequent communication with domestic data-center and vendor partners)
English: Independent（CEFR-B1）
Business communication level is sufficient (fluency is not required)
For details about CEFR, see here.
Learn More About Mercari Group
Careers site: https://careers.mercari.com/
Mercan: https://mercan.mercari.com/
Social media: X https://twitter.com/mercari_eng / LinkedIn https://www.linkedin.com/company/mercari/
How we reorganize the platform team
Legacy Image Provider to Cloudflare Images: Traffic Estimation and Safe Rollout
Kubernetes Cluster migration on the Mercari Microservices Platform
Recruiting at Mercari
At Mercari Group, we value empathizing with and embodying the mission and values of the Group and each company. To promote the creation of an organization that maximizes the total amount of value exhibited by all members, we would like to understand the experience and skills of each candidate as accurately as possible.
Recruiting cycle at Mercari Group
Application screening
Skill assessment: For engineering positions, you will be asked to complete a skill assessment on HackerRank or GitHub. For non-engineering positions, you may be asked to complete an assessment depending on the position. (The timing of the assessment may coincide with the interview process.)
Interview: The number of interviews may vary depending on the position.
Reference check: We will ask for online references around the timing of the final interview.
Offer: Offers will be determined carefully in consideration of the final interview and the reference check.
Learn more about our recruiting process here.
Equal Opportunity Hiring
Here at Mercari, we work to realize a world in which no one's potential is limited by their background and everyone has the opportunity to freely create value. We also firmly believe that a mindset of Inclusion & Diversity is essential for us to achieve our mission.
This, of course, extends to our hiring practices as well. Mercari is committed to eliminating discrimination based on age, gender, sexual orientation, race, religion, physical disability, and other such factors so that anyone who shares our mission and values can join us, regardless of their background. For more details, please read our I&D statement.
Please read and acknowledge our Privacy Policy prior to submitting your application.
